KR102147930B1 - 포즈 인식 방법 및 장치 - Google Patents

포즈 인식 방법 및 장치 Download PDF

Info

Publication number
KR102147930B1
KR102147930B1 KR1020170143716A KR20170143716A KR102147930B1 KR 102147930 B1 KR102147930 B1 KR 102147930B1 KR 1020170143716 A KR1020170143716 A KR 1020170143716A KR 20170143716 A KR20170143716 A KR 20170143716A KR 102147930 B1 KR102147930 B1 KR 102147930B1
Authority
KR
South Korea
Prior art keywords
body part
location information
pose
image
information
Prior art date
Application number
KR1020170143716A
Other languages
English (en)
Other versions
KR20190048614A (ko
Inventor
신승호
장원일
임국찬
조익환
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170143716A priority Critical patent/KR102147930B1/ko
Priority to CN201880071142.3A priority patent/CN111316283B/zh
Priority to US16/760,428 priority patent/US11205066B2/en
Priority to PCT/KR2018/013109 priority patent/WO2019088697A1/ko
Priority to EP18874348.8A priority patent/EP3696715A4/en
Publication of KR20190048614A publication Critical patent/KR20190048614A/ko
Application granted granted Critical
Publication of KR102147930B1 publication Critical patent/KR102147930B1/ko

Links

Images

Classifications

    • G06K9/00369—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

개시된 포즈 인식 장치가 수행하는 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 단계와, 일부 부위에 대한 제 1 위치 정보를 3차원 뼈대 모델 - 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델 - 에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계와, 제 1 위치 정보와 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식하는 단계를 포함한다.

Description

포즈 인식 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING POSE}
본 발명은 포즈(pose) 인식 방법 및 장치에 관한 것으로서, 더욱 상세하게는 신체 부위를 이용한 포즈를 인식하는 방법 및 장치에 관한 것이다.
사람과 상호작용할 수 있는 기기, 예컨대 컴퓨터, 스마트폰 등이 널리 보급됨에 따라 사람과 기기 간의 자연스러운 상호작용 인터페이스(Natural User Interface: NUI) 기술에 대한 연구가 활발하다.
NUI 기술 중 하나로서 신체 부위를 이용한 인터페이스는 자연스럽고 직관적이 상호작용이 가능하며 부가적인 장비를 요구하지 않는 장점이 있다. 이러한 장점으로 인하여 HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), 및 HMI(Human-Machine Interaction) 분야 등에서 활발히 이용되고 있으며, 이러한 신체 부위를 이용한 인터페이스를 NUI에 채용하기 위해서는 신체 부위를 활용한 포즈를 인식하는 기술이 요구된다.
종래 기술에 따라 신체 부위를 이용한 포즈를 인식하는 기술은, 신체 부위를 이용한 포즈에 대한 데이터베이스를 미리 취득하고 이를 기계 학습하여 기준 정보로 이용할 신체 모델을 생성하고, 신체 부위에 대한 영상 분석 결과와 신체 모델과의 유사율을 기준으로 하여 신체 부위를 이용한 포즈를 인식한다.
그러나, 종래 기술에 의하면 신체 부위를 이용한 포즈에 대한 인식의 정확도가 만족할만한 수준에 이르지 못하였다. 특히, 사용자가 빠른 속도로 움직여서 포즈를 취하거나 변경하는 경우에는 영상 분석의 정확도가 떨어지기 때문에 신체 부위를 이용한 포즈에 대한 인식의 정확도가 함께 떨어지는 문제점이 있었다.
대한민국 등록특허공보 10-1711736, 등록일자 2017년 02월 23일.
본 발명의 실시예에 의하면, 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 뼈대의 해부학적 특성에 기초한 연산을 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식하는 포즈 인식 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점에 따라 포즈 인식 장치가 수행하는 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 상기 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 단계와, 상기 일부 부위에 대한 상기 제 1 위치 정보를 3차원 뼈대 모델 - 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델 - 에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계와, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하는 단계를 포함한다.
본 발명의 다른 관점에 따라 포즈 인식 장치는, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 영상 획득부와, 상기 신체 부위에 대한 영상을 분석하여 상기 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 영상 분석부와, 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 3차원 뼈대 모델이 저장된 저장부와, 제어부를 포함하며, 상기 제어부는, 상기 일부 부위에 대한 상기 제 1 위치 정보를 상기 3차원 뼈대 모델에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하며, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식한다.
본 발명의 실시예에 의하면, 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 해부학적 특성에 기초한 연산을 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식함으로써, 신체 부위에 대한 영상을 분석한 결과만을 이용하여 신체 부위에 의한 포즈를 인식하는 종래 기술과 비교할 때에 포즈 인식의 정확도가 더 향상된다.
도 1은 본 발명의 일 실시예에 따른 포즈 인식 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 다른 예를 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 포즈 인식 장치의 블록 구성도이다.
이에 나타낸 바와 같이 일 실시예에 따른 포즈 인식 장치(100)는, 영상 획득부(110), 영상 분석부(120), 저장부(130), 제어부(140), 출력부(150)를 포함한다.
영상 획득부(110)는 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득한다. 이러한 영상 획득부(110)는 현실 세계를 촬영하는 카메라를 포함할 수 있다. 이 경우라면, 영상 획득부(110)는 카메라를 이용하여 포즈 인식 대상이 되는 신체 부위에 대한 영상을 직접 생성할 수 있다. 또는, 영상 획득부(110)는 포즈 인식 장치(100)와는 별도로 구비된 카메라로부터 정보를 입력받을 수 있는 통신 인터페이스를 포함할 수 있다. 이 경우라면, 별도의 카메라에 의해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보를 입력받아 획득할 수 있다.
영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득한다. 아울러, 영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 나머지 부위에 대한 제 1 위치 정보를 획득할 수 있다. 예를 들어, 영상 분석부(120)는 CPU(Central Processing Unit) 등과 같은 프로세서를 포함할 수 있다. 예를 들어, 영상 분석부(120)는 포즈 인식 대상이 되는 신체 부위에 대한 영상과 신체 부위에 대한 제 1 위치 정보에 관한 빅데이터를 사전에 기계학습할 수 있고, 기계학습의 결과를 기준 정보로서 획득할 수 있다. 그리고, 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출하며, 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다. 또는, 영상 분석부(120)는 출력부(150)를 통해 사용자의 신체 부위 중에서 특정 부위를 지정할 수 있는 그래픽 사용자 인터페이스를 출력하고, 영상 획득부(110)를 통해 실시간으로 입력되는 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력하여, 사용자가 상기 그래픽 사용자 인터페이스 내에 자신의 신체 부위 중에서 특정 부위를 맞추어 초기 상태를 설정할 수 있도록 한다. 여기서, 영상 분석부(120)는 초기 상태에서 획득되는 신체 부위에 대한 영상 정보를 기준 정보로서 획득하고, 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출하며, 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다.
저장부(130)에는 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 3차원 뼈대 모델이 저장된다. 그리고, 저장부(130)에는 제어부(140)에 의한 실행시에, 각종 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장될 수 있다. 아울러, 저장부(130)에는 영상 분석부(120) 및 제어부(140)에 의한 각종 처리 결과물이 저장될 수도 있다. 예를 들어, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
제어부(140)는 저장부(130)에 저장된 컴퓨터 실행가능 명령어를 실행하여 각종 프로세스를 수행할 수 있다. 이러한 제어부(140)는 영상 분석부(120)에 의해 획득된 신체 부위의 일부 부위에 대한 제 1 위치 정보를 저장부(130)에 기 저장된 3차원 뼈대 모델에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스(Inverse Kinematics)를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득한다. 그리고, 제어부(140)는 영상 분석부(120)에 의해 획득된 제 1 위치 정보와 자신이 획득한 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 이처럼, 제어부(140)는 신체 부위 중에서 (일부 부위를 제외한) 나머지 부위에 대한 제 2 위치 정보를 획득하며, 나머지 부위 중 제 1 위치 정보와 제 2 위치 정보가 서로 상이한 부위에 대해서는, 제 1 위치 정보와 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식할 수 있다. 이때, 영상 분석부(120)가 제 1 위치 정보를 획득할 때에 이용한 유사율, 즉 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율이 높을수록 유사율이 낮을 때보다 제 1 위치 정보의 보간 비율을 높게 조정하고 제 2 위치 정보의 보간 비율을 낮게 조정할 수 있다. 또는, 제어부(140)는 신체 부위의 움직임 속도를 측정(계산)한 후, 움직임 속도가 빠를수록 움직임 속도가 늦을 때보다 제 1 위치 정보의 보간 비율을 낮게 조정하고 제 2 위치 정보의 보간 비율을 높게 조정할 수 있다. 예를 들어, 제어부(140)는 CPU 등과 같은 프로세서를 포함할 수 있다.
출력부(150)는 제어부(140)에 의해 포즈 인식 결과를 출력할 수 있다. 또, 출력부(150)는 영상 분석부(120)가 신체 부위에 대한 제 1 위치 정보를 획득할 때에 필요한 상기 그래픽 사용자 인터페이스를 화면으로 출력할 수 있으며, 영상 획득부(110)에 의해 실시간으로 획득된 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력할 수 있다. 이러한 출력부(150)는 포즈 인식 장치(100)에 포함되지 않고, 별도의 장치로서 구현될 수 있기 때문에 점선으로 도시하였다. 예를 들어, 출력부(150)는 LCD(Liquid Crystal Display) 등과 같은 평판 디스플레이 소자를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예를 설명하기 위한 흐름도이다.
도 2에 나타낸 바와 같이 일 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 단계(S210)를 포함한다.
이어서, 일 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 단계(S220)를 더 포함한다.
그리고, 일 실시예에 따른 포즈 인식 방법은, 신체 부위의 일부 부위에 대한 제 1 위치 정보를 3차원 뼈대 모델(신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델)에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계(S230)를 더 포함한다.
다음으로, 일 실시예에 따른 포즈 인식 방법은, 단계 S220에서 획득된 제 1 위치 정보와 단계 S230에서 획득된 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식하는 단계(S240)를 더 포함한다.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예에 대해 더 자세히 살펴보기로 한다.
먼저, 포즈 인식 장치(100)의 영상 획득부(110)는 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득한다. 이러한 영상 획득부(110)는 카메라를 이용하여 포즈 인식 대상이 되는 신체 부위에 대한 영상을 직접 생성할 수 있다. 또는, 별도의 카메라에 의해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보를 입력받아 획득할 수도 있다(S210).
그러면, 포즈 인식 장치(100)의 영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득한다. 예를 들어, 영상 분석부(120)는 사전에 수행한 기계학습의 결과에 따라 저장부(130)에 기 저장된 기준 정보와 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 비교하여 유사율을 산출하며, 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다. 또는, 영상 분석부(120)는 출력부(150)를 통해 사용자의 신체 부위 중에서 특정 부위를 지정할 수 있는 그래픽 사용자 인터페이스를 출력하고, 영상 획득부(110)를 통해 실시간으로 입력되는 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력하여, 사용자가 상기 그래픽 사용자 인터페이스 내에 자신의 신체 부위 중에서 특정 부위를 맞추어 초기 상태를 설정할 수 있도록 한다. 여기서, 영상 분석부(120)는 초기 상태에서 획득되는 신체 부위에 대한 영상 정보를 기준 정보로서 획득하고, 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출하며, 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다(S220).
다음으로, 포즈 인식 장치(100)의 제어부(140)는 영상 분석부(120)에 의해 획득된 신체 부위의 일부 부위에 대한 제 1 위치 정보를 저장부(130)에 기 저장된 3차원 뼈대 모델에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득한다. 즉, 사용자가 포즈를 취할 때에 신체 부위의 일부 부위, 예컨대, 손목, 머리, 몸통 중심, 발 등의 제한된 부위에 대해서는 영상 분석부(120)가 영상 분석을 통해 제 1 위치 정보를 획득할 수 있으며, 나머지 신체 부위의 움직임은 제어부(140)가 인버스 키네마틱스를 통해 뼈대의 해부학적 특성을 고려한 연산을 통해 제 2 위치 정보를 획득할 수 있다(S230).
그리고, 제어부(140)는 영상 분석부(120)에 의해 획득된 제 1 위치 정보와 자신이 획득한 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다(S240).
이처럼, 본 발명의 일 실시예에 따른 포즈 인식 방법에 의하면, 포즈 인식의 대상이 되는 신체 부위 중에서 일부 부위는 영상 분석을 통해 제 1 위치 정보를 획득하며, 신체 부위 중에서 나머지 부위는 인버스 키네마틱스를 통해 제 2 위치 정보를 획득한 후, 제 1 위치 정보와 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 이러한 본 발명의 일 실시예에 따른 포즈 인식 방법과 종래 기술을 비교하여 보면, 종래에는 포즈 인식의 대상이 되는 신체 부위 전체에 대해 영상 분석을 통해 위치 정보를 획득하였으나, 본 발명의 일 실시예에 의하면 포즈 인식의 대상이 되는 신체 부위 중에서 일부 부위에 대해서만 영상 분석을 통해 위치 정보를 획득하는 차이점이 있다. 사용자가 빠른 속도로 움직여서 포즈를 취하거나 변경하는 경우에는 영상 분석의 정확도가 떨어질 수 있는데, 본 발명의 일 실시예에 의하면 종래 기술보다 영상 분석의 정확도가 떨어질 수 있는 위치 정보가 줄어들기 때문에, 그 만큼 신체 부위를 이용한 포즈에 대한 인식의 정확도가 종래 기술보다 향상된다.
도 3은 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 다른 예를 설명하기 위한 흐름도이다.
도 3에 나타낸 바와 같이 다른 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 단계(S310)를 포함한다.
이어서, 일 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 단계(S321)를 더 포함하며, 신체 부위에 대한 영상을 분석하여 신체 부위의 나머지 부위에 대한 제 1 위치 정보를 획득하는 단계(S322)를 더 포함한다.
그리고, 일 실시예에 따른 포즈 인식 방법은, 신체 부위의 일부 부위에 대한 제 1 위치 정보를 3차원 뼈대 모델(신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델)에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계(S330)를 더 포함한다.
다음으로, 일 실시예에 따른 포즈 인식 방법은, 단계 S320에서 획득된 제 1 위치 정보와 단계 S330에서 획득된 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식하는 단계(S340)를 더 포함한다. 여기서, 신체 부위의 (일부 부위를 제외한) 나머지 부위 중에서 제 1 위치 정보와 제 2 위치 정보가 서로 상이한 부위에 대해서는, 제 1 위치 정보와 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식할 수 있다. 이때, 제 1 위치 정보를 획득할 때에 이용한 유사율, 즉 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율이 높을수록 유사율이 낮을 때보다 제 1 위치 정보의 보간 비율을 높게 조정하고 제 2 위치 정보의 보간 비율을 낮게 조정할 수 있다. 또는, 신체 부위의 움직임 속도를 측정(계산)한 후, 움직임 속도가 빠를수록 움직임 속도가 늦을 때보다 제 1 위치 정보의 보간 비율을 낮게 조정하고 제 2 위치 정보의 보간 비율을 높게 조정할 수 있다.
이하, 도 1 및 도 3을 참조하여 본 발명의 다른 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예에 대해 더 자세히 살펴보기로 한다.
먼저, 포즈 인식 장치(100)의 영상 획득부(110)는 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득한다. 이러한 영상 획득부(110)는 카메라를 이용하여 포즈 인식 대상이 되는 신체 부위에 대한 영상을 직접 생성할 수 있다. 또는, 별도의 카메라에 의해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보를 입력받아 획득할 수도 있다(S310).
그러면, 포즈 인식 장치(100)의 영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득한다. 아울러, 영상 분석부(120)는 도 2를 참조하여 설명한 실시예와는 달리, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위를 제외한 나머지 부위에 대해서도 제 1 위치 정보를 획득한다. 예를 들어, 영상 분석부(120)는 사전에 수행한 기계학습의 결과에 따라 저장부(130)에 기 저장된 기준 정보와 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 비교하여 유사율을 산출하며, 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다. 또는, 영상 분석부(120)는 출력부(150)를 통해 사용자의 신체 부위 중에서 특정 부위를 지정할 수 있는 그래픽 사용자 인터페이스를 출력하고, 영상 획득부(110)를 통해 실시간으로 입력되는 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력하여, 사용자가 상기 그래픽 사용자 인터페이스 내에 자신의 신체 부위 중에서 특정 부위를 맞추어 초기 상태를 설정할 수 있도록 한다. 여기서, 영상 분석부(120)는 초기 상태에서 획득되는 신체 부위에 대한 영상 정보를 기준 정보로서 획득하고, 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출하며, 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다(S321, S322).
다음으로, 포즈 인식 장치(100)의 제어부(140)는 영상 분석부(120)에 의해 획득된 신체 부위의 일부 부위에 대한 제 1 위치 정보를 저장부(130)에 기 저장된 3차원 뼈대 모델에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득한다. 즉, 사용자가 포즈를 취할 때에 신체 부위의 일부 부위, 예컨대, 손목, 머리, 몸통 중심, 발 등의 제한된 부위에 대해서는 영상 분석부(120)가 영상 분석을 통해 제 1 위치 정보를 획득할 수 있으며, 나머지 신체 부위의 움직임은 제어부(140)가 인버스 키네마틱스를 통해 뼈대의 해부학적 특성을 고려한 연산을 통해 제 2 위치 정보를 제 1 위치 정보와 함께 획득할 수 있다(S330).
그리고, 제어부(140)는 영상 분석부(120)에 의해 획득된 제 1 위치 정보와 자신이 획득한 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 여기서, 제어부(140)는 신체 부위의 일부 부위를 제외한 나머지 부위 중 제 1 위치 정보와 제 2 위치 정보가 서로 상이하거나 기 설정된 임계값 이상 차이가 나는 부위에 대해서는, 제 1 위치 정보와 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식한다. 이때, 제어부(140)는 제 1 위치 정보와 제 2 위치 정보가 서로 상이한 경우에 중간값으로 보정하여 신체 부위에 의한 포즈를 인식할 수 있다. 또는, 제어부(140)는 영상 분석부(120)가 제 1 위치 정보를 획득할 때에 이용한 유사율, 즉 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율이 높을수록 유사율이 낮을 때보다 제 1 위치 정보의 보간 비율을 높게 조정하고 제 2 위치 정보의 보간 비율을 낮게 조정하여 신체 부위에 의한 포즈를 인식할 수 있다. 또는, 제어부(140)는 신체 부위의 움직임 속도를 측정(계산)한 후, 움직임 속도가 빠를수록 움직임 속도가 늦을 때보다 제 1 위치 정보의 보간 비율을 낮게 조정하고 제 2 위치 정보의 보간 비율을 높게 조정하여 신체 부위에 의한 포즈를 인식할 수도 있다. 예컨대, 신체 부위의 움직임 속도는 신체 부위 중에서 특정 부위 또는 각 부위에 대한 위치 정보의 변화 속도를 측정하여 신체 부위의 움직임 속도로서 인지할 수 있다. 사용자가 빠른 속도로 움직여서 포즈를 취하거나 변경하는 경우에는 영상 분석의 정확도가 떨어질 수 있는데, 본 발명의 다른 실시예에 의하면 인버스 키네마틱스를 통한 연산 값을 영상 분석을 통한 값보다 더 신뢰함으로써, 포즈에 대한 인식의 정확도를 향상시킬 수 있다(S340).
이처럼, 본 발명의 다른 실시예에 따른 포즈 인식 방법에 의하면, 포즈 인식의 대상이 되는 신체 부위의 전체에 대해 영상 분석을 통해 제 1 위치 정보를 획득하며, 신체 부위 중에서 일부 부위를 제외한 나머지 부위는 인버스 키네마틱스를 통해 제 2 위치 정보를 획득한 후, 제 1 위치 정보와 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 이러한 본 발명의 다른 실시예에 따른 포즈 인식 방법과 종래 기술을 비교하여 보면, 종래에는 포즈 인식의 대상이 되는 신체 부위 전체에 대해 영상 분석을 통해서만 위치 정보를 획득하였으나, 본 발명의 다른 실시예에 의하면 포즈 인식의 대상이 되는 신체 부위 중에서 일부 부위를 제외한 나머지 부위에 대해서는 영상 분석을 통해 획득한 제 1 위치 정보와 인버스 키네마틱스를 통해 획득된 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식한다. 따라서, 본 발명의 다른 실시예에 의하면 종래 기술보다 신체 부위를 이용한 포즈에 대한 인식의 정확도가 향상된다.
지금까지 설명한 바와 같이, 본 발명의 일 실시예 및 다른 실시예에 따르면 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 인버스 키네마틱스를 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식함으로써, 신체 부위에 대한 영상을 분석한 결과만을 이용하여 신체 부위에 의한 포즈를 인식하는 종래 기술과 비교할 때에 포즈 인식의 정확도가 더 향상된다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면, 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 인버스 키네마틱스를 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식함으로써, 신체 부위에 대한 영상을 분석한 결과만을 이용하여 신체 부위에 의한 포즈를 인식하는 종래 기술과 비교할 때에 포즈 인식의 정확도가 더 향상된다.
이러한 포즈 인식 기술은 HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), 및 HMI(Human-Machine Interaction) 분야 등과 같은 기술분야에 이용할 수 있다.
100 : 포즈 인식 장치
110 : 영상 획득부 120 : 영상 분석부
130 : 저장부 140 : 제어부
150 : 출력부

Claims (6)

  1. 포즈 인식 장치가 수행하는 포즈 인식 방법으로서,
    포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 상기 신체 부위 중에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 단계와,
    상기 일부 부위에 대한 상기 제 1 위치 정보를 3차원 뼈대 모델 - 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델 - 에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계와,
    상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하되, 상기 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식하는 단계를 포함하는
    포즈 인식 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 위치 정보를 획득하는 단계는, 상기 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율을 기준으로 하여 상기 제 1 위치 정보를 획득하며,
    상기 신체 부위에 의한 포즈를 인식하는 단계에서는, 상기 유사율이 높을수록 상기 유사율이 낮을 때보다 상기 제 1 위치 정보의 보간 비율을 높게 조정하고 상기 제 2 위치 정보의 보간 비율을 낮게 조정하는
    포즈 인식 방법.
  4. 제 1 항에 있어서,
    상기 신체 부위에 의한 포즈를 인식하는 단계에서는, 상기 신체 부위의 움직임 속도를 측정한 후, 상기 움직임 속도가 빠를수록 상기 움직임 속도가 늦을 때보다 상기 제 1 위치 정보의 보간 비율을 낮게 조정하고 상기 제 2 위치 정보의 보간 비율을 높게 조정하는
    포즈 인식 방법.
  5. 제 1 항, 제 3 항 또는 제 4 항 중 어느 한 항에 기재된 포즈 인식 방법을 프로세서가 수행하도록 하기 위하여
    컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  6. 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 영상 획득부와,
    상기 신체 부위에 대한 영상을 분석하여 상기 신체 부위에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 영상 분석부와,
    신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 3차원 뼈대 모델이 저장된 저장부와,
    제어부를 포함하며,
    상기 제어부는, 상기 일부 부위에 대한 상기 제 1 위치 정보를 상기 3차원 뼈대 모델에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 나머지 부위에 대한 제 2 위치 정보를 획득하며, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하되, 상기 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식하는
    포즈 인식 장치.
KR1020170143716A 2017-10-31 2017-10-31 포즈 인식 방법 및 장치 KR102147930B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170143716A KR102147930B1 (ko) 2017-10-31 2017-10-31 포즈 인식 방법 및 장치
CN201880071142.3A CN111316283B (zh) 2017-10-31 2018-10-31 姿势识别方法及装置
US16/760,428 US11205066B2 (en) 2017-10-31 2018-10-31 Pose recognition method and device
PCT/KR2018/013109 WO2019088697A1 (ko) 2017-10-31 2018-10-31 포즈 인식 방법 및 장치
EP18874348.8A EP3696715A4 (en) 2017-10-31 2018-10-31 APPLICATION RECOGNITION PROCESS AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143716A KR102147930B1 (ko) 2017-10-31 2017-10-31 포즈 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190048614A KR20190048614A (ko) 2019-05-09
KR102147930B1 true KR102147930B1 (ko) 2020-08-25

Family

ID=66332405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143716A KR102147930B1 (ko) 2017-10-31 2017-10-31 포즈 인식 방법 및 장치

Country Status (5)

Country Link
US (1) US11205066B2 (ko)
EP (1) EP3696715A4 (ko)
KR (1) KR102147930B1 (ko)
CN (1) CN111316283B (ko)
WO (1) WO2019088697A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063999A (ko) * 2019-11-25 2021-06-02 뉴턴1665 주식회사 신체상태 모니터링 서비스 제공방법.
JP2022006708A (ja) * 2020-06-24 2022-01-13 オムロン株式会社 動作認識システム、方法及びプログラム
KR102526091B1 (ko) * 2022-11-21 2023-04-26 주식회사 드랩 제품 사용 이미지 생성 시스템 및 제품 사용 이미지 생성 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156154B1 (ko) 2011-03-29 2012-06-18 전남대학교산학협력단 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
KR101662022B1 (ko) 2015-08-12 2016-10-10 연세대학교 산학협력단 제스쳐를 이용한 디바이스 제어 장치 및 그 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
CN103155003B (zh) * 2010-10-08 2016-09-28 松下电器产业株式会社 姿势估计装置及姿势估计方法
KR101609861B1 (ko) * 2010-11-16 2016-04-20 주식회사 케이티 사용자 동작에 기초한 입력 제어 시스템 및 방법
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
KR101908284B1 (ko) * 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
KR101907077B1 (ko) * 2012-03-06 2018-10-11 삼성전자주식회사 자세 인식 방법 및 장치
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
WO2014112635A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置
CN104063677B (zh) * 2013-03-19 2019-04-30 北京三星通信技术研究有限公司 用于估计人体姿态的设备和方法
JP6433149B2 (ja) * 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
DE102013017425A1 (de) * 2013-10-19 2015-05-07 Drägerwerk AG & Co. KGaA Verfahren für die Erkennung von Gesten eines menschlichen Körpers
KR102026382B1 (ko) * 2014-03-31 2019-09-30 한국전자통신연구원 모션 추정 시스템 및 방법
JP2016096889A (ja) * 2014-11-19 2016-05-30 株式会社東芝 画像解析装置、画像解析方法、およびプログラム
KR101711736B1 (ko) 2015-05-26 2017-03-02 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
CN105930767B (zh) * 2016-04-06 2019-05-17 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106022213B (zh) * 2016-05-04 2019-06-07 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106326643B (zh) * 2016-08-16 2020-01-14 完美鲲鹏(北京)动漫科技有限公司 一种应用于类人形骨架的反向动力学解算方法及装置
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156154B1 (ko) 2011-03-29 2012-06-18 전남대학교산학협력단 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
KR101662022B1 (ko) 2015-08-12 2016-10-10 연세대학교 산학협력단 제스쳐를 이용한 디바이스 제어 장치 및 그 방법

Also Published As

Publication number Publication date
EP3696715A4 (en) 2021-07-07
US11205066B2 (en) 2021-12-21
US20200342218A1 (en) 2020-10-29
KR20190048614A (ko) 2019-05-09
CN111316283A (zh) 2020-06-19
CN111316283B (zh) 2023-10-17
WO2019088697A1 (ko) 2019-05-09
EP3696715A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
US10372228B2 (en) Method and system for 3D hand skeleton tracking
CN106846403B (zh) 一种三维空间中手部定位的方法、装置及智能设备
CN107025629B (zh) 一种图像处理方法及移动终端
KR102123061B1 (ko) 사용자의 인터랙션을 기반으로 영상 내의 윤곽선을 분할하는 장치 및 방법
US20180204052A1 (en) A method and apparatus for human face image processing
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR102147930B1 (ko) 포즈 인식 방법 및 장치
US11004221B2 (en) Depth recovery methods and apparatuses for monocular image, and computer devices
CN104268591A (zh) 一种面部关键点检测方法及装置
KR20140009013A (ko) 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2017151916A5 (ko)
US10558850B2 (en) Body information analysis apparatus and method of simulating face shape by using same
KR101794399B1 (ko) 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템
CN108027647B (zh) 用于与虚拟对象交互的方法和设备
WO2017113674A1 (zh) 基于智能设备实现体感控制的方法、系统以及智能设备
JP2017033556A (ja) 画像処理方法及び電子機器
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
CN105302310B (zh) 一种手势识别装置、系统及方法
US10845888B2 (en) Techniques for integrating different forms of input with different forms of output when interacting with an application
WO2017083422A1 (en) Sensor system for collecting gestural data in two-dimensional animation
KR101717490B1 (ko) 모션을 활용한 퍼포먼스 구현 시스템 및 방법
KR20200080577A (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant