KR101995126B1 - 동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치 - Google Patents

동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR101995126B1
KR101995126B1 KR1020170133851A KR20170133851A KR101995126B1 KR 101995126 B1 KR101995126 B1 KR 101995126B1 KR 1020170133851 A KR1020170133851 A KR 1020170133851A KR 20170133851 A KR20170133851 A KR 20170133851A KR 101995126 B1 KR101995126 B1 KR 101995126B1
Authority
KR
South Korea
Prior art keywords
pose
landmark
descriptor
regression
human
Prior art date
Application number
KR1020170133851A
Other languages
English (en)
Other versions
KR20190042197A (ko
Inventor
이성희
장덕경
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170133851A priority Critical patent/KR101995126B1/ko
Publication of KR20190042197A publication Critical patent/KR20190042197A/ko
Application granted granted Critical
Publication of KR101995126B1 publication Critical patent/KR101995126B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/481—
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 회귀 분석 기반 랜드마크 검출 방법은 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 트레이닝을 통해 포즈에 독립적인 포즈 불변 설명자(pose invariant descriptor)와 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 단계; 상기 생성된 포즈 불변 설명자와 상기 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 단계; 및 상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 단계를 포함한다.

Description

동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치 {Regression-Based Landmark Detection Method on Dynamic Human Models and Apparatus Therefor}
본 발명은 랜드마크 검출 기술에 관한 것으로서, 보다 구체적으로 동적 인간 모델에 대한 회귀 분석 기반으로 랜드마크를 검출할 수 있는 랜드마크 검출 방법 및 그 장치에 관한 것이다.
인간의 인체 형상을 분석하고 이해하는 것은 등록, 목표 재지정 및 형상 검색과 같은 많은 응용 프로그램과 함께 컴퓨터 그래픽 연구의 중요한 문제이다. 인체의 해부학적 랜드마크는 인체 측정 정보를 얻기 위한 필수 기능이지만, 사람의 형상과 포즈가 다양하기 때문에 해부학적 랜드마크를 검출하는 것은 여전히 어려운 문제로 남아 있다.
종래 일 실시예에 따른 랜드마크 검출 방법은 메쉬 등록 방법으로, 주석이 달린(annotated) 랜드마크를 가진 템플릿(template) 신체 모델과 특정 인체 형상 사이의 일치성을 찾는 것이다. 이러한 등록 기반 방법은 템플릿과 유사한 인체 형상에는 효과적이지만, 다른 포즈를 가진 인간 형상의 전체 범위로 일반화하는 데에는 제한된 기능을 가진다.
종래 다른 일 실시예에 따른 랜드마크 검출 방법은 다양한 인체 형상과 랜드마크 위치 사이의 관계를 학습하고 예측하는 것이다. 여기서, 랜드마크를 검출하기 위한 좋은 방법은 입력 데이터에 대한 정렬과 같은 복잡한 사전 프로세싱이 필요하지 않아야 한다.
형상 분석에서의 중요성 때문에, 연구자들은 객체 형상의 로컬(또는 부분) 및 글로벌(또는 전체) 특징을 설명하는 다양한 방법을 개발하였다. 작은 이웃(small neighbor)이나 포인트의 기하 정보를 나타내는 로컬 설명자의 예로는 스핀 이미지, 히트 커널 표식 및 웨이브 커널 표식이 있다. 글로벌 설명자는 형상의 전체적인 특징을 나타낸다. 그 중에서도, 로컬 설명자들을 결합하여 생성된 글로벌 설명자는 일반적으로 형상 검색 문제에 사용되어 왔다. 대표적인 글로벌 설명자에는 ShapeDNA, 영역 투영 변환의 히스토그램, 국부적 통계 기능의 집계 등이 존재한다. 글로벌 설명자를 생성하는 가장 일반적인 방법은 로컬 형상 특징의 발생 빈도의 관점에서 형상의 글로벌 특징을 나타내는 BoF(bag of feature) 방법을 사용하는 것이며, 이 방법은 텍스트 검색에서 bag-of-words 방법과 유사하다.
인체 측정학적 랜드마크를 예측하는 문제는 점점 주목 받고 있다. Giachetti 등은 랜드마크 예측을 위한 최첨단 기술들을 보고하였으며, 보고된 기술들 중 표면 대 표면(surface-to-surface) 등록 방법(CR03; CHUI H., RANGARAJAN A.: A new point matching algorithm for non-rigid registration. Computer Vision and Image Understanding 89, 2 (2003), 114-141. 1, 2)와 그래픽 모델 방법(ASM06; AZOUZ Z. B., SHU C., MANTEL A.: Automatic locating of anthropometric landmarks on 3d human models. In 3D Data Processing, Visualization, and Transmission, Third International Symposium on(2006), IEEE, pp. 750-757. 2, 5)은 다른 비교 기술보다 우수한 성능을 보였다.
표면 대 표면(surface-to-surface) 등록 방법은 템플릿 메쉬에서 입력 메쉬로의 non-rigid 공간 매핑을 통해 랜드마크 포인트를 찾는다. ICP 방법은 등록을 위해 사용되지만, 일반적으로 이러한 순수한 기하학적 메쉬 등록 방법은 등록된 메쉬의 인간 유사성을 보장하지 않으며 또한, 반복적인 정렬 단계를 필요로 한다. 그래픽 모델 방법은 Markov 네트워크를 사용하여 랜드마크의 구조를 나타낸다. 이 방법은 비교적 높은 계산 시간으로 균일한 포즈(A-포즈)의 데이터베이스를 이용하여 트레이닝(training)하면 높은 정확도를 나타낸다. 두 방법 모두 평균 데이터 예를 들어, 템플릿 메쉬와 입력 데이터 사이의 대응을 찾는 방식을 이용한다.
따라서, 입력 데이터가 평균 데이터와 상이하게 되면 정확도가 감소한다. 더욱이, 이 방법들은 non-rigid ICP 방법의 한계 또는 포즈 변형 로컬 특징의 사용으로 인해 다양한 포즈에는 적합하지 않다.
스펙트럼 분석에 기반한 방법은 포즈 변화와 무관하지만, 그 정확도는 아직 경쟁력이 없다.
KCCA(Kernel Canonical Correlation Analysis)는 두 가지 다차원 변수 간의 관계를 찾는 방법으로, 컴퓨터 그래픽에서 KCCA는 표정 인식 및 얼굴 리-타겟팅(re-targeting)에 사용되었다. 예를 들어, 종래의 한 방법은 KCCA를 사용하여 적은 수의 제어 포인트(control points)로 많은 로컬 영역의 변형을 동시에 제어하였다.
본 발명은 통계학적 회귀모델을 통해 사람의 체형(body shape)과 해부학적 중요 랜드마크 위치와의 관계를 알아내는 새로운 방법을 제시한다.
본 발명의 실시예들은, 동적 인간 모델에 대한 회귀 분석 기반으로 랜드마크를 검출할 수 있는 랜드마크 검출 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 회귀 분석 기반 랜드마크 검출 방법은 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 트레이닝을 통해 포즈에 독립적인 포즈 불변 설명자(pose invariant descriptor)와 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 단계; 상기 생성된 포즈 불변 설명자와 상기 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 단계; 및 상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 단계를 포함한다.
상기 생성하는 단계는 상기 랜드마크들 각각의 로컬 영역에 대한 로컬 설명자를 정의하고, 상기 정의된 로컬 설명자를 이용하여 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자를 정의하며, 상기 정의된 글로벌 형상 설명자를 이용하여 특정 랜드마크와 관련된 인체 형상의 일부분을 표현하는 상기 포즈 불변 설명자를 생성할 수 있다.
상기 생성하는 단계는 BoF(bag of features) 방법에서 제공하는 기하학적 요소들 중 상기 랜드마크들 각각과 관련된 요소만을 모으고, 상기 모아진 요소만을 이용하여 상기 포즈 불변 설명자를 생성할 수 있다.
상기 생성하는 단계는 상기 동적 포즈에 독립적인 랜드마크의 위치를 나타내는 특징벡터를 사용하여 상기 포즈 불변 좌표를 생성할 수 있다.
상기 생성하는 단계는 상기 특징벡터와 측지선 거리를 이용하여 상기 독립적인 랜드마크 간의 공간적 관계를 나타내며, 상기 공간적 관계를 이용하여 상기 포즈 불변 좌표를 생성할 수 있다.
상기 획득하는 단계는 상기 포즈 불변 설명자, 상기 포즈 불변 좌표 및 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자 사이의 회귀 분석 모델을 학습하고, 상기 학습된 회귀 분석 모델을 이용하여 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득할 수 있다.
상기 획득하는 단계는 커널 정합 상관 분석(KCCA) 기법을 이용하여 상기 회귀 분석 모델을 학습할 수 있다.
상기 획득하는 단계는 상기 포즈 불변 설명자와 상기 독립적인 랜드마크의 위치 간에 대한 커널 정합 상관 분석(KCCA)을 수행하고, 상기 독립적인 랜드마크 간의 공간적 관계와 상기 글로벌 형상 설명자 간에 대한 커널 정합 상관 분석을 수행하며, 상기 수행된 커널 정합 상관 분석 결과에 대한 회귀 분석을 통해 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득할 수 있다.
본 발명의 다른 일 실시예에 따른 회귀 분석 기반 랜드마크 검출 방법은 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 트레이닝을 통해 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 단계; 상기 생성된 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 단계; 및 상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 단계를 포함한다.
본 발명의 일 실시예에 따른 회귀 분석 기반 랜드마크 검출 장치는 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 학습을 통해 포즈에 독립적인 포즈 불변 설명자(pose invariant descriptor)와 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 전처리부; 상기 생성된 포즈 불변 설명자와 상기 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 분석부; 및 상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 검출부를 포함한다.
상기 전처리부는 상기 랜드마크들 각각의 로컬 영역에 대한 로컬 설명자를 정의하고, 상기 정의된 로컬 설명자를 이용하여 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자를 정의하며, 상기 정의된 글로벌 형상 설명자를 이용하여 특정 랜드마크와 관련된 인체 형상의 일부분을 표현하는 상기 포즈 불변 설명자를 생성할 수 있다.
상기 전처리부는 BoF(bag of features) 방법에서 제공하는 기하학적 요소들 중 상기 랜드마크들 각각과 관련된 요소만을 모으고, 상기 모아진 요소만을 이용하여 상기 포즈 불변 설명자를 생성할 수 있다.
상기 전처리부는 상기 동적 포즈에 독립적인 랜드마크의 위치를 나타내는 특징벡터를 사용하여 상기 포즈 불변 좌표를 생성할 수 있다.
상기 전처리부는 상기 특징벡터와 측지선 거리를 이용하여 상기 독립적인 랜드마크 간의 공간적 관계를 나타내며, 상기 공간적 관계를 이용하여 상기 포즈 불변 좌표를 생성할 수 있다.
상기 분석부는 상기 포즈 불변 설명자, 상기 포즈 불변 좌표 및 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자 사이의 회귀 분석 모델을 학습하고, 상기 학습된 회귀 분석 모델을 이용하여 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득할 수 있다.
상기 분석부는 커널 정합 상관 분석(KCCA) 기법을 이용하여 상기 회귀 분석 모델을 학습할 수 있다.
상기 분석부는 상기 포즈 불변 설명자와 상기 독립적인 랜드마크의 위치 간에 대한 커널 정합 상관 분석(KCCA)을 수행하고, 상기 독립적인 랜드마크 간의 공간적 관계와 상기 글로벌 형상 설명자 간에 대한 커널 정합 상관 분석을 수행하며, 상기 수행된 커널 정합 상관 분석 결과에 대한 회귀 분석을 통해 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득할 수 있다.
본 발명의 다른 일 실시예에 따른 회귀 분석 기반 랜드마크 검출 장치는 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 트레이닝을 통해 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 전처리부; 상기 생성된 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 분석부; 및 상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 검출부를 포함한다.
본 발명의 실시예들에 따르면, 인간의 인체 형상과 랜드마크 사이의 관계를 학습하는 통계적 회귀 분석 모델을 훈련함으로써 동적 포즈를 가지는 인간 모델의 해부학적 랜드마크를 검출할 수 있다.
본 발명의 실시예들에 따르면, 인간 형상 및 포즈에 대해 넓은 범위를 가지는 데이터 세트로 학습한 경우, 회귀 분석 기반 방법은 등록 기반 방법보다 더 높은 정확도를 달성할 수 있으며 특히, 커널 정합 상관 분석(Kernel Canonical Correlation Analysis, KCCA) 방법이 인체 형상과 랜드마크 사이의 상관 관계를 성공적으로 모델링 할 수 있다.
본 발명의 실시예들에 따르면, 수집된 3D 사람 이미지를 학습하여 다양한 포즈의 새로운 체형의 사람이 주어지면 오차범위 이내에서 정확한 해부학적 측정을 할 수 있으며, 이러한 사람의 해부학적 중요 위치 추정은 여러 분야에 적용할 수 있다. 예를 들어, 컴퓨터 애니메이션이나 시뮬레이션 상에서 사람 캐릭터의 해부학적 분석은 필수적인 요소이며 뿐만 아니라 3D 이미지를 통한 의학적 분석 툴로써도 사용될 수 있다.
이러한 본 발명은 임의의 인체에 대한 해부학적 특징점을 자동으로 검출하는 기술로서, 가상 의복 피팅, 아바타 생성 등 디지털 엔터테인먼트용 어플리케이션 및 영상 의료 분야의 소프트웨어에 적용할 수 있다.
디지털미디어 상에서 사람 캐릭터의 움직임을 자연스럽게 만들기 위해서는 조인트 위치 추정이 필수적이며, 본 발명의 해부학적 특징점 추정 기술은 캐릭터들의 조인트들을 오차범위 안에서 정확하게 찾아줄 수 있다.
그리고 그래픽스 상에서 캐릭터끼리의 등록과정은 캐릭터 간의 기하학적 구조를 파악할 수 있는 중요한 과정인데, 본 발명은 캐릭터 간 대응점을 찾아 이러한 등록과정의 시간을 대폭 줄여줄 수 있다.
또한, 본 발명은 통계적 모델을 구축하여 다양한 체형의 사람 캐릭터 모델들을 쉽게 생성할 수 있고 캐릭터 모션 리-타게팅에도 사용될 수 있다.
또한, 본 발명은 증강현실(AR)/가상현실(VR) 공간에서 사용자의 중요 특징점을 동시로 찾아주기 때문에 사용자간의 모션을 생성하는데 도움을 줄 수 있으며, 가상 아바타 생성 그리고 아바타의 의복을 피팅하는 기술에도 사용될 수 있다.
도 1은 주석된 랜드마크가 포함된 데이터 세트에서 동적 포즈에 대한 인가 모델들에 대한 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 랜드마크 검출 장치에 대한 구성을 나타낸 것이다.
도 3은 랜드마크 i에 대한 색으로 각 꼭지점 xj에 대한
Figure 112017101437974-pat00001
를 시각화한 일 예시도를 나타낸 것이다.
도 4는 160명의 인간 피실험자의 랜드마크 중 p의 처음 세 좌표를 보여주는 일 예시도를 나타낸 것이다.
도 5는 랜드마크 사이의 측지선 거리와 각 꼭지점
Figure 112017101437974-pat00002
에 대한
Figure 112017101437974-pat00003
의 처음 세 차원 값을 나타낸 것이다.
도 6은 본 발명에 따른 장치에 의해 검출된 랜드마크에 대한 일 예시도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 랜드마크 검출 방법에 대한 동작 흐름도를 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
디지털 상에서 사람의 해부학적 측정은 매우 중요하다. 해부학적 중요 랜드마크들 예를 들어, 조인트 위치 등은 사람의 체형을 식별하고 정의하는데 필수불가결한 요소로 사용된다. 하지만 이 랜드마크들은 사람의 체형에 따라 그리고 취해지는 포즈에 따라 매우 큰 위치변동이 일어나게 된다. 이로 인해 해부학적 랜드마크들을 탐지하는 일은 전문성이 필요로 되고 여전히 도전적인 과제로 여겨진다.
본 발명의 실시예들은, 통계학적 회귀모델을 통해 사람의 체형(body shape)과 해부학적 중요 랜드마크 위치와의 관계를 알아내는 랜드마크 검출 기법을 제공하는 것을 그 요지로 한다.
여기서, 본 발명은 디지털 상에서 새로운 포즈와 체형을 가진 인간 모델이 주어지면, 입력된 인간 모델에서 랜드마크를 자동적으로 검출할 수 있다.
이러한 본 발명은 두 가지의 중요한 개념을 포함한다.
첫째, 포즈에 영향을 받지 않는 랜드마크 좌표를 정의한다. 이를 위해 포즈에 영향을 받지 않는 특징벡터를 사용하여 랜드마크의 위치를 표시하고, 특징벡터와 측지선 거리를 이용하여 랜드마크 간의 공간적 관계를 나타낸다.
여기서, 본 발명은 포즈 불변의 로컬 형상 설명자(descriptor)와 그들의 공간적 관계를 이용하여 로컬 및 글로벌 형상 특징을 나타내는 랜드마크의 포즈 불변 좌표를 정의 또는 생성할 수 있다. 이 때, 본 발명은 포즈 불변의 로컬 설명자 공간에 특징 벡터를 갖는 랜드마크의 위치를 표현함으로써 랜드마크의 포즈 불변 좌표를 제공할 수 있다.
또한, 꼭지점(vertices)에서 로컬 형상 설명자 공간으로의 매핑은 비-주입형(예를 들어, 왼쪽 및 오른쪽 Stylions은 동일한 특징 벡터를 가짐)이기 때문에 랜드마크 사이의 공간 관계 정보로 이 표현을 확대하며, 이 관계 표현은 자세 불변 방식으로 설명될 수 있다.
둘째, 정확성을 높이기 위해 신체 부위별 그리고 신체 전체에 대한 두 가지 단계의 회귀모델을 생성한다. 첫 번째 단계 회귀모델은, 랜드마크의 로컬 특징과 신체부위별 모양(shape of body parts) 간의 연결관계를 나타낸다. 즉, 신체 부위의 레벨 회귀 분석기는 랜드마크의 로컬 특징 및 랜드마크와 관련된 신체 부분의 형상 사이의 연결을 모델링 한다. 이러한 회귀모델을 이용함으로써 각 랜드마크의 위치와 관계없는 신체 부위들은 배제할 수 있게 된다. 예를 들어, 랜드마크 중 하나인 팔꿈치 조인트는 팔의 모양에 영향을 받지만 다리나 머리 등의 다른 부위의 영향을 받지 않는다. 이러한 랜드마크 별 신체 부위를 식별하기 위해, BoF(bag of feature) 방법 예를 들어, S-BoF(Supervised Bag of Features) 방법을 통해 얻은 기하학적 형상 사전을 사용할 수 있다. 신체 부위의 세분화는 랜드마크와 관련된 유일한 신체 부위와 관련하여 저레벨 회귀 분석기를 트레이닝시킴으로써 다른 관련 없는 신체 부위의 영향을 차단할 수 있다.
두 번째 단계 회귀모델은, 신체 전체 모양과 랜드마크 상의 공간적 관계 간의 연결관계를 나타낸다. 이는 사람 몸의 대칭으로 인한 잘못된 랜드마크 위치를 탐지하는 것을 방지하기 위해 사용될 수 있다. 즉, 글로벌 수준의 회귀 분석기는 전체 형상 특징을 랜드마크 사이의 공간적 관계와 연관시킴으로써 로컬 특징의 비-주입형(non-injectivity)을 극복하고 거의 자동으로 랜드마크를 찾도록 해준다.
본 발명은 사람 몸의 왼쪽 오른쪽만 사용자 입력을 통해 선택되면, 입력된 인간 모델 또는 인체 모델에 대해 해부학적 중요 랜드마크들을 자동적으로 검출한다. 뿐만 아니라 어떠한 사전 조정과정도 필요로 하지 않으면서도 인간의 형상과 포즈의 큰 변화를 포함하는 테스트 데이터 세트를 이용하기 기존 방법들에 비해 예측 정확도와 비슷하거나 더 나은 예측 정확도를 보여준다.
이러한 본 발명은 동적 인간 모델에서 랜드마크를 찾는 회귀 분석의 프레임워크로, 본 발명의 프레임워크는 다음과 같은 이점을 제공한다.
첫째, KCCA를 이용한 회귀 분석을 통해 템플릿 모델에 의해 등록될 수 있는 인체 형상에 대한 랜드마크를 검색 할 수 있을 뿐만 아니라, 다양한 인체 형상에 대한 랜드마크를 찾을 수 있다.
둘째, 글로벌 특징 및 신체 부위 레벨 형상 특징을 결합하는 형상 설명자는 등척성(isometric) 변형에 불변하므로 다양한 포즈 변경을 가능하게 해준다. 포즈 불변성은 등록, 스케일 정규화 및 원점 조정과 같은 정렬을 불필요하게 만든다.
마지막으로, 짧은 계산 시간에도 불구하고 랜드마크 예측의 정확성은 우수하며 이러한 정확성은 기존의 다른 방법과 비교하여 동등하거나 더 우수한 수준이다.
상술한 본 발명에 대해 구체적으로 설명하면 다음과 같다.
데이터 세트
본 발명은 슬림한 체형에서 비만 체형까지 40명의 인간 피실험자(남성 20 명, 여성 20 명)의 400개의 인간 모델로 구성된 데이터 세트를 사용하며, 각 모델은 10가지 동적 자세로 구성된다. 본 발명은 랜드마크 인식을 위해, 도 1에 도시된 바와 같이 신체 오른쪽에 7개의 랜드마크(Stylion, Radiale, Acromiale, Iliocristale, Trochanterion, Patella 및 Malleolus)를 주석으로 추가할 수 있으며, 이러한 광범위한 인체 형상과 포즈의 데이터는 넓은 범위의 인간 대상에 일반화된 랜드마크 검출기를 훈련시키는데 큰 도움이 될 수 있다.
본 발명은 통제된(supervised) 학습을 통해 형상 설명자를 정의하기 위하여, 전처리 과정에서 LBBC14 방법(LITMAN R., BRONSTEIN A., BRONSTEIN M., CASTELLANI U.: Supervised learning of bag-of-features shape descriptors using sparse coding. In Computer Graphics Forum (2014), vol. 33, Wiley Online Library, pp. 127-136. 2, 3, 7)을 사용할 수 있다.
여기서, 본 발명은 포즈 불변의 로컬 특징을 이용하여 인체 형상과 랜드마크 위치 사이의 상관 관계를 모델링 하는 회귀 분석 기반 방법을 이용하기 때문에 형상과 포즈의 변화에 더욱 적합할 수 있다.
본 발명에 따른 장치와 방법에 대해 상세히 설명하면 다음과 같다.
본 발명은 다양한 형상과 포즈를 가진 인간 모델의 랜드마크를 검출하는 것으로, 이를 위해 인체 형상과 랜드마크 위치 사이의 연결이 트레이닝 데이터 세트에서 학습된다.
도 2는 본 발명의 일 실시예에 따른 랜드마크 검출 장치에 대한 구성을 나타낸 것으로, 도 2에 도시된 바와 같이 전처리부(210), 분석부(220) 및 검출부(230)를 포함한다.
전처리부(210)는 미리 설정된 다양한 동적 포즈의 인간 모델에 대한 데이터 세트에 대한 트레이닝 또는 학습을 통해 특정 랜드마크와 관련된 인체 형상의 일부분을 표현하는 분할된 신체 부위 설명자를 정의하고, 동적 포즈에 관계없이 랜드마크 위치를 정의할 수 있는 랜드마크의 포즈 불변 좌표를 생성한다.
분석부(220)는 트레이닝 인간 데이터 세트에 대한 전처리 과정에서 생성된 신체 부위 설명자와 랜드마크의 좌표 간 연결을 찾고, 트레이닝된 예측자(predictor)를 사용하여 입력된 인체 형상에 대응하는 랜드마크의 좌표를 회귀한다.
검출부(230)는 랜드마크의 회귀 좌표를 사용하여 입력된 인체 형상에서 랜드마크가 실제로 위치하는 곳을 검출한다.
각 구성에 대해 상세히 설명하면 다음과 같다.
1. 전처리부
트레이닝 인간 모델의 모든 랜드마크에는 손목(Stylion)에서 발목(Malleolus)까지 가까운 순서로 {1, ..., 7}이라는 레이블이 붙어 있다. 본 발명은 트레이닝 모델을 정렬 할 필요가 없으며, 동일한 대상의 다양한 포즈 모델이 등척성 변형에 의해 생성된다고 가정한다. 이 가정은 랜드마크 사이의 관계를 정의할 때 기하학적 거리 계산에 필요하다. 랜드마크의 위치는 인체의 형상에만 의존한다. 포즈와 같은 다른 요소가 랜드마크 검출에 영향을 주지 않아야 한다. 이를 위해, 인체 형상에 대한 포즈 불변 설명자와 랜드마크에 대한 포즈 불변 좌표를 정의한다.
1.1 포즈 불변 인체 형상 설명자
랜드마크의 기하학적 특징은 다른 먼 영역보다 로컬 영역과 더 강하게 관련되어 있기 때문에 랜드마크를 포함하는 로컬 영역에 적합한 설명자를 정의하는 것은 랜드마크 검출에 중요하다. 예컨대, 손목의 랜드마크는 팔꿈치보다 손목의 형상에 더 의존적일 수 있다.
따라서 본 발명은 신체 부위의 기하학적 특징을 특징화하는 분리된 신체 부위 설명자를 정의한다. 이를 위해 전처리부는 BoF 방법을 사용하여 글로벌 형상 설명자의 특징을 사용한다. BoF 방법에서 얻은 기하학적 사전의 각 원자는 일부 신체 부분을 나타내므로 랜드마크가 속한 신체 부위와 관련된 원자들만을 수집함으로써, 로컬 신체 부위 설명자를 정의 할 수 있다.
첫 번째 과정은 후술될 BoF 기반 글로벌 형상 설명자를 정의한 다음, 분리된 신체 부위 설명자를 정의하는 절차를 설명하는 것이다.
1.1.1 로컬 설명자(local descriptor)
로컬 설명자는 작은 이웃(small neighborhood)에 존재하는 포인트의 기하학적 구조를 나타낸다. 본 발명은 많은 로컬 설명자들 중에서, 물체(object) 형상의 고유한 기하학적 특징을 정의하는 데 널리 사용되는 스케일 불변 열 커널 인증(SI-HKS; scale invariant heat kernel signature)을 사용한다. 등척성 변형에 대한 불변성은 설명자를 인간의 포즈 변화와 무관하게 만든다. SI-HKS는 열 커널 인증(HKS)의 개선된 버전으로, 코탄젠트 가중치를 사용하여 m개의 꼭지점
Figure 112017101437974-pat00004
를 갖는 매니폴드(manifold) M에 대한 열 방정식을 풀 수 있으며, 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure 112017101437974-pat00005
여기서,
Figure 112017101437974-pat00006
은 Laplace-Beltrami 연산자를 의미하고, u(x, t)는 시간 t에서 매니폴드 M에 대한 꼭지점 x에서의 열 분포를 의미할 수 있다.
초기 조건으로 시간 t = 0에서 일부 열 분포
Figure 112017101437974-pat00007
(dirac-delta)가 주어지면, 상기 방정식에 대한 한 가지 솔루션이 열 커널로, 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure 112017101437974-pat00008
여기서,
Figure 112017101437974-pat00009
와
Figure 112017101437974-pat00010
는 라플라시안(Laplacian)의 고유항 분해(eigen-decomposition)에 의해 얻어진 고유 함수와 고유치를 의미할 수 있다.
열 커널은 매니폴드의 기하학적 형상에 대한 로컬 특징을 제공 할 수 있다. 예를 들어, 각 꼭지점 x에 대한 n차원 로컬 설명자는
Figure 112017101437974-pat00011
로 정의될 수 있다. 이 로컬 설명자를 푸리에 변환을 이용하여 주파수
Figure 112017101437974-pat00012
로 대체함으로써, 열 커널 인증은 일정한 크기가 될 수 있으며, 꼭지점 x에 대한 로컬 설명자는 아래 <수학식 3>과 같이 나타낼 수 있다.
[수학식 3]
Figure 112017101437974-pat00013
이 때, 인체 형상 M의 모든 m개의 꼭지점에 대한 SI-HKS는
Figure 112017101437974-pat00014
행렬로 아래 <수학식 4>와 같이 정의될 수 있다.
[수학식 4]
Figure 112017101437974-pat00015
1.1.2 글로벌 인체 형상 설명자(full body descriptor)
본 발명에서는 BoF를 글로벌 형상 설명자로 사용한다. 일반적으로, BoF는 기하학적 사전 행렬
Figure 112017101437974-pat00016
를 먼저 생성한 다음, 상기 수학식 4에 정의된 로컬 설명자
Figure 112017101437974-pat00017
을 D에 대한 코드
Figure 112017101437974-pat00018
로 표현한다. 마지막으로,
Figure 112017101437974-pat00019
차원 글로벌 형상 설명자
Figure 112017101437974-pat00020
는 코드
Figure 112017101437974-pat00021
를 풀링(pooling)하여 얻어질 수 있다.
여기서,
Figure 112017101437974-pat00022
는 풀링 텀을 의미하고, 각 포인트를
Figure 112017101437974-pat00023
와 같이 영역
Figure 112017101437974-pat00024
에 비례하여 가중치를 부여할 수 있다.
글로벌 형상 설명자의 경우, LBBC14의 방법을 사용한다. 이 방법은 이중 레벨 최적화에 의한 통제 방식 하에 아래 <수학식 5>에 나타낸 목적 함수를 이용하여 사전과 희소 코드를 학습하고, 클러스터링을 사용하여 통제 없는 방식 하에 관리되는 사전을 구성하는 표준 BoF를 향상시킬 수 있다.
[수학식 5]
Figure 112017101437974-pat00025
여기서,
Figure 112017101437974-pat00026
는 양수 쌍과 음수 쌍의 비유사성 사이에서 적어도
Figure 112017101437974-pat00027
만큼 분리하려고 하는 힌지 손실(hinge loss)를 의미하고, 코드
Figure 112017101437974-pat00028
와
Figure 112017101437974-pat00029
는 같은 대상의 일부 변형에 의해 영향을 받으며,
Figure 112017101437974-pat00030
는 다른 대상에서 유래된 것일 수 있고,
Figure 112017101437974-pat00031
는 정규화를 위한 가중 인자를 의미하며,
Figure 112017101437974-pat00032
는 false positive 및 false negative 비율 사이의 절충을 위한 제어인자를 의미할 수 있다.
상기 수학식 5는 양수 쌍과 음수 쌍의 BoF 사이에서 최적으로 분리되는 사전
Figure 112017101437974-pat00033
를 생성할 수 있으며, 각
Figure 112017101437974-pat00034
에 대한 최적 코드는 아래 <수학식 6>과 같이 나타낼 수 있다.
[수학식 6]
Figure 112017101437974-pat00035
1.1.3 랜드마크에 해당하는 분리된 신체 부위 설명자(segmented body part descriptor)
본 발명은 포즈와는 독립적으로 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자 f를 정의하고, 특정 랜드마크와 관련된 신체 부위의 형상을 표현하는 또 다른 형상 설명자를 정의한다.
BoF는 기하학적 사전
Figure 112017101437974-pat00036
을 제공하는데, 여기서 열 벡터 d i 는 신체 부위의
Figure 112017101437974-pat00037
수를 나타내는 기하학적 요소이다. 일반적으로, 신체 부위는 서로 배타적이지 않기 때문에, 여러 요소들은 랜드마크와 관련되어 있다.
본 발명은 랜드마크와 관련이 있는 요소들만을 모아 이 요소들을 이용하여 형상 설명자를 정의한다.
xi가 랜드마크 i의 꼭지점이라 가정하고, 그 코드는 아래 <수학식 7>과 같이 가정한다.
[수학식 7]
Figure 112017101437974-pat00038
여기서,
Figure 112017101437974-pat00039
는 d i 에 해당하는 p i 의 가중치를 의미할 수 있다.
따라서, 0이 아닌 값을 갖는 요소는 p i 와 관련 있는 것으로 간주 될 수 있다. 그러므로, 랜드마크 i와 연관된 요소들의 서브 집합을 식별하는 본 발명의 방법은 다음과 같다.
트레이닝 집합의 모든 메쉬에 대해, xi에 대한 p i 를 계산 한 다음
Figure 112017101437974-pat00040
를 얻음으로써, 0이 아닌 가중치를 가지는 요소들을 찾는다. 트레이닝 세트의 모든 메쉬들 중에서 요소가 일정 비율 예를 들어, 62.5% 이상으로 0이 아닌 가중치를 갖는 경우, 요소는 랜드마크와 관련이 있는 것으로 결정될 수 있다.
아래 <표 1>은 랜드마크와 관련된 원자들(atoms)의 목록을 보여준다.
Figure 112017101437974-pat00041
이 분석으로부터, 랜드마크 i에 대해
Figure 112017101437974-pat00042
라고 불리는 분할된 신체 부위 설명자(SBD; segmented body part descriptor)를 아래 <수학식 8>과 같이 정의할 수 있다.
[수학식 8]
Figure 112017101437974-pat00043
여기서,
Figure 112017101437974-pat00044
의 서브벡터
Figure 112017101437974-pat00045
는 랜드마크 i와 관련된 원자들에 대응하는 요소들만을 포함할 수 있다.
도 3은 랜드마크 i에 대한 색으로 각 꼭지점 xj에 대한
Figure 112017101437974-pat00046
를 시각화함으로써, 각 랜드마크와 관련된 요소에 해당하는 꼭지점을 보여준다.
Figure 112017101437974-pat00047
는 학습 및 랜드마크 검출에서 강력한 장점을 가지고 있고, 랜드마크와 관련된 유일한 신체 부위의 특징을 설명하기 때문에
Figure 112017101437974-pat00048
를 기반으로 하는 랜드마크에 대한 예측은 관련 없는 다른 부분의 영향을 받지 않으며, 이는 글로벌 형상 설명자를 기반으로 한 예측의 경우 일 수 있다. 랜드마크 검출과 관련하여,
Figure 112017101437974-pat00049
는 후보 꼭지점을 상당히 감소시키므로 검출을 빠르게 수행 할 수 있다.
1.2 랜드마크의 포즈 불변 좌표
변화에 관계없이 랜드마크를 검출하기 위해서는 등척성 변형, 포즈 그리고 꼭지점의 크기 및 순서에 영향을 받지 않는 적절한 좌표가 필요하다. 월드 좌표는 등척성 변형 및 포즈 변경에 영향을 받으며, 꼭지점 인덱스는 꼭지점의 크기 및 순서 변경에 영향을 받는다.
본 발명에서 랜드마크 좌표를 정의하는 것은 로컬 형상 설명자의 공간에서 랜드마크의 위치와 랜드마크 사이의 공간적 관계를 모두 사용하는 것이다. 그러나, 이러한 접근법의 한계는 좌표가 시상면(sagittal plane)에서 대칭이라는 점이다. 예를 들어, 좌우 발목은 동일한 좌표를 갖는다. 이러한 문제를 극복하기 위해, 본 발명은 랜드마크 사이의 측지선 거리(geodesic distance)를 추가로 사용할 수 있다.
1.2.1 랜드마크 위치로서의 로컬 설명자
로컬 설명자
Figure 112017101437974-pat00050
는
Figure 112017101437974-pat00051
의 한 포인트이며 좌표로서의 몇 가지 중요한 속성을 만족한다.
도 4는 160명의 인간 피실험자의 랜드마크 중 p의 처음 세 좌표를 보여주는 것으로, 도 4를 통해 알 수 있듯이 포인트가 랜드마크마다 클러스터를 형성한다는 것을 알 수 있다. 이는 로컬 설명자가 랜드마크 좌표로 사용될 경우 랜드마크를 구별 할 수 있음을 의미한다.
또한, p는 등척성 변형에 불변이므로, 포즈 변화에 독립적이다. 그러나, 꼭지점
Figure 112017101437974-pat00052
에서
Figure 112017101437974-pat00053
까지의 맵
Figure 112017101437974-pat00054
는 주입적(injective)이지 않다. 즉, 신체상의 많은 포인트들이 로컬 설명자 공간에서는 동일한 위치로 매핑 될 수 있다. 이러한 점에 대처하기 위해, 좌표에 추가적인 요소 즉, 랜드마크 사이의 공간 관계를 필요로 할 수 있다.
1.2.2 랜드마크 간 공간적 관계
인간 전체의 형상이 유사하기 때문에, 랜드마크 사이의 공간적 관계는 일관된 패턴을 나타낸다. 본 발명은 이러한 특징을 사용하여 랜드마크 위치를 검출할 수 있으며, 이를 위해 두 가지 유형의 공간 관계를 고려한다.
먼저 로컬 설명자 공간에서 랜드마크 사이의 상대적 위치를 사용할 수 있으며, 상대적 위치는 아래 <수학식 9>와 같이 나타낼 수 있다.
[수학식 9]
Figure 112017101437974-pat00055
여기서, p i 는 랜드마크 i에 해당하는 로컬 설명자를 의미할 수 있다.
p i-2 및 p i-1 과 관련된 p i 의 위치는 인접한 랜드마크가 먼 랜드마크보다 높은 상관 관계를 나타내는 것으로 가정하여 선택될 수 있다. p i 와 p 1 사이의 상대적 위치는 측지선 거리와 일치하는 것으로 간주될 수 있다. 랜드마크 1로부터 랜드마크가 증가하는 순서에 따라 랜드마크를 검출하므로 p i 를 p i-1 , p i-1 및 p 1 과 비교한다. 예를 들어 상기 수학식 9의
Figure 112017101437974-pat00056
는 랜드마크 2에서 무시될 수 있다.
p는 왼쪽과 오른쪽 사이드의 랜드마크에 대해 동일하기 때문에, 상대적 위치 V i 는 시상면 중앙에서 대칭이다. 대칭 랜드마크를 구별하기 위해, 랜드마크 사이의 측지선 거리인 추가 거리의 측정을 고려할 수 있다. 측지선 거리는 등척성 변형에 불변하므로 인간의 포즈 변화가 등척성 피부 변형을 유도하는 것으로 간주됨으로써 측지선 거리가 등척성 변형에 불변인 것은 본 발명의 목적에 부합된다. 로컬 설명자 공간에서의 상대적 거리와 유사하게, 랜드마크 i에서 i-1, i-2 및 1까지의 측지선 거리를 고려할 수 있으며, 랜드마크 i에서 i-1, i-2 및 1까지의 측지선 거리는 아래 <수학식 10>과 같이 나타낼 수 있다.
[수학식 10]
Figure 112017101437974-pat00057
여기서,
Figure 112017101437974-pat00058
는 랜드마크 i에 대응하는 형상 M의 꼭지점을 의미하고, d(a, b)는 a와 b 사이의 측지선 거리를 의미할 수 있다.
도 5는 랜드마크 사이의 측지선 거리와 각 꼭지점
Figure 112017101437974-pat00059
에 대한
Figure 112017101437974-pat00060
의 처음 세 차원 값을 나타낸 것으로, 도 5에 도시된 몸체 모양에 그려진 색은 왼쪽에서 오른쪽으로 로컬 설명자 공간의 처음 세 차원에 있는 꼭지점의 값을 의미한다. 값은 비대칭 포즈의 경우에도 좌우 대칭을 나타내고, 빨간색 마커는 랜드마크를 나타내며 검은 선은 랜드마크 사이의 측지선 거리를 나타낸 것이다.
본 발명에서 랜드마크 사이의 공간 관계를 정의하는 방법은 ASM06, WAS10(WUHRER S., AZOUZ Z. B., SHU C.: Semi-automatic prediction of landmarks on human models in varying poses. In Computer and Robot Vision (CRV), 2010 Canadian Conference on (2010), IEEE, pp. 136-142. 2, 5, 8), WSX11(WUHRER S., SHU C., XI P.: Landmark-free posture invariant human shape correspondence. The Visual Computer 27, 9 (2011), 843-852. 2, 5, 8, 9)의 방법과 유사하다.
ASM06은
Figure 112017101437974-pat00061
공간에서의 유클리드 거리의 관점에서 공간적 관계를 정의하며, 이는 강제 변환(rigid transformations)이나 포즈 변경에 불변하지 않는다. WAS10와 WSX11은 유클리드 거리와 설명자 공간의 로컬 특징들 사이의 차이 벡터를 사용한다. 두 벡터 사이의 차이가 거리의 개념을 이미 포함하기 때문에 이러한 선택은 다소 중복된다. 이러한 접근 방식과 비교할 때, 본 발명에서는 두 개의 크게 독립적인 구성 요소 즉, 로컬 설명자 공간의 차이 벡터와 측지선 거리를 사용하므로 기존 방법에 비해 더 합리적이다.
2. 분석부( 랜드마크를 찾기 위한 회귀 분석)
글로벌과 분리된 신체 부위 설명자 및 이미 정의한 포즈 불변 좌표는 랜드마크의 위치를 찾는 데 사용된다. 이를 위해, 본 발명은 글로벌과 분리된 신체 부위 설명자 및 이미 정의한 포즈 불변 좌표 사이의 회귀 분석 모델을 학습할 수 있다. 회귀 분석 모델이 학습되면 입력된 인체 형상에 대한 글로벌 및 신체 부위 형상 설명자는 랜드마크의 위치를 찾을 수 있는 적절한 랜드마크 좌표를 찾는다.
형상 설명자와 랜드마크 좌표가 모두 고차원이고 비선형이기 때문에, 커널 정합 상관 분석(KCCA) 기법을 회귀 분석 모델로 사용할 수 있다. KCCA 기반 회귀 분석에서 KCCA의 연결 파라미터를 사용하여 랜드마크 좌표 추정이 수행된다. 즉, 인간의 새로운 형상이 주어지면, 학습된 연결 파라미터를 기반으로 회귀 분석을 수행하고 그런 다음, 위치 요소 p i 와 공간 관계 요소
Figure 112017101437974-pat00062
로 구성된 랜드마크의 좌표를 얻을 수 있다.
2.1 두 단계 비선형 상관 분석
KCCA는 비선형 변수를 상위 차원의 특징 공간에 매핑하고 해당 공간에서 두 변수 간의 상관 관계를 검사한다. 본 발명은 두 가지 유형의 데이터 쌍에 대해 회귀 분석 즉, KCCA 기반 회귀 분석을 수행하는 것으로, 하나는 로컬 설명자 공간에서 SBD와 랜드마크 위치 간에 KCCA를 수행하는 것이고, 다른 하나는 랜드마크 간의 공간적 관계와 글로벌 형상 설명자 간에 KCCA를 수행하는 것이다. 전자는 로컬 특징 간의 관계를 조사하는 반면, 후자는 글로벌 특징 간의 관계를 조사한다. 본 발명에서의 KCCA에 대한 상세한 과정을 설명하면 다음과 같다.
2.1.1 위치에 대한 분석
KCCA를 수행하기 전에 커널 함수
Figure 112017101437974-pat00063
를 정의한다.
여기서,
Figure 112017101437974-pat00064
는
Figure 112017101437974-pat00065
를 더 높은 차원 공간으로 변환하는 투영 매핑을 의미할 수 있다.
본 발명은 각 랜드마크 i에 대해, 로컬 형상 설명자 공간에서 신체 부위의 형상을 나타내는
Figure 112017101437974-pat00066
와 랜드마크 위치 간의 연결을 찾는 것이다. 각 랜드마크 i에 대해 트레이닝 데이터 세트
Figure 112017101437974-pat00067
의
Figure 112017101437974-pat00068
쌍이 주어지면, 각 트레이닝 데이터에 대응하는 각 열을 가지는 데이터로서 행렬
Figure 112017101437974-pat00069
Figure 112017101437974-pat00070
와
Figure 112017101437974-pat00071
를 구성한다. 그런 다음, 커널은 아래 <수학식 11>과 같이 Q i 와 R i 에 대해 계산한다.
[수학식 11]
Figure 112017101437974-pat00072
여기서, Q i 와 R i 에 대한 투영 방향
Figure 112017101437974-pat00073
와
Figure 112017101437974-pat00074
는
Figure 112017101437974-pat00075
및
Figure 112017101437974-pat00076
를 만족할 수 있다.
따라서, 본 발명은
Figure 112017101437974-pat00077
와
Figure 112017101437974-pat00078
Figure 112017101437974-pat00079
와 같은 한 쌍의 방향을 나타낼 수 있다. 여기서,
Figure 112017101437974-pat00080
와
Figure 112017101437974-pat00081
은 가중치를 의미할 수 있다. 그러므로, 아래 <수학식 12>와 같이 커널 함수를 사용하여 CCA의 비선형 버전을 작성할 수 있다.
[수학식 12]
Figure 112017101437974-pat00082
이 때, 상관 문제에 대한 솔루션은 아래 <수학식 13>과 같을 수 있다.
[수학식 13]
Figure 112017101437974-pat00083
여기서,
Figure 112017101437974-pat00084
은
Figure 112017101437974-pat00085
상관 값에 대응하는 t 쌍의 방향을 의미할 수 있다.
Figure 112017101437974-pat00086
와
Figure 112017101437974-pat00087
가 투영 행렬
Figure 112017101437974-pat00088
와
Figure 112017101437974-pat00089
상에 커널
Figure 112017101437974-pat00090
와
Figure 112017101437974-pat00091
의 투영이라 하면,
Figure 112017101437974-pat00092
와
Figure 112017101437974-pat00093
는 아래 <수학식 14>와 같이 나타낼 수 있다.
[수학식 14]
Figure 112017101437974-pat00094
여기서,
Figure 112017101437974-pat00095
가 1과 유사하고,
Figure 112017101437974-pat00096
와
Figure 112017101437974-pat00097
가 선형적으로 상관된다고 가정하면, 선형 계수 행렬
Figure 112017101437974-pat00098
는 아래 <수학식 15>와 같이 계산될 수 있다.
[수학식 15]
Figure 112017101437974-pat00099
여기서,
Figure 112017101437974-pat00100
는 랜드마크 i에 대한 것이므로, 각 랜드마크에 대해 KCCA를 수행하고
Figure 112017101437974-pat00101
를 얻을 수 있다.
2.1.2 공간 관계 분석
글로벌(또는 전신) 형상 설명자
Figure 112017101437974-pat00102
와 공간 관계
Figure 112017101437974-pat00103
사이의 상관 관계를 분석한다. 분석은 랜드마크 좌표와 동일한 과정을 거치며, 유일한 차이점은 이러한 분석에서 KCCA가 한 번만 수행되는 반면, 이전 분석에서는 랜드마크 마다 여러 개의 KCCA가 필요하다는 것이다. 특히, 트레이닝 데이터
Figure 112017101437974-pat00104
의
Figure 112017101437974-pat00105
쌍이 주어지면, 행렬
Figure 112017101437974-pat00106
Figure 112017101437974-pat00107
와
Figure 112017101437974-pat00108
을 데이터로 구성한다.
여기서,
Figure 112017101437974-pat00109
일 수 있다.
KCCA 분석을 통해 글로벌 형상 설명자
Figure 112017101437974-pat00110
와 공간 관계 사이의 선형 계수 행렬
Figure 112017101437974-pat00111
를 얻을 수 있다.
2.2 랜드마크 특징의 회귀 분석
트레이닝 데이터에 대한 상관 분석의 결과로서, 분할된 신체 부위와 랜드마크 위치 사이의 선형 계수
Figure 112017101437974-pat00112
를 얻었으며, 글로벌 설명자와 랜드마크 간의 공간 관계 간의
Figure 112017101437974-pat00113
를 얻었다.
새로운 인간 모델
Figure 112017101437974-pat00114
가 주어지면 s+1 수의 계수를 사용한 회귀 분석을 통해 랜드마크 위치(로컬 형상 설명자 공간에서의 랜드마크 위치)와 공간 관계를 예측한다. 분석 프로세스와 마찬가지로, 회귀 분석은 두 단계로 수행된다.
아래 도시된 알고리즘 1은 새로운 입력 형상인
Figure 112017101437974-pat00115
에 대한 랜드마크 위치
Figure 112017101437974-pat00116
를 예측하는 절차를 나타낸 것으로, 각 랜드마크에 대해
Figure 112017101437974-pat00117
를 계산한 다음, 커널
Figure 112017101437974-pat00118
를
Figure 112017101437974-pat00119
로 투영하고
Figure 112017101437974-pat00120
를 곱하여
Figure 112017101437974-pat00121
의 투영을 예측한다(4번째 줄). 이러한 회귀 분석은 로컬 형상 설명자 공간이 아닌 고차원 특징 공간에서 수행될 수 있다.
Figure 112017101437974-pat00122
에서
Figure 112017101437974-pat00123
로의 역 매핑은 함수 근사를 위해 널리 사용되는 모델인 RBFN(radial basis function network)을 트레이닝함으로써 이루어질 수 있다.
Figure 112017101437974-pat00124
공간 관계에 대한 회귀 분석은
Figure 112017101437974-pat00125
와
Figure 112017101437974-pat00126
가 각각
Figure 112017101437974-pat00127
와
Figure 112017101437974-pat00128
로 대체된 것과 같은 방식으로 수행된다.
회귀 절차를 통해 로컬 형상 설명자 공간
Figure 112017101437974-pat00129
에서 랜드마크 위치를 획득하고, 후술되는 랜드마크 꼭지점을 감지하는데 사용되는 랜드마크
Figure 112017101437974-pat00130
사이의 공간 관계도 획득할 수 있다.
3. 검출부( 랜드마크 검출)
본 발명은 아래 <수학식 16>에 나타낸 최적화 문제를 해결함으로써 랜드마크 i에 대한 꼭지점
Figure 112017101437974-pat00131
를 검출한다.
[수학식 16]
Figure 112017101437974-pat00132
여기서,
Figure 112017101437974-pat00133
는 랜드마크 i에 해당하는 분할된 신체 부위의 꼭지점 집합을 의미하고,
Figure 112017101437974-pat00134
및
Figure 112017101437974-pat00135
는 임계 값을 의미하며,
Figure 112017101437974-pat00136
는 가중 유클리드 거리를 의미할 수 있는데, 가중 유클리드 거리는 아래 <수학식 17>과 같이 계산될 수 있다.
[수학식 17]
Figure 112017101437974-pat00137
여기서,
Figure 112017101437974-pat00138
와
Figure 112017101437974-pat00139
는 상기 수학식 9에 나타낸
Figure 112017101437974-pat00140
의 열 벡터를 의미할 수 있다.
더 가까운 랜드마크는 더 멀리 존재하는 랜드마크보다 더 높은 상관 관계를 가지기 때문에 가중치
Figure 112017101437974-pat00141
가 더 높게 설정된다.
검출부에서 랜드마크를 검출하는 과정은 두 단계로 구성된다.
먼저, 랜드마크 i에 해당하는 분할된 신체 부위의 꼭지점 집합
Figure 112017101437974-pat00142
를 모은 다음
Figure 112017101437974-pat00143
에서 랜드마크 꼭지점을 찾는다.
Figure 112017101437974-pat00144
를 구성하기 위한 의사 코드(pseudocode)는 아래 도시된 알고리즘 2를 통해 제공될 수 있다. 분할된 신체 부위 함수
Figure 112017101437974-pat00145
는 꼭지점 x가
Figure 112017101437974-pat00146
에 포함되는지 여부를 검사하는 데 사용된다(4번째 줄).
알고리즘 2에서 얻어진 분할된 신체 부위
Figure 112017101437974-pat00147
는 랜드마크를 찾기 위한 후보 꼭지점의 수를 상당히 감소시킨다. 또한, 관련 없는 신체 부위의 꼭지점을 배제함으로써 검출 정확도를 높일 수 있다.
Figure 112017101437974-pat00148
를 찾은 후, 상기 수학식 16은 랜드마크의 위치를 찾을 수 있다. 특히, 모든
Figure 112017101437974-pat00149
에 대해
Figure 112017101437974-pat00150
를 계산하고
Figure 112017101437974-pat00151
의 증가 순서로 제약 조건을 만족하는 꼭지점을 찾는다.
Figure 112017101437974-pat00152
3.1 첫 번째 랜드마크 검출
랜드마크는 상기 수학식 16을 해결함에 따라 1부터 s까지 증가하는 순서로 발견된다. 첫 번째 랜드마크(stylion)을 찾을 때, 공간 관계를 사용할 수 없기 때문에, 제약 조건없이 상기 수학식 16을 해결한다. 그러나,
Figure 112017101437974-pat00153
로만 랜드마크를 찾는 것은 좌우측을 구별 할 수 없다. 따라서, 첫 번째 랜드마크의 경우에만, 시스템에서 총 30개의 후보 랜드마크를 시각화하여 사용자가 오른쪽에서 하나를 선택할 수 있도록 한다. 후보 랜드마크의 위치는 일반적으로 매우 편중되므로, 사용자는 실질적으로 좌측 또는 우측을 선택하도록 요구되며, 사용자 입력에 의해 좌측 또는 우측이 선택되면 이후의 모든 후속 랜드마크들은 자동적으로 검출될 수 있다.
도 6은 본 발명에 따른 장치에 의해 검출된 랜드마크에 대한 일 예시도를 나타낸 것으로, 8명의 남자와 8명의 여자에 대한 다양한 동적 포즈의 인간 모델에 대한 랜드마크 검출 결과를 나타낸 것이다.
도 6을 통해 알 수 있듯이, 다양한 동적 포즈의 인간 모델에서 실제 랜드마크(빨간색 마커)의 위치와 본 발명에 의해 검출된 랜드마크(녹색 마커)의 위치에 대한 정확성이 높은 것을 알 수 있다.
이와 같이, 본 발명에 따른 장치는 인간의 인체 형상과 랜드마크 사이의 관계를 학습하는 통계적 회귀 분석 모델을 훈련함으로써 동적 포즈를 가지는 인간 모델의 해부학적 랜드마크를 검출할 수 있다.
또한, 본 발명에 따른 장치는 인간 형상 및 포즈에 대해 넓은 범위를 가지는 데이터 세트로 학습한 경우, 회귀 분석 기반 방법은 등록 기반 방법보다 더 높은 정확도를 달성할 수 있으며 특히, 커널 정합 상관 분석(Kernel Canonical Correlation Analysis, KCCA) 방법이 인체 형상과 랜드마크 사이의 상관 관계를 성공적으로 모델링 할 수 있다.
도 7은 본 발명의 일 실시예에 따른 랜드마크 검출 방법에 대한 동작 흐름도를 나타낸 것으로, 상기 도 2 내지 도 6의 장치에서의 동작 흐름도를 나타낸 것이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 랜드마크 검출 방법은 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 트레이닝을 통해 포즈에 독립적인 포즈 불변 설명자(pose invariant descriptor)와 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성한다(S710).
여기서, 단계 S710은 상기 랜드마크들 각각의 로컬 영역에 대한 로컬 설명자를 정의하고, 상기 정의된 로컬 설명자를 이용하여 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자를 정의하며, 상기 정의된 글로벌 형상 설명자를 이용하여 특정 랜드마크와 관련된 인체 형상의 일부분을 표현하는 상기 포즈 불변 설명자를 생성할 수 있다.
나아가, 단계 S710은 BoF(bag of features) 방법에서 제공하는 기하학적 요소들 중 상기 랜드마크들 각각과 관련된 요소만을 모으고, 상기 모아진 요소만을 이용하여 상기 포즈 불변 설명자를 생성할 수 있다.
또한, 단계 S710은 상기 동적 포즈에 독립적인 랜드마크의 위치를 나타내는 특징벡터를 사용하여 상기 포즈 불변 좌표를 생성할 수 있으며, 필요에 따라 상기 특징벡터와 측지선 거리를 이용하여 상기 독립적인 랜드마크 간의 공간적 관계를 나타내며, 상기 공간적 관계를 이용하여 상기 포즈 불변 좌표를 생성할 수 있다.
단계 S710에 의해 포즈 불변 설명자와 포즈 불변 좌표가 생성되면 생성된 포즈 불변 설명자와 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득한다(S720).
이 때, 단계 S720은 상기 포즈 불변 설명자, 상기 포즈 불변 좌표 및 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자 사이의 회귀 분석 모델을 학습하고, 상기 학습된 회귀 분석 모델을 이용하여 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득할 수 있다.
여기서, 단계 S720은 정합 상관 분석(KCCA) 기법을 이용하여 상기 회귀 분석 모델을 학습할 수 있다.
구체적으로, 단계 S720은 상기 포즈 불변 설명자와 상기 독립적인 랜드마크의 위치 간에 대한 커널 정합 상관 분석(KCCA)을 수행하고, 상기 독립적인 랜드마크 간의 공간적 관계와 상기 글로벌 형상 설명자 간에 대한 커널 정합 상관 분석을 수행하며, 상기 수행된 커널 정합 상관 분석 결과에 대한 회귀 분석을 통해 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득할 수 있다.
단계 S720에 의해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표가 획득되면, 획득된 회귀 좌표를 이용하여 입력된 인체 형상의 랜드마크를 검출한다(S730).
도 7의 방법에서 비록 그 설명이 생략되더라도, 도 7의 방법은 상기 도 2 내지 도 6에서 설명한 모든 내용을 포함할 수 있으며, 이러한 사실은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 트레이닝을 통해 포즈에 독립적인 포즈 불변 설명자(pose invariant descriptor)와 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 단계;
    상기 생성된 포즈 불변 설명자와 상기 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 단계; 및
    상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 단계
    를 포함하고,
    상기 생성하는 단계는
    상기 랜드마크들 각각의 로컬 영역에 대한 로컬 설명자를 정의하고, 상기 정의된 로컬 설명자를 이용하여 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자를 정의하며, 상기 정의된 글로벌 형상 설명자를 이용하여 특정 랜드마크와 관련된 인체 형상의 일부분을 표현하는 상기 포즈 불변 설명자를 생성하는 회귀 분석 기반 랜드마크 검출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 생성하는 단계는
    BoF(bag of features) 방법에서 제공하는 기하학적 요소들 중 상기 랜드마크들 각각과 관련된 요소만을 모으고, 상기 모아진 요소만을 이용하여 상기 포즈 불변 설명자를 생성하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는
    상기 동적 포즈에 독립적인 랜드마크의 위치를 나타내는 특징벡터를 사용하여 상기 포즈 불변 좌표를 생성하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 방법.
  5. 제4항에 있어서,
    상기 생성하는 단계는
    상기 특징벡터와 측지선 거리를 이용하여 상기 독립적인 랜드마크 간의 공간적 관계를 나타내며, 상기 공간적 관계를 이용하여 상기 포즈 불변 좌표를 생성하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 방법.
  6. 제1항에 있어서,
    상기 획득하는 단계는
    상기 포즈 불변 설명자, 상기 포즈 불변 좌표 및 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자 사이의 회귀 분석 모델을 학습하고, 상기 학습된 회귀 분석 모델을 이용하여 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 방법.
  7. 제6항에 있어서,
    상기 획득하는 단계는
    커널 정합 상관 분석(KCCA) 기법을 이용하여 상기 회귀 분석 모델을 학습하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 방법.
  8. 제6항에 있어서,
    상기 획득하는 단계는
    상기 포즈 불변 설명자와 상기 독립적인 랜드마크의 위치 간에 대한 커널 정합 상관 분석(KCCA)을 수행하고, 상기 독립적인 랜드마크 간의 공간적 관계와 상기 글로벌 형상 설명자 간에 대한 커널 정합 상관 분석을 수행하며, 상기 수행된 커널 정합 상관 분석 결과에 대한 회귀 분석을 통해 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 방법.
  9. 삭제
  10. 랜드마크들이 포함된 미리 설정된 포즈들에 대한 인체 모델들의 학습을 통해 포즈에 독립적인 포즈 불변 설명자(pose invariant descriptor)와 동적 포즈에 독립적인 랜드마크의 위치가 정의된 포즈 불변 좌표를 생성하는 전처리부;
    상기 생성된 포즈 불변 설명자와 상기 포즈 불변 좌표를 이용한 회귀 분석을 통해 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 분석부; 및
    상기 획득된 회귀 좌표를 이용하여 상기 입력된 인체 형상의 랜드마크를 검출하는 검출부
    를 포함하고,
    상기 전처리부는
    상기 랜드마크들 각각의 로컬 영역에 대한 로컬 설명자를 정의하고, 상기 정의된 로컬 설명자를 이용하여 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자를 정의하며, 상기 정의된 글로벌 형상 설명자를 이용하여 특정 랜드마크와 관련된 인체 형상의 일부분을 표현하는 상기 포즈 불변 설명자를 생성하는 회귀 분석 기반 랜드마크 검출 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 전처리부는
    BoF(bag of features) 방법에서 제공하는 기하학적 요소들 중 상기 랜드마크들 각각과 관련된 요소만을 모으고, 상기 모아진 요소만을 이용하여 상기 포즈 불변 설명자를 생성하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 장치.
  13. 제10항에 있어서,
    상기 전처리부는
    상기 동적 포즈에 독립적인 랜드마크의 위치를 나타내는 특징벡터를 사용하여 상기 포즈 불변 좌표를 생성하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 장치.
  14. 제13항에 있어서,
    상기 전처리부는
    상기 특징벡터와 측지선 거리를 이용하여 상기 독립적인 랜드마크 간의 공간적 관계를 나타내며, 상기 공간적 관계를 이용하여 상기 포즈 불변 좌표를 생성하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 장치.
  15. 제10항에 있어서,
    상기 분석부는
    상기 포즈 불변 설명자, 상기 포즈 불변 좌표 및 신체 전체의 형상을 특징으로 하는 글로벌 형상 설명자 사이의 회귀 분석 모델을 학습하고, 상기 학습된 회귀 분석 모델을 이용하여 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 장치.
  16. 제15항에 있어서,
    상기 분석부는
    커널 정합 상관 분석(KCCA) 기법을 이용하여 상기 회귀 분석 모델을 학습하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 장치.
  17. 제15항에 있어서,
    상기 분석부는
    상기 포즈 불변 설명자와 상기 독립적인 랜드마크의 위치 간에 대한 커널 정합 상관 분석(KCCA)을 수행하고, 상기 독립적인 랜드마크 간의 공간적 관계와 상기 글로벌 형상 설명자 간에 대한 커널 정합 상관 분석을 수행하며, 상기 수행된 커널 정합 상관 분석 결과에 대한 회귀 분석을 통해 상기 입력된 인체 형상의 랜드마크에 대한 회귀 좌표를 획득하는 것을 특징으로 하는 회귀 분석 기반 랜드마크 검출 장치.
  18. 삭제
KR1020170133851A 2017-10-16 2017-10-16 동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치 KR101995126B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170133851A KR101995126B1 (ko) 2017-10-16 2017-10-16 동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170133851A KR101995126B1 (ko) 2017-10-16 2017-10-16 동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190042197A KR20190042197A (ko) 2019-04-24
KR101995126B1 true KR101995126B1 (ko) 2019-07-01

Family

ID=66282359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133851A KR101995126B1 (ko) 2017-10-16 2017-10-16 동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101995126B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110838179B (zh) * 2019-09-27 2024-01-19 深圳市三维人工智能科技有限公司 基于体测数据的人体建模方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196683A (ja) * 2012-03-21 2013-09-30 Nec (China) Co Ltd 姿勢分類器トレーニング方法、対象物分類器トレーニング方法、対象物検出方法、姿勢分類器トレーニング装置、対象物分類器トレーニング装置、及び対象物検出装置
US20170287213A1 (en) * 2014-01-23 2017-10-05 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Method for providing a three dimensional body model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101586007B1 (ko) * 2009-06-25 2016-01-21 삼성전자주식회사 데이터 처리 장치 및 방법
KR20150061488A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 3차원 사용자 자세 추정 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196683A (ja) * 2012-03-21 2013-09-30 Nec (China) Co Ltd 姿勢分類器トレーニング方法、対象物分類器トレーニング方法、対象物検出方法、姿勢分類器トレーニング装置、対象物分類器トレーニング装置、及び対象物検出装置
US20170287213A1 (en) * 2014-01-23 2017-10-05 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Method for providing a three dimensional body model

Also Published As

Publication number Publication date
KR20190042197A (ko) 2019-04-24

Similar Documents

Publication Publication Date Title
US8824781B2 (en) Learning-based pose estimation from depth maps
JP5845365B2 (ja) ３次元の近接インタラクションにおける、又は３次元の近接インタラクションに関連する改善
Guo et al. Efficient center voting for object detection and 6D pose estimation in 3D point cloud
JP2014081347A (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
Gedik et al. 3-D rigid body tracking using vision and depth sensors
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
Huang et al. Tracking-by-detection of 3d human shapes: from surfaces to volumes
Wuhrer et al. Semi-automatic prediction of landmarks on human models in varying poses
Jiang et al. Triangulate geometric constraint combined with visual-flow fusion network for accurate 6DoF pose estimation
US10664976B2 (en) Method for part mobility prediction based on a static snapshot
Gao et al. Occluded person re-identification based on feature fusion and sparse reconstruction
KR101995126B1 (ko) 동적 인간 모델에 대한 회귀 분석 기반 랜드마크 검출 방법 및 그 장치
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
Liu et al. Robust 3-d object recognition via view-specific constraint
Wang et al. A new method for robust object tracking system based on scale invariant feature transform and camshift
Feng et al. Junction-aware shape descriptor for 3D articulated models using local shape-radius variation
WO2018207292A1 (ja) 対象物認識方法、装置、システム、プログラム
Li Three-dimensional diffusion model in sports dance video human skeleton detection and extraction
Mohsin et al. Clustering and Identification of key body extremities through topological analysis of multi-sensors 3D data
He et al. Attention voting network with prior distance augmented loss for 6DoF pose estimation
Amorós et al. Topological Map Building and Path Estimation Using Global-appearance Image Descriptors.
KR20120074356A (ko) 물체의 시점 변화에 강건한 윤곽선 기반의 범주 물체 인식 방법 및 장치
Jiang et al. Real-time target detection and tracking system based on stereo camera for quadruped robots
Zhou et al. Robust facial landmark localization based on texture and pose correlated initialization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant