KR20210074165A - 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 - Google Patents
관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 Download PDFInfo
- Publication number
- KR20210074165A KR20210074165A KR1020200074753A KR20200074753A KR20210074165A KR 20210074165 A KR20210074165 A KR 20210074165A KR 1020200074753 A KR1020200074753 A KR 1020200074753A KR 20200074753 A KR20200074753 A KR 20200074753A KR 20210074165 A KR20210074165 A KR 20210074165A
- Authority
- KR
- South Korea
- Prior art keywords
- person
- information
- dimensional
- posture
- encoded
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 121
- 238000010586 diagram Methods 0.000 description 11
- 238000009760 electrical discharge machining Methods 0.000 description 11
- 206010028197 multiple epiphyseal dysplasia Diseases 0.000 description 11
- 239000003550 marker Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 사람 모델 복원 방법은, 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하여 인코딩된 사람의 3차원 자세 정보들로 각각 변환하고, 하나의 인코딩된 사람의 3차원 자세 정보로 융합하여 사람의 3차원 자세와 형상을 동시에 복원한다. 이에 의해, 특정 관절이 검출되지 않더라도 주변 관절들로부터의 거리 정보를 이용하여 전체 자세를 복원할 수 있게 된다.
Description
본 발명은 AR(Augmented Reality)/VR(Virtual Reality) 기술에 관한 것으로, 더욱 상세하게는 AR 혹은 VR 서비스에서 다시점 영상 기반으로 사람 자세 및 형상 모델을 복원하는 장치 및 방법에 관한 것이다.
1. 마커(Marker)를 이용한 사람 자세 복원 방법 한계점
사람의 자세 복원 장치는 능동식 또는 수동식 센서를 이용하여 각 관절들의 3차원 위치를 복원하는 장치를 말한다. 능동식 센서 기반의 자세 복원 장치는 사용자의 신체에 부착된 센서들로부터 위치, 속도, 각도 등의 정보를 직접적으로 획득하는 장치이며, 수동식 센서 기반의 장치는 사용자의 신체에 마커를 부착하고 외부에 설치된 카메라 등을 이용하여 마커의 위치 정보를 복원하는 방식의 장치이다. 도 1에는 마커 기반 사람 자세 추정을 예시하였다.
이러한 센서/마커 기반의 자세 복원 장치들은 3차원 자세를 매우 정확하게 추정할 수 있다는 장점이 있지만, 사용자의 몸에 장치를 부착해야하기 때문에 착용이 불편하고 실외 환경에서는 사용이 어렵다는 문제점이 있다.
2. Makerless(마커리스)를 이용한 사람 자세 복원 방법 한계점>
이러한 문제점을 해결하기 위한 방법으로 마커를 부착하지 않고 비디오 영상만을 이용하여 사용자의 3차원 자세들을 추정하는 마커리스 방법이 제안되었다.
마커리스 방식은 사용이 간편하다는 장점이 있지만, 여러 사람들이 혼재되어 있거나 서로 복잡하게 상호작용하는 환경에서는 다음과 같은 문제가 발생한다.
첫째, 본인 혹은 주변 객체에 의한 가려짐(occlusion) 현상이나 영상 크기에 따른 절단(truncation) 현상 발생 시, 관절의 위치 복원이 어렵다.
둘째, 일부 관절의 위치 복원이 어려운 경우, 전체 자세 복원 성능이 급격히 저하된다.
셋째, 여러 사람들의 관절들이 비슷한 위치에서 검출되는 경우, 어떤 사람의 관절인지 식별이 어렵다.
사람들의 자세 정보를 필요로 하는 서비스들은 주변 객체들과의 상호 작용이 빈번한 상황을 대상으로 하는데, 기존의 마커리스 기술들은 위와 같은 상황에서 복원 성능이 저하되어 실제 서비스에 적용되기에 한계가 있다.
3. 다시점 영상 정보를 활용한 기존의 사람 자세 복원 방법 한계점
다시점 영상을 활용하는 경우 여러 시점에서 사람을 관찰 할 수 있으므로 가려짐 부분이 극복 가능하며 복원 품질도 크게 향상시킬 수 있다.
하지만, 다시점 카메라의 캘리브레이션이 사전에 수행되어야 하므로 추가적인 작업이 필요하다. 그리고, 카메라의 수가 늘어날수록 캘리브레이션 수행시간도 함께 늘어난다는 단점이 있다.
또한, 정확하게 사람자세를 복원하기 위해서는 촬영 전후로 캘리브레이션을 수행해야 하므로 복원을 위한 소프트웨어 처리 시간이상으로 카메라 캘리브레이션에 시간을 소모하게 된다는 단점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 여러 시점에서 획득한 사람의 영상에서 여러 사람들의 2차원/3차원 자세와 형상을 정확하게 복원할 수 있는 사람 자세 및 형상 모델 복원 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사람 모델 복원 방법은, 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 단계; 추출된 인코딩된 사람의 2차원 자세 정보들을 인코딩된 사람의 3차원 자세 정보들로 각각 변환하는 단계; 변환된 인코딩된 사람의 3차원 자세 정보들을 하나의 인코딩된 사람의 3차원 자세 정보로 융합하는 단계; 및 융합된 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함한다.
인코딩된 사람의 2차원 자세 정보는, 관절 간 2차원 거리 정보이고, 인코딩된 사람의 3차원 자세 정보는, 관절 간 3차원 거리 정보일 수 있다.
추출 단계는, 다시점 영상들 각각에서 사람의 위치를 검출하는 단계; 검출된 사람의 영상으로부터 관절 간 2차원 거리 정보를 획득하는 단계;를 포함할 수 있다.
관절 간 2차원 거리 정보는, N×N의 EDM(Euclidean Distance Matrix)으로 표현되며, N은 관절의 수일 수 있다.
획득 단계는, 검출된 사람의 영상 정보로부터 사람의 자세 특징 정보를 추출하는 단계; 및 추출한 사람의 자세 특징 정보를 인공지능 모델에 입력하여, 관절 간 2차원 거리 정보를 획득하는 단계;를 포함할 수 있다.
추출 단계는, 다시점 영상으로부터 사람의 관절을 추출하지 않고, 인코딩된 관절 간 2차원 거리 정보를 바로 추출할 수 있다.
관절 간 3차원 거리 정보의 규격은, 관절 간 2차원 거리 정보의 규격과 동일할 수 있다.
융합 단계는, 관절 간 3차원 거리 정보들에 대한 신뢰도들을 시점 마다 측정하는 단계; 측정된 신뢰도들을 바탕으로, 관절 간 3차원 거리 정보들을 하나로 융합하는 단계;를 포함할 수 있다.
복원 단계는, 관절 간 3차원 거리 정보로부터 사람의 형상 모델 파라미터를 획득하는 단계; 획득한 사람의 형상 모델 파라미터를 이용하여 렌더링을 수행함으로써, 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 사람 모델 복원 장치는, 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 인코딩부; 추출된 인코딩된 사람의 2차원 자세 정보들을 인코딩된 사람의 3차원 자세 정보들로 각각 변환하는 변환부; 변환된 인코딩된 사람의 3차원 자세 정보들을 하나의 인코딩된 사람의 3차원 자세 정보로 융합하는 융합부; 및 융합된 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 복원부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에는, 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 단계; 추출된 인코딩된 사람의 2차원 자세 정보들을 인코딩된 사람의 3차원 자세 정보들로 각각 변환하는 단계; 변환된 인코딩된 사람의 3차원 자세 정보들을 하나의 인코딩된 사람의 3차원 자세 정보로 융합하는 단계; 및 융합된 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법을 수행할 수 있는 프로그램이 기록된다.
한편, 본 발명의 다른 실시예에 따른, 사람 모델 복원 방법은, 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 단계; 및 추출된 인코딩된 사람의 2차원 자세 정보들을 변환하여 생성한 인코딩된 사람의 3차원 자세 정보들로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 영상으로부터 관절 간 거리 정보에 기반하여 인코딩된 2차원 자세 EDM 정보를 직접 복원함으로써, 특정 관절이 검출되지 않더라도 주변 관절들로부터의 거리 정보를 이용하여 전체 자세를 복원할 수 있다.
또한, 본 발명의 실시예들에 따르면, 인코딩 된 2차원 자세 EDM을 인코딩 된 3차원 자세 EDM으로 변환함으로써 시점 변화에 불변인 방식으로 3차원 자세 EDM을 표현할 수 있으며 입력과 출력이 같은 차원을 가지므로 효율적인 딥러닝 학습과 추정이 가능하다.
그리고, 본 발명의 실시예들에 따르면, 단순 합이나 평균하는 방식이 아닌, 2차원 자세 EDM의 신뢰도를 추정하고 그 신뢰도를 가중치로 주어서 여러 3차원 자세 EDM을 하나의 3차원 자세 EDM으로 융합함으로써, 최적의 3차원 자세 EDM을 획득할 수 있게 된다.
뿐만 아니라, 본 발명의 실시예들에 따르면, 다시점으로부터 융합된 3차원 자세 EDM으로부터 사람 형상 모델 파라미터를 예측하여 사람 형상 모델을 복원할 수 있는데, EDM은 관절간의 상대 거리 정보이므로 관절의 형태(shape)와 관절 간의 상대 각도 정보 예측이 가능하다.
아울러, 본 발명의 실시예들에 따르면, 기존의 방법과 달리 시간 소모가 발생하는 다시점 카메라 캘리브레이션이 필요 없다는 장점을 갖는다.
도 1은 마커 기반 사람 자세 복원 예시,
도 2는 마커리스 기반 사람 자세 복원 예시,
도 3은 다시점 영상 기반 사람 자세 복원 예시
도 4는 본 발명의 일 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 블럭도,
도 5는, 도 4에 도시된 인코딩부의 알고리즘 구성도,
도 6은 EDM 수식과 EDM에 의한 관절 간 2차원 거리 정보를 예시한 도면,
도 7은, 도 4에 도시된 변환부의 알고리즘 구성도,
도 8은, 도 4에 도시된 융합부의 알고리즘 구성도, 그리고,
도 9는, 도 4에 도시된 복원부의 알고리즘 구성도이다.
도 2는 마커리스 기반 사람 자세 복원 예시,
도 3은 다시점 영상 기반 사람 자세 복원 예시
도 4는 본 발명의 일 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 블럭도,
도 5는, 도 4에 도시된 인코딩부의 알고리즘 구성도,
도 6은 EDM 수식과 EDM에 의한 관절 간 2차원 거리 정보를 예시한 도면,
도 7은, 도 4에 도시된 변환부의 알고리즘 구성도,
도 8은, 도 4에 도시된 융합부의 알고리즘 구성도, 그리고,
도 9는, 도 4에 도시된 복원부의 알고리즘 구성도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 블럭도이다. 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 다시점 영상(여러 시점의 영상) 기반으로 여러 사람들의 3차원 자세 정보 및 형상 정보를 복원하여 주는 장치이다.
이를 수행함에 있어, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 관절 간 상대 거리 정보 기반 인코딩을 통해 2차원/3차원 사람 자세 및 형상 모델을 복원한다.
이와 같은 기능을 수행하는, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 도 4에 도시된 바와 같이, 인코딩부(110), 변환부(120), 융합부(130) 및 복원부(140)를 포함하여 구성된다.
인코딩부(110)는 다시점 영상 각각에 대해 인코딩된 2차원 자세 정보들을 추출한다. 여기서, 2차원 자세 정보는 영상에 등장하는 각 사람들의 관절 간 2차원 상대 거리 정보를 의미한다.
변환부(120)는 인코딩부(110)에 의해 추출된 인코딩된 다시점 2차원 자세 정보를 인코딩된 다시점 3차원 자세 정보로 변환한다. 변환부(120)에 의한 상대 거리 정보의 차원 변환은 다시점 영상 각각에 대해 수행되는 것이며, 관절 간 2차원 상대 거리 정보는 관절 간 3차원 상대 거리 정보로 변환되는 것이다.
융합부(130)는 변환된 인코딩된 다시점 3차원 자세 정보들을 하나의 3차원 자세 정보로 융합한다.
복원부(140)는 융합부(130)에서 하나로 융합된 3차원 자세 정보로부터 사람의 3차원 형상 정보 및 관절들의 위치 정보를 동시에 복원/예측한다.
이하에서, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 각 구성들의 상세 동작에 대해 상세히 설명한다.
도 5는, 도 4에 도시된 인코딩부(110)의 알고리즘 구성도이다. 도 5에 도시된 바와 같이, 인코딩부(110)는 먼저, 입력되는 다시점 영상(도 5에서는 4개의 시점을 예시함)에 대해, 영상 기반 사람 검출기를 통해 사람의 위치를 검출한다. 다음, 인코딩부(110)는 검출된 사람의 영상 정보로부터 사람의 자세 특징 정보를 추출한다.
그리고, 인코딩부(110)는 추출한 사람의 자세 특징 정보를 2차원 자세 인코딩 네트워크에 입력하여, 사람의 영상 정보를 관절 간 2차원 상대 거리 정보로 인코딩한다.
여기서, 2차원 자세 인코딩 네트워크는, 사람의 자세 특징 정보를 관절 간 2차원 상대 거리 정보로 인코딩하도록 학습된 인공지능 모델이다.
사람의 자세를 표현하기 위해 사용된 관절의 수가 N개일 때, 인코딩된 관절 간 2차원 상대 거리 정보는 N×N 크기의 행렬로 표현되는데, 사람의 자세 정보를 관절 간의 상대 거리 정보로 나타낼 수 있는 EDM(Euclidean Distance Matrix) 형태로 표현한다.
2차원 자세 인코딩 네트워크의 입력은 다시점 영상이고, 2차원 자세 인코딩 네트워크의 출력은 다시점 영상들 각각에 대한 2차원 자세 EDM들이 된다.
도 6의 상부에는 EDM 수식을 나타내었고, 도 6의 하부에는 관절 수가 3개인 경우 관절 간 2차원 상대 거리 정보를 나타내는 EDM을 예시하였다. 이와 같이, EDM에는 관절 마다 다른 관절들과의 상대 거리 정보들이 수록된다.
이와 같이, 인코딩부(110)는 영상 정보로부터 사람의 2차원 자세를 추정함에 있어, 관절을 먼저 추출/추정하는 것이 아니라, 인코딩된 관절 간 2차원 상대 거리 정보인 EDM을 바로 추정한다.
영상 정보로부터 관절 간의 상대 거리가 인코딩된 2차원 자세 정보를 추정함으로써, 본 발명의 실시예에서는 관절끼리 유기적으로 연결되어 있는 정보를 추정하기 때문에, 가려져 있는 관절도 추정이 가능하다.
또한, 관절들 간의 연결 정보를 바로 획득하기 때문에, 추정된 관절을 연결시키는 후처리가 필요 없다.
도 7은, 도 4에 도시된 변환부(120)의 알고리즘 구성도이다. 도 7에 도시된 바와 같이, 변환부(120)는 인코딩부(110)를 통해 획득된 관절 간 2차원 상대 거리 정보를 2차원-3차원 변환 네트워크를 이용하여, 관절 간 3차원 상대 거리 정보로 변환한다.
여기서, 2차원-3차원 변환 네트워크는, 관절 간 2차원 상대 거리 정보를 관절 간 3차원 상대 거리 정보로 변환하도록 학습된 인공지능 모델이다. 관절 간 3차원 상대 거리 정보 역시 관절 간 2차원 상대 거리 정보와 동일하게 N × N 크기의 행렬로 표현된다.
이와 같이, 인코딩된 2차원 자세 정보(즉 2차원 자세 EDM)와 3차원 자세 EDM은 같은 정보량으로 표현되므로, 2차원에서 3차원 정보로 변환 시 효율적이다. 기존의 방법은 N개의 관절로 표현되는 경우 2차원의 자세 정보는 N-by-2 차원으로 표현되고 3차원 자세 정보는 N-by-3 차원으로 표현되어 2차원 자세 정보로부터 3차원 자세 추정시 작은 정보로부터 큰 정보를 추정하는 문제가 생긴다.
2차원-3차원 변환 네트워크의 입력은 다시점 영상 각각에 대한 인코딩된 2차원 자세 EDM들이고, 2차원-3차원 변환 네트워크의 출력은 다시점 영상 각각에 대한 인코딩된 3차원 자세 EDM들이 된다.
도 8은, 도 4에 도시된 융합부(130)의 알고리즘 구성도이다. 도 8에 도시된 바와 같이, 융합부(130)는 변환부(120)를 통해 획득된 인코딩된 다시점 3차원 자세 정보들을 하나의 인코딩된 3차원 자세 정보로 융합한다. 이를 위해, 융합부(130)는 신뢰도 측정 네트워크와 융합 네트워크를 포함하고 있다.
신뢰도 측정 네트워크는 다시점 2차원 자세 EDM들을 입력받아 각 시점들에 대한 신뢰도들을 측정하도록 학습된 인공지능 모델이다. 가려짐 등으로 인해, 각 시점 마다 EDM의 신뢰도가 다르기 때문에 2차원 자세 EDM의 신뢰도를 측정하도록 하였다. 신뢰도 측정 네트워크는 가려짐이 적은 시점의 경우 신뢰도를 높게 측정하고, 가려짐이 많은 시점의 경우 신뢰도를 낮게 측정하도록 학습된다.
융합 네트워크는 신뢰도 측정 네트워크에서 측정된 신뢰도들을 가중치로 활용하여, 다시점 3차원 자세 EDM들을 하나로 융합하도록 학습된 인공지능 모델이다. 이를 위해, 융합 네트워크에는 다시점 3차원 자세 EDM들 외에 신뢰도 측정 네트워크에서 측정된 신뢰도들도 입력된다.
도 9는, 도 4에 도시된 복원부(140)의 알고리즘 구성도이다. 점군(point cloud) 또는 메시 모델(mesh model) 등으로 표현되는 사람의 3차원 형상 정보는 미리 생성된 3차원 골격 모델을 목적하는 자세로 변형함으로써 복원이 가능하다.
복원부(140)는 형상 모델 파라미터 예측 네트워크를 활용하여 융합부(130)에서 하나로 융합된 3차원 자세 EDM으로부터 사람의 형상 모델 파라미터(3차원 자세, 형태, 관절 간의 상대 각도)를 획득한다.
여기서, 형상 모델 파라미터 예측 네트워크는, 3차원 자세 EDM으로부터 형상 모델 파라미터를 획득하기 위해 학습된 인공지능 모델이다.
복원부(140)는 추출된 형상 모델 파라미터를 이용하여 렌더링을 수행함으로써 사람의 3차원 형상 정보와 관절 위치를 동시에 복원한다.
추정된 3차원 관절 정보를 이용하여 형상 정보를 추정하는 기존 기술과 달리, 복원부(140)는 형상 정보 변환 부분도 딥러닝 기술 기반의 end-to-end 방식으로 학습하여 효율성을 증대한다.
이에 따라, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 입력으로 다시점 영상을 넣어주면 하나의 프레임워크에서 2차원/3차원/형상 자세 정보를 동시 획득이 가능하다.
지금까지, 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, 다시점 영상에서 여러 사람들의 2차원/3차원 자세와 형상을 복원하기 위해, 다시점 영상으로부터 인코딩된 2차원 자세들을 생성하고, 인코딩된 2차원 자세들을 인코딩된 3차원 자세들로 변환하며, 인코딩된 3차원 자세들로부터 3차원 형상 정보 및 관절 위치 정보를 복원하는 장치 및 방법을 제시하였다.
이에 의해, 다시점 영상으로부터 관절 간 상대 거리 정보에 기반하여 인코딩된 2차원 자세들을 직접 복원함으로써 특정 관절이 검출되지 않더라도 주변 관절들로부터의 상대 거리 정보를 이용하여 전체 자세를 복원할 수 있고, 인코딩된 2차원 자세 정보들을 인코딩된 3차원 자세 정보들로 변환함으로써 시점 변화에 불변인 방식으로 3차원 자세를 표현할 수 있으며 입력과 출력이 같은 차원을 가지므로 효율적인 딥러닝 학습과 추정이 가능하다.
한편, EDM은 상대 거리 정보로 2차원 자세로부터 계산된 EDM 정보인 2차원 자세 EDM은 시점에 따라 다르나 이들의 3차원 자세 EDM 정보는 같다. 이점을 이용하여, 본 발명의 실시예에서는 여러 시점의 2차원 자세 EDM들을 3차원 자세 EDM들로 변환한 후에 각 시점의 2차원 자세 EDM들의 신뢰도를 기반으로 여러 시점의 3차원 자세 EDM들을 하나의 3차원 자세 EDM으로 융합하였다. 3차원 자세 EDM은 카메라 시점에 영향을 받지 않기 때문에 카메라 캘리브레이션은 고려할 필요가 없다.
또한, 본 발명의 실시예에서는, 3차원 자세 EDM을 입력으로 하여 사람 형상 모델(관절 간의 상대 각도, 사람의 형태) 파라미터를 예측하는 딥러닝 네트워크로 3차원 자세 EDM으로부터 사용자의 형상 정보 및 각 관절들의 위치 정보를 동시에 복원할 수 있도록 하였다. EDM 정보는 사람과 배경에 대한 영상 정보가 제외 되어 있어, 사람 자세나 형태 정보를 상당히 작은 데이터 크기로 압축하고 있기 때문에, 경량한 딥러닝 네크워크 설계가 가능하다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 인코딩부
120 : 변환부
130 : 융합부
140 : 복원부
120 : 변환부
130 : 융합부
140 : 복원부
Claims (12)
- 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 단계;
추출된 인코딩된 사람의 2차원 자세 정보들을 인코딩된 사람의 3차원 자세 정보들로 각각 변환하는 단계;
변환된 인코딩된 사람의 3차원 자세 정보들을 하나의 인코딩된 사람의 3차원 자세 정보로 융합하는 단계; 및
융합된 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 1에 있어서,
인코딩된 사람의 2차원 자세 정보는,
관절 간 2차원 거리 정보이고,
인코딩된 사람의 3차원 자세 정보는,
관절 간 3차원 거리 정보인 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 2에 있어서,
추출 단계는,
다시점 영상들 각각에서 사람의 위치를 검출하는 단계;
검출된 사람의 영상으로부터 관절 간 2차원 거리 정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 3에 있어서,
관절 간 2차원 거리 정보는,
N×N의 EDM(Euclidean Distance Matrix)으로 표현되며,
N은 관절의 수인 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 3에 있어서,
획득 단계는,
검출된 사람의 영상 정보로부터 사람의 자세 특징 정보를 추출하는 단계; 및
추출한 사람의 자세 특징 정보를 인공지능 모델에 입력하여, 관절 간 2차원 거리 정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 2에 있어서,
추출 단계는,
다시점 영상으로부터 사람의 관절을 추출하지 않고, 인코딩된 관절 간 2차원 거리 정보를 바로 추출하는 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 2에 있어서,
관절 간 3차원 거리 정보의 규격은,
관절 간 2차원 거리 정보의 규격과 동일한 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 2에 있어서,
융합 단계는,
관절 간 3차원 거리 정보들에 대한 신뢰도들을 시점 마다 측정하는 단계;
측정된 신뢰도들을 바탕으로, 관절 간 3차원 거리 정보들을 하나로 융합하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
- 청구항 2에 있어서,
복원 단계는,
관절 간 3차원 거리 정보로부터 사람의 형상 모델 파라미터를 획득하는 단계;
획득한 사람의 형상 모델 파라미터를 이용하여 렌더링을 수행함으로써, 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
- 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 인코딩부;
추출된 인코딩된 사람의 2차원 자세 정보들을 인코딩된 사람의 3차원 자세 정보들로 각각 변환하는 변환부;
변환된 인코딩된 사람의 3차원 자세 정보들을 하나의 인코딩된 사람의 3차원 자세 정보로 융합하는 융합부; 및
융합된 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 복원부;를 포함하는 것을 특징으로 하는 사람 모델 복원 장치.
- 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 단계;
추출된 인코딩된 사람의 2차원 자세 정보들을 인코딩된 사람의 3차원 자세 정보들로 각각 변환하는 단계;
변환된 인코딩된 사람의 3차원 자세 정보들을 하나의 인코딩된 사람의 3차원 자세 정보로 융합하는 단계; 및
융합된 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
- 다시점 영상들로부터 인코딩된 사람의 2차원 자세 정보들을 각각 추출하는 단계; 및
추출된 인코딩된 사람의 2차원 자세 정보들을 변환하여 생성한 인코딩된 사람의 3차원 자세 정보들로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2020/017833 WO2021256640A1 (ko) | 2019-12-11 | 2020-12-08 | 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190164276 | 2019-12-11 | ||
| KR20190164276 | 2019-12-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210074165A true KR20210074165A (ko) | 2021-06-21 |
| KR102338488B1 KR102338488B1 (ko) | 2021-12-13 |
Family
ID=76600001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200074753A KR102338488B1 (ko) | 2019-12-11 | 2020-06-19 | 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102338488B1 (ko) |
| WO (1) | WO2021256640A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102531977B1 (ko) * | 2022-05-17 | 2023-05-15 | 한국전자기술연구원 | 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070058A (ko) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | 동적 개체 모션 캡쳐 방법 및 그 장치 |
| KR20160022576A (ko) * | 2014-08-20 | 2016-03-02 | 한국전자통신연구원 | 알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법 |
| JP2018013999A (ja) * | 2016-07-21 | 2018-01-25 | 日本電信電話株式会社 | 姿勢推定装置、方法、及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080105698A (ko) * | 2007-06-01 | 2008-12-04 | (주)제어와정보 | 다시점 영상을 이용한 3차원 형상 추정 방법 및 구현 |
| KR102170888B1 (ko) * | 2018-12-19 | 2020-10-28 | 한국전자기술연구원 | 관절 간 거리 정보를 이용한 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 |
-
2020
- 2020-06-19 KR KR1020200074753A patent/KR102338488B1/ko active IP Right Grant
- 2020-12-08 WO PCT/KR2020/017833 patent/WO2021256640A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070058A (ko) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | 동적 개체 모션 캡쳐 방법 및 그 장치 |
| KR20160022576A (ko) * | 2014-08-20 | 2016-03-02 | 한국전자통신연구원 | 알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법 |
| JP2018013999A (ja) * | 2016-07-21 | 2018-01-25 | 日本電信電話株式会社 | 姿勢推定装置、方法、及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| Francesc Moreno-Noguer, 3D Human Pose Estimation from a Single Image via Distance Matrix Regression, Computer Vision and Pattern Recognition (cs.CV), 28 Nov 2016(2016.11.28.) 1부.* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102531977B1 (ko) * | 2022-05-17 | 2023-05-15 | 한국전자기술연구원 | 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 |
| WO2023224169A1 (ko) * | 2022-05-17 | 2023-11-23 | 한국전자기술연구원 | 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021256640A1 (ko) | 2021-12-23 |
| KR102338488B1 (ko) | 2021-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
| US20170330375A1 (en) | Data Processing Method and Apparatus | |
| CN109242950B (zh) | 多人紧密交互场景下的多视角人体动态三维重建方法 | |
| CN107833270A (zh) | 基于深度相机的实时物体三维重建方法 | |
| JP5555207B2 (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JP2011521357A5 (ko) | ||
| KR102455468B1 (ko) | 객체의 3차원 모델을 복원하는 방법 및 장치 | |
| JP2021535466A (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
| CN109147051B (zh) | 一种基于手机扫描的人体3d建模方法 | |
| Wang et al. | Scene-aware egocentric 3d human pose estimation | |
| KR102338488B1 (ko) | 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 | |
| KR102170888B1 (ko) | 관절 간 거리 정보를 이용한 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 | |
| Remondino et al. | Human figure reconstruction and modeling from single image or monocular video sequence | |
| JP2002032741A (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 | |
| KR101725166B1 (ko) | 2차원 이미지들을 이용하여 3차원 이미지를 재구성하는 방법 및 이를 위한 장치 | |
| Haker et al. | Self-organizing maps for pose estimation with a time-of-flight camera | |
| KR20210070874A (ko) | 3차원 인간 모델 복원 장치 및 방법 | |
| KR102577135B1 (ko) | 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템 | |
| Martínez-Zarzuela et al. | Indoor 3d video monitoring using multiple kinect depth-cameras | |
| KR102612539B1 (ko) | 다시점 비디오 부호화 및 복호화 방법 | |
| WO2020118565A1 (en) | Keyframe selection for texture mapping wien generating 3d model | |
| Champawat et al. | Online point-cloud transmission for tele-immersion | |
| Bisht | MultiView Markerless MoCap-MultiView Performance Capture, 3D Pose Motion Reconstruction and Comparison | |
| Sharma et al. | Parameterized variety based view synthesis scheme for multi-view 3DTV | |
| JP6071142B2 (ja) | 画像変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |