KR102270949B1 - 3차원 인간 모델 복원 장치 및 방법 - Google Patents

Abstract

본 발명은 미리 학습된 패턴 추정 방식에 따라 2차원 영상에 포함된 적어도 하나의 사람 각각의 관절 위치에 대응하는 2차원 관절 벡터를 추정하고, 추정된 2차원 관절 벡터를 기지정된 방식으로 정규화하여 2차원 자세 특징을 획득하는 2차원 자세 특징 추출부; 2차원 영상에 포함된 적어도 하나의 사람 각각에 대한 2차원 자세 특징을 인가받고, 미리 학습된 패턴 추정 방식에 따라 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하는 다단 인간 모델 추정부; 및 체형 벡터와 자세 벡터 및 위치 벡터로 구성되는 상태 벡터와 2차원 자세 특징을 인가받아, 체형 벡터와 자세 벡터에 대응하는 인간 모델을 복원하고, 위치 벡터에 따라 복원된 인간 모델을 3차원 공산 상에 배치하는 3차원 공간 배치부를 3차원 인간 모델 복원 장치 및 방법을 제공할 수 있다.

Description

3차원 인간 모델 복원 장치 및 방법{3D HUMAN BODY MODEL RECONSTRUCTION APPARATUS AND METHOD}

본 발명은 3차원 인간 모델 복원 장치 및 방법에 관한 것으로, 2차원 자세와 인간 템플릿 모델을 활용한 다수의 3차원 인간 모델 복원 장치 및 방법에 관한 것이다.

최근 영상으로부터 사람의 자세를 추출하는 기술들이 발전하여 행동 인식, 애니메이션 및 가상 현실이나 증강 현실과 같은 기존의 응용 분야뿐만 아니라 보안, 의료 등 다양한 분야에서 활용되고 있다. 특히 2차원의 영상으로부터 3차원 자세를 추출하는 기술은 각 관절들의 좌표를 3차원 공간상에 표현하기 때문에 사람의 공간적인 움직임까지 분석할 수 있다.

그러나 사람의 자세를 단순히 관절의 위치만으로 복원할 경우, 팔의 회전과 같은 상세한 움직임들은 복원할 수 없으며 사람의 체형과 같은 정보들도 알 수 없다. 이러한 정보들을 획득하지 못하면 사람의 움직임을 가상 공간상의 아바타에 투영시킬 때 어려움이 있다. 그리고 기술의 발전이 점차 증강 현실/가상 현실 공간상으로의 콘텐츠 생성을 지향하고 있는 상황에서, 단순 사람 자세 추출을 넘어 사람의 움직임을 상세하게 표현할 수 있도록 3차원 공간 상에서 인간 모델을 복원할 필요성이 있다.

또한 기존에 제안되었던 3차원 인간 모델 복원 방식들은 하나의 영상이 입력으로 들어왔을 때 하나의 모델만 복원하였으며, 사람이 영상을 촬영한 카메라부터 얼마나 떨어져 있는지에 대한 거리 정보를 제공해주지 않는다. 즉 사람의 자세만을 복원할 뿐, 3차원 공간 상에서의 사람의 위치를 복원하지 않는다. 따라서 하나의 영상에 여러 사람이 포함된 경우에 기존에는 모든 사람들에 대한 3차원 인간 모델을 복원할 수 없을 뿐만 아니라 사람들 간의 거리 관계 또한 알 수 없다는 한계가 있다.

한국 공개 특허 제10-2018-0097949호 (2018.09.03 공개)

본 발명의 목적은 2차원 영상으로부터 3 차원에서의 위치와 회전, 자세 및 체형이 반영된 다수의 사람에 대한 3차원 인간 모델을 정확하게 복원할 수 있는 3차원 인간 모델 복원 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 2차원 영상의 배경과 무관하게 3차원의 가상 공간상에서 다양한 응용이 가능한 3차원 인간 모델을 획득할 수 있는 3차원 인간 모델 복원 장치 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 장치는 미리 학습된 패턴 추정 방식에 따라 2차원 영상에 포함된 적어도 하나의 사람 각각의 관절 위치에 대응하는 2차원 관절 벡터를 추정하고, 추정된 2차원 관절 벡터를 기지정된 방식으로 정규화하여 2차원 자세 특징을 획득하는 2차원 자세 특징 추출부; 상기 2차원 영상에 포함된 적어도 하나의 사람 각각에 대한 상기 2차원 자세 특징을 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하는 다단 인간 모델 추정부; 및 상기 체형 벡터와 상기 자세 벡터 및 상기 위치 벡터로 구성되는 상태 벡터와 상기 2차원 자세 특징을 인가받아, 상기 체형 벡터와 상기 자세 벡터에 대응하는 인간 모델을 복원하고, 상기 위치 벡터에 따라 복원된 인간 모델을 3차원 공산 상에 배치하는 3차원 공간 배치부를 포함한다.

상기 다단 인간 모델 추정부는 다단 구조로 순차 연결된 다수의 모델 추정부를 포함하고, 다수의 모델 추정부 각각은 상기 2차원 자세 특징과 이전단의 모델 추정부에서 추정된 상태 벡터를 인가받아 결합하여 결합 상태 벡터를 생성하고, 생성된 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하여 체형 벡터와 자세 벡터 및 위치 벡터를 포함하는 새로운 상태 벡터를 생성하여 다음단의 모델 추정부로 전달할 수 있다.

상기 다수의 모델 추정부 각각은 상기 2차원 자세 특징과 이전단의 모델 추정부에서 추정되어 상태 벡터를 인가받아 결합하여 결합 상태 벡터를 생성하는 특징 취합부; 상기 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 벡터와 3차원 공간에서 인간 모델이 배치되어야 하는 위치에 대응하는 위치 벡터 및 다수의 인간 관절 각각의 회전 각도에 대응하는 다수의 관절 회전 벡터로 구성되는 자세 벡터 중 기지정된 루트 관절을 기준으로 인간 모델 전체의 회전 각도를 나타내는 전역 회전 벡터를 추정하는 위치 추정부; 및 상기 2차원 자세 특징과 상기 전역 회전 벡터를 인가받고, 상기 전역 회전 벡터를 기준으로 상기 루트 관절에서 인접한 관절로부터 먼 관절의 상대적 회전 각도를 기지정된 순차로 추정하여 상기 자세 벡터 중 상기 전역 회전 벡터를 제외한 나머지 관절의 관절 회전 벡터를 포함하는 바디 자세 벡터를 획득하는 모델 자세 추정부를 포함할 수 있다.

상기 위치 추정부는 상기 결합 상태 벡터로부터 상기 2차원 자세 특징에 대응하는 체형 벡터를 추정하도록 미리 학습된 체형 추정부; 및 체형 추정부와 독립적으로 학습되어 상기 결합 상태 벡터로부터 상기 2차원 자세 특징에 대응하는 상기 위치 벡터와 상기 전역 회전 벡터를 동시에 추정하는 깊이/회전 추정부를 포함할 수 있다.

상기 모델 자세 추정부는 상기 인간 모델의 다수의 관절 중 상기 루트 관절을 제외한 나머지 관절에 대응하는 개수로 구비되고, 각각 상기 전역 회전 벡터 또는 이전 단에서 획득된 관절 회전 벡터와 상기 2차원 자세 특징을 인가받아 대응하는 관절 회전 벡터를 추정하는 다수의 관절 회전 추정부를 포함할 수 있다.

상기 다수의 관절 회전 추정부는 인간 모델의 부위별 관절 연결 구조에 대응하여, 상기 루트 관절로부터 다수의 부위 각각에 대응하여 병렬로 연결되고, 각 부위의 관절 연결 구조에 따라 직렬 연결되어 각각 관절 회전 벡터를 추정할 수 있다.

상기 2차원 자세 특징 추출부는 상기 2차원 관절 벡터가 기지정된 스케일과 해상도의 정규화 이미지 평면에 대응하는 크기 및 위치를 갖도록 변환하고, 변환된 2차원 관절 벡터에서 루트 관절에 대응하는 관절 벡터의 위치가 정규화 이미지 평면의 원점에 배치되도록 이동시킬 수 있다.

상기 2차원 자세 특징 추출부는 정규화 이미지 평면의 원점으로 이동되기 이전의 루트 관절에 대응하는 관절 벡터의 위치를 상기 2차원 자세 특징에 포함할 수 있다.

상기 2차원 자세 특징 추출부는 상기 2차원 영상에 포함된 적어도 하나의 사람 각각의 골격 방향에 대응하는 2차원 골격 벡터를 추정하고, 추정된 2차원 골격 벡터를 기지정된 방식으로 정규화하여 상기 2차원 자세 특징에 더 포함할 수 있다.

상기 3차원 인간 모델 복원 장치는 2차원 학습 영상으로부터 상기 다단 인간 모델 추정부에서 추정된 상태 벡터와 상기 2차원 학습 영상에 레이블된 상태 벡터의 진리값으로부터 체형 손실(

), 위치 손실(

), 전역 회전 손실(

), 바디 손실(

)을 계산하고 대응하는 가중치(

)를 적용하며, 바디 회전 손실(

) 추가로 고려하여 총 손실을 수학식

으로 계산하고 계산된 총 손실을 역전파하여 상기 다단 인간 모델 추정부를 학습시키는 학습부를 더 포함할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 3차원 인간 모델 복원 방법은 미리 학습된 패턴 추정 방식에 따라 2차원 영상에 포함된 적어도 하나의 사람 각각의 관절 위치에 대응하는 2차원 관절 벡터를 추정하고, 추정된 2차원 관절 벡터를 기지정된 방식으로 정규화하여 2차원 자세 특징을 획득하는 단계; 상기 2차원 영상에 포함된 적어도 하나의 사람 각각에 대한 상기 2차원 자세 특징을 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하여 상태 벡터를 획득하는 단계; 및 상기 체형 벡터와 상기 자세 벡터 및 상기 위치 벡터로 구성되는 상태 벡터와 상기 2차원 자세 특징을 인가받아, 상기 체형 벡터와 상기 자세 벡터에 대응하는 인간 모델을 복원하고, 상기 위치 벡터에 따라 복원된 인간 모델을 3차원 공산 상에 배치하는 단계를 포함한다.

따라서, 본 발명의 실시예에 따른 3차원 인간 모델 복원 장치 및 방법은 적어도 하나의 사람이 포함된 2차원 영상으로부터 각 사람의 3차원 위치와 자세 및 체형을 추정하여 인간 모델을 획득하고, 획득된 인간 모델을 다양한 3차원의 가상 공간 상의 정확한 위치에 배치할 수 있도록 하여, 증강 현실 또는 가상 현실 등의 각종 응용에서 매우 사실적인 인간 모델을 복원할 수 있다. 또한 위치에 기반한 3차원의 인간 모델을 복원할 수 있으므로, 다수의 사람 사이의 상호 작용과 집단 행동 인지가 용이하도록 한다.

도 1은 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 장치가 2차원 영상으로부터 3차원 가상 공간에 인간 모델을 복원하는 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 장치의 개략적 구조를 나타낸다.
도 3은 도 2의 2차원 자세 특징 추출부의 구성의 일예를 나타낸다.
도 4는 SMPL 모델의 체형 및 자세 매개 변수를 설명하기 위한 도면이다.
도 5는 2차원 관절 위치를 2차원 정규화 이미지 평면에 정규화하는 개념을 설명하기 위한 도면이다.
도 6은 도 2의 다단 인간 모델 추정부의 개략적 구성을 나타낸다.
도 7은 도 6의 다수의 모델 추정부 각각에 대한 개략적 구성을 나타낸다.
도 8은 도 7의 모델 추정부 각각의 상세 구성의 일예를 나타낸다.
도 9는 도 7의 모델 자세 추정부의 상세 구성의 다른 예를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 방법을 나타낸다.
도 11은 본 발명의 3차원 인간 모델 복원 방법을 이용하여 2차원 영상으로부터 3차원 공간 상에 복원된 인간 모델의 예를 나타낸다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 장치가 2차원 영상으로부터 3차원 가상 공간에 인간 모델을 복원하는 개념을 설명하기 위한 도면이다.

도 1을 참조하면, 본 실시예에 따른 3차원 인간 모델 복원 장치는 2차원 영상이 인가되면, (a)에 도시된 바와 같이, 2차원 영상에 포함된 적어도 하나 사람 각각에 대한 객체 영역을 판별하고, 각 객체 영역의 사람의 2차원 관절 위치를 (b)와 같이 추정한다. 그리고 추정된 각 사람에 대한 2차원 관절 위치는 (c)에 도시된 바와 같이 기지정된 정규화 이미지 평면 상의 좌표로 변환되고, 변환된 좌표를 기반으로 2차원 자세 특징이 획득된다. 획득된 2차원 자세 특징을 기반으로 각 사람에 대한 자세 및 체형을 표현하는 3차원의 인체 모델 및 위치를 추정하여 획득하고, 획득된 인체 모델을 (d)와 같이 3차원 공간 상의 추정된 위치에 배치한다.

도 2는 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 장치의 개략적 구조를 나타낸다.

도 2를 참조하면, 본 실시예에 따른 3차원 인간 모델 복원 장치는 영상 획득부(100), 2차원 자세 특징 추출부(200), 다단 인간 모델 추정부(300) 및 3차원 공간 배치부(400)를 포함할 수 있다.

도 2를 참조하여, 본 실시예에 따른 3차원 인간 모델 복원 장치의 각 구성을 설명하면, 우선 영상 획득부(100)는 3차원 모델로의 모델링 대상이 되는 적어도 하나의 사람이 포함된 2차원 영상을 획득한다.

2차원 자세 특징 추출부(200)는 미리 학습된 패턴 추정 방식에 따라 영상 획득부(100)에서 획득된 2차원 영상에 포함된 적어도 하나의 사람 각각에 대한 2차원에서의 자세를 추정하고, 추정된 자세로부터 2차원 자세 특징을 추출한다. 여기서 2차원 자세 특징 추출부(200)는 도 1의 (b)에 도시된 바와 같이, 2차원 영상에 포함된 각 사람의 관절 위치를 추정하고, 추정된 관절 위치를 정규화하여 적어도 하나의 사람 각각의 2차원 자세 특징을 추출할 수 있다.

다단 인간 모델 추정부(300)는 2차원 자세 특징 추출부(200)에서 추정된 2차원 자세로부터 각 사람의 3차원 자세와 위치를 추정한다. 본 실시예에서 다단 인간 모델 추정부(300)는 도 1의 (c)에 도시된 바와 같이, 적어도 하나의 사람 각각의 3차원 자세와 더불어 체형을 추정할 뿐만 아니라, 2차원 영상을 촬영한 카메라를 기준으로 각 사람의 3차원에서의 위치를 함께 추정할 수 있다. 즉 3차원 공간에서의 각 사람의 자세와 체형 및 위치와 함께 외형을 추정할 수 있다.

3차원 공간 배치부(400)는 다단 인간 모델 추정부(300)에서 추정된 각 사람의 자세와 체형에 따른 인간 모델을 3차원 가상의 공간 상의 추정된 위치에 배치한다. 따라서 도 3의 (d)에 도시된 바와 같이, 2차원 영상에 포함된 적어도 하나의 사람 각각 사이의 상대 위치와 자세 및 외형을 3차원의 가상 공간 상에 복원할 수 있다. 즉 2차원 영상에 포함된 장면의 상황을 3차원 가상 공간의 상황으로 변환하여 표현할 수 있다. 이때 2차원 영상에서의 배경 등에 무관하게 다양한 공간 상에 인간 모델을 배치할 수 있어 증강 현실 또는 가상 현실 등의 환경에서 매우 사실적인 인간 모델을 복원할 수 있다.

한편, 본 실시예에 따른 3차원 인간 모델 복원 장치는 다단 인간 모델 추정부(300)를 학습시키기 위한 학습부(500)를 더 포함할 수 있다. 본 실시예에서 다단 인간 모델 추정부(300)는 2차원 자세로부터 인간의 3차원 자세와 체형 및 위치를 추정하는 인공 신경망으로 구현될 수 있다. 그리고 인공 신경망이 요구되는 동작을 수행하기 위해서는 패턴 추정 방식이 미리 학습되어야 한다. 이에 학습부(500)는 자세와 체형 및 위치에 대한 진리값이 레이블된 2차원의 학습 영상이 영상 획득부(100)로 입력되어 다단 인간 모델 추정부(300)에서 추정된 인간의 3차원 자세와 위치 및 체형과 학습 영상에 레이블된 3차원 자세와 위치 및 체형 사이의 오차를 손실로 획득하고 획득된 손실을 다단 인간 모델 추정부(300)로 역전파함으로써, 다단 인간 모델 추정부(300)를 학습시킬 수 있다.

2차원 자세 특징 추출부(200) 또한 인공 신경망으로 구현될 수 있으며, 이 경우, 학습부(500)는 2차원 자세 특징 추출부(200) 또한 함께 학습시키도록 구성될 수도 있다. 다만 2차원 영상으로부터 영상에 포함된 각 사람의 2차원 자세를 추정하는 인공 신경망은 이미 다양하게 연구되어 공지되어 있다. 따라서 여기서는 2차원 자세 특징 추출부(200)를 기존에 공지된 인공 신경망을 이용하는 것으로 가정하여, 이하에서는 학습부(500)가 다단 인간 모델 추정부(300)만을 학습시키는 것으로 설명한다.

학습부(500)는 상기한 바와 같이, 다단 인간 모델 추정부(300)를 학습시키기 위한 구성이므로, 다단 인간 모델 추정부(300)의 학습이 완료된 이후에는 3차원 인간 모델 복원 장치에서 제거될 수 있다.

도 3은 도 2의 2차원 자세 특징 추출부의 구성의 일예를 나타내고, 도 4는 SMPL 모델의 체형 및 자세 매개 변수를 설명하기 위한 도면이며, 도 5는 2차원 관절 위치를 2차원 정규화 이미지 평면에 정규화하는 개념을 설명하기 위한 도면이다.

도 3을 참조하면, 2차원 자세 특징 추출부(200)는 객체 판별부(210), 관절 벡터 획득부(220), 골격 벡터 획득부(230), 관절 벡터 인코딩부(240), 골격 벡터 인코딩부(250), 2차원 자세 특징 획득부(260), 초기 상태 설정부(270) 및 정규화부(280)를 포함할 수 있다.

객체 판별부(210)는 영상 획득부(100)로부터 인가되는 2차원 영상에서 미리 학습된 패턴 추정 방식에 따라 적어도 하나의 사람이 배치된 객체 영역 각각을 판별한다. 관절 벡터 획득부(220)는 객체 판별부(210)에서 판별된 각각의 객체 영역에서 미리 학습된 패턴 추정 방식에 따라 사람의 관절 위치를 나타내는 관절 벡터를 획득한다. 골격 벡터 획득부(230)는 미리 학습된 패턴 추정 방식에 따라 사람의 뼈(bone)의 위치와 방향을 나타내는 골격 벡터를 획득한다. 즉 관절 벡터 획득부(220)는 인체의 골격에서 관절의 위치를 관절 벡터로 획득하고, 이와 유사하게 골격 벡터 획득부(230)는 뼈의 위치와 방향에 따른 골격 벡터를 획득한다. 골격 벡터 획득부(230)는 관절 벡터 획득부(220)와 독립적으로 2차원 영상으로부터 직접 골격 벡터를 획득할 수도 있으나, 인체 구조상 골격은 관절 사이의 구성이므로, 골격 벡터 획득부(230)는 2차원 영상이 아닌 관절 벡터 획득부(220)에서 획득된 관절 벡터를 기반으로 골격 벡터를 획득할 수도 있다.

여기서 관절 벡터 획득부(220)와 골격 벡터 획득부(230)는 객체 판별부(210)에서 판별된 객체 영역 각각으로부터 관절 벡터와 골격 벡터를 구분하여 획득할 수 있다.

관절 벡터 인코딩부(240)와 골격 벡터 인코딩부(250)는 각각 관절 벡터 획득부(220)에서 획득된 관절 벡터와 골격 벡터 획득부(230)에서 획득된 골격 벡터를 기지정된 형식으로 인코딩한다. 관절 벡터 인코딩부(240)와 골격 벡터 인코딩부(250)는 일예로 좌표값 형식으로 획득된 관절 벡터와 골격 벡터를 1차원의 관절 특징값 및 골격 특징값으로 변환할 수 있다.

일반적으로 2차원 영상에서 3차원 인간 모델을 복원하기 위해서는 관절의 위치를 나타내는 관절 벡터만을 획득한다. 그러나 골격 벡터는 관절 사이의 상대 거리를 나타내며, 이는 2차원의 관절 위치로부터 3차원 상에서의 관절 위치를 추정할 때, 더욱 상세한 관절 사이의 관계 정보를 제공함으로써 3차원 관절의 위치가 더욱 정확하게 추정되도록 할 수 있다.

이에 본 실시예서는 2차원 자세 특징 추출부(200)가 관절 벡터 획득부(220)와 함께 골격 벡터 획득부(230)를 구비하여 관절 벡터와 골격 벡터를 함께 획득하도록 하였다. 그러나 경우에 따라 골격 벡터 획득부(230)와 골격 벡터 인코딩부(250)는 생략될 수도 있다.

2차원 자세 특징 획득부(260)는 관절 벡터 인코딩부(240)와 골격 벡터 인코딩부(250)에서 변환된 관절 특징값 및 골격 특징값을 기지정된 2차원의 정규화 이미지 평면 상의 좌표로 정규화하고, 정규화된 관절 특징값 및 골격 특징값을 결합 및 특징을 추출하여 2차원 영상의 사람의 자세 특징을 나타내는 2차원 자세 특징을 획득한다.

관절 벡터 획득부(220)와 골격 벡터 획득부(230)가 객체 판별 영역 각각의 사람에 대한 관절 벡터와 골격 벡터를 구분하여 획득할 수 있으므로, 2차원 자세 특징 획득부(260) 또한 각 사람에 대한 2차원 자세 특징을 구분하여 획득할 수 있다.

여기서 2차원 자세 특징 획득부(260)가 관절 벡터와 골격 벡터를 정규화하는 것은 서로 다른 2차원 이미지의 스케일과 해상도 등으로 인한 차이를 보상하여 균일화하기 위함일 뿐만 아니라, 2차원의 관절 벡터 및/또는 골격 벡터로부터 3차원 공간 상에서 사람의 자세와 위치를 모두 동시에 추정하는 것은 용이하지 않기 때문이다. 비록 다단 인간 모델 추정부(300)가 인공 신경망으로 구현되어 학습시킨다 하더라도, 2차원의 관절 벡터로부터 3차원 공간 상의 사람의 자세와 위치를 함께 추정하도록 학습시키는 것은 어려울 뿐만 아니라, 학습시키더라도 요구되는 성능을 나타내지 못하는 경우가 대부분이다.

이는 추정해야 하는 변수가 많을 뿐만 아니라 각 변수의 자유도가 높기 때문이며, 이러한 문제는 변수 중 일부를 고정값으로 한정하여 자유도를 제약함으로서 개선될 수 있다. 특히 본 실시예에서 2차원 자세 특징 획득부(260)는 2차원 영상의 크기와 해상도 및 2차원 영상의 각 사람의 위치에 따른 변화를 정규화를 통해 제한함으로써, 이후 3차원에서의 사람의 자세와 위치가 정확하게 추정될 수 있도록 한다.

본 실시예에서는 인간 모델 복원을 위해, 체형 벡터(β)와 자세 벡터(θ)를 매개 변수로 하여 인간 모델을 정의할 수 있는 SMPL(Skinned Multi-Person Linear) 모델 템플릿을 기반으로 인간 모델을 복원하는 것으로 가정한다.

SMPL 모델 템플릿에서 체형 벡터(β)는 미리 지정된 10가지 종류의 체형 변수(β₁ ~ β₁₀)에 따라 6890개의 정점으로 이루어진 메쉬가 변형되어 인간의 외형을 나타내는 체형을 설정할 수 있다. 도 4의 (a)에서는 10가지 종류의 체형 변수(β₁ ~ β₁₀) 중 제1 및 제2 체형 변수(β₁, β₂)에 의해 정의되는 체형 변화를 나타낸다. 즉 체형 벡터(β)는 10개의 변수(β₁ ~ β₁₀)로 구성되어 인간 체형을 정의하는 10차원 벡터(β ∈

¹⁰)일 수 있다.

한편, 인간 관절은 관절의 상호 의존성(joint interdependency)에 기반하여 도 4의 (b)에 도시된 바와 같이, 골격의 연결 구조에 기초한 키네마틱 트리(Kinematic tree) 구조로 볼 수 있다. 이에 인간의 자세는 연결 구조에 따라 주요 중심 관절인 루트 관절(root joint)을 기준으로 신체 말단 방향으로 순차적으로 연결된 각 관절의 상대 회전각으로 표현될 수 있다. 이러한 키네마틱 트리 구조에 따르면, 인간의 모든 관절의 위치는 루트 관절로부터 나머지 관절을 상대적 회전각으로 표현될 수 있으며, 자세 벡터(θ)는 루트 관절을 포함한 각 관절의 회전각을 나타낸다.

즉 이러한 키네마틱 트리 구조를 기반으로 자세 벡터(θ)에 따라 루트 관절로부터 나머지 관절을 상대적 회전각으로 표현하는 경우, 루트 관절의 위치와 회전각이 추정되면, 나머지 관절의 위치는 루트 관절을 기준으로 회전각이 파생되는 형태로 용이하게 추정될 수 있을 뿐만 아니라 정확하게 추정될 수 있다. 그러므로 루트 관절을 앵커 포인트(anchor point)로 설정하고, 앵커 포인트인 루트 관절을 기반으로 나머지 관절의 상대적 위치를 추정하면, 모든 관절의 위치를 개별적으로 추정하는 방식에 비해, 매우 효과적으로 관절의 위치를 추정할 수 있다.

자세 벡터(θ)는 추정하는 관절의 개수가 K개인 경우, 3 * K 차원(θ = [θ_0,1, θ_0,2, θ_0,3, θ_1,1, …, θ_K,1, θ_K,2, θ_K,3] ∈

^3K)일 수 있다. 여기서는 고관절을 루트 관절로 하여 관절의 개수가 24개인 SMPL 모델을 가정하며, 이에 자세 벡터(θ)는 72차원(3 * 24)의 매개 변수로 설정될 수 있다. 3 * K 차원의 자세 벡터(θ) 중 초기 3개 차원의 자세 벡터(θ₀) = [θ_0,1, θ_0,2, θ_0,3] ∈

³)는 루트 관절을 중심으로 하는 인간 모델 전체의 회전을 나타내는 전역 회전 벡터(θ₀)이다. 그리고 자세 벡터(θ)에서 루트 관절에 대한 전역 회전 벡터(θ₀)를 제외한 나머지 K-1개의 관절에 대한 자세 벡터(θ_J = [θ₁, θ₂, …, θ_K-1])는 루트 관절을 시점으로 연결된 각 관절들 사이의 상대적 회전각으로 각 관절의 위치를 나타내는 바디 회전 벡터라 할 수 있다.

그러므로 체형 벡터(β)와 자세 벡터(θ)가 획득되면, SMPL 모델 템플릿으로부터 체형 벡터(β)와 자세 벡터(θ)에 대응하는 인간 모델을 획득할 수 있다.

다만 본 실시예의 3차원 인간 모델 복원 장치는 2차원 영상에 다수의 사람이 포함된 경우에도 각각의 사람에 대응하는 3차원 인간 모델을 3차원 가상 공간 상의 정확한 위치에 복원해야 한다. 그러므로 3차원 인간 모델과 함께 3차원 공간 상의 위치를 함께 추정해야 한다. 그러나 2차원 영상에서 서로 다른 임의의 위치에 배치된 다수의 사람 각각의 위치를 추정하는 것은 용이하지 않다. 또한 비록 자세 벡터(θ)에서 루트 관절에 대한 전역 회전 벡터(θ₀)를 추정하고, 이후 추정된 전역 회전 벡터(θ₀)로부터 나머지 자세 벡터(θ_J)를 추정하는 것이 상대적으로 용이할 지라도, 전역 회전 벡터(θ₀)는 다른 관절의 위치에 제약되지 않으므로, 상대적으로 자유도가 높다.

이에 2차원 자세 특징 획득부(260)는 정규화 이미지 평면 좌표에 대응하는 스케일로 변환되고, 루트 관절인 고관절이 원점에 배치되도록 2차원 관절 벡터를 정규화함으로써, 3차원에서 루트 관절의 위치를 거리 방향에서만 추정하도록 제한할 수 있다. 즉 전역 회전 벡터(θ₀)의 자유도를 줄일 수 있다.

본 실시예에서는 서로 다른 2차원 영상이 입력될 때의 불일치를 방지하기 위해, 초점 거리(f)와 센서 폭(w)을 갖는 동일한 카메라로 모든 영상이 촬영되었다고 가정하며, 특정 위치(J₀ = [x_t, y_t, z_t])에 위치한 SMPL 모델이 촬영된 2차원 영상의 넓이(W)와 높이(H)가 주어지고, 입력된 2차원 영상으로부터 N개의 2차원 관절(j = [j₀, j₁, … j_N], j_i ∈

²))이 추정된 경우, N개의 2차원 관절(j)의 위치는 2차원 영상의 해상도에 따른 종속성을 제거하기 위해 정규화된 이미지 평면 상의 좌표(

)로 변환되어야 한다.

정규화된 이미지 평면 상의 좌표(

)로 변환하기 위해서는 우선 2차원 영상의 넓이(W)와 높이(H)의 비를 기지정된 비율로 조절한다. 일예로 넓이(W)와 높이(H)의 비를 1로 설정할 수 있으며, 넓이(W)가 높이(H)보다 큰 경우, 정규화된 이미지 평면의 y 좌표에 오프셋((W-H)/2)을 추가하고, 높이(H)가 넓이(W)보다 큰 경우 x 좌표에 오프셋((H-W)/2)을 추가할 수 있다. 그리고 좌표의 x와 y 좌표를 넓이(W)와 높이(H) 중 더 큰 값(max(W, H))으로 나누고, 정규화된 이미지 좌표의 원점으로 기준 위치를 맞추기 위해 더 넓이(W)와 높이(H) 중 더 큰 값의 절반(max(W, H)/2)의 절반으로 모든 좌표를 차감한다. 여기서 정규화된 이미지 평면의 초점 거리(f_n)는 카메라 초점 거리(f)를 센서 폭(w)으로 나누어 결정될 수 있다.

도 5에 도시된 바와 같이 3차원의 카메라 좌표계(t ∈

³)에서 정규화 이미지 평면 좌표의 2차원 관절 벡터에 따라 3차원 공간으로 투영된 인간 모형의 위치(J₀ = [x_t, y_t, z_t])는 2차원 관절 벡터의 루트 관절의 위치가 정규화 이미지 평면 좌표의 원점(0, 0)으로 이동되면, 투영된 인간 모형의 위치(J₀ ^b = [0, 0, z_t])가 되며, 이는 루트 관절의 위치의 위치를 Z 축 방향의 거리(z_t)만으로 추정할 수 있음을 의미한다. 그리고 3차원 공간에 투영된 인간 모형의 원위치(J₀)는 정규화 이미지 평면 좌표에서 루트 관절 위치(

)와 정규화된 루트 관절의 위치(

= [0, 0]) 사이의 위치 차와 이에 대응하는 인간 모형의 위치(J₀, J₀ ^b) 차 사이의 비례 관계가 성립해야 서로 닮은 형상으로 나타나는 특성을 이용하여 추정될 수 있다.

즉 루트 관절 위치(

)와 정규화된 2차원 루트 관절 위치(

)가 확인되고, 위치 벡터(Z_t)가 추정되면, 3차원 공간 상에서의 인간 모형의 루트 관절의 위치(J₀)는 수학식 1에 따라 용이하게 추정될 수 있음을 알 수 있다.

(여기서 ∥∥는 L2-norm 함수이다.)

다만 정규화로 인해 변환된 위치를 다시 재변환하기 위해, 2차원 자세 특징 획득부(260)는 추정된 2차원 관절 위치 중 루트 관절 위치(

)를 2차원 자세 특징에 포함하여 다단 인간 모델 추정부(300)로 전달할 수 있다.

도 6은 도 1의 다단 인간 모델 추정부의 개략적 구성을 나타내고, 도 7은 도 6의 다수의 모델 추정부 각각에 대한 개략적 구성을 나타내며, 도 8은 도 7의 모델 추정부 각각의 상세 구성의 일예를 나타낸다. 그리고 도 9는 도 7의 모델 자세 추정부의 상세 구성의 다른 예를 나타낸다.

도 6에 도시된 바와 같이, 다단 인간 모델 추정부(300)는 직렬로 연결되는 다수의 모델 추정부(3001, 3002, … 300S)를 포함한다. 다수의 모델 추정부(3001, 3002, … 300S)는 각각 이전 단에서 획득된 상태 벡터(β, θ, Z_t)와 2차원 자세 특징 획득부(260)에서 획득된 2차원 자세를 특징 인가받고, 인가된 상태 벡터와 2차원 자세를 특징을 결합하고 특징을 추출하여 결합 상태 벡터를 획득하며, 결합 상태 벡터로부터 새로운 상태 벡터를 추정한다.

여기서 다수의 모델 추정부(3001, 3002, … 300S) 중 제1 모델 추정부(3001)는 별도로 설정된 초기 체형(β⁰)과 초기 자세(θ⁰)와 함께 거리 방향의 초기 위치(Z_t ⁰)를 상태 벡터로 인가받거나 미리 저장할 수 있다. 그리고 초기 체형(β⁰)과 초기 자세(θ⁰)와 함께 거리 방향의 초기 위치(Z_t ⁰)는 임의의 값으로 설정될 수 있다.

도 7에서는 동일한 구조의 다수의 모델 추정부(3001, 3002, … 300S)의 일예로 제s 모델 추정부(300s)를 도시하였다. 도 7 및 도 8을 참조하면, 다수의 모델 추정부 각각은 특징 취합부(310), 위치 추정부(320) 및 모델 자세 추정부(330)를 포함할 수 있다.

특징 취합부(310)는 이전 단에서 획득된 상태 벡터(β^s-1, θ^s-1, Z_t ^s-1)과 2차원 자세 특징을 인가받아 결합하여 결합 상태 벡터를 생성하여, 위치 추정부(320)와 모델 자세 추정부(330)로 전달한다.

특징 취합부(310)는 체형 벡터(β^s), 위치 벡터(Z_t ^s)와 루트 회전 벡터(θ₀ ^s) 및 관절 회전 벡터(θ_J ^s)를 인가받아 결합하여 상태 벡터(β^s, θ^s, Z_t ^s)를 획득하는 상태 벡터 획득부(311)와 상태 벡터 획득부(311)에서 획득된 상태 벡터(β^s, θ^s, Z_t ^s)와 2차원 자세 특징 추출부(200)에서 인가된 2차원 자세 특징을 결합하고 인코딩하여 결합 상태 벡터를 획득하는 상태 특징 결합 인코딩부(312)를 포함할 수 있다.

위치 추정부(320)는 특징 취합부(310)에서 인가된 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 체형 벡터(β^s), 위치 벡터(Z_t ^s)를 추정하고, 자세(θ) 중 루트 관절의 회전을 나타내는 전역 회전 벡터(θ₀ ^s)를 추정한다.

위치 추정부(320)는 체형 벡터(β^s)를 추정하는 체형 추정부(321)와 위치 벡터(Z_t ^s) 및 전역 회전 벡터(θ₀ ^s)를 추정하는 깊이/회전 추정부(322)를 포함할 수 있다. 체형 추정부(321)와 깊이/회전 추정부(322)는 각각 독립된 인공 신경망으로 구현될 수 있다. 여기서 체형 추정부(321)와 깊이/회전 추정부(322)를 별도로 구성하는 것은 위치 벡터(Z_t ^s) 및 전역 회전 벡터(θ₀ ^s)의 경우 추정하는 성향이 유사한데 반해, 체형 벡터(β^s)의 경우 추정 성향이 상이하기 때문이다.

그리고 모델 자세 추정부(330)는 이전단에서 인가된 결합 상태 벡터와 위치 추정부(320)에서 추정된 루트 회전 벡터(θ₀ ^s)를 인가받아 미리 학습된 패턴 추정 방식에 따라 나머지 관절에 대한 관절 회전 벡터(θ^s _J = [θ^s ₁, θ^s ₂, … θ^s _K-1], θ^s _i ∈

³)를 추정한다.

모델 자세 추정부(330)는 도 8에 도시된 바와 같이, 다단 구조의 다수의 관절 회전 추정부(331 ~ 33(K-1))를 포함할 수 있다. 여기서 모델 자세 추정부(330)는 추정해야 하는 인간 모델의 관절 개수(K)에 대응하는 개수의 관절 회전 추정부(331 ~ 33(K-1))를 포함하여 각 관절의 회전 벡터(θ_J ^s = θ₁ ^s, θ₂ ^s, …, θ_K-1 ^s)를 순차적으로 추정할 수 있다. 모델 자세 추정부(330)가 다수의 관절 회전 추정부(331 ~ 33(K-1))를 포함하고, 각 관절 회전 추정부(331 ~ 33(K-1))가 이전 단에서 추정된 관절 회전 벡터와 결합 상태 벡터에 포함된 대응하는 2차원 관절 위치로부터 각 관절의 회전 벡터(θ_J ^s = θ₁ ^s, θ₂ ^s, …, θ_K-1 ^s)를 순차적으로 추정하는 것은 상기한 바와 같이, 인간 관절은 상호 의존성에 기반하여 도 루트 관절로부터 키네마틱 트리 구조를 가지기 때문에, 루트 관절(여기서는 일예로 고관절)을 기준으로 신체 말단 방향으로 순차적으로 연결된 각 관절의 상대 회전각으로 추정되는 경우, 더욱 정확하게 추정될 수 있기 때문이다.

다만, 도 8에 도시된 모델 자세 추정부(330)의 경우, 다수의 관절 회전 추정부(331 ~ 33(K-1))가 모두 직렬로 연결되는 다단 구조를 갖지만, 인간 관절은 각 부위별로 구분된다. 일예로 양팔과 양다리의 관절들은 독립적으로 회전할 수 있다. 이에 모델 자세 추정부(330)는 도 9에 도시된 바와 같이, 다수의 관절 회전 추정부(331 ~ 33(K-1))가 인간 신체 부위에 대응하는 구조로 분기되는 구조로 구성되어, 각 관절의 회전 벡터(θ_J ^s = θ₁ ^s, θ₂ ^s, …, θ_K-1 ^s)를 추정할 수도 있다.

일예로 도 9의 모델 자세 추정부(330)에서 제1 행의 다수의 관절 회전 추정부는 왼쪽 다리의 각 관절의 회전을 추정하고, 제2 행의 다수의 관절 회전 추정부는 오른쪽 다리, 제3 행과 제3 행에서 분기되는 제4 행의 다수의 관절 회전 추정부는 척추 관절을 경유하여 왼쪽 팔과 오른쪽 팔의 각 관절의 회전을 추정할 수 있다.

3차원 공간 배치부(400)는 3차원 가상의 공간 상에 다단 인간 모델 추정부(300)에서 추정된 상태 벡터(β, θ, Z_t) 중 체형 벡터(β)와 회전 벡터(θ)를 기반으로 인간 모델을 생성하고, 생성된 인간 모델을 배치할 위치를 위치 벡터(Z_t)와 루트 관절 위치(

)에 따라 결정하여 배치한다.

한편 학습부(500)는 다단 인간 모델 추정부(300)에서 추정된 상태 벡터(β, θ, Z_t) 중 체형 벡터(β)의 손실(L_β)과 위치 벡터(Z_t)의 손실을 수학식 2 및 수학식 3에 따라 계산하여 획득할 수 있다.

여기서 N은 미니 배치의 샘플수이고, ^ 표시된 변수는 학습 데이터에 레이블된 진리값을 나타낸다.

그리고 학습부(500)는 로드리게스(Rodrigues)의 회전 공식을 사용하여 각 관절의 축 각도(Axis-angle) 형태의 표현을 회전 행렬로 변환한 후 L2 손실을 적용하여, 자세 손실을 수학식 4에 따라 계산하여 획득할 수 있다.

여기서 θ_j,i는 샘플 i의 신체 부분 j의 자세 매개 변수이고, R은 축 각도 표현에서 회전 행렬로의 변환으로 L2 손실이 적용되기 전에 회전 행렬이 1D로 평탄화된다.

다만 축 각도 표현의 크기가 2π의 배수가 동일한 회전을 나타내기 때문에 -π와 π사이의 크기를 제한하기 위해 자세 매개 변수의 표준 제곱에 힌지 손실이 적용되어야 하므로, 자세 손실은 수학식 5로 다시 표현될 수 있다.

또한 바디 자세 손실은 전역 회전 벡터(θ₀)를 제외한 손실로서, 수학식 6으로 계산될 수 있다.

학습부(500)는 수학식 2내지 7에 따라 계산되는 체형 손실(

), 위치 손실(

), 전역 회전 손실(

), 바디 손실(

)에 가중치(

)를 적용하고 바디 회전 손실(

) 추가로 고려하여 총 손실을 수학식 7에 따라 획득한다.

그리고 획득된 총 손실(L)을 역전파하여, 다단 인간 모델 추정부(300)를 학습시킬 수 있다.

여기서 가중치(

)는 일예로 (1, 5, 10, 1)로 설정하였다.

도 10은 본 발명의 일 실시예에 따른 3차원 인간 모델 복원 방법을 나타낸다.

도 10을 참조하면, 본 실시예에 따른 3차원 인간 모델 복원 방법은 우선 3차원 모델로의 모델링 대상이 되는 적어도 하나의 사람이 포함된 2차원 영상을 획득한다(S11). 그리고 미리 학습된 패턴 추정 방식에 따라 획득된 2차원 영상에 포함된 각 사람의 관절 벡터를 추정한다(S12). 관절 벡터가 추정되면, 추정된 관절 벡터를 정규화하여 2차원 영상에 포함된 적어도 하나의 사람 각각에 대한 2차원 자세 특징을 획득한다(S13). 이때 관절 벡터와 함께 골격 벡터를 추정할 수 있으며, 골격 벡터가 추정되면, 관절 벡터와 함께 골격 벡터를 정규화하고 결합하여 2차원 자세 특징을 획득할 수도 있다.

여기서 정규화는 입력된 2차원 영상의 크기 및 해상도에 따라 추정된 관절 위치를 기지정된 정규화 이미지 평면의 좌표로 변환하고, 변환된 관절 위치 중 루트 관절을 앵커 포인트가 되도록 루트 관절의 위치를 정규화 이미지 평면의 좌표의 원점으로 이동시키는 형태로 수행될 수 있다. 이때, 2차원 자세 특징에는 정규화 이미지 평면의 좌표로 변환된 상태에서 루트 관절의 위치(

)가 포함될 수 있다.

2차원 자세 특징이 획득되면, SMPL 인간 모델 템플릿에 기반하여 3차원 공간 상에서 인간 모델을 생성하고 위치시키기 위한 초기 상태 벡터(β⁰, θ⁰, Z_t ⁰)를 설정한다(S14). 그리고 초기 상태 벡터(β⁰, θ⁰, Z_t ⁰)와 2차원 자세 특징을 결합하고 미리 학습된 패턴 추정 방식에 따라 인코딩하여 결합 상태 벡터를 획득한다(S15). 결합 상태 벡터가 획득되면, 획득된 결합 벡터를 이용하여 미리 학습된 패턴 추정 방식에 따라 인간 모델의 외형 특징을 나타내는 체형 벡터(β)를 추정한다(S16). 이와 병렬로 획득된 결합 벡터를 이용하여 미리 학습된 패턴 추정 방식에 따라 인간 모델의 위치 및 회전 상태를 나타내는 위치 벡터(Z_t) 및 전역 회전 벡터(θ₀)를 함께 획득한다(S17).

전역 회전 벡터(θ₀)가 획득되면, 결합 상태 벡터와 획득된 전역 회전 벡터(θ₀)으로부터 각 관절에 대한 관절 회전 벡터(θ_J = θ₁, θ₂, …, θ_K-1)를 추정한다(S18). 여기서 각 관절에 대한 관절 회전 벡터(θ_J)는 루트 관절로부터 인접한 관절부터 신체 말단 방향의 관절의 회전 벡터를 순차적으로 추정하거나, 신체 구조에 따른 부위별로 병렬로 추정함과 동시에 각 부위에서의 관절 연결 구조에 따라 순차적으로 추정할 수 있다.

체형 벡터(β)와 위치 벡터(Z_t), 전역 회전 벡터(θ₀) 및 관절 회전 벡터(θ_J)가 추정되어 새로운 상태 벡터(β, θ, Z_t)가 추정되면, 상태 벡터 추정 횟수가 기지정된 횟수 이상인지 판별한다(S19). 본 실시예에서 상태 벡터 추정 횟수는 도 6에 도시된 바와 같이, 다단 인간 모델 추정부(300)에 포함된 모델 추정부의 개수에 따라 결정될 수 있다. 상태 벡터 추정 횟수가 모델 추정부의 개수에 의해 지정된 횟수 미만이면, 다시 추정된 상태 벡터(β, θ, Z_t)와 2차원 자세 특징을 결합하고 미리 학습된 패턴 추정 방식에 따라 인코딩하여 결합 상태 벡터를 획득한다(S15).

그러나 상태 벡터 추정 횟수가 지정된 횟수 이상이면, 획득된 상태 벡터(β, θ, Z_t) 중 체형 벡터(β)와 자세 벡터(θ)를 기반으로 인간 모델을 생성한다(S20). 그리고 위치 벡터(Z_t)와 정규화 시에 획득된 루트 관절의 위치(

)로부터 3차원 공간 상에 인간 모델이 배치될 위치를 결정하여 배치한다(S21).

한편 인간 모델이 3차원 공간에 배치되면, 2차원 영상 내의 모든 사람에 대한 인간 모델이 3차원 공간에 배치되었는지 판별한다(S22). 만일 배치되지 않은 사람이 존재한다면, 다시 배치되지 않은 사람의 관절 위치를 추정한다(S12). 그러나 모든 사람이 배치된 것으로 판별되면, 3차원 인간 모델 복원을 종료한다.

도시하지 않았으나, 본 실시예에 따른 3차원 인간 모델 복원 방법은 결합 상태 벡터로부터 상태 벡터(β, θ, Z_t)를 추정하는 패턴 추정 방식을 학습시키기 위한 학습 단계가 더 포함될 수 있다. 학습 단계는 수학식 2내지 7에 따라 체형 손실(

), 위치 손실(

), 전역 회전 손실(

), 바디 손실(

)을 계산하고 대응하는 가중치(

)를 적용하며, 바디 회전 손실(

) 추가로 고려하여 총 손실을 수학식 7에 따라 획득한다. 그리고 획득된 총 손실을 역전파하여 학습을 수행할 수 있다.

도 11은 본 발명의 3차원 인간 모델 복원 방법을 이용하여 2차원 영상으로부터 3차원 공간 상에 복원된 인간 모델의 예를 나타낸다.

도 11은 MS COCO 데이터 셋을 이용하여 2차원 영상으로부터 3차원 공간 상에 인간 모델을 복원한 결과이다. 도 11에 도시된 바와 같이, 본 실시예에 따른 3차원 인간 모델 복원 장치 및 방법은 다수의 사람이 포함된 2차원 영상이 인가되면, 영상에 포함된 각 사람의 자세, 체형뿐만 아니라 3차원 공간 상에서의 상대적 위치까지 매우 정확하게 복원할 수 있음을 알 수 있다.

본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 영상 획득부 200: 2차원 자세 특징 추출부
300: 다단 인간 모델 추정부 400: 3차원 공간 배치부
500: 학습부

Claims (17)

1. 미리 학습된 패턴 추정 방식에 따라 2차원 영상에 포함된 다수의 사람 각각의 관절 위치에 대응하는 2차원 관절 벡터를 추정하고, 추정된 2차원 관절 벡터를 기지정된 방식으로 정규화하여 2차원 자세 특징을 획득하는 2차원 자세 특징 추출부;
   상기 2차원 영상에 포함된 다수의 사람 각각에 대한 상기 2차원 자세 특징을 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하는 다단 인간 모델 추정부; 및
   상기 체형 벡터와 상기 자세 벡터 및 상기 위치 벡터로 구성되는 상태 벡터와 상기 2차원 자세 특징을 인가받아, 상기 체형 벡터와 상기 자세 벡터에 대응하는 인간 모델을 복원하고, 상기 위치 벡터에 따라 복원된 인간 모델을 3차원 공간 상에 배치하는 3차원 공간 배치부를 포함하되,
   상기 다단 인간 모델 추정부는
   다단 구조로 순차 연결된 다수의 모델 추정부를 포함하고,
   다수의 모델 추정부 각각은 상기 2차원 자세 특징과 이전단의 모델 추정부에서 추정된 상태 벡터를 인가받아 결합하여 결합 상태 벡터를 생성하고, 생성된 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하여 체형 벡터와 자세 벡터 및 위치 벡터를 포함하는 새로운 상태 벡터를 생성하여 다음단의 모델 추정부로 전달하는 3차원 인간 모델 복원 장치.
   
2. 삭제
3. 제1 항에 있어서, 상기 다수의 모델 추정부 각각은
   이전단의 모델 추정부에서 추정된 상태 벡터를 인가받아 상기 2차원 자세 특징과 결합하여 결합 상태 벡터를 생성하는 특징 취합부;
   상기 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 벡터와 3차원 공간에서 인간 모델이 배치되어야 하는 위치에 대응하는 위치 벡터 및 다수의 인간 관절 각각의 회전 각도에 대응하는 다수의 관절 회전 벡터로 구성되는 자세 벡터 중 기지정된 루트 관절을 기준으로 인간 모델 전체의 회전 각도를 나타내는 전역 회전 벡터를 추정하는 위치 추정부; 및
   상기 2차원 자세 특징과 상기 전역 회전 벡터를 인가받고, 상기 전역 회전 벡터를 기준으로 상기 루트 관절에서 인접한 관절로부터 먼 관절의 상대적 회전 각도를 기지정된 순차로 추정하여 상기 자세 벡터 중 상기 전역 회전 벡터를 제외한 나머지 관절의 관절 회전 벡터를 포함하는 바디 자세 벡터를 획득하는 모델 자세 추정부를 포함하는 3차원 인간 모델 복원 장치.
4. 제3 항에 있어서, 상기 위치 추정부는
   상기 결합 상태 벡터로부터 상기 2차원 자세 특징에 대응하는 체형 벡터를 추정하도록 미리 학습된 체형 추정부; 및
   체형 추정부와 독립적으로 학습되어 상기 결합 상태 벡터로부터 상기 2차원 자세 특징에 대응하는 상기 위치 벡터와 상기 전역 회전 벡터를 동시에 추정하는 깊이/회전 추정부를 포함하는 3차원 인간 모델 복원 장치.
5. 제4 항에 있어서, 상기 모델 자세 추정부는
   상기 인간 모델의 다수의 관절 중 상기 루트 관절을 제외한 나머지 관절에 대응하는 개수로 구비되고, 각각 상기 전역 회전 벡터 또는 이전 단에서 획득된 관절 회전 벡터와 상기 2차원 자세 특징을 인가받아 대응하는 관절 회전 벡터를 추정하는 다수의 관절 회전 추정부를 포함하는 3차원 인간 모델 복원 장치.
6. 제5 항에 있어서, 상기 다수의 관절 회전 추정부는
   인간 모델의 부위별 관절 연결 구조에 대응하여, 상기 루트 관절로부터 다수의 부위 각각에 대응하여 병렬로 연결되고, 각 부위의 관절 연결 구조에 따라 직렬 연결되어 각각 관절 회전 벡터를 추정하는 3차원 인간 모델 복원 장치.
7. 제1 항에 있어서, 상기 2차원 자세 특징 추출부는
   상기 2차원 관절 벡터가 기지정된 스케일과 해상도의 정규화 이미지 평면에 대응하는 크기 및 위치를 갖도록 변환하고, 변환된 2차원 관절 벡터에서 루트 관절에 대응하는 관절 벡터의 위치가 정규화 이미지 평면의 원점에 배치되도록 이동시키는 3차원 인간 모델 복원 장치.
8. 제7 항에 있어서, 상기 2차원 자세 특징 추출부는
   정규화 이미지 평면의 원점으로 이동되기 이전의 루트 관절에 대응하는 관절 벡터의 위치를 상기 2차원 자세 특징에 포함하는 3차원 인간 모델 복원 장치.
9. 제7 항에 있어서, 상기 2차원 자세 특징 추출부는
   상기 2차원 영상에 포함된 다수의 사람 각각의 골격 방향에 대응하는 2차원 골격 벡터를 추정하고, 추정된 2차원 골격 벡터를 기지정된 방식으로 정규화하여 상기 2차원 자세 특징에 더 포함하는 3차원 인간 모델 복원 장치.
10. 제3 항에 있어서, 상기 3차원 인간 모델 복원 장치는
    2차원 학습 영상으로부터 상기 다단 인간 모델 추정부에서 추정된 상태 벡터와 상기 2차원 학습 영상에 레이블된 상태 벡터의 진리값으로부터 체형 손실(

    

    ), 위치 손실(

    

    ), 전역 회전 손실(

    

    ), 바디 손실(

    

    )을 계산하고 대응하는 가중치(

    

    )를 적용하며, 바디 회전 손실(

    

    )을 추가로 고려하여 총 손실을 수학식
    

    

    
    으로 계산하고 계산된 총 손실을 역전파하여 상기 다단 인간 모델 추정부를 학습시키는 학습부를 더 포함하는 3차원 인간 모델 복원 장치.
11. 미리 학습된 패턴 추정 방식에 따라 2차원 영상에 포함된 다수의 사람 각각의 관절 위치에 대응하는 2차원 관절 벡터를 추정하고, 추정된 2차원 관절 벡터를 기지정된 방식으로 정규화하여 2차원 자세 특징을 획득하는 단계;
    상기 2차원 영상에 포함된 다수의 사람 각각에 대한 상기 2차원 자세 특징을 인가받고, 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하고, 복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하여 상태 벡터를 획득하는 단계; 및
    상기 체형 벡터와 상기 자세 벡터 및 상기 위치 벡터로 구성되는 상태 벡터와 상기 2차원 자세 특징을 인가받아, 상기 체형 벡터와 상기 자세 벡터에 대응하는 인간 모델을 복원하고, 상기 위치 벡터에 따라 복원된 인간 모델을 3차원 공간 상에 배치하는 단계를 포함하되,
    상기 상태 벡터를 획득하는 단계는 다단 구조로 순차 연결된 다수의 모델 추정부를 이용하여 상태 벡터를 획득하고,
    상기 상태 벡터를 획득하는 단계는
    이전단의 모델 추정부에서 추정된 상태 벡터를 인가받아 상기 2차원 자세 특징과 결합하여 결합 상태 벡터를 생성하는 단계;
    생성된 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 및 자세의 인간 모델을 복원하기 위해 인간 모델 템플릿에 의해 지정되는 체형 벡터와 자세 벡터를 추정하는 단계;
    복원되는 인간 모델을 3차원 공간 상의 상기 2차원 자세 특징에 대응하는 위치에 배치하기 위한 위치 벡터를 추정하는 단계; 및
    체형 벡터와 자세 벡터 및 위치 벡터를 포함하는 새로운 상태 벡터를 생성하여 다음단의 모델 추정부로 전달하는 단계를 포함하는 3차원 인간 모델 복원 방법.
    
12. 삭제
13. 제11 항에 있어서, 상기 자세 벡터를 추정하는 단계는
    상기 결합 상태 벡터로부터 미리 학습된 패턴 추정 방식에 따라 상기 2차원 자세 특징에 대응하는 체형 벡터와 3차원 공간에서 인간 모델이 배치되어야 하는 위치에 대응하는 위치 벡터 및 다수의 인간 관절 각각의 회전 각도에 대응하는 다수의 관절 회전 벡터로 구성되는 자세 벡터 중 기지정된 루트 관절을 기준으로 인간 모델 전체의 회전 각도를 나타내는 전역 회전 벡터를 추정하는 단계; 및
    상기 2차원 자세 특징과 상기 전역 회전 벡터를 인가받고, 상기 전역 회전 벡터를 기준으로 상기 루트 관절에서 인접한 관절로부터 먼 관절의 상대적 회전 각도를 기지정된 순차로 추정하여 상기 자세 벡터 중 상기 전역 회전 벡터를 제외한 나머지 관절의 관절 회전 벡터를 포함하는 바디 자세 벡터를 획득하는 단계를 포함하는 3차원 인간 모델 복원 방법.
14. 제13 항에 있어서, 상기 전역 회전 벡터를 추정하는 단계는
    상기 결합 상태 벡터로부터 상기 2차원 자세 특징에 대응하는 체형 벡터를 추정하는 단계; 및
    상기 체형 벡터를 추정하는 단계와 독립적으로 상기 결합 상태 벡터로부터 상기 2차원 자세 특징에 대응하는 상기 위치 벡터와 상기 전역 회전 벡터를 동시에 추정하는 단계를 포함하는 3차원 인간 모델 복원 방법.
15. 제11 항에 있어서, 상기 2차원 자세 특징을 획득하는 단계는
    상기 2차원 관절 벡터가 기지정된 스케일과 해상도의 정규화 이미지 평면에 대응하는 크기 및 위치를 갖도록 변환하는 단계; 및
    변환된 2차원 관절 벡터에서 루트 관절에 대응하는 관절 벡터의 위치가 정규화 이미지 평면의 원점에 배치되도록 이동시키는 단계를 포함하는 3차원 인간 모델 복원 방법.
16. 제15 항에 있어서, 상기 2차원 자세 특징을 획득하는 단계는
    정규화 이미지 평면의 원점으로 이동되기 이전의 루트 관절에 대응하는 관절 벡터의 위치를 상기 2차원 자세 특징에 포함하는 단계를 더 포함하는 3차원 인간 모델 복원 방법.
17. 제13 항에 있어서, 상기 3차원 인간 모델 복원 방법은
    2차원 학습 영상으로부터 추정된 상태 벡터와 상기 2차원 학습 영상에 레이블된 상태 벡터의 진리값으로부터 체형 손실(

    

    ), 위치 손실(

    

    ), 전역 회전 손실(

    

    ), 바디 손실(

    

    )을 계산하고 대응하는 가중치(

    

    )를 적용하며, 바디 회전 손실(

    

    )을 추가로 고려하여 총 손실을 수학식
    

    

    
    으로 계산하고 계산된 총 손실을 역전파하여 학습하는 단계를 더 포함하는 3차원 인간 모델 복원 방법.

Images