KR20200076276A - 관절 간 거리 정보를 이용한 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법 - Google Patents

Abstract

한 장의 영상에서 여러 사람들의 2차원/3차원 자세와 형상을 복원하기 위해, 영상으로부터 인코딩된 2차원 자세를 생성하고, 인코딩된 2차원 자세를 인코딩된 3차원 자세로 변환하며, 인코딩된 3차원 자세로부터 3차원 형상 정보 및 관절 위치 정보를 복원하는 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 사람 모델 복원 방법은 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 단계; 추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 단계; 및 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함한다.
이에 의해, 영상으로부터 관절 간 거리 정보에 기반하여 인코딩된 2차원 자세를 직접 복원함으로써 특정 관절이 검출되지 않더라도 주변 관절들로부터의 거리 정보를 이용하여 전체 자세를 복원할 수 있다.

Description

관절 간 거리 정보를 이용한 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법{Apparatus and Method for Image based Human Posture and Shape Model Reconstruction with Inter Joint Distance Information}

본 발명은 AR(Augmented Reality)/VR(Virtual Reality) 기술에 관한 것으로, 더욱 상세하게는 AR 혹은 VR 서비스에서 영상 기반으로 사람 자세 및 형상 모델을 복원하는 장치 및 방법에 관한 것이다.

사람의 자세 복원 장치는 능동식 또는 수동식 센서를 이용하여 각 관절들의 3차원 위치를 복원하는 장치를 말한다. 능동식 센서 기반의 자세 복원 장치는 사용자의 신체에 부착된 센서들로부터 위치, 속도, 각도 등의 정보를 직접적으로 획득하는 장치이며, 수동식 센서 기반의 장치는 사용자의 신체에 마커(maker)를 부착하고 외부에 설치된 카메라 등을 이용하여 마커의 위치 정보를 복원하는 방식의 장치이다. 도 1에는 마커 기반 사람 자세 추정을 예시하였다.

이러한 센서/마커 기반의 자세 복원 장치들은 3차원 자세를 매우 정확하게 추정할 수 있다는 장점이 있지만, 사용자의 몸에 장치를 부착해야하기 때문에 착용이 불편하고 실외 환경에서는 사용이 어렵다는 문제점이 있다.

이러한 문제점을 해결하기 위한 방법으로 마커를 부착하지 않고 비디오 영상만을 이용하여 사용자의 3차원 자세들을 추정하는 마커리스(markerless) 방법이 제안되었다.

마커리스 방식은 사용이 간편하다는 장점이 있지만, 여러 사람들이 혼재되어 있거나 서로 복잡하게 상호작용하는 환경에서는 다음과 같은 문제가 발생한다.

첫째, 본인 혹은 주변 객체에 의한 가려짐(occlusion) 현상이나 영상 크기에 따른 절단(truncation) 현상 발생 시, 관절의 위치 복원이 어렵다.

둘째, 일부 관절의 위치 복원이 어려운 경우, 전체 자세 복원 성능이 급격히 저하된다.

셋째, 여러 사람들의 관절들이 비슷한 위치에서 검출되는 경우, 어떤 사람의 관절인지 식별이 어렵다.

사람들의 자세 정보를 필요로 하는 서비스들은 주변 객체들과의 상호 작용이 빈번한 상황을 대상으로 한다. 하지만, 기존의 마커리스 기술들은 위와 같은 상황에서 복원 성능이 저하되어 실제 서비스에 적용되기에 한계가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 한 장의 영상에서 여러 사람들의 2차원/3차원 자세와 형상을 복원하기 위해, 영상으로부터 인코딩된 2차원 자세를 생성하고, 인코딩된 2차원 자세를 인코딩된 3차원 자세로 변환하며, 인코딩된 3차원 자세로부터 3차원 형상 정보 및 관절 위치 정보를 복원하는 장치 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사람 모델 복원 방법은 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 단계; 추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 단계; 및 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함한다.

인코딩된 사람의 2차원 자세 정보는, 관절 간 2차원 거리 정보이고, 인코딩된 사람의 3차원 자세 정보는, 관절 간 3차원 거리 정보일 수 있다.

관절 간 2차원 거리 정보는, N×N의 EDM(Euclidean Distance Matrix)으로 표현되며, N은 관절의 수일 수 있다.

인코딩 단계는, 입력 영상에서 사람의 위치를 검출하는 단계; 검출된 사람의 영상으로부터 관절 간 2차원 거리 정보를 획득하는 단계;를 포함할 수 있다.

획득 단계는, 검출된 사람의 영상 정보와 외곽선 정보로부터 사람의 자세 특징 정보를 추출하는 단계; 및 추출한 사람의 자세 특징 정보를 인공지능 모델에 입력하여, 관절 간 2차원 거리 정보를 획득하는 단계;를 포함할 수 있다.

인코딩 단계는, 입력 영상으로부터 사람의 관절을 추정하지 않고, 인코딩된 관절 간 2차원 거리 정보를 바로 추정하는 것일 수 있다.

관절 간 3차원 거리 정보의 규격은, 관절 간 2차원 거리 정보의 규격과 동일할 수 있다.

복원 단계는, 관절 간 3차원 거리 정보로부터 골격 모델을 변형하기 위한 매개변수를 획득하는 단계; 획득한 매개변수와 관절 간 3차원 거리 정보를 이용하여, 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함할 수 있다.

획득 단계는, 관절 간 3차원 거리 정보로부터 골격 모델을 변형하기 위한 매개변수를 획득하기 위해 학습된 인공지능 모델을 이용하여, 매개변수를 획득하는 것일 수 있다.

본 발명의 다른 측면에 따르면, 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 인코딩부; 추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 변환부; 및 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 복원부;를 포함하는 것을 특징으로 하는 사람 모델 복원 장치가 제공된다.

본 발명의 또다른 측면에 따르면, 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 단계; 추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 단계; 및 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

본 발명의 또다른 측면에 따르면, 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추출하는 단계; 및 추출된 인코딩된 사람의 2차원 자세 정보를 변환하여 생성한 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법이 제공된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 영상으로부터 관절 간 거리 정보에 기반하여 인코딩된 2차원 자세를 직접 복원함으로써 특정 관절이 검출되지 않더라도 주변 관절들로부터의 거리 정보를 이용하여 전체 자세를 복원할 수 있다.

또한, 본 발명의 실시예들에 따르면, 인코딩된 2차원 자세 정보를 인코딩된 3차원 자세 정보로 변환함으로써, 시점 변화에 불변인 방식으로 3차원 자세를 표현할 수 있으며 입력과 출력이 같은 차원을 가지므로 효율적인 딥러닝 학습과 추정이 가능하다.

뿐만 아니라, 본 발명의 실시예들에 따르면, 인코딩된 3차원 자세 정보로부터 사용자의 형상 정보 및 각 관절들의 위치 정보를 동시에 복원할 수 있다.

도 1은 마커 기반 사람 자세 추정을 예시한 도면,
도 2는 본 발명의 일 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 블럭도,
도 3은, 도 2에 도시된 인코딩부의 알고리즘 구성도,
도 4는 EDM 수식과 EDM에 의한 관절 간 2차원 거리 정보를 예시한 도면,
도 5는, 도 2에 도시된 변환부의 알고리즘 구성도, 그리고,
도 6은, 도 2에 도시된 복원부의 알고리즘 구성도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 블럭도이다.

본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 한 장의 영상으로부터 여러 사람들의 3차원 자세 정보 및 형상 정보를 복원하여 주는 장치이다.

이를 수행함에 있어, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 관절 간 거리 정보 기반 인코딩을 통해 2차원/3차원 사람 자세 및 형상 모델을 복원한다.

이와 같은 기능을 수행하는, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 도 2에 도시된 바와 같이, 인코딩부(110), 변환부(120) 및 복원부(130)를 포함하여 구성된다.

인코딩부(110)는 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추출한다. 인코딩부(110)에 의해 추출되는 인코딩된 사람의 2차원 자세 정보는 한 장의 영상에서 추출한 관절 간 2차원 거리 정보이다.

변환부(120)는 인코딩부(110)에 의해 추출된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환한다. 즉, 변환부(120)에 의해, 관절 간 2차원 거리 정보는 관절 간 3차원 거리 정보로 변환된다.

복원부(130)는 인코딩된 사람의 3차원 자세 정보, 즉, 관절 간 3차원 거리 정보로부터 사람의 3차원 형상 정보 및 관절들의 위치 정보를 동시에 복원한다.

이하에서, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치의 각 구성들의 상세 동작에 대해 상세히 설명한다.

도 3은, 도 2에 도시된 인코딩부(110)의 알고리즘 구성도이다.

도 3에 도시된 바와 같이, 인코딩부(110)는 먼저, 입력 영상에 대해, 영상 기반 사람 검출기를 통해 사람의 위치를 검출한다. 다음, 인코딩부(110)는 검출된 사람의 영상 정보와 외곽선 정보로부터 사람의 자세 특징 정보를 추출한다.

그리고, 인코딩부(110)는 추출한 사람의 자세 특징 정보를 2차원 사람 자세 인코딩 네트워크에 입력하여, 사람의 영상 정보를 관절 간 2차원 거리 정보로 인코딩한다.

여기서, 2차원 사람 자세 인코딩 네트워크는, 사람의 자세 특징 정보를 관절 간 2차원 거리 정보로 인코딩하도록 학습된 인공지능 모델이다.

사람의 자세를 표현하기 위해 사용된 관절의 수가 N개일 때, 인코딩된 관절 간 2차원 거리 정보는 N×N 크기의 행렬로 표현되는데, 사람의 자세 정보를 관절 간의 상대 거리 정보로 나타낼 수 있는 EDM(Euclidean Distance Matrix) 형태로 표현한다.

도 4의 상부에는 EDM 수식을 나타내었고, 도 4의 하부에는 관절 수가 3개인 경우 관절 간 2차원 거리 정보를 나타내는 EDM을 예시하였다. 이와 같이, EDM에는 관절 마다 다른 관절들과의 거리 정보들이 수록된다.

이와 같이, 인코딩부(110)는 영상 정보로부터 사람의 2차원 자세 추정를 추정함에 있어, 관절을 먼저 추출/추정하는 것이 아니라, 인코딩된 관절 간 2차원 거리 정보인 EDM을 바로 추정한다.

영상 정보로부터 관절 간의 상대거리가 인코딩된 2차원 자세 정보를 추정함으로써, 본 발명의 실시예에서는 관절끼리 유기적으로 연결되어 있는 정보를 추정하기 때문에, 가려져 있는 관절도 추정이 가능하다.

또한, 관절들 간의 연결 정보를 바로 획득하기 때문에, 추정된 관절을 연결시키는 후처리가 필요 없다.

도 5는, 도 2에 도시된 변환부(120)의 알고리즘 구성도이다.

도 5에 도시된 바와 같이, 변환부(120)는 인코딩부(110)를 통해 획득된 관절 간 2차원 거리 정보를 2차원-3차원 변환 네트워크를 이용하여, 관절 간 3차원 거리 정보로 변환한다.

여기서, 2차원-3차원 변환 네트워크는, 관절 간 2차원 거리 정보를 관절 간 3차원 거리 정보로 변환하도록 학습된 인공지능 모델이다. 관절 간 3차원 거리 정보 역시 관절 간 2차원 거리 정보와 동일하게 N × N 크기의 행렬로 표현된다.

이와 같이, 인코딩된 2차원 자세 정보(즉 2차원 자세 EDM)와 3차원 자세 EDM은 같은 정보량으로 표현되므로, 2차원에서 3차원 정보로 변환 시 효율적이다. 기존의 방법은 N개의 관절로 표현되는 경우 2차원의 자세 정보는 N-by-2 차원으로 표현되고 3차원 자세 정보는 N-by-3 차원으로 표현되어 2차원 자세 정보로부터 3차원 자세 추정시 작은 정보로부터 큰 정보를 추정하는 문제가 생긴다.

도 6은, 도 2에 도시된 복원부(130)의 알고리즘 구성도이다.

점군(point cloud) 또는 메시 모델(mesh model) 등으로 표현되는 사람의 3차원 형상 정보는 미리 생성된 3차원 골격 모델을 목적하는 자세로 변형함으로써 복원이 가능하다.

복원부(130)는 3차원 모델 매개변수 추출 네트워크를 활용하여 변환부(120)에서 획득된 관절 간 3차원 거리 정보로부터 골격 모델을 변형하기 위한 매개변수를 획득한다.

여기서, 3차원 모델 매개변수 추출 네트워크는, 관절 간 3차원 거리 정보로부터 골격 모델을 변형하기 위한 매개변수를 획득하기 위해 학습된 인공지능 모델이다.

복원부(130)는 추출된 매개변수와 관절 간 3차원 거리 정보를 이용하여 사람의 3차원 형상 정보와 관절 위치를 동시에 복원한다.

추정된 3차원 관절 정보를 이용하여 형상 정보를 추정하는 기존 기술과 달리, 복원부(130)는 형상 정보 변환 부분도 딥러닝 기술 기반의 end-to-end 방식으로 학습하여 효율성을 증대한다.

이에 따라, 본 발명의 실시예에 따른 사람 자세 및 형상 모델 복원 장치는, 입력으로 2차원 영상을 넣어주면 하나의 프레임워크에서 2차원/3차원/형상 자세 정보를 동시 획득이 가능하다.

지금까지, 관절 간 거리 정보를 이용한 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에서는, 한 장의 영상에서 여러 사람들의 2차원/3차원 자세와 형상을 복원하기 위해, 영상으로부터 인코딩된 2차원 자세를 생성하고, 인코딩된 2차원 자세를 인코딩된 3차원 자세로 변환하며, 인코딩된 3차원 자세로부터 3차원 형상 정보 및 관절 위치 정보를 복원하는 장치 및 방법을 제시하였다.

이에 의해, 영상으로부터 관절 간 거리 정보에 기반하여 인코딩된 2차원 자세를 직접 복원함으로써 특정 관절이 검출되지 않더라도 주변 관절들로부터의 거리 정보를 이용하여 전체 자세를 복원할 수 있고, 인코딩된 2차원 자세 정보를 인코딩된 3차원 자세 정보로 변환함으로써 시점 변화에 불변인 방식으로 3차원 자세를 표현할 수 있으며 입력과 출력이 같은 차원을 가지므로 효율적인 딥러닝 학습과 추정이 가능하며, 인코딩된 3차원 자세 정보로부터 사용자의 형상 정보 및 각 관절들의 위치 정보를 동시에 복원할 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 인코딩부
120 : 변환부
130 : 복원부

Claims (12)

1. 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 단계;
   추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 단계; 및
   인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
   
2. 청구항 1에 있어서,
   인코딩된 사람의 2차원 자세 정보는,
   관절 간 2차원 거리 정보이고,
   인코딩된 사람의 3차원 자세 정보는,
   관절 간 3차원 거리 정보인 것을 특징으로 하는 사람 모델 복원 방법.
   
3. 청구항 2에 있어서,
   관절 간 2차원 거리 정보는,
   N×N의 EDM(Euclidean Distance Matrix)으로 표현되며,
   N은 관절의 수인 것을 특징으로 하는 사람 모델 복원 방법.
   
4. 청구항 2에 있어서,
   인코딩 단계는,
   입력 영상에서 사람의 위치를 검출하는 단계;
   검출된 사람의 영상으로부터 관절 간 2차원 거리 정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
   
5. 청구항 4에 있어서,
   획득 단계는,
   검출된 사람의 영상 정보와 외곽선 정보로부터 사람의 자세 특징 정보를 추출하는 단계; 및
   추출한 사람의 자세 특징 정보를 인공지능 모델에 입력하여, 관절 간 2차원 거리 정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
   
6. 청구항 2에 있어서,
   인코딩 단계는,
   입력 영상으로부터 사람의 관절을 추정하지 않고, 인코딩된 관절 간 2차원 거리 정보를 바로 추정하는 것을 특징으로 하는 사람 모델 복원 방법.
   
7. 청구항 2에 있어서,
   관절 간 3차원 거리 정보의 규격은,
   관절 간 2차원 거리 정보의 규격과 동일한 것을 특징으로 하는 사람 모델 복원 방법.
   
8. 청구항 2에 있어서,
   복원 단계는,
   관절 간 3차원 거리 정보로부터 골격 모델을 변형하기 위한 매개변수를 획득하는 단계;
   획득한 매개변수와 관절 간 3차원 거리 정보를 이용하여, 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
   
9. 청구항 8에 있어서,
   획득 단계는,
   관절 간 3차원 거리 정보로부터 골격 모델을 변형하기 위한 매개변수를 획득하기 위해 학습된 인공지능 모델을 이용하여, 매개변수를 획득하는 것을 특징으로 하는 사람 모델 복원 방법.
   
10. 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 인코딩부;
    추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 변환부; 및
    인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 복원부;를 포함하는 것을 특징으로 하는 사람 모델 복원 장치.
    
11. 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추정하는 단계;
    추정된 인코딩된 사람의 2차원 자세 정보를 인코딩된 사람의 3차원 자세 정보로 변환하는 단계; 및
    인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
    
12. 입력 영상으로부터 인코딩된 사람의 2차원 자세 정보를 추출하는 단계; 및
    추출된 인코딩된 사람의 2차원 자세 정보를 변환하여 생성한 인코딩된 사람의 3차원 자세 정보로부터 사람의 3차원 자세와 형상을 동시에 복원하는 단계;를 포함하는 것을 특징으로 하는 사람 모델 복원 방법.
    

Images