KR102467903B1 - 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법 - Google Patents

Abstract

실시예는 상이한 시간 세그먼트로 분할하여 상호 간의 상관 관계로써 스켈로톤 시퀀스를 활용해서 인식하는 제 1 단계, 상기 인식시에, 전체 인체의 특징과 인체 부분의 특징 간에 인체 부분별로써 포지션과 속도가 중첩해서 공용의 단일 원시 RGB 이미지에 대응하는 CNN 구조에 따라 동일 시점에 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출하는 제 2 단계, 상기 스켈레톤 시퀀스의 시간 및 공간적 특징에 따른 공용의 단일 원시 RGB 이미지에서 3D 인간의 모션에 대한 확률적 정보에 따른 맵에 의해 대응하여 멀티 CNN 아키텍처를 적용해서 2D 스켈레톤을 추정하는 제 3 단계 및, 상기 2D 스켈레톤에 따른 3D 랜드 마크 위치로써 2D 위치를 검색해서 3D 모션을 재구성하는 제 4 단계를 포함하는 것을 특징으로 하는 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법에 관한 것으로, 증강 현실에 있어서, 사용자의 정확도를 높이고, 추출한 스켈레톤에 다른 3D 오브젝트를 매핑하는 방법으로 다양한 콘텐츠 또한 확보한다. 따라서, 증강 현실에 있어서, 가장 큰 문제인 사용자의 경험, 콘텐츠와 관련된 문제를 해결한다.

Description

증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법{Method for presenting motion by mapping of skeleton employing Augmented Reality}

본 명세서에 개시된 내용은 증강 현실에 있어서 사용자의 모션을 표현하는 방법에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

일반적으로, 현재 증강 현실의 대중화에 있어서 장애요인으로 기술 성숙도가 낮아 사용자의 경험의 한계가 있다는 점이 우선 지목된다. 이 말은 다시 말해 아직 기술적으로 성숙되지 않아 사용자 기대 수준에 부합하지 않는다고 볼 수 있다.

두 번째로 콘텐츠 수량/품질 부족의 문제가 있다. 콘텐츠가 수요를 촉발할 수 있는 중요 요소인데 따라서 전용 콘텐츠를 더 많이 확보하는 것 또한 필요하다.

따라서, 이러한 내용을 고려해서, 하나의 일반 카메라를 이용해 사람의 스켈레톤을 추출하여 이를 활용해 증강현실에 활용할 수 있는 플랫폼을 개발할 필요가 있다.

이러한 배경의 기술이 되는 선행기술문헌은 아래의 특허문헌이다.

(특허문헌 1) KR10-2016-0139633 A

개시된 내용은, 증강 현실에 있어서, 사용자의 정확도를 높이고, 추출한 스켈레톤에 다른 3D 오브젝트를 매핑하는 방법으로 다양한 콘텐츠 또한 확보를 할 수 있도록 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법을 제공하고자 한다.

실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법은,

상이한 시간 세그먼트로 분할하여 상호 간의 상관 관계로써 스켈로톤 시퀀스를 활용해서 인식한다. 그리고, 이러한 인식시에, 전체 인체의 특징과 인체 부분의 특징 간에 인체 부분별로써 포지션과 속도가 중첩해서 공용의 단일 원시 RGB 이미지에 대응하는 CNN 구조에 따라 동일 시점에 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출한다. 다음, 그 스켈레톤 시퀀스의 시간 및 공간적 특징에 따른 공용의 단일 원시 RGB 이미지에서 3D 인간의 모션에 대한 확률적 정보에 따른 맵에 의해 대응하여 멀티 CNN 아키텍처를 적용해서 2D 스켈레톤을 추정한다. 그래서, 이러한 2D 스켈레톤에 따른 3D 랜드 마크 위치로써 2D 위치를 검색해서 3D 모션을 재구성하는 것을 특징으로 한다.

실시예들에 의하면, 증강 현실에 있어서, 사용자의 정확도를 높이고, 추출한 스켈레톤에 다른 3D 오브젝트를 매핑하는 방법으로 다양한 콘텐츠 또한 확보한다.

따라서, 증강 현실에 있어서, 가장 큰 문제인 사용자의 경험, 콘텐츠와 관련된 문제를 해결한다.

이러한 내용에 따른 활용 방안은 아래와 같다.

1) 3D 모델을 사용자의 스켈레톤과 매핑할 수 있다. 다시 말해 사용자의 스켈레톤을 미리 추출한 다른 사람, 동물 등의 스켈레톤에 매핑하여 실제로 움직이고 있는 것은 사용자이지만 출력으로는 다른 사람, 동물이 사용자의 움직임과 같이 움직이는 것으로 활용할 수 있다. 이를 통해 콘텐츠의 다양성을 확보할 수 있다.

2) FPS 게임 체험 : 총을 쏘는 모션을 인식할 수 있는 센서를 이용하여 총을 쏘는 행동, 물건 등을 던지는 행동, 벽 뒤에 숨는 행동 등을 인식하여 FPS 게임을 보다 현실감 있게 할 수 있도록 한다

3) Just Dance 확장 : 현재 닌텐도 Wii를 사용하여 나와 있는 게임의 한 종류로 유명한 팝송이나 대중가요의 춤을 3D 캐릭터가 추면 이를 따라하는 게임을 확장시킨 것이다. 이때는 컨트롤러-Wii 리모컨을 사용하여 사용자의 동작을 인식하지만 정확도가 떨어진다. 따라서 위에서 제시한 플랫폼을 바탕으로 이에 활용하면 보다 정확도가 높은 댄스 게임을 구현할 수 있을 것이다.

4) 가상 여행 체험을 통한 애니메이션 제작 : 실제로 해외여행이나 국내여행을 가지 못하는 사람을 위해 사용할 수 있는 방법으로 증강현실을 통해 자신이 실제로 여행을 가 있는 것과 같도록 해 준다. 실제 방 크기와 동일한 면적으로 이동하며 촬영된 영상을 바탕으로 구현한다. 4D 기술을 활용해 냄새, 바람, 온도 등을 실제 동일하게 재현하여 현실감을 높이는 방향으로 구현한다. 또한, 체험 후 자신의 여행에 대한 내용을 영상으로 제작하길 원하는 사람들을 위해 실제로 여행을 간 것과 같은 애니메이션이 나오도록 제작 가능하게 해준다.

도 1은 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법이 적용된 장치의 구성을 도시한 블록도
도 2는 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법을 순서대로 도시한 플로우 챠트
도 3은 도 2의 일실시예에 따른 모션 표현 방법이 적용된 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 플랫폼을 대략적으로 도시한 도면
도 4 내지 도 6은 도 2의 일실시예에 따른 모션 표현 방법에 적용된 스켈레톤 추출을 위한 방법을 설명하기 위한 도면

도 1은 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법이 적용된 장치의 구성을 도시한 블록도이다.

도 1에 도시된 바와 같이, 일실시예의 장치는 사용자의 동작 정보를 입력받는 입력부(101), 3D 모델이 등록된 데이터베이스(102) 및 사용자의 동작 정보를 적용해서 스켈레톤으로 추출하고 또는 3D 모델에 적용하는 제어부(103)를 포함한다.

상기 입력부(101)는 일반 카메라 하나를 통해 사용자의 동작 정보와 콘텐츠 구현을 위해 사용하는 센서의 정보를 입력받는 것이다.

상기 데이터베이스(102)는 예를 들어, 사용자의 스켈레톤이 매핑되는 다른 사람, 동물 등의 3D 모델의 정보가 포함되어 구성된 것이다.

상기 제어부(103)는 상기 사용자의 동작 정보를 적용해서 증강 현실용 스켈레톤으로 추출하고, 또는 이러한 증강 현실용 스켈레톤 매핑에 의한 3D 모델의 적용으로써 모션 표현을 하는 것이다. 보다 상세하게, 이러한 제어부(103)는 스켈레톤 시퀀스를 상이한 시간 세그먼트로 분할하여 상호 간의 상관 관계를 활용한다. 그리고, 상기 제어부(103)는 CNN 구조를 적용해서 동일 시점에 이러한 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출한다. 이러한 추출 동작은 도 4를 참조하여 후술한다. 다음, 상기 제어부(103)는 2D 스켈레톤 추정과 3D 모션 재구성을 공동으로 고려하는 단일 원시 RGB 이미지에서 3D 인간 모션 추정 문제에 대한 방법을 제안한다. 구체적으로는, 상기 제어부(103)가 3D 인간의 모션에 대한 확률적 지식을 멀티 CNN 아키텍처와 융합해서 2D 스켈레톤을 추정하고, 또한 3D 랜드 마크 위치에 대한 지식을 사용하여 2D 위치 검색을 향상시키는 접근법을 사용해서 3D 모션 재구성을 하는 것이다. 추가적으로, 그 제어부(103)는 단안의 RGB 이미지를 사용하는 기존의 방법과 다르게 인간의 움직임을 이용하여 3D 인체를 모델링한다.

도 2는 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법을 순서대로 도시한 플로우 챠트이다.

도 2에 도시된 바와 같이, 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법은 먼저, 상이한 시간 세그먼트로 분할하여 상호 간의 상관 관계로써 스켈로톤 시퀀스를 활용해서 인식한다(S201).

다음, 상기 인식시에, 전체 인체의 특징과 인체 부분의 특징 간에 인체 부분별로써 포지션과 속도가 중첩해서 공용의 단일 원시 RGB 이미지에 대응하는 CNN 구조에 따라 동일 시점에 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출한다(S202).

보다 상세하게, 먼저 일실시예는 그 전체 인체의 특징으로 전체-인체-기반의 특징으로써 정의한다. 그리고, 그 인체 부분의 특징은 인체-부분-기반의 특징으로써 정의한다. 이러한 경우, 그 전체-인체-기반의 특징은 Whole-Bo-Based Feature이다. 그리고, 그 인체-부분-기반의 특징은 Body-Part-Based Feature이다.

또한, 동일 시간 세그먼트별로 전체-인체-기반의 특징의 조인트 로케이션과 조인트 속도로부터 포지션과 속도 및 인체-부분-기반의 특징의 인체 부분별로부터 인체 부분별에 따른 좌표값으로 된 축 상의 포지션과 속도의 CNN 구조를 정한다.

그래서, 이러한 일실시예에 따른 CNN 구조에 따라 동기화하여 동일한 시점에 일괄적으로 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출한다.

그런 다음, 그 스켈레톤 시퀀스의 시간 및 공간적 특징에 따른 공용의 단일 원시 RGB 이미지에서 3D 인간의 모션에 대한 확률적 정보에 따른 맵에 의해 2D 포즈를 발생한다. 그리고, 이에 따른 이러한 동작을 대응하여 멀티 CNN 아키텍처를 적용해서 2D 스켈레톤을 추정한다(S203). 이러한 추정 동작은 도 4 내지 도 6을 참조하여 후술한다.

그래서, 상기 2D 스켈레톤에 따른 3D 랜드 마크 위치로써 2D 위치를 검색해서, 개연성에 따른 3D 포즈 모델을 생성함으로써 3D 모션을 재구성한다(S204).

따라서, 증강 현실에 있어서, 사용자의 정확도를 높이고, 추출한 스켈레톤에다른 3D 오브젝트를 매핑하는 방법으로 다양한 콘텐츠 또한 확보한다.

이상과 같이, 일실시예는 증강 현실용 스켈레톤 매핑에 의한 모션 표현 플랫폼에 의해서, 증강 현실에 있어서, 사용자의 정확도를 높이고, 추출한 스켈레톤에다른 3D 오브젝트를 매핑하는 방법으로 다양한 콘텐츠 또한 확보한다.

따라서, 증강 현실에 있어서, 가장 큰 문제인 사용자의 경험, 콘텐츠와 관련된 문제를 해결한다.

도 3은 도 2의 일실시예에 따른 모션 표현 방법이 적용된 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 플랫폼을 대략적으로 도시한 도면이다.

도 3에 도시된 바와 같이, 일실시예에 따른 증강 현실용 스켈레톤 매핑에 의한 모션 표현 플랫폼은 사용자의 스켈레톤을 추출하여 증강현실로 나타내는 것에 관한 것이다.

더욱 상세하게는 실내 공간에 설치되어 있는 하나의 일반 카메라로부터 사용자의 영상정보를 취득하고(a), 이를 실시간으로 스켈레톤을 추출하여 사용자와 매핑하여 증강 현실을 통해 시각화(b) 하는 것이다.

이 때, 일반 카메라는 정면 또는 측면에 위치해 있어 사용자의 정면 모습 또는 측면 모습을 취득/시각화 할 수 있다.

일실시예에 따른 플랫폼에 있어서 플랫폼을 사용하는 사용자, 정해진 공간에 배치되어 사용자의 영상을 취득하는 하나의 일반 카메라, 하나의 일반 카메라로 취득된 사용자의 영상을 스켈레톤으로 추출한다. 그래서, 이에 따라 이를 사용자의 영상에 매핑하는 프로그램으로 구성된다.

일실시예에 따른 플랫폼을 통해 사용자의 스켈레톤 추출을 통해 사용자의 동작을 정확하게 파악할 수 있어 실시간 영상 기반으로 정확하게 증강 현실을 구현할 수 있게 된다.

또한 일반 카메라 하나 만으로 사용자의 스켈레톤 추출을 통해 증강 현실로 사용자의 모습을 시각화 할 수 있어 광학적 장비가 불필요하고 이를 구현하는데 어려움이 없다.

도 4 내지 도 6은 도 2의 일실시예에 따른 모션 표현 방법에 적용된 스켈레톤 추출을 위한 방법을 설명하기 위한 도면이다.

구체적으로는, 도 4가 일실시예에 따른 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출하기 위한 동작을 설명하기 위한 도면이다. 그리고, 도 5는 일실시예에 따른 2D 스켈레톤 추정과 3D 모션 재구성을 설명하기 위한 도면이다. 또한, 도 6은 일실시예에 따른 3D 인체를 모델링하는 동작을 설명하기 위한 도면이다.

도 4 내지 도 6에 도시된 바와 같이, 일실시예에 따른 스켈레톤 추출은 먼저 도 4에서 도시된 대로 스켈레톤 시퀀스를 상이한 시간 세그먼트로 분할하여 상호 간의 상관 관계를 활용한다. 이러한 경우 스켈레톤 시퀀스의 시간 및 공간적 특징은 CNN 구조를 이용하여 동일 시점에 일괄적으로 추출된다.

다음, 도 5에서와 같이, 2D 스켈레톤 추정과 3D 모션 재구성을 공동으로 고려하는 단일 원시 RGB 이미지에서 3D 인간 모션 추정 문제에 대한 방법을 제안한다. 이러한 경우, 3D 인간의 모션에 대한 확률적 지식을 멀티 CNN 아키텍처와 융합하고 3D 랜드 마크 위치에 대한 지식을 사용하여 2D 위치 검색을 향상시키는 접근법을 사용한다. 이 때, 그 3D 인간의 모션에 대한 확률적 지식은 3D 인간의 모션에 대한 예측 확률적 맵 - predicted belief maps과, 프로젝티드 포즈 확률적 맵 - projected pose belief maps, 퓨즈드 확률적 맵-fused belief maps에 의해 이루어진다. 이러한 경우, 그 프로젝티드 포즈 확률적 맵은 상기 예측 확률적 맵을 개연성에 따른 3D 포즈 모델을 해서 3D 포즈를 생성한 다음, 3D/2D 프로젝션을 수행해서 형성된 것이다. 그리고, 그 퓨즈드 확률적 맵은 이러한 예측 확률적 맵과 프로젝티드 포즈 확률적 맵을 조합하여 2D 퓨전-fusion을 해서 형성된 것이다.

그래서, 일실시예에 따른 2D 스켈레톤 추정은 이러한 3D 인간의 모션에 대한 확률적 맵을 이미지 상의 인체 특징에 따른 멀티 CNN 아키텍처를 융합해서 적용함으로써, 그러한 바가 이루어진다.

다음, 도 6에서대로, 단안의 RGB 이미지를 사용하는 기존의 방법과 다르게 인간의 움직임을 이용하여 3D 인체를 모델링 할 수 있다. 이미지 시퀀스로부터 추정 된 2D 및 3D 모션을 기반으로, 먼저 모션-포즈을 재현하고 재구성 된 신체 부위를 얻기 위해 인체 부분에 대한 분류를 수행한다. 그 후, 일반 템플릿을 구동하여 비어있는 신체 부위를 채우고 변형을 계산하여 3D 인체를 생성한다. 이를 이용하면 깊이-Depth정보를 사용하지 않고 스마트 폰에서 수행 가능하다.

* 도면의 주요 부분에 대한 부호의 설명 *
101 : 입력부 102 : 데이터베이스
103 : 제어부

Claims (3)

1. 상이한 시간 세그먼트로 분할하여 상호 간의 상관 관계로써 스켈레톤 시퀀스를 활용하여 스켈레톤 시퀀스의 시간 및 공간적 특징을 인식하는 제 1 단계;
   상기 인식시에, 전체 인체의 특징과 인체 부분의 특징 간에 인체 부분별로써 포지션과 속도가 중첩해서 공용의 단일 원시 RGB 이미지에 대응하는 CNN 구조에 따라 동일 시점에 스켈레톤 시퀀스의 시간 및 공간적 특징을 추출하는 제 2 단계;
   상기 스켈레톤 시퀀스의 시간 및 공간적 특징에 따른 공용의 단일 원시 RGB 이미지에서 3D 인간의 모션에 대한 확률적 정보에 따른 맵에 의해 대응하여 멀티 CNN 아키텍처를 적용해서 2D 스켈레톤을 추정하는 제 3 단계; 및
   상기 2D 스켈레톤에 따른 3D 랜드 마크 위치로써 2D 위치를 검색해서 3D 모션을 재구성하는 제 4 단계를 포함하고
   상기 제 4 단계 후에,
   상기 2D 스켈레톤과 상기 3D 모션을 기반으로, 포즈를 재현하고 인체 부분에 대한 분류를 수행해서 신체 부위를 재구성하는 제 5-1 단계;
   상기 신체 부위에 템플릿을 구동해서 빈 신체 부위를 채우고 변형을 산출하는 제 5-2 단계; 및
   상기 변형에 따라 3D 인체를 생성해서 3D 인체를 모델링하는 제 5-3 단계를 포함하는 것
   을 특징으로 하는 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 제 3 단계 후에,
   사용자의 키 조작에 따른 미리 설정된 매핑 명령을 입력받은 경우, 상기 2D 스켈레톤을 미리 등록된 3D 모델의 정보와 매핑해서 출력하는 제 6 단계를 포함하는 것을 특징으로 하는 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법.
   
   

Images