KR20180059171A - 3차원 상호작용을 위한 증강현실 제공 장치 및 방법 - Google Patents

3차원 상호작용을 위한 증강현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR20180059171A
KR20180059171A KR1020160158413A KR20160158413A KR20180059171A KR 20180059171 A KR20180059171 A KR 20180059171A KR 1020160158413 A KR1020160158413 A KR 1020160158413A KR 20160158413 A KR20160158413 A KR 20160158413A KR 20180059171 A KR20180059171 A KR 20180059171A
Authority
KR
South Korea
Prior art keywords
dimensional
information
augmented reality
interaction
unit
Prior art date
Application number
KR1020160158413A
Other languages
English (en)
Inventor
한병옥
김경일
김재환
윤기송
정유구
조규성
김호원
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160158413A priority Critical patent/KR20180059171A/ko
Publication of KR20180059171A publication Critical patent/KR20180059171A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

3차원 상호작용을 위한 증강현실 제공 장치 및 방법이 개시된다. 본 발명에 따른 3차원 상호작용을 위한 증강현실 제공 장치는, 실제 공간에 상응하는 영상 정보를 분석하여, 실물 대상을 3차원 복원하는 3차원 복원부, 3차원 컨텐츠에 포함된 가상 대상과 3차원 복원된 상기 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산하는 상호작용 감지부, 상기 충돌 및 계산된 상기 역 운동학 정보를 기반으로 3차원 오클루전(Occlusion) 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영하는 오클루전 처리부, 상기 3차원 컨텐츠와 상기 3차원 복원된 실물 대상을 정합하는 3차원 정합부, 그리고 상기 영상 정보에 상응하는 조명 환경 정보를 반영하여, 상기 정합된 결과를 렌더링하는 렌더링부를 포함한다.

Description

3차원 상호작용을 위한 증강현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY SUPPORTING 3D INTERACTIONS}
본 발명은 3차원 상호작용을 위한 증강현실 제공 기술에 관한 것으로, 특히 실물 대상과 가상 대상 간 상호작용을 반영하여 이질감 없는 증강현실 서비스를 제공하는 기술에 관한 것이다.
최근 각광받고 있는 증강현실은 가상현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 가상현실 기술과 달리 증강현실 기술은 현실세계 기반에서 동작하므로 현실세계에 대한 정보인 주변 환경과 사용자 정보를 추출하는 기술과 사용자와 가상 대상의 자연스러운 상호작용에 대한 표현 기술, 가상 대상과 실물 대상의 정합 기술 및 현실세계와 이질감 없는 렌더링 기술 등이 핵심 기술로 고려되고 있다.
종래의 증강현실 서비스는 2차원 영상 공간 또는 부분적 3차원 공간에서의 사용자와 가상 대상의 상호작용에 방점을 두고 있다. 예를 들면, 2차원 컬러 영상 기반의 전경 영상 추출 기법으로 사용자의 움직임 정보를 추적하거나, 3차원 공간상에서의 바닥 정보를 추출하여 3차원 평면상에서의 사용자의 부분적 움직임 정보를 반영하여 가상 대상과 상호작용하는 증강현실 서비스를 제공하였다.
2차원 컬러 영상 기반 또는 3차원 공간의 부분적 정보 추출 기반 증강현실 서비스는 가상 대상과 실물 대상 간 상호작용을 가시화할 때 3차원적 공간상에서의 충돌 감지, 충돌 회피, 가려짐 영역 계산의 한계 등으로 인해 겹침 현상이 발생하고, 이로 인하여 자연스러운 렌더링이 불가능했다.
따라서, 가상 대상이 원래의 환경에 존재하는 사물처럼 보이도록 하기 위해 현실 세계의 사용자 또는 주변환경의 3차원 정보를 획득하고, 이를 바탕으로 실물 대상과 가상 대상의 3차원 상호작용을 가능하게 함으로써, 몰입도 높은 증강현실 서비스를 제공하는 기술의 개발이 필요하다.
한국 공개 특허 제10-2013-0140793호, 2015년 05월 28일 공개(명칭: 증강현실 아바타 상호작용 방법 및 시스템)
본 발명의 목적은 현실 세계의 3차원 정보를 복원하여, 정밀하고 현실적인 증강현실 서비스를 제공하는 것이다.
또한, 본 발명의 목적은 실물 대상과 가상 대상 간 3차원 충돌을 감지하고 역 운동학을 고려하여 증강현실 서비스를 제공함으로써, 더욱 자연스러운 3차원 상호 작용이 가능하도록 하는 것이다.
또한, 본 발명의 목적은 그림자 및 반사 영역 등과 같은 현실 세계의 조명 효과를 적용하여 렌더링 함으로써 현실 세계에 증강된 가상 대상을 실제적으로 표현할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 실물 대상과 가상 대상 간 자연스러운 상호 작용을 가시화하여, 사용자가 높은 몰입감을 느낄 수 있도록 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 3차원 상호작용을 위한 증강현실 제공 장치는 실제 공간에 상응하는 영상 정보를 분석하여, 실물 대상을 3차원 복원하는 3차원 복원부, 3차원 컨텐츠에 포함된 가상 대상과 3차원 복원된 상기 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산하는 상호작용 감지부, 상기 충돌 및 계산된 상기 역 운동학 정보를 기반으로 3차원 오클루전(Occlusion) 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영하는 오클루전 처리부, 상기 3차원 컨텐츠와 상기 3차원 복원된 실물 대상을 정합하는 3차원 정합부, 그리고 상기 영상 정보에 상응하는 조명 환경 정보를 반영하여, 상기 정합된 결과를 렌더링하는 렌더링부를 포함한다.
이때, 상기 3차원 복원부는, 상기 영상 정보에 포함된 상기 실물 대상인 사용자의 신체 부위를 인식하고, 인식된 상기 사용자의 신체 부위를 기반으로, 상기 사용자의 자세 정보를 추적하며, 상기 사용자의 자세 정보를 기반으로 상기 사용자를 3차원 복원할 수 있다.
이때, 상기 영상 정보를 분석하여, 상기 실제 공간에 상응하는 상기 조명 환경 정보를 추출하는 조명 환경 정보 추출부를 더 포함할 수 있다.
이때, 상기 렌더링부는, 상기 조명 환경 정보를 기반으로, 그림자 및 반사 영역 중 적어도 어느 하나의 조명 효과를 반영하여 상기 정합된 결과를 렌더링할 수 있다.
이때, 상기 충돌 및 계산된 상기 역 운동학 정보를 기반으로, 상기 가상 대상의 애니메이션을 제어하는 가상 대상 제어부를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치에 의해 수행되는 증강현실 제공 방법은 실제 공간에 상응하는 영상 정보를 분석하여, 실물 대상을 3차원 복원하는 단계, 3차원 컨텐츠에 포함된 가상 대상과 3차원 복원된 상기 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산하는 단계, 상기 충돌 및 계산된 상기 역 운동학 정보를 기반으로 3차원 오클루전(Occlusion) 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영하는 단계, 상기 3차원 컨텐츠와 상기 3차원 복원된 실물 대상을 정합하는 단계, 그리고 상기 영상 정보에 상응하는 조명 환경 정보를 반영하여, 상기 정합된 결과를 렌더링하는 단계를 포함한다.
이때, 상기 실물 대상을 3차원 복원하는 단계는, 상기 영상 정보에 포함된 상기 실물 대상인 사용자의 신체 부위를 인식하는 단계, 인식된 상기 사용자의 신체 부위를 기반으로, 상기 사용자의 자세 정보를 추적하는 단계, 그리고 상기 사용자의 자세 정보를 기반으로 상기 사용자를 3차원 복원하는 단계를 포함할 수 있다.
이때, 상기 영상 정보를 분석하여, 상기 실제 공간에 상응하는 상기 조명 환경 정보를 추출하는 단계를 더 포함할 수 있다.
이때, 상기 정합된 결과를 렌더링하는 단계는, 상기 조명 환경 정보를 기반으로, 그림자 및 반사 영역 중 적어도 어느 하나의 조명 효과를 반영하여 상기 정합된 결과를 렌더링할 수 있다.
이때, 상기 충돌 및 계산된 상기 역 운동학 정보를 기반으로, 상기 가상 대상의 애니메이션을 제어하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 현실 세계의 3차원 정보를 복원하여, 정밀하고 현실적인 증강현실 서비스를 제공할 수 있다.
또한 본 발명에 따르면, 실물 대상과 가상 대상 간 3차원 충돌을 감지하고 역 운동학을 고려하여 증강현실 서비스를 제공함으로써, 더욱 자연스러운 3차원 상호 작용이 가능하도록 한다.
또한 본 발명에 따르면, 그림자 및 반사 영역 등과 같은 현실 세계의 조명 효과를 적용하여 렌더링 함으로써 현실 세계에 증강된 가상 대상을 실제적으로 표현할 수 있다.
또한 본 발명에 따르면, 실물 대상과 가상 대상 간 자연스러운 상호 작용을 가시화하여, 사용자가 높은 몰입감을 느낄 수 있도록 한다.
도 1은 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치가 수행하는 기능을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 3D 환경 정보 추출 기능을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 3D 사용자 정보 추출 기능을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 실물 및 가상 대상 정합 기능을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하에서는 도 1을 통하여 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치가 적용되는 환경에 대하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 1에 도시한 바와 같이, 영상 센서(100)는 촬영한 영상 정보를 3차원 상호작용을 위한 증강현실 제공 장치(200)로 전송한다. 여기서, 영상 정보는 깊이 정보 및 컬러 영상 정보를 포함할 수 있다.
그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3차원 환경 정보를 추출하고, 3차원 사용자 정보를 추출하며, 실제 공간에 존재하는 실물 대상과 3차원 컨텐츠에 포함된 가상 대상을 정합하여 렌더링한다.
이때, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 하나 이상의 영상 센서(100)로부터 획득한 영상 정보를 분석하여, 증강현실 시스템의 3차원 공간적 환경을 구성하고, 실물 대상을 3차원 복원할 수 있다.
또한, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3차원 컨텐츠에 포함된 가상 대상과 3차원 복원된 실물 대상의 충돌을 감지하고, 역 운동학(Inverse kinematic) 정보를 계산할 수 있다.
그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 충돌 및 역 운동학 정보를 기반으로 3차원 오클루전(Occlusion) 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영할 수 있다. 또한, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3차원 컨텐츠와 3차원 복원된 실물 대상을 정합하며, 정합된 결과를 렌더링 할 수 있다. 이때, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 영상 정보에 상응하는 조명 환경 정보를 반영하여 정합된 결과를 렌더링 할 수 있다.
다음으로 출력 장치(300)는 3차원 상호작용을 위한 증강현실 제공 장치(200)로부터 렌더링된 결과를 수신하여 출력하여 사용자에게 증강현실 서비스를 제공한다.
설명의 편의상, 3차원 상호작용을 위한 증강현실 제공 장치(200)가 적용되는 환경에 출력 장치(300)가 더 구비되고, 출력 장치(300)가 렌더링된 결과를 출력하는 것으로 설명하였으나 이에 한정하지 않고, 3차원 상호작용을 위한 증강현실 제공 장치(200)가 직접 렌더링된 결과를 출력하여 사용자에게 증강현실 서비스를 제공할 수도 있다.
이하에서는 도 2를 통하여 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치의 구성에 대하여 더욱 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3차원 복원부(210), 상호작용 감지부(220), 조명 환경 정보 추출부(230), 오클루전 처리부(240), 3차원 정합부(250), 렌더링부(260) 및 가상 대상 제어부(270)를 포함한다.
먼저, 3차원 복원부(210)는 실제 공간에 상응하는 영상 정보를 분석하여, 실제 공간에 존재하는 실물 대상을 3차원 복원한다. 여기서, 3차원 복원(3D Reconstruction)은 실제 공간에 존재하는 물체인 실물 대상의 3차원 형상과 표면의 색상을 디지털화 하는 것을 의미한다.
3차원 복원부(210)는 영상 정보에 포함된 실물 대상인 사용자의 신체 부위를 인식하고, 인식된 사용자의 신체 부위를 기반으로 사용자의 자세 정보를 추적한다. 그리고 3차원 복원부(210)는 추적된 사용자의 자세 정보를 기반으로 사용자를 3차원 복원할 수 있다.
다음으로 상호작용 감지부(220)는 3차원 컨텐츠에 포함된 가상 대상과 3차원 복원된 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산한다. 상호작용 감지부(220)는 3차원 복원된 실물 대상과 가상 대상의 하나 이상의 부위 사이에 발생하는 겹침을 방지하기 위하여, 실물 대상과 가상 대상간 충돌을 감지한다.
그리고 조명 환경 정보 추출부(230)는 영상 정보를 분석하여, 실제 공간에 상응하는 조명 환경 정보를 추출한다.
또한, 오클루전 처리부(240)는 충돌 및 계산된 역 운동학 정보를 기반으로 3차원 오클루전 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영한다. 오클루전 처리부(240)는 가상 대상 스스로의 가려짐 영역(Self-Occlusion)을 처리할 뿐 아니라, 가상 대상과 실물 대상의 3차원 공간적 요소를 고려한 가려짐 영역을 처리할 수 있다.
다음으로 3차원 정합부(250)는 3차원 컨텐츠와 3차원 복원된 실물 대상을 정합한다.
그리고 렌더링부(260)는 영상 정보에 상응하는 조명 환경 정보를 반영하여, 정합된 결과를 렌더링한다. 이때, 렌더링부(260)는 조명 환경 정보를 기반으로 그림자 및 반사 영역 중 적어도 어느 하나의 조명 효과를 반영하여, 정합된 결과를 렌더링할 수 있다.
마지막으로 가상 대상 제어부(270)는 충돌 및 역 운동학 정보를 기반으로, 가상 대상의 애니메이션을 제어한다.
이와 같이, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3차원 복원 기술, 3차원 충돌 감지 기술, 3차원 오클루전 영역 처리 기술을 기반으로, 가상 대상과 실물 대상간 3차원 상호작용을 가능하게 한다. 그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 가상 대상과 실물 대상간 어깨 동무나 악수 등의 3차원 상호작용을 가능하게 함으로써, 증강현실의 이질감을 최소화할 수 있다.
본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치(200)는 한류 스타나 만화영화 캐릭터 등과 같은 가상 대상과 사용자가 실제로 함께 사진을 찍는 듯 한 서비스를 제공할 수 있다. 종래에는 사용자가 입간판 옆에서 사진을 찍거나, 단순 레이어 합성을 통하여 가상 대상과 함께 사진을 찍을 수 있도록 하였다.
반면, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3차원 현실 공간의 사용자와 가상 대상인 3차원 아바타가 서로 어깨 동무를 하거나, 악수를 하는 등의 상호작용을 동영상이나 사진으로 출력하는 서비스를 제공할 수 있다.
3차원 상호작용을 위한 증강현실 제공 장치(200)는 영상 정보로부터 3차원 환경 정보 및 3차원 사용자 정보를 획득하고, 3차원 복원된 실물 대상과 가상 대상의 실시간 상호작용에 따른 3차원 충돌 정보, 가려짐 영역 정보, 그림자 정보 및 반사 영역 등을 계산하여, 사용자가 가상 대상이 실제에 있는 듯한 느낌을 받을 수 있도록 할 수 있으며, 가상 대상과 사용자가 정합된 결과를 사진이나 동영상으로 출력할 수 있다.
이하에서는 도 3을 통하여 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치에 의해 수행되는 3차원 상호작용을 위한 증강현실 제공 방법에 대하여 더욱 상세하게 설명한다.
도 3은 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 방법을 설명하기 위한 순서도이다.
먼저, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 실제 공간에 상응하는 영상 정보를 분석하고, 실물 대상을 3차원 복원한다(S310).
3차원 상호작용을 위한 증강현실 제공 장치(200)는 입력받은 영상 정보를 분석하여 3차원 환경 정보 및 3차원 사용자 정보를 추출할 수 있다. 여기서 영상 정보는 하나 이상의 영상 센서로부터 획득한 깊이 정보 및 컬러 영상 정보를 포함할 수 있다.
그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 영상 정보를 분석하여 3차원 실제 환경에 관한 정보, 실물 대상 및 가상 대상 간 상호작용을 위한 주요 정보 등을 포함하는 3차원 환경 정보를 추출할 수 있다.
이때, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 영상 정보를 이용하여 3차원 환경을 복원하고, 구축된 3차원 환경을 기반으로 영상 센서의 자세를 추적하며, 영상 정보에 포함된 물체를 인식하여 실제 공간에서 유의미한 대상인 실물 대상을 추출할 수 있다. 여기서, 영상 센서의 자세는 3차원 공간에서 병진 운동(translation)과 회전 운동(rotation)에 대한 6 자유도(6 degree of freedom) 자세를 의미할 수 있다.
또한, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 후술할 렌더링 과정에서 자연스러운 렌더링을 수행하기 위하여, 실제 공간의 조명 환경 정보를 인식하고, 조명 환경 맵을 구축할 수 있다.
그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 영상 정보를 분석하여 사용자 정보, 사용자와 가상 대상의 상호작용을 위한 주요 3차원 정보 및 부가 정보 등을 포함하는 3차원 사용자 정보를 추출하여, 실물 대상을 3차원 복원할 수 있다. 이때, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 사용자가 고정 상태일 때의 3차원 공간 정보와 사용자의 움직임으로 인해 발생하는 가변적 3차원 공간 정보를 실시간으로 추출할 수 있다.
3차원 상호작용을 위한 증강현실 제공 장치(200)는 실물 대상인 사용자의 인체 부위를 인식한다. 그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 인식된 부위 정보를 기반으로 사용자의 인체 자세를 추적하여 사용자의 관절 움직임 및 얼굴 표정의 움직임 등을 추정함으로써, 3차원 실물 대상을 복원할 수 있다. 이때, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 인체 자세 정보를 기반으로 정밀하게 실물 대상에 대한 3차원 복원을 수행할 수 있다
다음으로 3차원 상호작용을 위한 증강현실 제공 장치(200)는 가상 대상과 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산한다(S320).
3차원 상호작용을 위한 증강현실 제공 장치(200)는 가상 대상을 생성하고, 애니메이션 제어를 통하여 가상 대상의 동작을 3차원 컨텐츠에 적용할 수 있다. 그리고 3차원 상호작용을 위한 증강현실 제공 장치(200)는 S310 단계에서 복원된 실물 대상의 3차원 공간 상에서의 움직임 및 형상 정보를 기반으로, 가상 대상과의 3차원 충돌을 감지하고, 역 운동학을 계산한다.
이때, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 감지된 3차원 충돌 정보 및 역 운동학 정보를 가상 대상에 대한 애니메이션 제어를 수행하는 과정으로 피드백 함으로써, 이질감을 최소화하여 가상 대상을 표현할 수 있다.
또한, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 3D 오클루전 처리를 수행하여 가려짐 현상을 반영하고(S330), 3차원 컨텐츠와 실물 대상을 정합한다(S340).
마지막으로, 3차원 상호작용을 위한 증강현실 제공 장치(200)는 조명 환경 정보를 반영하여, 정합된 결과를 렌더링한다(S350).
3차원 상호작용을 위한 증강현실 제공 장치(200)는 S310 단계에서 추출된 실제 공간의 조명 환경 정보를 기반으로 그림자, 반사 영역 등의 조명 효과를 반영하여 가상 대상과 실물 대상을 렌더링한다.
이와 같이 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치(200)는 실제 공간의 조명 환경 정보를 반영하여 렌더링함으로써, 가상 대상과 실물 대상 사이의 이질감을 최소화하고, 실제와 유사하도록 가시화함으로써, 현실감을 높일 수 있다.
이하에서는 도 4 내지 도 7을 통하여 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치의 기능에 대하여 더욱 상세하게 설명한다.
도 4는 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치가 수행하는 기능을 나타낸 도면이다.
도 4에 도시한 바와 같이, 3차원 상호작용을 위한 증강현실 제공 장치(400)는 영상 정보를 입력받고, 입력받은 영상 정보로부터 3D 환경 정보 및 3D 사용자 정보를 추출하며, 실물 대상 및 가상 대상을 정합한다.
현실 세계의 정보를 증강현실에 반영하여 가상 대상과 함께 가시화하기 위해서는 실제 공간에 포함된 실물 대상의 정보를 취득해야 한다. 따라서, 본 발명의 일실시예에 따른 3차원 상호작용을 위한 증강현실 제공 장치(400)는 실제 공간에 상응하는 영상 정보로부터 현실 세계의 환경 및 사용자에 대한 3차원 공간 정보를 추출 및 가공한다.
이때, 3D 환경 정보 추출부(410)는 입력받은 영상 정보를 분석하여 3차원 환경 정보를 추출하고, 3D 사용자 정보 추출부(420)는 입력받은 영상 정보를 분석하여 3차원 사용자 정보를 추출할 수 있다.
그리고 3차원 상호작용을 위한 증강현실 제공 장치(400)는 제공하고자 하는 증강현실 서비스 컨텐츠에 적합한 가상 대상을 생성하고, 사용자와의 자연스러운 3차원 상호작용을 고려하여 실물 대상 및 가상 대상을 정합한다.
도 4에 도시한 바와 같이, 실물 및 가상 대상 정합부(430)는 실물 대상과 가상 대상 간 3차원 충돌을 감지하고, 3차원 가려짐 영역을 계산하며, 실제 조명 환경 정보를 반영하여 렌더링 함으로써, 이질감을 최소화한 증강현실을 제공할 수 있다.
종래의 증강현실 서비스에서 실물 대상과 가상 대상 간 상호 작용을 반영하여 컴퓨터 그래픽 요소를 합성할 때, 가상 대상과 실물 대상 간 겹침 현상이 발생하거나, 가려지는 영역이 발생할 수 있으며, 실제 공간의 조명 환경 정보를 반영하지 않아 부자연스럽게 처리되었다.
그러나 본 발명의 일실시예에 따른 실물 및 가상 대상 정합부(430)는 3차원 충돌과 3차원 공간에서의 가려짐 현상을 반영하는 3D 오클루전 처리를 수행하고, 조명 환경 정보를 반영하여 렌더링 함으로써, 3차원 상호작용 발생시 이질감 없는 증강현실을 제공할 수 있다.
도 4에서, 3D 환경 정보 추출부(410)는 도 2의 조명 환경 정보 추출부(230)와 실질적으로 동일한 기능을 수행할 수 있고, 도 4에 개시된 3D 사용자 정보 추출부(420)는 도 2의 3차원 복원부(210)와 실질적으로 동일한 기능을 수행할 수 있다.
그리고 도 4의 실물 및 가상 대상 정합부(430)는 도 2에 도시된 상호작용 감지부(220), 오클루전 처리부(240), 3차원 정합부(250), 렌더링부(260) 및 가상 대상 제어부(270) 중 적어도 어느 하나와 실질적으로 동일한 기능을 수행하도록 구현될 수 있다.
도 5는 본 발명의 일실시예에 따른 3D 환경 정보 추출 기능을 설명하기 위한 도면이다.
도 5와 같이, 3D 환경 정보 추출부(410)는 입력받은 영상 정보를 기반으로 3차원 공간적 환경을 구성한다. 그리고 3D 환경 정보 추출부(410)는 영상 센서의 자세를 추적하고, 실물 대상을 인식하며, 조명 환경 정보를 추출한다.
3D 환경 정보 추출부(410)는 3D 공간적 환경 구성 모듈, 영상 센서의 자세 추적 모듈, 실물 대상 인식 모듈, 조명 환경 정보 추출 모듈을 포함할 수 있다. 3D 공간적 환경 구성 모듈은 영상 정보를 분석하여 3차원 실제 환경에 관한 정보, 실물 대상 및 가상 대상 간 상호작용을 위한 주요 정보 등을 포함하는 3차원 환경 정보를 추출할 수 있다.
그리고 영상 센서의 자세 추적 모듈은 3차원 환경 정보를 기반으로 영상 센서의 자세를 추적한다. 이때, 영상 센서의 자세는 3차원 공간에서 병진 운동(translation)과 회전 운동(rotation)에 대한 6 자유도(6 degree of freedom) 자세를 의미할 수 있다.
또한, 실물 대상 인식 모듈은 영상 정보에 포함된 물체를 인식하여, 실제 공간에서 유의미한 대상인 실물 대상을 추출할 수 있다. 조명 환경 정보 추출 모듈은 자연스러운 렌더링을 수행하기 위하여, 실제 공간의 조명 환경 정보를 인식하고, 조명 환경 맵을 구축할 수 있다.
도 6은 본 발명의 일실시예에 따른 3D 사용자 정보 추출 기능을 설명하기 위한 도면이다.
도 6에 도시한 바와 같이, 3D 사용자 정보 추출부(420)는 입력받은 영상 정보로부터 신체 부위를 인식하여 사용자의 자세 정보를 추적한다. 그리고 3D 사용자 정보 추출부(420)는 사용자를 3차원으로 복원한다.
3D 사용자 정보 추출부(420)는 신체 부위 인식 모듈, 사용자의 자세 정보 추적 모듈, 사용자 3차원 복원 모듈을 포함한다.
신체 부위 인식 모듈은 실물 대상인 사용자의 인체 부위를 인식하고, 사용자의 자세 정보 추적 모듈은 인식된 부위 정보를 기반으로 인체 자세를 추적하며, 사용자의 관절 움직임 및 얼굴 표정의 움직임 등을 추정한다. 그리고 사용자 3차원 복원 모듈 추정된 사용자의 움직임을 기반으로 사용자에 상응하는 실물 대상을 3차원 복원한다. 이때, 3차원 복원된 실물 대상은 도 4의 실물 및 가상 대상 정합부(430)로 전달되어 3차원 충돌 감지에 활용될 수 있다.
도 7은 본 발명의 일실시예에 따른 실물 및 가상 대상 정합 기능을 설명하기 위한 도면이다.
도 7과 같이, 실물 및 가상 대상 정합부(430)는 가상 대상을 생성하고, 가상 대상의 애니메이션을 제어한다. 그리고 실물 및 가상 대상 정합부(430)는 가상 대상과 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산하며, 3D 오클루전 처리를 수행한다. 또한, 실물 및 가상 대상 정합부(430)는 3차원 컨텐츠와 복원된 실물 대상을 정합하고, 정합된 결과를 렌더링한다.
실물 및 가상 대상 정합부(430)는 가상 대상 생성 모듈, 애니메이션 제어 모듈, 충돌 감지 모듈, 역 운동학 정보 계산 모듈, 3D 오클루전 처리 모듈, 정합 모듈, 렌더링 모듈을 포함할 수 있다.
가상 대상 생성 모듈은 3차원 컨텐츠에 부합하는 가상 대상을 생성하고, 애니메이션 제어 모듈은 생성된 가상 대상의 동작을 제어한다. 그리고 충돌 감지 모듈은 실물 대상과 가상 대상 간 3차원 충돌을 감지한다. 이때, 충돌 감지 모듈은 실물 대상의 3차원 공간 상에서의 움직임 및 형상 정보를 기반으로, 가상 대상과의 3차원 충돌을 감지할 수 있으며, 도 4의 3D 사용자 정보 추출부(420)로부터 획득한 3차원 복원된 실물 대상을 이용하여 3차원 충돌을 감지할 수 있다.
또한, 역 운동학 정보 계산 모듈은 가상 대상과 실물 대상의 역 운동학을 계산한다. 그리고 3D 오클루전 처리 모듈은 충돌 및 역 운동학 정보를 기반으로 3차원 오클루전 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영한다. 이때 3D 오클루전 처리 모듈은 가상 대상 스스로의 가려짐 영역(Self-Occlusion)을 처리할 뿐 아니라, 가상 대상과 실물 대상의 3차원 공간적 요소를 고려한 가려짐 영역을 처리할 수 있다.
정합 모듈은 가상 대상을 포함하는 3차원 컨텐츠와 실물 대상을 정합하고, 렌더링 모듈은 정합된 결과를 렌더링한다. 이때, 렌더링 모듈은 도 4의 3D 환경 정보 추출부(410)로부터 획득한 조명 환경 정보를 반영하여 정합된 결과를 렌더링함으로써, 가상 대상과 실물 대상 사이의 이질감을 최소화하고, 현실감을 증대시킬 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(800)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 버스(820)를 통하여 서로 통신하는 하나 이상의 프로세서(810), 메모리(830), 사용자 입력 장치(840), 사용자 출력 장치(850) 및 스토리지(860)를 포함할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크(880)에 연결되는 네트워크 인터페이스(870)를 더 포함할 수 있다. 프로세서(810)는 중앙 처리 장치 또는 메모리(830)나 스토리지(860)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(830) 및 스토리지(860)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(831)이나 RAM(832)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 3차원 상호작용을 위한 증강현실 제공 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 영상 센서
200, 400: 3차원 상호작용을 위한 증강현실 제공 장치
210: 3차원 복원부 220: 상호작용 감지부
230: 조명 환경 정보 추출부 240: 오클루전 처리부
250: 3차원 정합부 260: 렌더링부
270: 가상 대상 제어부 300: 출력 장치
410: 3D 환경 정보 추출부 420: 3D 사용자 정보 추출부
430: 실물 및 가상 대상 정합부 800: 컴퓨터 시스템
810: 프로세서 820: 버스
830: 메모리 831: 롬
832: 램 840: 사용자 입력 장치
850: 사용자 출력 장치 860: 스토리지
870: 네트워크 인터페이스 880: 네트워크

Claims (1)

  1. 실제 공간에 상응하는 영상 정보를 분석하여, 실물 대상을 3차원 복원하는 3차원 복원부,
    3차원 컨텐츠에 포함된 가상 대상과 3차원 복원된 상기 실물 대상의 충돌을 감지하고, 역 운동학 정보를 계산하는 상호작용 감지부,
    상기 충돌 및 상기 역 운동학 정보를 기반으로 3차원 오클루전(Occlusion) 처리를 수행하여, 3차원 공간에서의 가려짐 현상을 반영하는 오클루전 처리부,
    상기 3차원 컨텐츠와 상기 3차원 복원된 실물 대상을 정합하는 3차원 정합부, 그리고
    상기 영상 정보에 상응하는 조명 환경 정보를 반영하여, 상기 정합된 결과를 렌더링하는 렌더링부를 포함하는 3차원 상호작용을 위한 증강현실 제공 장치.
KR1020160158413A 2016-11-25 2016-11-25 3차원 상호작용을 위한 증강현실 제공 장치 및 방법 KR20180059171A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160158413A KR20180059171A (ko) 2016-11-25 2016-11-25 3차원 상호작용을 위한 증강현실 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158413A KR20180059171A (ko) 2016-11-25 2016-11-25 3차원 상호작용을 위한 증강현실 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180059171A true KR20180059171A (ko) 2018-06-04

Family

ID=62628574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158413A KR20180059171A (ko) 2016-11-25 2016-11-25 3차원 상호작용을 위한 증강현실 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180059171A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009350A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
KR20200098019A (ko) 2019-02-11 2020-08-20 주식회사 상화 증강 현실 체험 장치
KR102436403B1 (ko) * 2021-02-23 2022-08-29 (주)디즈콘 멀티트래킹 증강현실 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130140793A (ko) 2010-11-24 2013-12-24 이너지 오토모티브 시스템즈 리서치 (소시에떼 아노님) 엔진 배기가스용 첨가물 저장탱크

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130140793A (ko) 2010-11-24 2013-12-24 이너지 오토모티브 시스템즈 리서치 (소시에떼 아노님) 엔진 배기가스용 첨가물 저장탱크

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009350A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
KR20200098019A (ko) 2019-02-11 2020-08-20 주식회사 상화 증강 현실 체험 장치
KR102436403B1 (ko) * 2021-02-23 2022-08-29 (주)디즈콘 멀티트래킹 증강현실 시스템

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
US10825223B2 (en) Mixed reality animation
Zillner et al. 3D-board: a whole-body remote collaborative whiteboard
Shah et al. Occlusion in augmented reality
Regenbrecht et al. A leap-supported, hybrid AR interface approach
WO2011075082A1 (en) Method and system for single view image 3 d face synthesis
Cosco et al. Visuo-haptic mixed reality with unobstructed tool-hand integration
CN113366491B (zh) 眼球追踪方法、装置及存储介质
Cosco et al. Augmented touch without visual obtrusion
US11436790B2 (en) Passthrough visualization
Viyanon et al. AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking
KR20180059171A (ko) 3차원 상호작용을 위한 증강현실 제공 장치 및 방법
Franke et al. Enhancing realism of mixed reality applications through real-time depth-imaging devices in x3d
Battisti et al. Seamless bare-hand interaction in mixed reality
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
Liu et al. Skeleton tracking based on Kinect camera and the application in virtual reality system
JP2010033397A (ja) 画像合成装置および方法
Ahmed et al. Interaction techniques in mobile Augmented Reality: State-of-the-art
Purps et al. Reconstructing facial expressions of HMD users for avatars in VR
Kitanovski et al. Augmented reality mirror for virtual facial alterations
Csongei et al. ClonAR: Rapid redesign of real-world objects
JP7029253B2 (ja) 情報処理装置及びその方法