KR20200117408A - 증강현실에서 조명 환경정보를 반영하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명에 따른 증강 현실에서 조명 환경정보를 반영하는 장치의 방법은, 임의 위치의 조명 환경맵을 근거로 하여 물리적 조명정보를 획득하는 단계, 상기 조명 환경맵 및 상기 조명정보를 이용하여 가상 3D 모델을 렌더링 하는 단계, 및 모바일 기기로부터 수신된 영상에 상기 가상 3D 모델의 렌더링 결과를 증강 합성하는 단계를 포함하고, 상기 조명정보가 반영된 이미지를 구면체에 래핑함으로써 중심점에서 표면의 조명위치를 관통하는 레이들이 교차하는 위치에 상기 조명위치가 추정되는 것을 특징으로 한다.

Description

증강현실에서 조명 환경정보를 반영하기 위한 장치 및 방법{APPARATUS AND METHOD FOR REFLECTING LIGHTING ENVIRONMENT INFORMATION IN AUGUMENTED REALITY}

본 발명은 증강 현실 내에서 자연스러운 가상 3D 모델의 렌더링을 위한 실 조명 환경정보 반영 장치 및 그것의 동작 방법에 관한 것이다.

최근 영상 처리 분야에서, 영상 처리(image processing), 이미지 기반 조명효과(image-based lighting), 컴퓨터 그래픽스(computer graphics), 컴퓨터 비전(computer vision), 증강현실(augmented reality; AR)에 대한 연구가 활발하다. 또한 증강 현실 서비스 앱들이 다양하게 출시되고 있다. 최근 애플과 구글에서 AR 툴킷을 배포함으로써 일반 유저들도 손쉽게 증강현실 앱을 사용하게 되었다. 그런데 기존의 증강 현실 상의 실세계 환경정보를 실시간으로 반영되는 것은 어렵다. 증강 현실은 주로 모바일 기기에서 동작하기 때문에 많은 양의 계산이 요구되는 실시간 주변 환경정보 반영 기술을 적용하는데 무리가 따른다.

등록특허: 10-1747898, 등록일: 2017년 6월 9일, 제목: 영상 처리 방법 및 이를 이용하는 영상 처리 장치. 미국공개특허: US 2016-0364914, 공개일: 2016년 12월 15일, 제목: AUGMENTED REALITY LIGHTING EFFECTS.

본 발명의 목적은 실제의 조명 환경과 주변 환경이 자연스럽게 증강현실 내에서 가상의 3D 모델이 이질감을 줄이는 조명 환경정보 반영 장치 및 방법을 제공하는 데 있다.

또한, 본 발명의 목적은 증강현실에서 임의 공간상에 가상의 3D 모델이 증강되어 배치될 때, 실제의 물체에 반영된 실 조명 환경정보, 주변 환경정보가 비슷하게 반영되어 실시간으로 렌더링 하는 조명 환경정보 반영 장치 및 방법을 제공하는 데 있다.

본 발명의 실시 예에 따른 증강 현실에서 조명 환경정보를 반영하는 장치의 방법은, 임의 위치의 조명 환경맵을 근거로 하여 물리적 조명정보를 획득하는 단계; 상기 조명 환경맵 및 상기 조명정보를 이용하여 가상 3D 모델을 렌더링 하는 단계; 및 모바일 기기로부터 수신된 영상에 상기 가상 3D 모델의 렌더링 결과를 증강 합성하는 단계를 포함하고, 상기 조명정보가 반영된 이미지를 구면체에 래핑함으로써 중심점에서 표면의 조명위치를 관통하는 레이들이 교차하는 위치에 상기 조명위치가 추정되는 것을 특징으로 한다.

실시 예에 있어서, 상기 조명 환경맵을 획득하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 조명 환경맵을 획득하는 단계는, 규칙적인 복수의 위치에서 360 카메라를 이용하여 촬영하는 단계; 상기 복수의 위치에 대응하는 이미지 환경맵을 설정하는 단계; 및 플러그 인을 통해 임의 위치 환경맵을 적용하도록 이미지 및 이미지 획득 당시의 카메라 간 거리를 입력하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 조명정보를 획득하는 단계는, 이미지 상의 조명의 위치를 파악하기 위하여 상기 조명 환경맵을 이진화 시키는 단계; 이미지 내 상기 조명정보를 획득하는 단계; 위경도 이미지를 상기 구면체에 래핑하는 단계; 상기 구면체의 중심에서 표면으로 상기 조명위치를 관통하는 레이를 발사하는 단계; 및 적어도 2개의 구면체에서 발사된 레이들이 교차하는 점을 상기 조명위치로 추정하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 조명정보는 그림자를 생성할 때 사용되는 것을 특징으로 한다.

실시 예에 있어서, 상기 3D 모델을 렌더링 하는 단계는, 상기 조명 환경맵과 상기 조명정보를 상기 가상 3D 모델에 반영하여 장면을 구성하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 가상 3D 모델을 렌더링 하는 단계는, 상기 조명위치를 근거로 하여 상기 가상 3D 모델에 대응하는 그림자 렌더링 하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 가상 3D 모델을 렌더링 하는 단계는, 쉐이더 코드(shader code)를 통하여 상기 가상 3D 모델에 상기 조명 환경맵과 상기 렌더링된 그림자를 반영함으로써 상기 가상 3D 모델의 렌더링 결과를 획득하는 단계를 더 포함할 수 있다.

실시 예에 있어서, 상기 증강 합성된 결과를 상기 모바일 기기를 통해 확인하는 단계를 더 포함할 수 있다.

본 발명의 실시 예에 따른 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 조명 환경정보를 반영하는 장치는: 상기 적어도 하나의 인스트럭션은, 임의 위치의 조명 환경맵을 근거로 하여 물리적 조명정보를 획득하고; 상기 조명 환경맵 및 상기 조명정보를 이용하여 가상 3D 모델을 렌더링 하고; 및 모바일 기기로부터 수신된 영상에 상기 가상 3D 모델의 렌더링 결과를 증강 합성하도록 상기 적어도 하나의 프로세서에서 실행되는 것을 특징으로 한다.

실시 예에 있어서, 상기 조명정보는 구면체 영상 기반으로 추정되는 것을 특징으로 한다.

실시 예에 있어서, 상기 조명정보를 이용하여 실시간으로 상기 3D 모델의 그림자가 생성되는 것으로 특징으로 한다.

실시 예에 있어서, 상기 조명 환경맵과 상기 모바일 기기의 바닥 환경 정보를 이용하여 상기 가상 3D 모델이 렌더링 되는 것을 특징으로 한다.

실시 예에 있어서, 상기 조명 환경맵이 수신되고, 상기 모바일 기기의 입력 마스크 이미지 영역으로부터 상기 가상 3D 모델의 주변 정보가 수신되고, 쉐이더 코드를 통해 상기 조명 환경맵과 상기 주변 정보를 합성함으로써 최종적인 조명 환경맵이 획득되는 것을 특징으로 한다.

본 발명의 실시 예에 따른 모바일 기기는, 영상을 획득하는 카메라; 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고, 상기 적어도 하나의 인스트럭션은 상기 획득된 영상에 가상 3D 모델을 증강 합성한 결과를 랜더링 하고, 상기 가상 3D 모델은 조명 환경맵 및 물리적 조명정보를 이용하여 렌더링 되는 것을 특징으로 특징으로 한다.

본 발명의 실시 예에 따른 조명 환경정보 반영 장치 및 방법은 임의 위치 조명 환경맵 획득 기술과 모바일 기기의 카메라의 바닥 환경 반영 기술을 근거로 하여 인터랙티브 환경에서 실 조명 환경, 주변 환경정보를 반영하여 렌더링 할 수 있다.

또한, 본 발명의 실시 예에 따른 조명 환경정보 반영 장치 및 방법은, 적절한 프리프로세싱과 쉐이더 프로그래밍을 통해 모바일에서도 실시간으로 구동 가능하다.

또한, 본 발명의 실시 예에 따른 조명 환경정보 반영 장치 및 방법은 영상기반의 실 조명 환경정보 분석을 통해 물리적 조명위치를 추정하고, 자연스러운 그림자도 렌더링할 수 있다.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 조명 환경정보 분석 시스템(10)을 예시적으로 보여주는 도면이다.
도 2는 임의 위치 조명 환경맵을 획득 과정(100)을 예시적으로 보여주는 도면이다.
도 3a 및 도 3b는 규칙적인 거리 간격으로 이미지를 획득하는 과정을 예시적으로 보여주는 도면들이다.
도 4는 환경맵 기반으로 물리적 조명위치 및 조명정보 획득 과정을 예시적으로 보여주는 도면이다.
도 5a 및 도 5b는 임의 위치 조명 환경맵을 이진화시킨 것을 예시적으로 보여주는 도면이다.
도 6은 조명정보가 반영된 이미지를 구면체에 래핑하여 중심점에서 표면의 조명위치를 관통하는 레이저를 발사하여 교차되는 위치에 물리적 조명위치 추정하는 과정을 예시적으로 보여주는 도면이다.
도 7은 임의 위치 조명 환경이 반영된 증강현실 장면 구성 과정(300)을 예시적으로 보여주는 도면이다.
도 8은 조명위치 정보와 모델정보 기반 그림자 렌더링 과정(400)을 예시적으로 보여주는 도면이다.
도 9는 조명정보가 반영된 이미지를 구면체에 래핑하여 중심점에서 표면의 조명위치를 관통하는 레이를 발사하여 교차되는 위치에 물리적 조명위치 추정하는 것을 예시적으로 보여주는 도면이다.
도 10은 환경맵 업데이트 과정(500)을 예시적으로 보여주는 도면이다.
도 11은 프리프로세싱을 통해 획득한 임의 위치 조명 환경맵과 모바일 기기의 카메라로부터 획득된 영상을 그림자 투영영역을 마스킹 처리하여 환경맵과 블랜딩 해 최종 환경맵 획득하는 과정을 예시적으로 보여주는 도면이다.
도 12는 가상 3D 모델에 주변 환경 주변 환경정보가 정보가 반영되어 반영되어 최종 렌더링 과정(600)을 예시적으로 보여주는 도면이다.
도 13은 모바일 기기의 카메라를 통해 입력된 영상과 렌더링된 가상의 3D 모델의 증강합성 과정(700)을 예시적으로 보여주는 도면이다.
도 14는 본 발명의 실시 예에 따른 조명 환경정보 반영 장치(1000)를 예시적으로 보여주는 도면이다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 실시 예에 따른 조명 환경정보 반영 장치 및 방법은 현재 실 공간상의 조명 환경을 분석하고, 가상의 3D 모델이 실 공간상의 주변 환경과 비슷한 증강현실 렌더링 결과를 획득할 수 있다.

도 1은 본 발명의 실시 예에 따른 조명 환경정보 분석 시스템(10)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 조명 환경정보 분석 시스템(10)은 크게 프리프로세싱(Preprocessing) 단계, AR 에디팅(AR Editing) 단계, 런타임(Runtime) 단계로 진행될 수 있다.

프리프로세싱 단계는 임의 위치 조명 환경맵을 획득하는 과정(100)과 물리적 조명정보를 획득하는 과정(200)을 포함할 수 있다.

AR 에디팅 단계는 장면을 구성하는 과정(300), 실시간 그림자를 생성하는 과정(400), 실시간 환경맵을 생성하는 과정(500), 및 가상 카메라에서 가상 3D 모델을 렌더링 렌더링 하는 과정(600)를 포함할 수 있다.

런타임 단계는 모바일 기기의 카메라를 통해 획득한 영상을 입력으로 받고, 가상의 3D 모델의 최종 렌더링 결과를 합성하고 모바일 기기에서 AR 렌더링하는 단계를 포함할 수 있다.

본 발명의 실시 예에 따른 조명 환경정보 분석 시스템(10)은 실제의 조명 환경과 주변 환경이 자연스럽게 증강현실 내에서 가상의 3D 모델이 이질감을 줄일 수 있다. 또한, 본 발명의 실시 예에 따른 조명 환경정보 분석 시스템(10)은 증강현실에서 임의 공간상에 가상의 3D 모델이 증강되어 배치될 때, 실제의 물체에 반영된 실 조명 환경정보, 주변 환경정보가 비슷하게 반영되어 실시간으로 렌더링 할 수 있다.

도 2는 임의 위치 조명 환경맵을 획득 과정(100)을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 임의 위치 조명 환경맵을 획득하는 과정(100)은 다음과 같이 진행될 수 있다.

규칙적인 9개의 위치에서 360 카메라를 촬영함으로써 도 3a 및 도 3b에 도시된 바와 같이 9개의 조명 환경 이미지가 획득될 수 있다(101). 도 3a에서는 360 카메라를 통해 조명환경 이미지가 획득되는 과정이 도시되고, 도 3b에서는 임의 위치에서 가상의 3D 모델을 증강시킬 때 위치에 맞는 조명 환경맵이 반영되는 것이 도시된다. 획득된 9개의 이미지는 환경맵 형태로 설정될 수 있다(102). 플러그 인을 통해 임의 위치 환경맵을 적용하도록 이미지를 입력하고, 이미지 획득 당시 카메라 간 거리가 입력 될 수 있다. 즉, 플러그 인을 통하여 임의 위치 환경맵 적용이 설정될 수 있다(103).

도 4는 환경맵 기반으로 물리적 조명위치 및 조명정보 획득 과정을 예시적으로 보여주는 도면이다. 도 4를 참조하면, 물리적 조명정보를 획득하는 과정(200)은 다음과 같이 진행될 수 있다.

환경맵 이미지는 도 5a에 도시된 바와 같이 이진화를 통해 이미지상의 조명의 위치가 파악될 수 있다(201). 이미지 내 조명 영역의 분포 경향성을 보고, 점(Point), 영역(Area), 방향성(Directional) 조명인지 파악될 수 있다. 이진화를 통해 획득된 영역을 마스킹 처리하여, 기존의 이미지와 겹쳐서 조명의 색상이 파악될 수 있다(202). 도 5b에 도시된 바와 같이 위경도 이미지를 구면체에 래핑하고, 획득 당시 규칙적인 간격으로 장면이 구성될 수 있다(203). 도 6은 조명정보가 반영된 이미지를 구면체에 래핑하여 중심점에서 표면의 조명위치를 관통하는 레이저를 발사하여 교차되는 위치에 물리적 조명위치 추정하는 과정을 예시적으로 보여주는 도면이다. 도 6의 (a) 및 (b)에 도시된 바와 같이 구면체의 중심에서 표면에 조명위치를 관통하는 레이가 발 발사될 수 있다(204). 두 개 이상의 구면체에서 발사한 레이가 교체되는 점은 조명위치로 추정될 수 있다(205). 이렇게 획득된 조명정보는 그림자를 생성할 때 사용될 수 있다.

도 7은 임의 위치 조명 환경이 반영된 증강현실 장면 구성 과정(300)을 예시적으로 보여주는 도면이다. 도 7를 참조하면, AR 에디팅 단계에서 증강현실에서 증강될 가상 3D 모델의 렌더링에 필요한 정보, 알고리즘 등 플로우가 구성될 수 있다. 이러한 임의 위치 조명 환경이 반영된 증강현실 장면을 구성하는 과정(300)은 다음과 같이 진행될 수 있다.

장면에 증강합성 될 가상 3D 모델을 입력되고(303), 이러한 가상 3D 모델의 주변 환경을 반영하도록 임의 위치 조명 환경 환경맵 정보가 입력되고(301), 물리적 조명정보가 입력될 수 있다(302). 이로써 장면에 3D 모델 배치 및 필요한 정보가 입력될 수 있다(304).

도 8은 조명위치 정보와 모델정보 기반 그림자 렌더링 과정(400)을 예시적으로 보여주는 도면이다. 도 8을 참조하면, 조명위치 정보와 모델정보를 기반 그림자 렌더링 과정(400)은 다음과 같이 진행될 수 있다.

실시 예에 있어서, 모바일 특성상 장면에 조명을 많이 배치할 수 없기 때문에 실 공간상의 물리적 조명위치를 파악하고, 장면에 가상 3D 모델을 배치하고 필요한 정보가 입력될 수 있다(401). 장면으로부터 모델정보 및 조명위치 정보가 제공될 수 있다(402). 가상 3D 모델에 종속적인 가상 바닥에 고속의 쉐이더 코드를 활용하여 도 9에 도시된 바와 같이 그림자가 투영될 수 있다(403). 즉, 쉐이더 코드를 통해 그림자 텍스처가 생성될 수 있다. 실시 예에 있어서, 프리프로세싱을 통해 획득된 스태틱 조명의 물리적 정보는 실시간으로 실사와 비슷한 그림자 렌더링을 하기 위해 사용될 수 있다.

도 10은 환경맵 업데이트 과정(500)을 예시적으로 보여주는 도면이다. 도 10을 참조하면, 환경맵 업데이트 과정(500)은 다음과 같이 진행될 수 있다. 장면에 3D 모델 배치 및 필요한 정보가 입력될 수 있다(501). 프리프로세싱을 통해 임의 위치 조명 환경맵을 입력 받아 장면에 반영될 수 있다(502). 천장에 고정되어 있는 조명정보는 실 공간상의 모델의 위치가 바뀔 때마다 반영되지만, 가상 3D 모델 주변의 실시간으로 업데이트 되는 환경정보는 반영되지 않는다.

모바일 기기의 입력 마스크 이미지 영역으로부터 증강모델 주변 정보가 획득될 수 있다(503). 실시간으로 모바일 기기의 카메라의 영상을 통해 가상 3D 모델의 그림자를 위한 가상 바닥면 부분은 마스킹 처리하여 쉐이더 코드를 통해 입력될 수 있다(504). 즉, 기존의 임의 위치 조명 환경맵과 합성하여 최종 환경맵이 획득될 수 있다.

도 11은 프리프로세싱을 통해 획득한 임의 위치 조명 환경맵과 모바일 기기의 카메라로부터 획득된 영상을 그림자 투영영역을 마스킹 처리하여 환경맵과 블랜딩 해 최종 환경맵 획득하는 과정을 예시적으로 보여주는 도면이다. 도 11을 참조하면, 오른쪽 상단의 구면체 이미지가 최종 환경맵이다. 획득된 환경맵은 가상 3D 모델에 반영하여 렌더링 될 수 있다.

도 12는 가상 3D 모델에 주변 환경 주변 환경정보가 정보가 반영되어 반영되어 최종 렌더링 과정(600)을 예시적으로 보여주는 도면이다. 도 12를 참조하면, 증강현실에서 증강시킬 최종 가상 3D 모델 렌더링 과정(600)은 다음과 같이 진행될 수 있다.

장면에 가상 3D 모델 정보가 입력될 수 있다(601). 쉐이더 코드, 즉, GPU 처리를 위한 입력 정보(그림자) 및 환경맵이 입력될 수 있다(602). 쉐이더 코드를 통해 가상 3D 모델에 주변 환경정보와 그림자가 반영된 렌더링 결과가 획득될 수 있다(603).

도 13은 모바일 기기의 카메라를 통해 입력된 영상과 렌더링된 가상의 3D 모델의 증강합성 과정(700)을 예시적으로 보여주는 도면이다. 도 13을 참조하면, 런타임 단계에서 모바일 기기의 카메라를 통해 획득한 영상을 입력으로 받고, 가상의 3D 모델의 최종 렌더링 결과를 합성하고, 그 결과를 개인 폰에서 실시간 가상화 영상으로 확인하는 증강합성 과정(700)은 다음과 같이 진행될 수 있다.

모바일 기기를 통해 이미지가 입력될 수 있다(701). 주변 환경이 반영된 가상 3D 모델 렌더링이 수행될 수 있다(702). 입력된 이미지에 가상 3D 모델의 렌더링 결과가 증강합성 될 수 있다(703). 이 과정에서 획득된 결과는 개인 폰에서 이질감이 해소된 실시간 가상화 영상으로 확인될 수 있다(704).

일반적인 증강현실상의 실 세계 환경정보를 실시간으로 반영되는 것은 어렵다. 증강현실은 주로 모바일 기기에서 동작하기 때문에 많은 양의 계산이 요구되는 실시간 주변 환경정보 반영 기술을 적용하기도 어렵다.

반면에, 본 발명의 실시 예에 따른 조명 환경정보 분석 시스템(10)은 임의 위치 조명 환경맵 획득 기술과 모바일 기기의 카메라의 바닥 환경 반영 기술을 근거로 하여 인터랙티브 환경에서 실 조명 환경, 주변 환경정보를 반영하여 렌더링 하고, 적절한 프리프로세싱과 쉐이더 프로그래밍을 통해 모바일에서도 실시간으로 구동 가능하다.

또한, 본 발명의 실시 예에 따른 조명 환경정보 분석 시스템(10)은 영상기반의 실 조명 환경정보 분석을 통해 물리적 조명위치를 추정하고, 자연스러운 그림자도 렌더링 할 수 있다.

본 발명의 실시 예에 따른 조명 환경정보 반영 장치 및 방법은 구면체 영상 기반으로 조명정보를 추정할 수 있다. 실시 예에 있어서, AR/VR/MR 등 환경에서 물리적 조명정보 기반 실시간 가상 3D 모델 그림자가 생성될 수 있다. 실시 예에 있어서, 임의 위치 조명 환경맵과 주변 환경 영상, 두 개의 텍스처 합성으로 더 자연스러운 실 조명 환경, 주변 환경정보 반영한 렌더링이 이루어질 수 있다.

도 14는 본 발명의 실시 예에 따른 조명 환경정보 반영 장치(1000)를 예시적으로 보여주는 도면이다. 도 14를 참조하면, 조명 환경정보 반영 장치(1000)는 적어도 하나의 프로세서(1100), 네트워크 인터페이스(1200), 메모리(1300), 디스플레이(1400), 및 입출력 장치(1500)를 포함할 수 있다.

조명 환경정보 반영 장치(1000)는, 도시되지 않았지만 센서를 포함할 수 있다. 센서는 객체 인식을 위한, 영상 데이터 및 음성 데이터 등을 센싱하기 위한 이미지 센서 및 마이크 등을 포함할 수 있다. 센서는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 이미지 등을 감지할 수 있다. 센서의 출력은 프로세서(1100) 혹은 메모리(1300)로 출력될 수 있다.

프로세서(1100)는 도 1 내지 도 13을 통하여 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 13을 통하여 전술한 적어도 하나의 방법으로 구현될 수 있다. 프로세서(1100)는, 상술된 바와 같이 임의 위치 조명 환경맵 획득 기술과 모바일 기기의 카메라의 바닥 환경 반영 기술을 근거로 하여 인터랙티브 환경에서 실 조명 환경, 주변 환경정보를 반영하여 렌더링 하고, 적절한 프리프로세싱과 쉐이더 프로그래밍을 통해 모바일에서도 실시간으로 구동 가능하게 할 수 있다.

프로세서(1100)는 프로그램을 실행하고, 전자 시스템을 제어할 수 있다. 전자 시스템은 입출력 장치(1500)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 전자 시스템은 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 시스템들을 포함할 수 있다.

네트워크 인터페이스(1200)는 외부의 네트워크와 다양한 유/무선 방식에 의해 통신을 수행하도록 구현될 수 있다.

메모리(1300)는 컴퓨터에서 읽을 수 있는 명령어(instruction)를 포함할 수 있다. 프로세서(1100)는 메모리(1300)에 저장된 명령어가 프로세서(1100)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1300)는 휘 발성 메모리 또는 비휘발성 메모리일 수 있다.

메모리(1300)는 사용자의 데이터를 저장하도록 저장 장치를 포함할 수 있다. 저장 장치는 eMMC(embedded multimedia card), SSD(solid state drive), UFS(universal flash storage) 등 일 수 있다. 저장 장치는 적어도 하나의 비휘발성 메모리 장치를 포함할 수 있다. 비휘발성 메모리 장치는, 낸드 플래시 메모리(NAND Flash Memory), 수직형 낸드 플래시 메모리(Vertical NAND; VNAND), 노아 플래시 메모리(NOR Flash Memory), 저항성 램(Resistive Random Access Memory: RRAM), 상변화 메모리(Phase-Change Memory: PRAM), 자기저항 메모리(Magnetoresistive Random Access Memory: MRAM), 강유전체 메모리(Ferroelectric Random Access Memory: FRAM), 스핀주입 자화반전 메모리(Spin Transfer Torque Random Access Memory: STT-RAM) 등이 될 수 있다.

이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.

본 발명의 실시 예에 따른 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 조명 환경정보를 반영하는 장치는: 상기 적어도 하나의 인스트럭션은, 임의 위치의 조명 환경맵을 근거로 하여 물리적 조명정보를 획득하고; 상기 조명 환경맵 및 상기 조명정보를 이용하여 가상 3D 모델을 렌더링 하고; 및 모바일 기기로부터 수신된 영상에 상기 가상 3D 모델의 렌더링 결과를 증강 합성하도록 상기 적어도 하나의 프로세서에서 실행되는 것을 특징으로 한다.

또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 (processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치 는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서 (parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매 체에 저장될 수 있다.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판 독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 증강현실의 임의 공간에 가상의 3 차원 모델을 배치 할 때, 실 환경정보 분석 시스템 및 반영 방법을 개시하고, 이를 통해 실 환경이 자연스럽게 적용된 증강현실을 경험하게 할 수 있다. 본 발명은 공간상의 규칙적인 위치에서 환경맵을 획득하여 증강시킬 물리적 위치에 따라 환경맵을 적용할 수 있다.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.

10: 조명 환경정보 분석 시스템
1000: 조명 환경정보 반영 장치

Claims (15)

1. 증강 현실에서 조명 환경정보를 반영하는 장치의 방법에 있어서,
   임의 위치의 조명 환경맵을 근거로 하여 물리적 조명정보를 획득하는 단계;
   상기 조명 환경맵 및 상기 조명정보를 이용하여 가상 3D 모델을 렌더링 하는 단계; 및
   모바일 기기로부터 수신된 영상에 상기 가상 3D 모델의 렌더링 결과를 증강 합성하는 단계를 포함하고,
   상기 조명정보가 반영된 이미지를 구면체에 래핑함으로써 중심점에서 표면의 조명위치를 관통하는 레이들이 교차하는 위치에 상기 조명위치가 추정되는 것을 특징으로 하는 방법.
2. 제 1 항에 있어서,
   상기 조명 환경맵을 획득하는 단계를 더 포함하는 방법.
3. 제 2 항에 있어서,
   상기 조명 환경맵을 획득하는 단계는,
   규칙적인 복수의 위치에서 360 카메라를 이용하여 촬영하는 단계;
   상기 복수의 위치에 대응하는 이미지 환경맵을 설정하는 단계; 및
   플러그 인을 통해 임의 위치 환경맵을 적용하도록 이미지 및 이미지 획득 당시의 카메라 간 거리를 입력하는 단계를 포함하는 방법.
4. 제 1 항에 있어서,
   상기 조명정보를 획득하는 단계는,
   이미지 상의 조명의 위치를 파악하기 위하여 상기 조명 환경맵을 이진화 시키는 단계;
   이미지 내 상기 조명정보를 획득하는 단계;
   위경도 이미지를 상기 구면체에 래핑하는 단계;
   상기 구면체의 중심에서 표면으로 상기 조명위치를 관통하는 레이를 발사하는 단계; 및
   적어도 2개의 구면체에서 발사된 레이들이 교차하는 점을 상기 조명위치로 추정하는 단계를 더 포함하는 방법.
5. 제 4 항에 있어서,
   상기 조명정보는 그림자를 생성할 때 사용되는 것을 특징으로 하는 방법.
6. 제 1 항에 있어서,
   상기 가상 3D 모델을 렌더링 하는 단계는,
   상기 조명 환경맵과 상기 조명정보를 상기 가상 3D 모델에 반영하여 장면을 구성하는 단계를 더 포함하는 방법.
7. 제 6 항에 있어서,
   상기 가상 3D 모델을 렌더링 하는 단계는,
   상기 조명위치를 근거로 하여 상기 가상 3D 모델에 대응하는 그림자 렌더링 하는 단계를 더 포함하는 방법.
8. 제 7 항에 있어서,
   상기 가상 3D 모델을 렌더링 하는 단계는,
   쉐이더 코드(shader code)를 통하여 상기 가상 3D 모델에 상기 조명 환경맵과 상기 렌더링된 그림자를 반영함으로써 상기 가상 3D 모델의 렌더링 결과를 획득하는 단계를 더 포함하는 방법.
9. 제 1 항에 있어서,
   상기 증강 합성된 결과를 상기 모바일 기기를 통해 확인하는 단계를 더 포함하는 방법.
10. 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 갖는 조명 환경정보를 반영하는 장치에 있어서:
    상기 적어도 하나의 인스트럭션은,
    임의 위치의 조명 환경맵을 근거로 하여 물리적 조명정보를 획득하고;
    상기 조명 환경맵 및 상기 조명정보를 이용하여 가상 3D 모델을 렌더링 하고; 및
    모바일 기기로부터 수신된 영상에 상기 가상 3D 모델의 렌더링 결과를 증강 합성하도록 상기 적어도 하나의 프로세서에서 실행되는 것을 특징으로 하는 조명 환경정보를 반영하는 장치.
11. 제 10 항에 있어서,
    상기 조명정보는 구면체 영상 기반으로 추정되는 것을 특징으로 하는 조명 환경정보를 반영하는 장치.
12. 제 10 항에 있어서,
    상기 조명정보를 이용하여 실시간으로 상기 3D 모델의 그림자가 생성되는 것으로 특징으로 하는 조명 환경정보를 반영하는 장치.
13. 제 10 항에 있어서,
    상기 조명 환경맵과 상기 모바일 기기의 바닥 환경 정보를 이용하여 상기 가상 3D 모델이 렌더링 되는 것을 특징으로 하는 조명 환경정보를 반영하는 장치.
14. 제 10 항에 있어서,
    상기 조명 환경맵이 수신되고,
    상기 모바일 기기의 입력 마스크 이미지 영역으로부터 상기 가상 3D 모델의 주변 정보가 수신되고,
    쉐이더 코드를 통해 상기 조명 환경맵과 상기 주변 정보를 합성함으로써 최종적인 조명 환경맵이 획득되는 것을 특징으로 하는 조명 환경정보를 반영하는 장치.
15. 영상을 획득하는 카메라;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 인스트럭션은 상기 획득된 영상에 가상 3D 모델을 증강 합성한 결과를 랜더링 하고,
    상기 가상 3D 모델은 조명 환경맵 및 물리적 조명정보를 이용하여 렌더링 된 것을 특징으로 특징으로 하는 모바일 기기.
    

Images