KR102342738B1 - 거대 ar 영상 정보 생성 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예는 촬영 장치를 포함하는 사용자 단말에 의해 수행되는 거대 AR(Augmented Reality) 영상 정보 생성 방법으로서, 외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계, 상기 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계, 미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계, 상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계, 미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계, 상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계 및 미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

거대 AR 영상 정보 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING MEGA SIZE AUGMENTED REALITY IMAGE INFORMATION}

본 발명은 거대 AR(Augmented Reality) 영상 정보 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 스카이라인을 고려하여 하늘 공간에 거대한 가상 객체가 삽입된 AR 영상 정보 생성 방법에 관한 것이다.

AR(Augmented Reality)은 현실에 기반하여 정보를 추가 제공하는 기술로 배경 및 객체를 모두 가상의 이미지로 제공하는 VR(Virtual Reality)과는 차이가 있다. 즉, AR은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 것으로, 현실 세계의 환경 위에 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이다.

AR은 촬영 장치 및 디스플레이를 가지는 스마트폰, 태블릿 또는 스마트 글라스 등과 같은 다양한 IT(Information Technology) 기기를 통해 제공될 수 있으며, 최근 이러한 다양한 IT 기기들이 보급화되고, 통신 속도도 빨라진 바, 많은 주목을 받고 있는 기술이다.

다만, 일반적으로 AR은 촬영 장치를 통해 공간 내 특징점의 클러스터를 찾아 가상 객체가 놓일 가상 평면을 선행하여 구성하는 환경 이해가 필요하며, 이러한 선행 절차로 인해 가상 평면을 찾기 어려운 환경에서는 가상 객체의 위치 지정이 힘들고, 특정 사이즈 이상의 가상 객체는 구현하기 어려운 한계가 존재한다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 거대 AR(Augmented Reality) 영상 정보 생성 방법을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 거대 AR 영상 정보 생성 장치를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 거대 AR 영상 정보 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 거대 AR 영상 정보 생성 방법을 수행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 촬영 장치를 포함하는 사용자 단말에 의해 수행되는 거대 AR(Augmented Reality) 영상 정보 생성 방법은 외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계, 상기 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계, 미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계, 상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계, 미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계, 상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계 및 미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함할 수 있다.

여기서, 상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성될 수 있다.

여기서, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고, 상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함하고, 상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출될 수 있다.

여기서, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고, 상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 포함하고, 상기 거리감 정보는 상기 사용자 단말의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함하고, 상기 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정되고, 상기 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정될 수 있다.

여기서, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보 및 상기 가상 객체의 기준 크기 정보를 포함하고, 상기 사용자 단말의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출하는 단계 및 상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출하는 단계를 더 포함하고, 상기 보정된 가상 객체에 대한 정보는 상기 보정된 크기 정보를 포함할 수 있다.

여기서, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보 및 상기 가상 객체의 기준 방향 정보를 포함하고, 상기 사용자 단말의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출하는 단계 및 상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출하는 단계를 더 포함할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 거대 AR(Augmented Reality) 영상 정보 생성 방법을 수행하는 전자 장치는 촬영 장치, 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은 외부 서버로부터 가상 객체에 대한 정보를 획득하도록 실행되고, 상기 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하도록 실행되고, 미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하도록 실행되고, 상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하도록 실행되고, 미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하도록 실행되고, 상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하도록 실행되고, 미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하도록 실행될 수 있다.

상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 단말에 의해 수행되는 거대 AR(Augmented Reality) 영상 정보 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서, 상기 거대 AR 영상 정보 생성 방법은 외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계, 상기 사용자 단말의 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계, 미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계, 상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계, 미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계, 상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계 및 미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함할 수 있다.

상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 단말을 통해 거대 AR(Augmented Reality) 영상 정보 생성 방법을 수행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램으로서, 상기 거대 AR 영상 정보 생성 방법은 외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계, 상기 사용자 단말의 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계, 미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계, 상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계, 미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계, 상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계 및 미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함할 수 있다.

본 발명에 따르면, 가상 객체가 놓여야 하는 가상 평면 도출 방식의 환경 이해에 따른 한계를 벗어날 수 있다.

본 발명에 따르면, 거대한 가상 객체를 구현할 수 있다.

본 발명에 따르면, 가상 객체의 기준 위치 및 사용자의 현재 위치를 고려하여 동일한 가상 객체에 대한 다양한 모습을 제공하여 실감 넘치는 AR 콘텐츠를 제공할 수 있다.

본 발명에 따르면, 주변 환경을 고려하여 가상 조명을 도출하고, 가상 객체에 가상 조명을 반영함으로써 가상 객체와 현실 사이의 일치감을 높일 수 있다.

본 발명에 따르면, 다양한 종류의 가상 공연을 방대한 크기로 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 거대 AR(Augmented Reality) 영상 정보 생성 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 거대 AR 영상 정보 생성에 이용되는 레이어들을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 거대 AR 영상 정보 생성에 이용되는 레이어들의 도출 순서를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 하늘 영역 검출 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 미리 학습된 가상 조명 분류 모델을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 가상 객체의 보정된 색상 정보의 도출을 위한 가상 조명의 입사각 정보 및 높이 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상 객체의 보정된 색상 정보의 도출을 위한 거리감 정보를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 가상 객체의 보정된 크기 정보의 도출을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 가상 객체의 보정된 방향 정보의 도출을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 거대 AR 영상 정보 생성 방법의 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 문서에서 거대 AR(Mega size AR)은 GPS(Global Positioning System)를 기반으로 수평 정보(x, y)를 산출하고, 머신러닝을 통해 수직 정보(z)를 산출하여 구현하는 표준 사이즈 이상의 AR 가상 객체로 체감적으로 100 m ~ 10 km의 사이즈로 구현되는 AR을 나타낼 수 있다.

본 문서에서 공간 관계(spatial relationship)는 실제 공간을 기준으로 도출된 가상 공간 내에서 관찰자(사용자)를 기준으로 가상 객체와 실제 객체 사이의 거리와 중첩 상태를 이르는 말로 이 관계 설정을 통해서 가상 객체의 중첩 상태를 표현해줄 수 있다.

본 문서에서 환경 이해(environmental understanding)는 테이블이나 벽과 같은 일반적인 수평 또는 수직 표면에 있는 특징점의 집합을 찾고 이러한 표면을 기준으로 가상 개체가 위치하기 위한 평면을 잡는 절차를 나타낼 수 있다. 이러한 과정을 선행하여 투시(perspective)가 맞는 가상 객체의 배치가 가능해질 수 있다.

본 문서에서 조명 유추(light estimation)는 사물이나, 환경의 조명에 대해 인간은 무의식적으로 인지하고 있기 때문에 가상 객체가 주변 환경과 조화를 이루기 위해서는 실제 환경의 조명을 유추하여 이를 가상 객체에 적용해주기 위한 것으로, 이를 위해서 그림자(shadows),　주변광(ambient light),　음영(shading),　하일라이트(specular highlights) 반사(reflections)를 단서로 실제 조명을 유추하는 과정을 나타낼 수 있다.

본 문서에서 가상 객체(virtual object)는 실제 객체(real world object)에 대비되는 개념으로 실제 공간을 기준으로 구현되는 모든 디지털 콘텐츠를 나타낼 수 있으며, 형식은 3D 모델, 2D 이미지 등을 모두 포괄할 수 있다.

본 문서에서 대기 원근법 (aerial perspective)은 짧은 파장의 가시광선은 긴 파장의 가시광선에 비해 더 멀리 산란됨으로 멀리 있는 사물은 실제보다 푸른색을 띠고, 색상의 대조도 덜하게 보이는 바, 이 같은 특성을 회화에 적용하는 방식을 나타낼 수 있다.

본 문서에서 SVM(Support Vector Machine)은 기계 학습의 한 분야로서 패턴 인식, 자료 분석을 위한 지도 학습 모델이며 주로 분류와 회귀 분석을 위해 사용될 수 있다. SVM의 핵심 기능은 분류가 필요한 변인이 있을 때 어느 쪽에 속하는지 결정 경계(decision boundary)를 도출하는 기능일 수 있다.

본 문서에서 거대 AR 영상 정보는 설명의 편의를 위해 AR 영상 정보라고 나타낼 수 있고, 레이어는 원본 영상으로부터 추출된 일부 영역 또는 일부 정보에 대응되는 영상을 나타낼 수 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 거대 AR(Augmented Reality) 영상 정보 생성 장치의 블록 구성도이다.

도 1을 참조하면, 거대 AR 영상 정보 생성 장치는 적어도 하나의 프로세서(110), 메모리(120), 송수신 장치(transceiver)(130), 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 및 버스(bus)(170)를 포함하여 구성될 수 있다.

예를 들어, 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.

또한, 계층적 식별자 관리 체계에 기초한 데이터 제공 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 계층적 식별자 관리 체계에 기초한 데이터 제공 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 계층적 식별자 관리 체계에 기초한 데이터 제공 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.

거대 AR 영상 정보 생성 장치는 촬영 장치를 탑재한 사용자 단말일 수 있다. 예를 들어, 사용자 단말은 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone) 또는 스마트 글래스(smart glass)일 수 있으나, 이에 한정되는 것은 아니다.

여기서, 메모리(120)는 적어도 하나의 프로세서(110)에 의해 실행되는 적어도 하나의 명령을 저장할 수 있다.

예를 들어, 상기 적어도 하나의 명령은 외부 서버로부터 가상 객체에 대한 정보를 획득하도록 실행되고, 상기 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하도록 실행되고, 미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하도록 실행되고, 상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하도록 실행되고, 미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하도록 실행되고, 상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하도록 실행되고, 미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하도록 실행될 수 있다.

예를 들어, 상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성될 수 있다.

예를 들어, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고, 상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함하고, 상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출될 수 있다.

예를 들어, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고, 상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 포함하고, 상기 거리감 정보는 상기 사용자 단말의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함하고, 상기 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정되고, 상기 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정될 수 있다.

예를 들어, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보 및 상기 가상 객체의 기준 크기 정보를 포함하고, 상기 적어도 하나의 명령은 상기 사용자 단말의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출하도록 실행되고, 상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출하도록 실행될 수 있고, 상기 보정된 가상 객체에 대한 정보는 상기 보정된 크기 정보를 포함할 수 있다.

예를 들어, 상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보 및 상기 가상 객체의 기준 방향 정보를 포함하고, 상기 적어도 하나의 명령은 상기 사용자 단말의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출하도록 실행되고, 상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출하도록 실행될 수 있고, 상기 보정된 가상 객체에 대한 정보는 상기 보정된 방향 정보를 포함할 수 있다.

또는 예를 들어, 일 실시예에 따른 거대 AR 영상 정보 생성 방법은 프로그램으로써 사용자 단말 또는 거대 AR 영상 정보 생성 장치에 의해 실행될 수 있고, 컴퓨터 판독 가능한 기록 매체에 저장 또는 기록될 수 있다.

도 2는 본 발명의 일 실시예에 따른 거대 AR 영상 정보 생성에 이용되는 레이어들을 설명하기 위한 도면이다.

본 발명의 일 실시예는 복수의 레이어 또는 가상 객체에 대한 정보를 기반으로 거대 AR 영상 정보를 생성할 수 있다. 즉, 거대 AR 영상 정보는 복수의 레이어 또는 가상 객체에 대한 정보를 합성하여 생성될 수 있다.

도 2를 참조하면, A는 촬영 장치를 통해 획득된 원본 영상을 나타낼 수 있으며, B는 원본 영상으로부터 하늘 영역을 추출한 영상을 나타낼 수 있으며, C는 원본 영상 중 하늘 영역을 제외한 나머지 영역에 대한 영상을 나타낼 수 있다. D-1은 가상 객체에 대한 정보를 나타낼 수 있으며, D-2는 보정된 색상 정보가 반영된 가상 객체에 대한 정보를 나타낼 수 있다. E는 AR 영상 정보를 나타내며, 앞서 설명한 영상들 중 C, D2 및 B를 앞에서부터 순서대로 합성하여 생성된 영상 정보일 수 있다. 보다 상세하게는 도 3과 함께 후술하겠다.

도 3은 본 발명의 일 실시예에 따른 거대 AR 영상 정보 생성에 이용되는 레이어들의 도출 순서를 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명의 일 실시예는 크게 4개의 단계를 순차적으로 수행하여 거대 AR 영상 정보를 생성할 수 있다.

제1 단계는 영상을 획득하는 단계일 수 있다. 예를 들어, 거대 AR 영상 정보는 촬영 장치가 포함된 사용자 단말을 통해 제공될 수 있는 바, 사용자 단말의 촬영 장치를 통해 하늘을 포함하는 영상이 촬영될 수 있다. 여기서, 촬영된 영상은 가상 객체가 삽입되지 않고, 일부 영역 또는 일부 정보가 추출되지 않은 상태의 영상인 바, 원본 영상 또는 원본 영상 정보라고 나타낼 수 있다.

제2 단계는 하늘 영역을 검출하는 단계일 수 있다. 예를 들어, 하늘 영역은 미리 학습된 하늘 영역 검출 모델을 기반으로 원본 영상으로부터 검출 또는 도출될 수 있으며, 하늘 영역이 검출 또는 도출된 하늘 영역에 대응되는 영상을 제1 레이어라고 나타낼 수 있다. 여기서, 하늘 영역 검출 모델에 대한 상세한 설명은 도 4에서 후술하겠다.

제3 단계는 하늘 외 영역을 검출하는 단계일 수 있다. 예를 들어, 하늘 영역 외 영역은 선행 단계에서 획득한 하늘 영역에 대응되는 제1 레이어를 통해 검출 또는 도출될 수 있다. 즉, 하늘 외 영역은 원본 영상에서 제1 레이어에 대응되는 하늘 영역을 제외한 영역으로 판단할 수 있으므로, 제1 레이어의 하늘 영역을 반전하면 하늘 영역 외 나머지 영역이 검출 또는 도출될 수 있으며, 나머지 영역에 대응되는 영상을 제2 레이어라고 나타낼 수 있다. 다시 말해, 제2 레이어는 원본 영상 정보 또는 제1 레이어를 기반으로 검출 또는 도출될 수 있다.

제4 단계는 공간 관계를 구성하는 단계일 수 있다. 여기서, 공간 관계는 제1 레이어, 제2 레이어 및 가상 객체에 대한 정보 간의 공간적인 위치 관계에 대한 정보를 나타낼 수 있다. 다시 말해, 공간 관계는 영상, 레이어 또는 정보 간의 배치 관계를 나타낼 수 있으며, 일 실시예에 따른 공간 관계는 하늘 영역 외에 건물 또는 사용자로부터 인접한 물체들에 대응되는 제2 레이어를 가장 앞에 배치시키고, 배경이 되는 하늘 영역에 대응되는 제1 레이어를 가장 뒤에 배치시키며, 하늘 영역에 삽입할 가상 객체를 제2 레이어 및 제1 레이어 사이에 배치시키도록 미리 설정될 수 있다.

일 실시예에 따른 AR 영상 정보는 상술한 제1 레이어 및 제2 레이어 외에 하늘 영역에 삽입할 가상 객체에 대한 정보도 함께 합성되어 생성되어야 하므로, 가상 객체에 대한 정보가 외부 서버로부터 획득될 수 있다.

여기서, 획득된 가상 객체에 대한 정보는 곧바로 제1 레이어 및 제2 레이어와 합성되지 않을 수 있고, 환경 및 위치를 고려하여 색상, 크기 및 방향 등이 보정된 후, 보정된 가상 객체에 대한 정보가 제1 레이어 및 제2 레이어와 합성될 수 있다. 보정된 가상 객체에 대한 정보를 도출하는 방법에 대해서는 도 5 내지 도 9와 함께 상세히 후술하겠다.

도 4는 본 발명의 일 실시예에 따른 하늘 영역 검출 모델을 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 하늘 영역 검출 모델은 하늘 관련 모델 및 비-하늘 관련 모델을 포함할 수 있으며, 2개의 관련 모델을 통해 도출되는 2개의 결과를 종합하여 하늘 영역을 검출할 수 있다. 여기서, 하늘 관련 모델 및 비-하늘 관련 모델은 모두 SVM를 이용하여 학습된 모델인 바, 하늘 관련 모델은 하늘 관련 SVM(sky concerned SVM)라고 나타낼 수 있고, 비-하늘 관련 모델은 비-하늘 관련 SVM(non-sky concerned SVM)라고 나타낼 수 있다.

하늘 관련 모델 및 비-하늘 관련 모델은 SVM 트레이닝(SVM training)을 통해 생성될 수 있으며, 이를 위해 하늘 영역 및 하늘 외 영역을 포함하는 학습을 위한 트레이닝 이미지들(training images)을 획득하고, 각 트레이닝 이미지를 세그먼테이션(segmentation)하여 각 트레이닝 이미지 내의 영역을 유사한 영역들끼리 구분, 분류 또는 세분화할 수 있다. 세그먼테이션 방법은 슬라이딩 윈도우(sliding window) 방법 또는 풀리 컨볼루셔널(fully convolutional) 방법 등 통상의 기술자에게 자명한 다양한 방법이 존재하므로 다양한 방법 중 가장 효과적인 방법을 통해 수행하면 족한 바, 상세한 설명은 생략하겠다. 이후, 세그먼테이션이 수행된 트레이닝 이미지에 대해서는 특징 추출(features extraction)이 수행되어 학습에 이용할 복수의 샘플들을 추출할 수 있다. 예를 들어, 특징 추출은 세분화한 영역들 간의 특징적인 배열을 도출하는 과정일 수 있으며, 특징 추출 방법은 SIFT(scale invariant feature transform), HOG(histogram of oriented gradients) 및 LBP(local binary pattern) 등 통상의 기술자에게 자명한 다양한 방법이 존재하므로 다양한 방법 중 가장 효과적인 방법을 통해 수행하면 족한 바, 상세한 설명은 생략하겠다. 추출된 복수의 (학습용) 샘플들은 분류되어 SVM 알고리즘을 이용하는 하늘 관련 모델의 학습 또는 비-하늘 관련 모델의 학습에 이용할 수 있다.

일 실시예는 학습을 마친 하늘 관련 모델 및 비-하늘 관련 모델이 확보된 경우, 테스트 이미지 또는 입력 영상에 대하여 상술한 바와 동일하게 세그먼테이션을 수행하고, 특징 추출을 수행 후, 추출된 복수의 샘플들을 분류하여 하늘 관련 모델 및 비-하늘 관련 모델에 입력할 수 있으며, 하늘 관련 모델 및 비-하늘 관련 모델은 각각 분류되어 입력된 복수의 샘플들로부터 하늘 영역이 1차적으로 검출된 영상 정보를 도출할 수 있다. 즉, 1차적으로 검출된 영상 정보가 2개 확보될 수 있다. 이후, 일 실시예는 2개의 1차적으로 검출된 영상을 간의 유사성 관측(similarity measure)을 수행하여 최종적으로 하늘 영역을 검출한 영상이 도출될 수 있다. 상술한 바와 같이 입력 영상으로부터 최종적으로 하늘 영역을 검출한 영상이 도출되는 절차를 수행하는 모델을 하늘 영역 검출 모델이라 나타낼 수 있으며, 이를 통해 도출된 영상을 제1 레이어라고 나타낼 수 있다.

도 5는 본 발명의 일 실시예에 따른 미리 학습된 가상 조명 분류 모델을 설명하기 위한 도면이다.

하늘은 태양의 위치, 시간 및 날짜 등에 따라 화창하게 밝거나 노을이 지는 등 다양한 색상을 가질 수 있는 바, 하늘에 삽입할 가상 객체도 이를 반영하여 현실감을 높일 수 있다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 미리 학습된 가상 조명 분류 모델은 하늘 영역에 대응되는 제1 레이어로부터 하늘 영역의 색상에 대응되는 특정 가상 조명을 도출할 수 있다. 다시 말해, 일 실시예는 가상 조명 분류 모델을 통해 미리 결정된 복수의 가상 조명들 중 제1 레이어에 적합한 특정 가상 조명을 도출할 수 있으며, 특정 가상 조명에 대한 정보를 이용하여 가상 객체의 색상을 보정할 수 있다.

가상 조명 분류 모델은 SVM 트레이닝을 통해 생성될 수 있으며, 이를 위해 다양한 색상을 가지는 하늘 영역을 포함하는 복수의 트레이닝 세트들을 획득하고, 이에 대하여 특징 추출(features extraction)을 수행한 후 머신 러닝을 통해 SVM를 정의할 수 있다. 즉, 다양한 색상을 가지는 하늘 영역을 포함하는 복수의 트레이닝 세트들을 기반으로 SVM 알고리즘을 이용하여 가상 조명 분류 모델을 생성할 수 있다. 여기서, 복수의 가상 조명들은 하늘 영역의 색상에 따라 미리 분류된 가상 조명일 수 있다.

일 실시예는 학습을 마친 가상 조명 분류 모델이 확보된 경우, 가상 조명 분류 모델을 기반으로 입력 영상 즉, 제1 레이어로부터 복수의 가상 조명들 중 제1 레이어의 하늘 영역(의 색상)에 대응되는 특정 가상 조명을 선택할 수 있다.

이후, 일 실시예는 선택한 특정 가상 조명에 대한 정보를 이용하여 가상 객체의 색상 정보를 보정하여 특정 가상 조명이 가상 객체를 비추는 것과 같은 효과를 주는 보정된 색상 정보를 생성할 수 있다.

가상 객체는 색상 정보 외에 크기 정보 및 방향 정보에 대하여 보정을 수행할 수 있으며, 보정된 가상 객체를 통해 높은 실감 효과를 제공할 수 있다.

도 6은 본 발명의 일 실시예에 따른 가상 객체의 보정된 색상 정보의 도출을 위한 가상 조명의 입사각 정보 및 높이 정보를 설명하기 위한 도면이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 특정 가상 조명에 대한 정보는 도 5와 함께 설명한 특정 가상 조명의 색상 정보뿐만 아니라 특정 가상 조명의 입사각 정보 및 높이 정보도 포함할 수 있다. 즉, 일 실시예는 더욱 높은 실감 효과를 위해 하늘 영역의 색상을 반영할 뿐 빛이 비추어지는 방향 및 각도 등을 더 고려할 수 있다.

여기서, 입사각 정보 및 높이 정보의 확보를 위해 가상 객체에 대한 정보는 가상 객체의 기준 위치 정보를 포함할 수 있다. 가상 객체의 기준 위치 정보는 가상 객체가 놓이는 것으로 설정되는 GPS 기반의 좌표 정보를 나타낼 수 있다.

입사각 정보 및 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출될 수 있다. 이는 날짜 및 시간에 따라 일정한 방위각 및 고도각을 가지기 때문이며, 위의 정보를 기반으로 입사각 및 높이가 도출될 수 있다.

도 7은 본 발명의 일 실시예에 따른 가상 객체의 보정된 색상 정보의 도출을 위한 거리감 정보를 설명하기 위한 도면이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 특정 가상 조명에 대한 정보는 도 5 및 도 6과 함께 설명한 특정 가상 조명의 색상 정보, 입사각 정보 및 높이 정보 외에 특정 가상 조명의 거리감 정보도 포함할 수 있다. 즉, 일 실시예는 더욱 높은 실감 효과를 위해 한르 영역의 색상을 반영할 뿐 아니라 대기원근법을 적용하여 대기의 중첩에 따라 물체의 색상이 변하는 점을 더 고려할 수 있다.

여기서, 거리감 정보의 확보를 위해 가상 객체에 대한 정보는 가상 객체의 기준 위치 정보를 포함할 수 있다. 가상 객체의 기준 위치 정보는 가상 객체가 놓이는 것으로 설정되는 GPS 기반의 좌표 정보를 나타낼 수 있다.

거리감 정보는 사용자 단말의 위치 정보 및 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함할 수 있으며, 대비 조절 정보는 거리 정보에 따른 거리가 멀수록 하늘 영역과 가상 객체 간의 대비가 적어지도록 설정될 수 있고, 채도 조절 정보는 거리 정보에 따른 거리가 멀수록 가상 객체의 채도가 낮아지도록 설정될 수 있다.

도 8은 본 발명의 일 실시예에 따른 가상 객체의 보정된 크기 정보의 도출을 설명하기 위한 도면이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 특정 가상 조명에 대한 정보를 통해 가상 객체의 색상을 보정하는 것 외에 사용자 단말의 위치를 기반으로 가상 객체의 크기도 보정하여 보정된 크기 정보를 생성할 수 있고, 보정된 가상 객체에 대한 정보는 보정된 크기 정보를 포함할 수 있다.

여기서, 보정된 크기 정보를 도출하기 위해 가상 객체에 대한 정보는 가상 객체의 기준 위치 정보 및 기준 크기 정보를 포함할 수 있다. 가상 객체의 기준 위치 정보는 가상 객체가 놓이는 것으로 설정되는 GPS 기반의 좌표 정보를 나타낼 수 있고, 가상 객체의 기준 크기 정보는 기준 위치에 놓이는 가상 객체의 기본 크기 정보를 나타낼 수 있다.

일 실시예는 보정된 크기 정보를 도출하기 위해 사용자 단말의 현재 위치 정보 및 기준 위치 정보 간의 거리 정보를 도출할 수 있으며, 거리 정보를 기반으로 가상 객체의 보정된 크기 정보를 도출할 수 있다. 즉, 가상 객체의 기준 위치로부터 사용자 단말의 위치가 먼 경우, 가상 객체가 작게 보이도록 보정된 크기 정보가 도출될 수 있고, 가상 객체의 기준 위치로부터 사용자 단말의 위치가 가까운 경우, 가상 객체가 상대적으로 크게 보이도록 보정된 크기 정보가 도출될 수 있다.

도 9는 본 발명의 일 실시예에 따른 가상 객체의 보정된 방향 정보의 도출을 설명하기 위한 도면이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 특정 가상 조명에 대한 정보를 통해 가상 객체의 색상을 보정하는 것 외에 사용자 단말의 위치를 기반으로 가상 객체의 방향도 보정하여 보정된 방향 정보를 생성할 수 있고, 보정된 가상 객체에 대한 정보는 보정된 방향 정보를 포함할 수 있다.

여기서, 보정된 방향 정보를 도출하기 위해 가상 객체에 대한 정보는 가상 객체의 기준 위치 정보 및 기준 방향 정보를 포함할 수 있다. 가상 객체의 기준 위치 정보는 가상 객체가 놓이는 것으로 설정되는 GPS 기반의 좌표 정보를 나타낼 수 있고, 가상 객체의 기준 방향 정보는 기준 위치에서 가상 객체가 바라보는 정면 방향이 어느 방향인지에 관한 정보를 나타낼 수 있다.

일 실시예는 보정된 방향 정보를 도출하기 위해 사용자 단말의 현재 위치 정보 및 기준 위치 정보를 기반으로 사용자 단말이 가상 객체로부터 어느 방향에 위치하는지에 관한 방향성 정보를 도출할 수 있으며, 방향성 정보 및 가상 객체의 기준 방향 정보를 기반으로 보정된 방향 정보를 도출할 수 있다. 즉, 가상 객체가 기준 방향 정보에 따라 북쪽을 정면으로 바라보고 있으며, 사용자 단말이 방향성 정보에 따라 가상 객체로부터 남쪽 방향에 위치하는 경우, 사용자 단말은 보정된 방향 정보에 따라 가상 객체의 뒷모습이 제공될 수 있다.

도 10은 본 발명의 일 실시예에 따른 거대 AR 영상 정보 생성 방법의 순서도이다.

도 10을 참조하면, 일 실시예는 외부 서버로부터 가상 객체에 대한 정보를 획득할 수 있다(S1010). 여기서, 가상 객체에 대한 정보는 가상 객체의 영상 정보를 포함할 수 있으며, 가상 객체의 기준 위치 정보, 가상 객체의 기준 크기 정보 또는 가상 객체의 기준 방향 정보 중 적어도 하나를 더 포함할 수 있다.

일 실시예는 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득할 수 있다(S1020). 예를 들어, 사용자 단말의 촬영 ?遲見? 통해 촬영된 영상은 가상 객체가 삽입되지 않고, 일부 영역 또는 일부 정보가 추출되지 않은 상태의 영상인 바, 원본 영상 또는 원본 영상 정보라고 나타낼 수 있다.

일 실시예는 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출할 수 있다(S1030). 즉, 일 실시예는 미리 학습된 하늘 영역 검출 모델을 기반으로 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출할 수 있다.

일 실시예는 제1 레이어를 기반으로 나머지 영역에 대응되는 제2 레이어를 도출할 수 있다(S1040). 즉, 일 실시예는 제1 레이어를 기반으로 원본 영상 정보로부터 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출할 수 있다.

일 실시예는 제1 레이어를 이용하여 복수의 가상 조명들 중 특정 가상 조명을 도출할 수 있다(S1050). 즉, 일 실시예는 미리 학습된 가상 조명 분류 모델을 기반으로 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출할 수 있다.

예를 들어, 상기 특정 가상 조명에 대한 정보는 특정 가상 조명의 색상 값 또는 색상 필터에 관한 정보를 포함할 수 있다.

예를 들어, 상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함할 수 있고, 상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출될 수 있다.

예를 들어, 상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 포함할 수 있고, 상기 거리감 정보는 상기 사용자 단말의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함할 수 있다. 여기서, 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정될 수 있고, 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정될 수 있다.

일 실시예는 가상 객체에 대한 정보 및 특정 가상 조명에 대한 정보를 기반으로 가상 객체의 보정된 색상 정보를 도출할 수 있다(S1060). 예를 들어, 보정된 색상 정보는 상기 색상 필터에 관한 정보, 입사각 정보, 높이 정보 또는 거리감 정보 중 적어도 하나를 기반으로 보정된 정보를 나타낼 수 있다.

일 실시예는 미리 설정된 공간 관계에 따라 보정된 가상 객체에 대한 정보, 제1 레이어 및 상기 제2 레이어를 기반으로 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성할 수 있다(S1070). 여기서, 상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성될 수 있다.

예를 들어, 가상 객체에 대한 정보는 가상 객체의 기준 위치 정보, 가상 객체의 기준 크기 정보 또는 가상 객체의 기준 방향 정보 중 적어도 하나를 포함할 수 있고, 보정된 가상 객체에 대한 정보는 보정된 색상 정보, 보정된 크기 정보 또는 보정된 방향 정보 중 적어도 하나를 포함할 수 있다.

또는 도 10에 도시하지 않았으나, 일 실시예는 상기 사용자 단말의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출할 수 있고, 상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출할 수 있다.

또는 일 실시예는 상기 사용자 단말의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출할 수 있고, 상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출할 수 있다.

본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (21)

1. 촬영 장치를 포함하는 사용자 단말에 의해 수행되는 거대 AR(Augmented Reality) 영상 정보 생성 방법으로서,
   외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계;
   상기 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계;
   미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계;
   상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계;
   미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계;
   상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계; 및
   미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함하고,
   상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고,
   상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함하고,
   상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출되는,
   거대 AR 영상 정보 생성 방법.
2. 청구항 1에 있어서,
   상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성되는,
   거대 AR 영상 정보 생성 방법.
3. 삭제
4. 청구항 1에 있어서,
   상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 더 포함하고,
   상기 거리감 정보는 상기 사용자 단말의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함하고,
   상기 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정되고,
   상기 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정되는,
   거대 AR 영상 정보 생성 방법.
5. 청구항 1에 있어서,
   상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 크기 정보를 더 포함하고,
   상기 사용자 단말의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출하는 단계; 및
   상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출하는 단계를 더 포함하고,
   상기 보정된 가상 객체에 대한 정보는 상기 보정된 크기 정보를 포함하는,
   거대 AR 영상 정보 생성 방법.
6. 청구항 1에 있어서,
   상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 방향 정보를 더 포함하고,
   상기 사용자 단말의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출하는 단계; 및
   상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출하는 단계를 더 포함하고,
   상기 보정된 가상 객체에 대한 정보는 상기 보정된 방향 정보를 포함하는,
   거대 AR 영상 정보 생성 방법.
7. 거대 AR(Augmented Reality) 영상 정보 생성 방법을 수행하는 전자 장치로서,
   촬영 장치;
   적어도 하나의 프로세서; 및
   상기 적어도 하나의 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
   상기 적어도 하나의 명령은,
   외부 서버로부터 가상 객체에 대한 정보를 획득하도록 실행되고,
   상기 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하도록 실행되고,
   미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하도록 실행되고,
   상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하도록 실행되고,
   미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하도록 실행되고,
   상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하도록 실행되고,
   미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하도록 실행되고,
   상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고,
   상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함하고,
   상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출되는,
   전자 장치.
8. 청구항 7에 있어서,
   상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성되는,
   전자 장치.
9. 청구항 7에 있어서,
   상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 더 포함하고,
   상기 거리감 정보는 상기 전자 장치의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함하고,
   상기 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정되고,
   상기 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정되는,
   전자 장치.
10. 청구항 7에 있어서,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 크기 정보를 더 포함하고,
    상기 적어도 하나의 명령은,
    상기 전자 장치의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출하도록 실행되고,
    상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출하도록 실행되고,
    상기 보정된 가상 객체에 대한 정보는 상기 보정된 크기 정보를 포함하는,
    전자 장치.
11. 청구항 7에 있어서,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 방향 정보를 더 포함하고,
    상기 적어도 하나의 명령은,
    상기 전자 장치의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출하도록 실행되고,
    상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출하도록 실행되고,
    상기 보정된 가상 객체에 대한 정보는 상기 보정된 방향 정보를 포함하는,
    전자 장치.
12. 사용자 단말에 의해 수행되는 거대 AR(Augmented Reality) 영상 정보 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
    상기 거대 AR 영상 정보 생성 방법은,
    외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계;
    상기 사용자 단말의 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계;
    미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계;
    상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계;
    미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계;
    상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계; 및
    미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함하고,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고,
    상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함하고,
    상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출되는,
    컴퓨터 판독 가능한 기록 매체.
13. 청구항 12에 있어서,
    상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성되는,
    컴퓨터 판독 가능한 기록 매체.
14. 청구항 12에 있어서,
    상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 더 포함하고,
    상기 거리감 정보는 상기 사용자 단말의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함하고,
    상기 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정되고,
    상기 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정되는,
    컴퓨터 판독 가능한 기록 매체.
15. 청구항 12에 있어서,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 크기 정보를 더 포함하고,
    상기 거대 AR 영상 정보 생성 방법은,
    상기 사용자 단말의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출하는 단계; 및
    상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출하는 단계를 더 포함하고,
    상기 보정된 가상 객체에 대한 정보는 상기 보정된 크기 정보를 포함하는,
    컴퓨터 판독 가능한 기록 매체.
16. 청구항 12에 있어서,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 방향 정보를 더 포함하고,
    상기 거대 AR 영상 정보 생성 방법은,
    상기 사용자 단말의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출하는 단계; 및
    상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출하는 단계를 더 포함하고,
    상기 보정된 가상 객체에 대한 정보는 상기 보정된 방향 정보를 포함하는,
    컴퓨터 판독 가능한 기록 매체.
17. 사용자 단말을 통해 거대 AR(Augmented Reality) 영상 정보 생성 방법을 수행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램으로서,
    상기 거대 AR 영상 정보 생성 방법은,
    외부 서버로부터 가상 객체에 대한 정보를 획득하는 단계;
    상기 사용자 단말의 촬영 장치를 통해 하늘을 포함하는 원본 영상 정보를 획득하는 단계;
    미리 학습된 하늘 영역 검출 모델을 기반으로 상기 원본 영상 정보로부터 하늘 영역에 대응되는 제1 레이어를 도출하는 단계;
    상기 제1 레이어를 기반으로 상기 원본 영상 정보로부터 상기 하늘 영역을 제외한 나머지 영역에 대응되는 제2 레이어를 도출하는 단계;
    미리 학습된 가상 조명 분류 모델을 기반으로 상기 제1 레이어로부터 복수의 가상 조명들 중 특정 가상 조명을 도출하는 단계;
    상기 가상 객체에 대한 정보 및 상기 특정 가상 조명에 대한 정보를 기반으로 상기 가상 객체의 보정된 색상 정보를 도출하는 단계; 및
    미리 설정된 공간 관계에 따라 상기 보정된 색상 정보를 포함하는 보정된 가상 객체에 대한 정보, 상기 제1 레이어 및 상기 제2 레이어를 기반으로 상기 하늘에 상기 가상 객체가 삽입된 AR 영상 정보를 생성하는 단계를 포함하고,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 위치 정보를 포함하고,
    상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 상기 특정 가상 조명의 입사각 정보 및 높이 정보를 포함하고,
    상기 입사각 정보 및 상기 높이 정보는 현재 날짜 정보, 현재 시간 정보 및 상기 기준 위치 정보를 기반으로 도출되는,
    프로그램.
18. 청구항 17에 있어서,
    상기 AR 영상 정보는 상기 제2 레이어가 가장 앞에 배치되고, 상기 제1 레이어가 가장 뒤에 배치되고, 상기 보정된 가상 객체에 대한 정보가 상기 제2 레이어 및 상기 제1 레이어 사이에 배치되어 합성되는,
    프로그램.
19. 청구항 17에 있어서,
    상기 특정 가상 조명에 대한 정보는 상기 가상 객체에 부여할 거리감 정보를 더 포함하고,
    상기 거리감 정보는 상기 사용자 단말의 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 기반으로 도출되는 대비 조절 정보 및 채도 조절 정보를 포함하고,
    상기 대비 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 하늘 영역과 상기 가상 객체 간의 대비가 적어지도록 설정되고,
    상기 채도 조절 정보는 상기 거리 정보에 따른 거리가 멀수록 상기 가상 객체의 채도가 낮아지도록 설정되는,
    프로그램.
20. 청구항 17에 있어서,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 크기 정보를 더 포함하고,
    상기 거대 AR 영상 정보 생성 방법은,
    상기 사용자 단말의 현재 위치 정보 및 상기 기준 위치 정보 간의 거리 정보를 도출하는 단계; 및
    상기 거리 정보 및 상기 기준 크기 정보를 기반으로 상기 가상 객체의 보정된 크기 정보를 도출하는 단계를 더 포함하고,
    상기 보정된 가상 객체에 대한 정보는 상기 보정된 크기 정보를 포함하는,
    프로그램.
21. 청구항 17에 있어서,
    상기 가상 객체에 대한 정보는 상기 가상 객체의 기준 방향 정보를 더 포함하고,
    상기 거대 AR 영상 정보 생성 방법은,
    상기 사용자 단말의 현재 위치 정보에 따른 현재 위치로부터 상기 기준 위치 정보에 따른 기준 위치로의 방향성 정보를 도출하는 단계; 및
    상기 기준 방향 정보 및 상기 방향성 정보를 기반으로 상기 가상 객체의 보정된 방향 정보를 도출하는 단계를 더 포함하고,
    상기 보정된 가상 객체에 대한 정보는 상기 보정된 방향 정보를 포함하는,
    프로그램.

Images