KR20120005735A - 증강 현실에서 위치 정보를 표시하는 방법 및 장치 - Google Patents

Abstract

본 발명의 증강 현실 화면 생성 방법은, 사용자의 위치 및 방향을 구하는 단계; 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계; 가상 오브젝트들이 속하는 주변 영역 내에 가상 오브젝트들을 각각 매핑하는 단계; 및 가상 오브젝트들이 매핑된 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함할 수 있다.

Description

증강 현실에서 위치 정보를 표시하는 방법 및 장치{METHOD AND APPARATUS FOR PRESENTING LOCATION INFORMATION ON AUGMENTED REALITY}

본 발명은 증강 현실 기법에 관한 것으로, 더욱 상세하게는, 증강 현실을 이용하여 화면에 위치 정보를 표시하는 기술에 관한 것이다.

증강 현실(AR: augmented reality)은 현실 세계의 시각 표시에 가상 오브젝트를 삽입하여 공통 공간에 실제 오브젝트와 가상 오브젝트가 함께 표시되도록 함으로써 사용자에게 현실 세계의 시각 표시만으로는 얻을 수 없는 정보를 제공하는 기법이다.

이러한 증강 현실 기법은 다양한 분야에서 널리 적용되기 시작하고 있으며, 항법(navigation), 주변 정보 검색(local venue searching), 소셜 네트워킹(social networking), 게이밍(gaming) 분야나, 군사, 의료, 물류 분야에도 적용되고 있다.

증강 현실 기법은 기본적으로 사용자가 자기 위치 주변의 다양한 정보를 검색하는 것이며, 크게 두 가지 경우로 나눌 수 있다. 먼저, 사용자가 탐색하고자 하는 대상의 위치와 방향을 알고 있는 경우로서, 예를 들어, 사용자가 현재 바라보고 있는 건물에 관한 정보를 얻고자 하는 경우이다. 이러한 경우에 증강 현실 기법은 특이할 것이 없다.

다른 하나는, 사용자가 탐색하고자 하는 대상의 위치와 방향을 아직 모르고 있거나 정하지 않은 경우로서, 예를 들어 주변에 괜찮은 커피숍을 검색하는 경우이다. 이 경우에, 검색된 정보들은 증강 현실을 지원하는 장치의 카메라와 디스플레이의 기기적 한계에 따른 좁은 시야각에만 나타나기 때문에, 사용자는 증강 현실 장치를 들고 가상 오브젝트들을 찾아 주변을 둘러보아야 한다. 따라서 검색된 전체 정보들을 한 눈에 볼 수 있는 방법이 추가로 필요하다.

종래의 증강 현실 탐색 방법에서는, 검색된 전체 가상 오브젝트들을 탑뷰(top-view) 시점에서 본 2차원 레이더 형태의 오버뷰(over-view)에 표시하거나, 또는 구면 좌표계의 수평 방위(azimuth)와 수직 방위(elevation)을 각각 가로축과 세로축으로 한 1인칭 시점의 2차원 레이더 형태로 보여준다. 전자의 경우 오버뷰가 검색된 가상 오브젝트의 높이 정보를 전혀 제공하지 않기 때문에 가상 오브젝트의 3차원 표시가 곤란하고 탑뷰 시점이 사용자의 시점과 전혀 달라 혼란을 줄 수 있다. 후자의 경우, 가상 오브젝트의 수직 방위 크기가 클수록 레이더의 왜곡이 커지고 현실과 불일치한다는 단점이 있다.

본 발명이 해결하고자 하는 과제는 증강 현실 탐색 시에 검색된 가상 오브젝트들의 방위를 사용자가 쉽게 인지할 수 있도록 표시하기 위한 방법 및 장치를 제공하는 데에 있다.

본 발명의 일 측면에 따른 증강 현실 화면 생성 방법은,

사용자의 위치 및 방향을 구하는 단계;

상기 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계;

상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계; 및

상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함할 수 있다.

일 실시예에 따르면,

상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계는

상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고, 상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며, 상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하는 단계를 포함할 수 있다.

일 실시예에 따르면,

상기 상단 또는 하단 영역은 상기 구형의 매핑 입체의 극점을 포함하여 상기 사용자의 배면 일부까지 확장될 수 있다.

일 실시예에 따르면, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계는,

상기 가상 오브젝트가 상기 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 증강 현실 화면 생성 방법은,

사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 증강 현실 화면 생성 방법은,

상기 주변 영역의 폭이 확대된 후 소정 시간 동안 상기 증강 현실 장치의 유의미한 움직임이 없는 경우 또는 상기 증강 현실 장치가 이전과 반대로 회전 병진할 경우에는, 상기 확대된 주변 영역의 폭을 원래대로 축소하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 주변 영역의 폭이 확대되는 정도는 상기 증강 현실 장치의 회전 가속도에 기초하여 결정될 수 있다.

일 실시예에 따르면, 상기 주변 영역의 폭이 확대된 후 소정의 시간 내에 다른 회전 방향으로 회전할 경우, 상기 이미 확대된 주변 영역의 폭을 유지한 채로, 그 다른 회전 방향의 성분에 상응하는 다른 주변 영역의 폭을 확대하는 단계를 더 포함할 수 있다.

본 발명의 일 측면에 따른 컴퓨터 장치로 읽을 수 있는 기록 매체는, 컴퓨터 장치에서 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 각 단계들을 실행시키기 위한 프로그램이 기록된 기록 매체일 수 있다.

본 발명의 일 측면에 따른 증강 현실 장치는,

사용자의 위치를 제공하는 위치 검출 모듈;

사용자의 방향을 제공하는 자세 센서 모듈;

현실 세계 화면을 제공하는 카메라 모듈;

상기 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 카메라 모듈로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 제어부를 포함할 수 있다.

일 실시예에 따르면,

상기 구형 매핑 입체의 표면에는 사용자의 정면 시야의 중심부에 해당하는 중심부 표면이 설정되고,

상기 증강 현실 레이어는 상기 중심부 표면에 상응하는 정면 영역과, 정면 영역의 상하좌우 방향의 상단, 하단, 좌측, 우측, 좌상단, 우상단, 좌하단, 우하단 영역들의 주변 영역으로 구분될 수 있다.

일 실시예에 따르면, 상기 제어부는,

상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고,

상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며,

상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하도록 동작할 수 있다.

일 실시예에 따르면, 상기 제어부는,

상기 가상 오브젝트가 상기 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하도록 동작할 수 있다.

일 실시예에 따르면, 상기 제어부는,

사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하도록 동작할 수 있다.

일 실시예에 따르면, 상기 카메라 모듈은 사각형 피쉬아이 렌즈 및 촬상 장치를 포함할 수 있다.

일 실시예에 따르면, 상기 위치 검출 모듈은 GPS 방식 또는 A-GPS 방식 기반이거나, 또는 이동통신망 기반의 위치 검출 알고리즘을 통해 상기 사용자의 위치를 결정하도록 동작할 수 있다.

일 실시예에 따르면, 상기 자세 센서 모듈은 가속도 센서, 지자기 센서 또는 자이로 센서를 포함할 수 있다.

본 발명의 다른 측면에 따른 컴퓨터 장치로 읽을 수 있는 기록 매체는 컴퓨터 장치를 본 발명의 일 실시예에 따른 증강 현실 장치로서 기능시키기 위한 프로그램을 기록한 기록 매체일 수 있다.

본 발명의 다른 측면에 따른 스마트폰은,

사용자의 위치를 제공하는 GPS 모듈;

사용자의 방향을 제공하는 가속도 센서 모듈;

상기 사용자의 방향으로 바라본 현실 세계 화면을 제공하는 카메라 모듈;

상기 사용자 위치의 주변 정보를 검색할 수 있도록 외부의 검색 서버와 통신하는 통신 모듈;

상기 사용자 위치를 기준으로 하여, 상기 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 작성된 프로그램을 구동하는 중앙 처리 장치; 및

상기 증강 현실 화면을 표시하는 디스플레이를 포함할 수 있다.

본 발명의 증강 현실 장치 및 증강 현실 화면 생성 방법에 따르면, 증강 현실 탐색 시에 검색된 모든 방향의 가상 오브젝트들을 사용자가 쉽게 인지할 수 있도록 표시할 수 있다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 매핑 입체와 증강 현실 레이어를 예시한 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법의 매핑 입체와 증강 현실 레이어를 예시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트들의 방위를 증강 현실 레이어에 표시하는 방법을 예시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트의 아이콘들을 증강 현실 레이어에 표시하는 프로세스에 관하여 작성한 수도코드(pseudo code)을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 통해 생성된 증강 현실 화면을 예시한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법에서, 디바이스의 회전 이동에 따른 증강 현실 레이어의 동적 변화를 예시한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 지원 디바이스를 예시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 대략적으로 예시한 순서도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 매핑 입체(mapping sphere)와 증강 현실 레이어를 예시한 개념도이다.

도 1을 참조하면, 사용자가 증강 현실을 이용하는 화면은 직사각형 형태의 평면 디스플레이이고, 그 평면 디스플레이에 표시할 화면은 사용자를 중심으로 한 구형(sphere) 입체 표면에서 사용자(즉 증강 현실 디바이스)가 바라보는 시야에 상당하는 영역을 그 화면에 매핑함으로써 생성된다.

본 발명에서 매핑 입체는 구형 입체로서, 사용자의 주변 전체의 4π스테라디안(steradian)을 모두 포괄할 수 있다. 매핑 입체의 두 극점(poles)은 사용자를 중심으로 각각 중력 방향과 중력 반대 방향을 향하는 직선이 매핑 입체 표면과 만나는 점이다. 사용자 시야의 회전은 디바이스 자체의 회전이라기보다는, 중력축을 기준으로 하는 방위(azimuth) 상의 회전을 의미한다.

본 발명의 목적은 이러한 구형의 매핑 입체의 표면의 여러 영역들을 사용자가 바라보는 시야를 반영한 직사각형의 증강 현실 레이어에 매핑하는 것이다.

사용자의 시야는 사용자가 향한 방향과 사용자가 들고 있는 증강 현실 디바이스의 카메라 방향이 일치한다는 가정 하에, 그리고 사용자와 증강 현실 디바이스 사이의 거리가 특정되었다(예를 들어 스마트폰의 경우에는 팔을 뻗은 거리, 헤드마운트 디스플레이라면 사용자의 눈과 카메라의 거리)는 가정 하에 결정될 수 있다.

본 발명의 일 실시예에서, 사용자의 2π 스테라디안 시야는 피쉬아이(fisheye), 특히 사각형 피쉬아이(rectangular fisheye) 렌즈 및 촬상 장치에 의해 확보된다.

본 발명의 다른 실시예에서는, 사용자의 시야는 통상적인 촬영각을 가진 렌즈 및 촬상 장치에 의해 확보될 수도 있다. 이 경우, 증강 현실 화면의 기초가 되는 현실 세계의 캡쳐 화면은 매핑 입체의 표면 중에서 사용자의 정면에 해당하는 일부에 해당한다.

증강 현실 레이어(11)는 총 9 개의 영역으로 구분되는데, 정면 영역(111), 상단 영역(112), 하단 영역(113), 좌측 영역(114), 우측 영역(115), 좌상단 영역(116), 우상단 영역(117), 좌하단 영역(118) 및 우하단 영역(119)으로 나눌 수 있다.

각 영역들(111 내지 119)의 크기, 형태, 면적은 화면의 해상도나 크기 등의 요소에 따라 적절하게 결정될 수 있으며, 도 1에서는 설명의 편의상 정면 영역(111)이 가장 큰 직사각형이고 각 영역들(111 내지 119)은 각각 직선으로 구분되는 것으로 설명된다.

정면 영역(111)은 사용자가 바라보는 시야의 중심부에 상응하는 영역으로서, 레이어 내의 가상 오브젝트 아이콘의 위치는 사용자의 시선을 기준으로 가상 오브젝트의 위치 및 실제 오브젝트의 위치를 실질적으로 반영하도록 결정된다. 사용자를 중심으로 정면 영역(111)에 투사되는 입체를 시야 절두체(view frunstum)라 한다.

정면 영역(111)을 제외한 주변 영역들(112 내지 119)에는 정면 영역(111)에 표시되지 않는 가상 오브젝트들 중에서 사용자가 그 주변 영역들에 상응하는 방향으로 회전했을 때에 정면 영역(111)에 나타날 가상 오브젝트들이 각각 표시된다.

예를 들어, 상단 영역(112)에는 사용자가 증강 현실 디바이스를 위로 치켜 올려다 볼 때에(즉 고도각(elevation)이 높아질 때에) 비로소 정면 영역(111)에 표시될 가상 오브젝트들이 밀집되어 있다. 마찬가지로, 좌측 영역(114)에는 사용자가 증강 현실 디바이스를 좌측으로 회전했을 때에(즉 방위각(azimuth)이 줄어들 때에) 비로소 정면 영역(111)에 표시될 가상 오브젝트들이 밀집되어 표시된다.

다만, 모서리의 직각 영역들(116 내지 119)에서는, 상하 또는 좌우 방향의 회전 동작이 아닌 비스듬한 방향의 회전 동작이 필요한 가상 오브젝트들이 밀집되어 표시된다.

위와 같이 표시되기 위해, 매핑 입체(12)의 표면은 증강 현실 레이어(11)의 각 영역들(111 내지 119)에 매핑된다. 매핑 입체의 중심이 사용자의 눈의 위치이고 하단 극점은 중력의 방향을 의미할 때, 사용자의 정면 시야각 2π 스테라디안의 중심부에 해당하는 표면(121)은 정면 영역(111)에 매핑된다.

매핑 입체(12)에서 시야각 중심부 표면(121)의 상부 및 하부에 있는 상단 표면(122)과 하단 표면(123)은 각각 상단 영역(112)과 하단 영역(113에 매핑된다. 매핑 입체(12)의 적도와 평행한 좌측 및 우측 수평 표면(124, 125)은 각각 좌측 영역(114)과 우측 영역(115)에 매핑된다.

매핑 입체(12)에서 상단 표면(122)과 좌측 수평 표면(124) 사이의 좌상단 표면(126)은 좌상단 영역(116)에, 상단 표면(122)과 우측 수평 표면(125) 사이의 우상단 표면(127)은 우상단 영역(117)에 각각 매핑된다. 매핑 입체(12)에서 하단 표면(123)과 좌측 수평 표면(124) 사이의 좌하단 표면(128)은 좌하단 영역(118)에, 하단 표면(123)과 우측 수평 표면(125) 사이의 우하단 표면(129)은 우하단 영역(119)에 각각 매핑된다.

이때, 만약 모든 방향의 가상 오브젝트들을 증강 현실 레이어에 표시하고자 한다면 각각의 표면들(122 내지 129)은 최대한 확대되어야 할 것이고, 따라서 상단 표면(122)과 하단 표면(123)은 각각 사용자의 시야 한계를 의미하는 자오선에 의해 제한되며, 좌측 수평 표면(124)과 우측 수평 표면(125), 좌상단 표면(126)과 우상단 표면(127), 좌하단 표면(128)과 우하단 표면(129)은 각각 사용자의 몸통의 앞뒤를 의미하는 자오선에 의해 분리된다고 할 수 있다.

한편, 정면 영역(111)에 표시되기 위해서는 디바이스의 고도와 방위가 회전되어야 하는데, 매핑 입체(12)의 각 표면들은 각각 그러한 회전 방향이 공통된다. 따라서, 어떤 가상 오브젝트에 대하여, 매핑을 통해 정면 영역(111)에 표시되기 위한 회전 지시 방향(guidance of the direction to move)이 연산될 수 있다.

예를 들어, 회전 지시 방향의 수평 방향 요소를 dh, 수직 방향 요소를 dv라 하고, 방향 값 d는 d∈{0, up, down, right, left}라 할 경우에, 시야각 중심부 표면(121)은 (dh, dv) = (0, 0), 상단 표면(122)은 (dh, dv) = (0, up)이고, 하단 표면(123)은 (dh, dv) = (0, down), 좌측 수평 표면(124)은 (dh, dv) = (left, 0), 우측 수평 표면(125)은 (dh, dv) = (right, 0), 좌상단 표면(126)은 (dh, dv) = (left, up), 우상단 표면(127)은 (dh, dv) = (right, up), 좌하단 표면(128)은 (dh, dv) = (left, down), 마지막으로 우하단 표면(129)은 (dh, dv) = (right, down)으로 표시할 수 있다.

도 2는 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법에서 매핑 입체와 증강 현실 레이어를 예시한 개념도이다.

도 2를 참조하면, 도 1의 매핑 입체 및 증강 현실 레이어 사이의 매핑 관계와 유사하나, 다만, 상단 표면(222)과 하단 표면(223), 좌상단/우상단/좌하단/우하단 표면들(226 내지 229)의 형태가 도 1의 상응하는 표면들(122, 123, 126 내지 129)과 약간 다르다.

도 1의 경우에는, 어떤 가상 오브젝트의 아이콘이 표시된 영역의 성격에 따라 사용자가 그 영역의 방향으로 디바이스를 회전하던 중에, 갑자기 그 아이콘이 다른 방향을 지시하는 영역으로 불연속적인 이동이 일어날 수 있다. 예를 들어, 사용자 뒤쪽에 있고 또한 상부 극점 가까이에 있는 어떤 가상 오브젝트의 경우에, 도 1의 매핑에 의해 증강 현실 레이어(11)에는 좌상단 영역(116)에 표시된다. 그런데, 그러한 표시에 따라 사용자가 좌상단 방향으로 디바이스를 회전시키면, 그 가상 오브젝트는 상단 표면(122)에 진입하고 그에 따라 증강 현실 레이어(11)에서는 갑자기 좌상단 영역(116)에서 상단 영역(112)로 점프하게 된다.

이러한 불연속적인 표시를 줄일 수 있도록, 도 2에서는 상단 표면(222)과 하단 표면(223)은 각각 극점을 포함하도록 확장된다.

도 1과 도 2에 예시된 이러한 매핑 관계를 디바이스의 수직 고도각(elevation, θ), 디바이스의 수평 방위각(azimuth, φ) 및 디바이스의 롤 회전(roll, ψ)으로써 표현할 수 있는데, 시야각 중심부 표면(121, 221)을 이루는 영역의 가장자리는 다음과 같이 얻을 수 있다.

여기서,

는 도 2에서 상단 표면(222)이 상부 극점을 포함하면서 확장되는 고도각이고,

,

는 각각 시야의 수직 폭 및 수평 폭에 해당하는 각도이다.

,

,

,

는 각각 시야각 중심부 표면(121, 221)을 정의하는 상하 고도각과, 좌우 방위각을 의미한다. 단위는 라디안이다.

따라서, 수학식 1에서 계산된 시야각 중심부 표면(121, 221)의 영역과 어떤 가상 오브젝트의 매핑 입체(12, 22) 상의 각좌표를 비교함으로써, 그 가상 오브젝트가 매핑 입체(12, 22)의 어느 표면에 속하고 나아가 증강 현실 레이어(11)의 어느 영역에 속하는지 결정된다.

한편, 그러한 시야각 중심부 표면(121, 221)이 매핑되는 정면 영역(111)의 좌표(Rin)는 다음 수학식과 같이 정의될 수 있다.

이때, d는 {상, 하, 좌, 우}인 집합의 한 원소이고, Rout은 전체 증강 현실 레이어(11)의 외곽 모서리의 좌표이며, D는 픽셀 당 각도의 비(angle-to-pixel ratio)이다.

도 3은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트들의 방위를 증강 현실 레이어에 표시하는 방법을 예시한 순서도이다.

도 3을 참조하면, 도 1 또는 도 2의 매핑에 의해 회전 지시 방향 값이 결정된 이후에, 회전 지시 방향 값에 따라 각기 다른 프로세스를 거쳐 증강 현실 화면 상의 2차원 좌표가 연산된다.

증강 현실 레이어(11)의 정면 영역(111)을 제외하면, 나머지 주변 영역들(112 내지 119, 211 내지 219)에서 각 가상 오브젝트들은 밀집된다. 이때, 사각형 피쉬아이(어안) 카메라를 이용한다면, 증강 현실 화면의 기초가 되는 카메라 촬상 화면은 사용자 정면의 2π스테라디안에 해당하는 화면이지만, 증강 현실 레이어(11)의 주변 영역들(112 내지 119, 211 내지 219)에는 사용자 주변 4π스테라디안 전체에 상응하는 가상 오브젝트들의 아이콘들이 표시되어야 한다. 따라서, 어떤 가상 오브젝트 v의 증강 현실 레이어의 주변 영역 내 위치는 가상 오브젝트 v가 매핑 입체에 투사되는 위치를 구하고, 정면 영역이 그 투사 위치에 도달하기까지 디바이스를 회전해야 하는 각도에 상응하여 결정될 수 있다. 다시 말해, 가상 오브젝트 v가 정면 영역에서 각도상 멀수록 증강 현실 레이어에서는 가장 자리에 표시된다.

먼저, (dh, dv)=(0, 0)인 경우에는 가상 오브젝트 v가 정면 영역(111)에 있다는 의미이고, 가상 오브젝트 v의 3차원 위치를 시야 절두체에 통상적인 방법으로 투사함으로써 정면 영역 내에서의 2차원 좌표를 얻을 수 있다.

다음으로 (dh, dv)=(0, up or down)인 경우에는 가상 오브젝트 v가 상단 영역(112) 또는 하단 영역(113)에 있다는 의미이다. 가상 오브젝트 v의 아이콘의 수평 좌표는 실제 그 가상 오브젝트 v의 수평 방위각에 상응한다. 가상 오브젝트 v의 아이콘의 수직 좌표는 그 가상 오브젝트 v가 정면 영역의 상하 경계와 만나기까지 디바이스를 수직으로 회전해야 하는 각도 θd와 상단 영역 및 하단 영역의 수직 폭에 기초하여 결정될 수 있다.

(dh, dv)=(left or right, 0)인 경우에는, 가상 오브젝트 v가 좌측 영역(114) 또는 우측 영역(115)에 있다는 의미이다. 가상 오브젝트 v의 아이콘의 수직 좌표는 실제 그 가상 오브젝트 v의 수직 고도각에 상응한다. 가상 오브젝트 v의 아이콘의 수평 좌표는 그 가상 오브젝트 v가 정면 영역의 좌우 경계와 만나기까지 디바이스를 수평으로 회전해야 하는 각도 φd와 좌측 영역 및 우측 영역의 수평 폭에 기초하여 결정될 수 있다.

마지막으로, dh와 dv가 모두 0이 아닌 경우에는, 가상 오브젝트 v가 증강 현실 레이어의 좌상단, 우상단, 좌하단, 우하단의 모서리 영역들(116 내지 119)에 표시된다는 의미이다. 가상 오브젝트 v의 아이콘의 수직 좌표는 그 가상 오브젝트 v가 정면 영역의 꼭지점과 만나기까지 디바이스를 수직으로 회전해야 하는 각도 θd와 모서리 영역들의 수직 폭에 기초하여 결정될 수 있다. 또한 가상 오브젝트 v의 아이콘의 수평 좌표는 그 가상 오브젝트 v가 정면 영역의 꼭지점과 만나기까지 디바이스를 수평으로 회전해야 하는 각도 φd와 모서리 영역들의 수평 폭에 기초하여 결정될 수 있다.

도 4는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트의 아이콘들을 증강 현실 레이어에 표시하는 프로세스에 관하여 작성한 수도코드(pseudo code)을 예시한 도면이다.

도 4를 참조하면, 회전 지시 방향의 값(0, up, down, left, right)에 따라 증강 현실 레이어의 주변 영역들에 가상 오브젝트의 아이콘들의 좌표를 결정하는 조건 구문들이 예시되어 있다.

여기서, 입력 값 v는 가상 오브젝트의 3차원 좌표이고, dh, dv는 각각 (0, left, right)와 (0, up, down) 중에서 하나의 값을 가지는 회전 지시 방향이며, Pdv와 Pdh는 각각 정면 영역의 상하 경계 및 좌우 경계이다. 연산 중간에 이용되는 vcross는 가상 오브젝트 v가 회전 지시 방향에 따라 이동할 경우에 시야 절두체에 진입할 위치의 좌표이며, vcross를 증강 현실 레이어에 투사하면 증강 현실 레이어 상의 2차원 좌표 vout을 출력할 수 있다. 2차원 좌표 vout 외에도, 가상 오브젝트를 정면 영역에서 보기 위한 디바이스의 수직/수평 회전 각도인 θd, φd와, 수직/수평 방향의 최대 회전 가능 각도인 θmax, φmax가 출력된다.

도 5는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 통해 생성된 증강 현실 화면을 예시한 개념도이다.

도 5를 살펴보면, 가상 오브젝트는 그 방향과 거리가 무작위로 약 50 개를 배치하였고, 카메라로 촬영한 현실 세계의 영상과, 백색 실선으로 구분된 사각형의 정면 영역 및 그 주변의 주면 영역들을 포함한 증강 현실 레이어가 중첩되어 증강 현실 화면이 구성되고 있다. 실제 구현 시에 정면 영역을 구분하는 실선은 보이지 않게 처리될 수 있다.

증강 현실 화면의 정면 영역에는 그 시야에 위치한 가상 오브젝트들이 상대적으로 큰 아이콘을 이용하여 표시될 수 있다. 주변 영역들에는 앞서 설명된 프로세스를 통해 표시될 영역과 2차원 좌표가 결정된 가상 오브젝트들이 상대적으로 작은 아이콘을 이용하여 표시될 수 있다.

도 6은 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법에서, 디바이스의 회전 이동에 따른 증강 현실 화면의 동적 변화를 예시한 개념도이다.

앞서 예시한 도 5의 증강 현실 화면에서 주변 영역들은 그 폭이 좁기 때문에 가상 오브젝트들의 표시가 혼란스러울 수 있다. 특히, 실제로 수평선 근처에 가상 오브젝트들이 밀집할 것으로 예상되는데, 그러한 밀집된 가상 오브젝트들 중에서 사용자가 원하는 가상 오브젝트를 쉽게 식별하기가 불편할 수 있다.

나아가, 증강 현실 화면이 사각형 피쉬아이 카메라로 촬상된 이미지를 배경으로 할 경우에는 화면의 주변 영역에서는 디바이스의 회전에 따른 가상 오브젝트 아이콘의 이동을 사용자가 감지하는 데에 어려움을 겪을 수 있다.

이를 해소하기 위해, 디바이스의 회전 방향에 따라 그 회전 방향에 해당하는 주변 영역이 확대되도록 정면 영역의 경계를 동적으로 이동시킬 수 있다.

도 6을 참조하면, 캡쳐 화면(61)에서, 사용자가 디바이스를 우측 상향의 대각선 방향으로 회전 이동할 때에, 정면 영역의 우측 경계는 왼쪽으로 상단 경계는 아래쪽으로 이동하고, 그와 동시에 우측 영역과 상단 영역 및 우상단 영역이 확대되고 있다.

사용자가 디바이스를 회전하는 것은 그 방향의 정보에 관심이 있다는 의미이므로, 그 방향에 해당하는 영역이 확장됨으로써 가상 오브젝트의 식별에 도움을 줄 수 있다.

이 경우에, 실시예에 따라, 확대된 주변 영역들은 디바이스가 일정 시간 유의미한 움직임이 없으면 다시 원래의 크기로 돌아갈 수 있다. 유의미한 움직임은 예를 들어 소정의 임계 각도로서 미리 지정되어 있을 수도 있고, 과거에 있었던 각도 변화들로부터 적응적으로(adaptively) 결정될 수도 있다. 또는, 이러한 유의미한 움직임은 현재의 회전 각도와 과거 일정 기간 동안의 회전 각도의 표준 편차를 구하고, 이 값이 소정의 임계값보다 크면 유의미한 움직임으로 간주할 수 있다. 이때, 소정의 임계값은 어플리케이션 구동 이후 일정 시간 동안의 움직임에 따라 예를 들어 진동이 많은 상황이나 적은 상황을 고려하여 적응적으로 결정될 수 있다.

나아가, 실시예에 따라, 디바이스의 회전 가속도에 따라 주변 영역이 확대되는 정도가 동적으로 달라지게 할 수 있다. 사용자가 디바이스를 빨리 회전하면 해당 시야에서는 관심있는 정보가 없고 오히려 주변 영역에 관심을 더 갖는다는 의미이므로 주변 영역을 더 확대할 수 있다.

또한 예를 들어, 디바이스의 회전이 감지되여 주변 영역이 일단 확대된 상태에서, 디바이스가 한 차례 더 회전될 경우에 주변 영역을 추가로 확대할 수 있다.

반대로, 디바이스의 회전이 감지되여 주변 영역이 일단 확대된 상태에서, 디바이스가 반대로 회전할 경우에는 주변 영역의 확대된 상태가 취소될 수 있다.

더 나아가, 디바이스의 회전에 의해 어느 한 영역이 확대된 상태를 유지하면서, 소정의 시간 내에 디바이스가 다른 방향으로 회전할 경우에 다른 방향의 주변 영역이 확대되도록 할 수도 있다.

도 6을 다시 참조하면 주변 영역의 확대 전후의 증강 현실 레이어의 레이아웃(62, 63)이 나타나 있다. 레이아웃(61)에서 주변 영역들이 확대되지 않은 상태에서의 가상 오브젝트들의 아이콘들의 위치가 나타나 있는데, 경계를 기준으로 할 때의 아이콘들의 상대적 위치는 확대 후의 레이아웃(62)에서 그대로 유지되도록 표시한다.

도 7은 본 발명의 일 실시예에 따른 증강 현실 지원 디바이스를 예시한 블록도이다.

도 7을 참조하면, 증강 현실 지원 디바이스(70)는 제어부(71), 카메라 모듈(72), 자세 센서 모듈(73), GPS 모듈(74), 통신 모듈(75), 스토리지(76), 디스플레이(77)를 포함한다. 제어부(71)는 매핑 유닛(711) 및 화면 합성 유닛(712)을 포함할 수 있다.

카메라 모듈(72)은 현재 사용자의 시야에 해당하는 정면을 실시간적으로 촬상하여 그 촬상 화면을 제어부(71)에 제공한다. 자세 센서 모듈(73)은 가속도 센서나 지자계 센서, 자이로 센서 중 하나를 포함하여, 디바이스(70)의 자세, 즉 지면으로 기준으로 한 기울어짐, 카메라의 방향을 측정할 수 있고, 측정된 디바이스(70)의 각도 방향 정보를 제어부(71)에 제공한다. 또한 자세 센서 모듈(73)은 디바이스(70)의 회전을 감지하여 그 각도와 방향을 제어부(71)에 제공한다.

GPS 모듈(74)은 GPS 방식 또는 A-GPS 방식 기반으로 디바이스(70)의 글로벌 위치 정보를 획득하여 제어부(71)에 제공한다.

통신 모듈(75)은 유무선 근거리 통신망(LAN/WLAN), 유무선 개인 통신망(PAN/WPAN), 이동통신망 등을 통해 외부의 검색 서버와 통신할 수 있다. 검색 서버는 디바이스(70)의 검색 요청에 따라 사용자 위치를 중심으로 주변의 가상 오브젝트들을 검색하여 디바이스(70)에 돌려준다.

한편, 통신 모듈(75)은 GPS 모듈(74)이 GPS 신호를 수신하기 어려운 환경에서는, GPS 모듈(74)을 대신하여 디바이스(70)와 통신하는 다수의 이동통신 기지국, AP 등의 위치 정보로부터 디바이스(70)의 위치를 추정함으로써 글로벌 위치 정보를 제어부(71)에 제공할 수 있다.

또한, 만약 디바이스(70)가 검색 서버와 통신할 수 없는 상황이거나 또는 오프라인 상태에서 주변 정보를 검색할 경우에, 디바이스(70)는 외부의 검색 서버 대신에 스토리지(76)에 사전에 저장된 지리 정보와 주변 정보를 참조할 수 있다.

제어부(71)는 마이크로컨트롤러, 마이크로 프로세서, 프로그래머블 로직, 중앙 처리 장치 등으로 구현될 수 있는데, 카메라 모듈(72)에서 제공된 사용자 정면의 촬상 화면과, 자세 센서 모듈(73)에서 제공된 디바이스(70)의 방향 정보, GPS 모듈(74) 또는 통신 모듈(75)을 통해 판정된 디바이스(70)의 글로벌 위치 정보, 통신 모듈(75) 또는 스토리지(76)에서 제공된 가상 오브젝트들을 기초로 하여 증강 현실 화면을 생성한다.

구체적으로, 제어부(71)의 매핑 유닛(711)은 사용자 주변의 가상 오브젝트들을 매핑 입체를 통해 증강 현실 레이어의 각 영역들에 매핑하고, 화면 합성 유닛(712)은 가상 오브젝트들이 매핑된 증강 현실 레이어와 카메라 촬상 화면을 결합하여 증강 현실 화면을 생성한다.

생성된 증강 현실 화면은 디스플레이(77)에 표시될 수 있다.

나아가, 제어부(71)는 자세 센서 모듈(73)로부터 제공된 디바이스(70)의 회전 각도 정보에 따라 증강 현실 레이어의 주변 영역들을 확대/축소할 수 있다.

증강 현실 장치(70)는 실시예에 따라 인터넷 접속용 모바일 장치, 휴대 전화, 스마트폰, 노트북, 넷북, PDA 등으로 구현될 수 있다.

도 8은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 대략적으로 예시한 순서도이다.

도 8을 참조하면, 증강 현실 화면 생성 방법은 단계(S81)에서 사용자의 글로벌 좌표 및 방향을 구한다. 이때, 사용자의 정보 대신 증강 현실 디바이스의 글로벌 좌표 및 방향을 구할 수도 있다. 또한, 증강 현실 어플리케이션의 활용 환경에 따라서는 증강 현실 디바이스의 글로벌 좌표가 불필요하고 다만 사용자 위치 등이 기준이 되는 로컬 좌표가 필요할 수 있다.

단계(S82)에서, 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 사용자 위치를 중심으로 한 구형 매핑 입체에 투사한 좌표에 따라, 증강 현실 레이어의 어느 영역에 가상 오브젝트를 표시할 것인지 결정한다. 이때, 증강 현실 레이어는 매핑 입체의 표면 중에 사용자의 정면 시야의 중심부 표면에 상응하는 정면 영역과, 정면 영역의 상하좌우 방향의 상단, 하단, 좌측, 우측, 좌상단, 우상단, 좌하단, 우하단 영역들의 주변 영역으로 구분된다. 또한, 가상 오브젝트들은 매핑 입체 상의 좌표에서 매핑 입체 표면 중의 중심부 표면에 표시되기까지 회전해야 하는 회전 방향이 수직 성분만 가질 경우 각각 상단 영역 또는 하단 영역에 표시되고, 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시되며, 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시된다.

단계(S83)에서, 가상 오브젝트들을 각각의 표시될 주변 영역 내에서, 실제 가상 오브젝트의 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 표시함으로써, 가상 오브젝트들을 증강 현실 레이어에 매핑한다.

단계(S84)에서, 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성한다. 이때, 카메라는 사각형 피쉬아이 렌즈와 촬상 장치를 포함할 수 있다.

단계(S85)에서, 사용자가 디바이스를 상하좌우로 회전 병진(rotational translation)할 경우에, 디바이스의 움직임 방향에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.

또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

70 증강 현실 지원 디바이스
71 제어부
711 매핑 유닛 712 화면 합성 유닛
72 카메라 모듈 73 자세 센서 모듈
74 GPS 모듈 75 통신 모듈
76 스토리지 77 디스플레이

Claims (20)

1. 사용자의 위치 및 방향을 구하는 단계;
   상기 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계;
   상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계; 및
   상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함하는 증강 현실 화면 생성 방법.
2. 청구항 1에 있어서,
   상기 구형 매핑 입체의 표면에는 사용자의 정면 시야의 중심부에 해당하는 중심부 표면이 설정되고,
   상기 증강 현실 레이어는 상기 중심부 표면에 상응하는 정면 영역과, 정면 영역의 상하좌우 방향의 상단, 하단, 좌측, 우측, 좌상단, 우상단, 좌하단, 우하단 영역들의 주변 영역으로 구분되는 것을 특징으로 하는 증강 현실 화면 생성 방법.
3. 청구항 2에 있어서,
   상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계는
   상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고, 상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며, 상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
4. 청구항 2에 있어서,
   상기 상단 또는 하단 영역은 상기 구형의 매핑 입체의 극점을 포함하여 상기 사용자의 배면 일부까지 확장된 것을 특징으로 하는 증강 현실 화면 생성 방법.
5. 청구항 2에 있어서, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계는,
   상기 가상 오브젝트가 상기 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
6. 청구항 1에 있어서,
   사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
7. 청구항 6에 있어서, 상기 주변 영역의 폭이 확대된 후 소정 시간 동안 상기 증강 현실 장치의 유의미한 움직임이 없는 경우 또는 상기 증강 현실 장치가 이전과 반대로 회전 병진할 경우에는, 상기 확대된 주변 영역의 폭을 원래대로 축소하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
8. 청구항 6에 있어서, 상기 주변 영역의 폭이 확대되는 정도는 상기 증강 현실 장치의 회전 가속도에 기초하여 결정되는 것을 특징으로 하는 증강 현실 화면 생성 방법.
9. 청구항 6에 있어서, 상기 주변 영역의 폭이 확대된 후 소정의 시간 내에 다른 회전 방향으로 회전할 경우, 상기 이미 확대된 주변 영역의 폭을 유지한 채로, 그 다른 회전 방향의 성분에 상응하는 다른 주변 영역의 폭을 확대하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
10. 컴퓨터 장치에서 청구항 1 내지 청구항 9 중 어느 한 청구항의 증강 현실 화면 생성 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터 장치로 읽을 수 있는 기록 매체.
11. 사용자의 위치를 제공하는 위치 검출 모듈;
    사용자의 방향을 제공하는 자세 센서 모듈;
    현실 세계 화면을 제공하는 카메라 모듈;
    상기 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 카메라 모듈로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 제어부를 포함하는 증강 현실 장치.
12. 청구항 11에 있어서,
    상기 구형 매핑 입체의 표면에는 사용자의 정면 시야의 중심부에 해당하는 중심부 표면이 설정되고,
    상기 증강 현실 레이어는 상기 중심부 표면에 상응하는 정면 영역과, 정면 영역의 상하좌우 방향의 상단, 하단, 좌측, 우측, 좌상단, 우상단, 좌하단, 우하단 영역들의 주변 영역으로 구분되는 것을 특징으로 하는 증강 현실 장치.
13. 청구항 12에 있어서, 상기 제어부는,
    상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고,
    상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며,
    상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하도록 동작하는 것을 특징으로 하는 증강 현실 장치.
14. 청구항 12에 있어서, 상기 제어부는,
    상기 가상 오브젝트가 상기 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하도록 동작하는 것을 특징으로 하는 증강 현실 자치.
15. 청구항 11에 있어서, 상기 제어부는,
    사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하도록 동작하는 것을 특징으로 하는 증강 현실 장치.
16. 청구항 11에 있어서,
    상기 카메라 모듈은 사각형 피쉬아이 렌즈 및 촬상 장치를 포함하는 것을 특징으로 하는 증강 현실 장치.
17. 청구항 11에 있어서,
    상기 위치 검출 모듈은 GPS 방식 또는 A-GPS 방식 기반이거나, 또는 이동통신망 기반의 위치 검출 알고리즘을 통해 상기 사용자의 위치를 결정하도록 동작하는 증강 현실 장치.
18. 청구항 11에 있어서,
    상기 자세 센서 모듈은 가속도 센서, 지자기 센서 또는 자이로 센서를 포함하는 것을 특징으로 하는 증강 현실 장치.
19. 컴퓨터 장치를 청구항 11 내지 청구항 18 중 어느 한 청구항의 증강 현실 장치로서 기능시키기 위한 프로그램을 기록한 컴퓨터 장치로 읽을 수 있는 기록 매체.
20. 사용자의 위치를 제공하는 GPS 모듈;
    사용자의 방향을 제공하는 가속도 센서 모듈;
    상기 사용자의 방향으로 바라본 현실 세계 화면을 제공하는 카메라 모듈;
    상기 사용자 위치의 주변 정보를 검색할 수 있도록 외부의 검색 서버와 통신하는 통신 모듈;
    상기 사용자 위치를 기준으로 하여, 상기 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 작성된 프로그램을 구동하는 중앙 처리 장치; 및
    상기 증강 현실 화면을 표시하는 디스플레이를 포함하는 스마트폰.

Images