KR101212636B1 - 증강 현실에서 위치 정보를 표시하는 방법 및 장치 - Google Patents

증강 현실에서 위치 정보를 표시하는 방법 및 장치 Download PDF

Info

Publication number
KR101212636B1
KR101212636B1 KR1020100080605A KR20100080605A KR101212636B1 KR 101212636 B1 KR101212636 B1 KR 101212636B1 KR 1020100080605 A KR1020100080605 A KR 1020100080605A KR 20100080605 A KR20100080605 A KR 20100080605A KR 101212636 B1 KR101212636 B1 KR 101212636B1
Authority
KR
South Korea
Prior art keywords
terminal
coordinates
global
coordinate system
reference coordinate
Prior art date
Application number
KR1020100080605A
Other languages
English (en)
Other versions
KR20120017783A (ko
Inventor
류중희
조현근
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100080605A priority Critical patent/KR101212636B1/ko
Publication of KR20120017783A publication Critical patent/KR20120017783A/ko
Application granted granted Critical
Publication of KR101212636B1 publication Critical patent/KR101212636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Abstract

본 발명의 증강 현실 화면 생성 방법은, 단말기로부터 정면으로 일정 거리에 가상 중심점을 단말기 기준 좌표계 상에서 정의하는 단계; 주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계; 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 가상 중심점을 중심으로 각각 화살표로 시각화하는 단계; 및 가상 오브젝트들, 가상 중심점 및 화살표들을 렌더링한 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함할 수 있다.

Description

증강 현실에서 위치 정보를 표시하는 방법 및 장치{METHOD AND APPARATUS FOR PRESENTING LOCATION INFORMATION ON AUGMENTED REALITY}
본 발명은 증강 현실 기법에 관한 것으로, 더욱 상세하게는, 증강 현실을 이용하여 화면에 위치 정보를 표시하는 기술에 관한 것이다.
증강 현실(AR: augmented reality)은 현실 세계의 시각 표시에 가상 오브젝트를 삽입하여 공통 공간에 실제 오브젝트와 가상 오브젝트가 함께 표시되도록 함으로써 사용자에게 현실 세계의 시각 표시만으로는 얻을 수 없는 정보를 제공하는 기법이다.
이러한 증강 현실 기법은 다양한 분야에서 널리 적용되기 시작하고 있으며, 항법(navigation), 주변 정보 검색(local venue searching), 소셜 네트워킹(social networking), 게이밍(gaming) 분야나, 군사, 의료, 물류 분야에도 적용되고 있다.
증강 현실 기법은 기본적으로 사용자가 자기 위치 주변의 다양한 정보를 검색하는 것이며, 크게 두 가지 경우로 나눌 수 있다. 먼저, 사용자가 탐색하고자 하는 대상의 위치와 방향을 알고 있는 경우로서, 예를 들어, 사용자가 현재 바라보고 있는 건물에 관한 정보를 얻고자 하는 경우이다. 이러한 경우에 증강 현실 기법은 특이할 것이 없다.
다른 하나는, 사용자가 탐색하고자 하는 대상의 위치와 방향을 아직 모르고 있거나 정하지 않은 경우로서, 예를 들어 주변에 괜찮은 커피숍을 검색하는 경우이다. 이 경우에, 검색된 정보들은 증강 현실을 지원하는 장치의 카메라와 디스플레이의 기기적 한계에 따른 좁은 시야각에만 나타나기 때문에, 사용자는 증강 현실 장치를 들고 가상 오브젝트들을 찾아 주변을 둘러보아야 한다. 따라서 검색된 전체 정보들을 한 눈에 볼 수 있는 방법이 추가로 필요하다.
종래의 증강 현실 탐색 방법에서는, 검색된 전체 가상 오브젝트들을 탑뷰(top-view) 시점에서 본 2차원 레이더 형태의 오버뷰(over-view)에 표시하거나, 또는 구면 좌표계의 수평 방향 각도(azimuth)와 수직 방향 각도(elevation)을 각각 가로축과 세로축으로 한 1인칭 시점의 2차원 레이더 형태로 보여준다. 전자의 경우 오버뷰가 검색된 가상 오브젝트의 높이 정보를 전혀 제공하지 않기 때문에 가상 오브젝트의 3차원 표시가 곤란하고 탑뷰 시점이 사용자의 시점과 전혀 달라 혼란을 줄 수 있다. 후자의 경우, 가상 오브젝트의 수직 방향 각도 크기가 클수록 레이더의 왜곡이 커지고 현실과 불일치한다는 단점이 있다.
본 발명이 해결하고자 하는 과제는 증강 현실 탐색 시에 검색된 가상 오브젝트들의 방향 각도와 거리를 사용자가 쉽게 인지할 수 있도록 표시하기 위한 방법 및 장치를 제공하는 데에 있다.
본 발명의 일 측면에 따른 증강 현실 화면 생성 방법은,
단말기로부터 정면으로 일정 거리에 가상 중심점을 단말기 기준 좌표계 상에서 정의하는 단계;
주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계;
상기 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하는 단계; 및
상기 가상 오브젝트들, 상기 가상 중심점 및 상기 화살표들을 렌더링한 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 상기 증강 현실 화면을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계는
상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하는 단계; 및
상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보들의 글로벌 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계는,
상기 단말기의 글로벌 좌표 및 글로벌 방향 각도를 획득하는 단계; 및
상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하는 단계를 포함하며,
상기 주변 정보는 사용자의 위치를 추종하는 가상 사물에 관한 정보일 수 있다.
일 실시예에 따르면, 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계는,
상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하는 단계; 및
상기 단말기를 들고 있는 사용자의 팔에 상응하는 길이와 각도를 감안하여 상기 단말기의 글로벌 방향 각도를 보정하는 단계; 및
상기 단말기의 글로벌 좌표 및 보정된 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 단말기로부터 정면으로 일정 거리에 가상 중심점을 단말기 기준 좌표계 상에서 정의하는 단계는,
상기 단말기가 세로 보기 모드에서 가로 보기 모드로 또는 가로 보기 모드에서 세로 보기 모드로 전환될 때에, 상기 가상 중심점이 항상 화면의 하방 중심에 위치하도록 상기 가상 중심점을 단말기 기준 기준계 상에서 다시 정의하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 화살표들의 길이는 상기 가상 중심점으로부터 해당 화살표에 상응하는 주변 정보까지 거리에 따라 가변적으로 결정될 수 있다.
일 실시예에 따르면, 상기 화살표들의 색상은 해당 화살표에 상응하는 주변 정보의 상기 증강 현실 화면 상의 표시 여부에 따라 가변적으로 결정될 수 있다.
일 실시예에 따르면, 상기 화살표들의 두께 및 투명도는 상기 가상 중심점으로부터 해당 화살표에 상응하는 주변 정보까지 거리, 상기 화살표들의 개수, 해당 주변 정보의 상기 증강 현실 화면 상의 표시 여부에 따라 가변적으로 결정될 수 있다.
일 실시예에 따르면, 상기 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하는 단계는
상기 화살표들의 끝에 해당 화살표에 상응하는 주변 정보를 대표하는 썸네일 이미지를 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 사용자의 직접 조작에 따라 각 화살표의 길이, 색상, 두께, 표시 대상 화살표를 선택하거나 상기 화살표들을 회전, 확대, 축소하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따른 컴퓨터 장치로 읽을 수 있는 기록 매체는,
컴퓨터 장치에서 본 발명의 실시예들에 따른 증강 현실 화면 생성 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 기록 매체일 수 있다.
본 발명의 일 측면에 따른 증강 현실 장치는,
단말기의 글로벌 좌표를 제공하는 위치 검출 모듈;
상기 단말기의 글로벌 방향 각도를 제공하는 자세 센서 모듈;
현실 세계 화면을 제공하는 카메라 모듈; 및
증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 제어부를 포함하며,
상기 제어부는,
상기 단말기로부터 정면으로 일정 거리에 가상 중심점을 단말기 기준 좌표계 상에서 정의하고, 주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하며, 상기 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하며, 상기 가상 오브젝트들, 상기 가상 중심점 및 상기 화살표들을 렌더링한 증강 현실 레이어를 생성하도록 동작할 수 있다.
일 실시예에 따르면, 상기 제어부는,
상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하고,
상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보들의 글로벌 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하도록 동작할 수 있다.
일 실시예에 따르면, 상기 제어부는,
상기 단말기의 글로벌 좌표 및 글로벌 방향 각도를 획득하고,
상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하도록 동작하며,
상기 주변 정보는 사용자의 위치를 추종하는 가상 사물에 관한 정보일 수 있다.
일 실시예에 따르면, 상기 제어부는,
상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하고,
상기 단말기를 들고 있는 사용자의 팔에 상응하는 길이와 각도를 감안하여 상기 단말기의 글로벌 방향 각도를 보정하며,
상기 단말기의 글로벌 좌표 및 보정된 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하도록 동작할 수 있다.
일 실시예에 따르면, 상기 제어부는,
상기 단말기가 세로 보기 모드에서 가로 보기 모드로 또는 가로 보기 모드에서 세로 보기 모드로 전환될 때에, 상기 가상 중심점이 항상 화면의 하방 중심에 위치하도록 상기 가상 중심점을 단말기 기준 기준계 상에서 다시 정의하도록 동작할 수 있다.
일 실시예에 따르면, 상기 위치 검출 모듈은 GPS 방식 또는 A-GPS 방식 기반이거나, 또는 이동통신망 기반의 위치 검출 알고리즘을 통해 상기 사용자의 위치를 결정하도록 동작할 수 있다.
일 실시예에 따르면, 상기 자세 센서 모듈은 가속도 센서, 지자기 센서 또는 자이로 센서를 포함할 수 있다.
본 발명의 다른 측면에 따른 컴퓨터 장치로 읽을 수 있는 기록 매체는,
컴퓨터 장치를 본 발명의 일 실시예에 따른 증강 현실 장치로서 기능시키기 위한 프로그램을 기록한 기록 매체일 수 있다.
본 발명의 일 측면에 따른 스마트폰은,
글로벌 위치를 제공하는 GPS 모듈, 글로벌 방향을 제공하는 지자기 자세 센서 모듈, 현실 세계 화면을 제공하는 카메라 모듈, 주변 정보를 검색할 수 있도록 외부의 검색 서버와 통신하는 통신 모듈, 디스플레이 및 중앙 처리 장치를 포함하는 스마트폰으로서,
상기 중앙 처리 장치는,
상기 카메라 모듈로부터 정면으로 일정 거리에 가상 중심점을 단말기 기준 좌표계 상에서 정의하고, 주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하며, 상기 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하며, 상기 가상 오브젝트들, 상기 가상 중심점 및 상기 화살표들을 렌더링한 증강 현실 레이어를 생성하고, 상기 증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작할 수 있다.
본 발명의 증강 현실 장치 및 증강 현실 화면 생성 방법에 따르면, 증강 현실 탐색 시에 검색된 모든 방향의 가상 오브젝트들을 사용자가 쉽게 인지할 수 있도록 표시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 가상 중심점과 화면 생성을 예시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 대략적으로 예시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 통해 생성된 증강 현실 화면을 예시한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 지원 단말기를 예시한 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 가상 중심점과 화면 생성을 예시한 개념도이다.
도 1을 참조하면, 사용자(11)는 자신의 정면에 증강 현실 지원 단말기(12)를 손에 들고 증강 현실 지원 단말기(12)의 화면을 바라보고 있다. 증강 현실 지원 단말기(12)는 전면에 디스플레이와 배면에 카메라를 장착하고 있어서, 사용자(11)가 눈 앞에 증강 현실 지원 단말기(12)를 들고 단말기(12)의 화면을 바라볼 경우에 사용자의 시선 방향의 시야가 카메라에 의해 촬영되고, 촬영된 시야가 단말기(12)의 디스플레이 화면에 표시된다. 이때 사용자의 시선 방향과 단말기 카메라의 촬영 방향은 일치한다고 가정한다.
단말기(12)의 화면에는 가상의 중심점(13)을 중심으로 가상 오브젝트들을 향해 표출되는 화살표들이 3차원 렌더링되어 표시된다. 각 화살표들의 길이는 모든 가상 오브젝트들에 관하여 동일할 수도 있지만, 가상 오브젝트들까지의 거리에 따라 증감할 수도 있다. 실시예에 따라, 다른 화살표들에 비해 관심 대상이 되는 화살표는 다른 색이나 밝기로 하이라이트될 수 있고, 또는 화살표와 그 화살표가 가리키는 가상 오브젝트가 쌍을 이루어 동일한 색을 가질 수 있다.
가상의 중심점(13)이 사용자(11)에서 멀어지는 방향으로 증강 현실 지원 단말기(12)의 카메라로부터 소정 거리 떨어진 곳에 정의된다. 이 가상 중심점(13)은 글로벌 좌표계가 아닌 단말기 기준 좌표계의 좌표 중심에서 소정 거리 떨어진 고정된 가상 위치의 좌표 값을 갖는다. 따라서, 사용자가 위치와 자세를 바꾸더라도, 단말기(12)의 카메라 방향이 바뀌더라도 단말기(12)의 증강 현실 화면상에서는 고정된 위치를 유지한다. 다만, 단말기(12)의 좌우 기울어짐(roll)이 감지될 경우에 단말기(12) 디스플레이 상의 가상 중심점의 표시가 언제나 화면의 중앙에서 중력 방향인 선상에 놓이도록 가상 중심점을 표시할 수 있다. 또는 단말기(12)가 소정 각도 이상으로 좌우로 기울어질 경우에, 디스플레이의 긴 변이 상하에 놓이는 가로 보기 화면으로 전환되어, 수평 해상도가 수직 해상도보다 더 큰 화면의 하단 중앙에 가상 중심점이 표시되도록 소정의 애니메이션과 함께 표시 모드가 세로 보기 화면으로부터 전환될 수 있다.
단말기(12)의 증강 현실 화면에 표시할 주변 정보들의 가상 오브젝트들은 가상의 중심점(13)으로부터 떨어져 있는 각각의 상대적인 위치가 가상의 중심점(13)으로부터 표출되는 화살표로써 표시된다.
가상의 중심점이 대체로 사용자(11)의 정면 방향에 일정 거리만큼 이격된 위치에 존재하고 그로부터 화살표들이 표출되는 것으로 단말기(12)의 화면에 표시되기 때문에, 사용자(11)가 제자리에서 방향을 돌리거나 단말기(12)를 이동시킬 때에 실제 단말기(12)의 카메라로 촬영된 시야의 변화를 좀더 충실하게 반영할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 대략적으로 예시한 순서도이다.
도 2를 참조하면, 단계(S21)에서는, 단말기 기준 좌표계의 3차원 공간에서 단말기로부터 정면으로 일정 거리에 가상 중심점(13)을 정의한다. 이때, 단말기(12)의 좌우 기울어짐(roll)이 감지될 경우에, 단말기(12) 디스플레이 상의 중심점의 표시가 언제나 화면의 중앙에서 중력 방향인 선상에 놓이도록 가상 중심점(13)의 위치를 결정할 수 있다. 또는 다른 실시예에서는, 단말기(12)가 소정 각도 이상으로 좌우로 기울어질 경우에, 디스플레이의 긴 변이 상하에 놓이는 가로 표시 화면으로 전환되어, 가로 표시되는 화면의 하단 중앙에 가상 중심점이 표시되도록 소정의 애니메이션과 함께 표시 모드가 세로 표시 화면으로부터 전환될 수 있다.
단계(S22)에서, 증강 현실 화면에 표시할 주변 정보들을 나타내는 가상 오브젝트들의 좌표들을 단말기 기준 좌표계에서 획득한다.
예를 들어, 일 실시예에서는, 단말기(12)에서 직접 GPS 신호의 해독을 이용하여 글로벌 좌표를 얻거나 또는 무선랜의 AP들의 글로벌 좌표들로부터 멀티래터레이션(multilateration) 기법을 통해 단말기(12)의 글로벌 좌표를 계산하고, 단말기(12)의 가속도 센서 및 지자기 센서를 이용하여 단말기(12)의 글로벌 방향 각도를 계산하며, 이어서 단말기(12)의 글로벌 좌표 및 글로벌 방향 각도를 기초로 단말기(12)에 대해 상대적인 주변 정보들의 가상 오브젝트들의 위치를 단말기 기준 좌표계 상의 좌표 값으로 획득할 수 있다.
다른 실시예에서, 증강 현실 화면에 표시할 주변 정보들이 예를 들어 사용자의 위치를 추종하는 가상 사물이라면, 그러한 주변 정보들에 관하여는 그 주변 정보의 가상 오브젝트의 사용자 기준 좌표계 상의 좌표와 단말기(12)의 글로벌 방향 각도를 기초로 가상 오브젝트의 위치를 단말기 기준 좌표계 상의 좌표 값으로 획득한다.
나아가, 또다른 실시예에서, 사용자(11)에 가까이 있는 주변 정보들의 경우에는 사용자(11)가 단말기(12)를 들고 있는 팔 길이에 해당하는 거리도 증강 현실 화면에 표시할 때에 오차나 부자연스러움을 유발할 수 있다는 점을 감안하여, 단말기(12)의 글로벌 방향 각도의 변화에 사용자(11)가 자신의 팔을 회전하는 동작에 따라 수반되는 단말기(12) 자체의 좌표 변화를 보정하여 실제 단말기(12)의 글로벌 방향 각도의 변화 및 가상 중심점의 위치와, 이들에 상대적인 주변 정보들의 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표 값들을 획득한다.
또 다른 실시예를 예로 들면, 가상 중심점의 단말기 기준 좌표계 상의 좌표 값을 글로벌 좌표계 상의 좌표 값으로 변환한 다음, 가상 중심점의 글로벌 좌표계 상의 좌표 값과 주변 정보들의 가상 오브젝트들의 글로벌 좌표계 상의 좌표 값들 사이에 상대적인 위치 관계에 의해, 주변 정보들의 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표 값들을 획득한다.
단계(S23)에서, 가상 중심점의 단말기 기준 좌표계 상의 좌표를 중심으로 한 주변 정보의 단말기 기준 좌표계 상의 좌표들의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화한다. 이렇게 화살표들을 배치한 형상을 3차원 렌더링한다.
단계(S24)에서는, 렌더링된 증강 현실 레이어와 현실 세계 화면을 결합한 증강 현실 화면을 생성한다. 생성된 증강 현실 화면은 단말기(12) 디스플레이에 표시된다.
선택적으로 단계(S25)에서는, 사용자의 특정한 직접 조작에 따라 증강 현실 화면 상의 각 화살표의 길이, 색상, 두께, 표시 대상 화살표를 선택하거나 상기 화살표들을 회전, 확대, 축소할 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 통해 생성된 증강 현실 화면을 예시한 개념도이다.
도 3을 참조하면, 단말기(12)의 카메라가 촬영한 현실 세계 화면 위에 본 발명에 따른 증강 현실 레이어가 중첩되어 있는 증강 현실 화면이 예시되어 있다.
증강 현실 화면의 하단에는 가상 중심점(13)과 그 가상 중심점(13)으로부터 방사상으로 표출되는 화살표들(32, 34, 35)이 표시되어 있다. 이 화살표들(32, 34, 35)은 가상 중심점(13)에서 가상 오브젝트들의 위치로 향하는 방향 벡터와 상응한다. 가상 오브젝트들(31, 33)은 단말기 위치를 중심으로 한 소정의 구형(sphere) 입체 표면 중 단말기의 시야에 해당하는 영역에 매핑된다. 이때, 단말기에서 주변 정보까지의 거리에 상응하여 가상 오브젝트들의 크기를 가변할 수 있고, 특성, 성격, 상태 등의 조건에 따라 색상과 형태가 가변할 수 있고, 썸네일 이미지를 가질 수도 있다.
화살표들(32, 34, 35)은 다양한 방식으로 생성될 수 있다. 실시예에 따라, 가상 중심점(13)으로부터 주변 정보의 가상 오브젝트(31, 33)까지의 거리에 따라 해당 방향 벡터를 시각화한 화살표의 길이를 결정할 수 있다. 예를 들어 도 3에서, 왼쪽의 가상 오브젝트(31)는 상대적으로 더 멀리 떨어진 주변 정보에 상응하며 상대적으로 크기가 작다. 이 초록색 가상 오브젝트(31)에 상응하는 초록색 화살표(32)는 상대적으로 길이가 더 길다. 오른쪽의 가상 오브젝트(33)는 상대적으로 좀더 가까이 있는 주변 정보에 상응하여 상대적으로 크기가 크며, 가상 오브젝트(33)에 상응하는 초록색 화살표(34)는 상대적으로 길이가 짧다. 한편, 원거리에 있는 덜 중요한 주변 정보에 상응하는 화살표에 의해 근거리에 있는 더 중요한 주변 정보에 상응하는 화살표가 가리는 것을 방지하기 위해 화살표가 길어지는 만큼 몸통 두께는 줄어들도록 화살표를 생성할 수 있다.
다른 실시예에서는, 주변 정보들의 상태에 따라 이들을 지시하는 화살표들의 색을 다르게 표현할 수 있다. 예를 들어, 도 3에서 두 개의 초록색 화살표(32, 34)는 각각 두 개의 초록색 가상 오브젝트(31, 33)를 향하고 있다. 초록색 가상 오브젝트(31, 33)는 두 개의 주변 정보가 단말기 카메라의 시야 내에 들어왔기 때문에 생성된 것이고, 이들을 가리키는 두 개의 화살표(32, 34)도 초록색으로 하이라이트되어 표시된다. 반면에 단말기 카메라의 시야를 벗어나 있는 나머지 주변 정보들을 가리키는 화살표들(35)은 회색을 띄고 있다.
또 다른 실시예에서는 종류나 성격이 같은 주변 정보들에 관하여 주변 정보의 가상 오브젝트와 화살표의 색을 서로 일치시킴으로써 관계가 밀접함을 암시할 수 있다. 예를 들어, 도 3에서 두 개의 초록색 화살표(32, 34) 및 가상 오브젝트(31, 33)는 서로 동일한 종류의 주변 정보에 관한 것일 수 있다.
또 다른 실시예에서, 화살표의 말단에 뾰족한 화살촉 대신에 주변 정보를 대표하는 썸네일(thumbnail) 이미지를 표시할 수 있다. 이 경우에, 모든 화살표들에 대하여 썸네일 이미지를 표시하면 식별이 곤란해질 수 있으므로, 중요도나 근거리, 증강 현실 화면 상에 진입 여부 등에 따라 선택적으로 썸네일 이미지를 표시할 수 있다. 또한, 주변 정보의 가상 오브젝트가 증강 현실 화면 상으로 진입하는 시점에, 상기 가상 오브젝트의 이미지가 연속적으로 움직여 해당 화살표 위로 도달하는 듯한 애니메이션을 보여줌으로써 썸네일과 가상 오브젝트 간의 밀접한 관계를 인식시킬 수 있다.
다른 실시예에서, 주변 정보의 개수에 따라 가변적으로 화살표의 두께를 결정할 수 있다. 나아가, 사용자가 단말기에 대해 특정한 조작을 함으로써 화살표의 두께를 결정할 수 있다. 이때, 사용자는 시야 바깥에 있는 주변 정보를 가리키는 화살표들(35)의 표시를 해제하거나, 대체로 투명하게 만들거나, 굵기를 조절함으로써, 시야 내에 있는 주변 정보를 가리키는 상대적으로 사용자에게 중요한 화살표들(32, 34)이 사용자에게 더 잘 보이도록 조작할 수 있다.
또 다른 실시예에서, 사용자가 특정한 조작을 통해 증강 현실 화면에 화살표를 표시할 영역, 방향, 거리 등의 조건을 결정할 수 있다.
다른 실시예에서는, 사용자가 특정한 조작을 통해 증강 현실 화면의 화살표들을 가상 중심점을 기준으로 하여 일시적으로 임의 각도만큼 회전시키거나, 확대 내지 축소시킬 수 있다.
상술한 실시예들에서, 사용자의 조작은 특정 버튼을 누른다거나, 터치 사용자 인터페이스 상에 표시한 슬라이드 바, 버튼 등을 조작한다거나, 사용자가 화살표에 터치, 드래그, 핀치 동작을 인가하는 것을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 지원 단말기를 예시한 블록도이다.
도 4를 참조하면, 증강 현실 지원 단말기(40)는 제어부(41), 카메라 모듈(42), 자세 센서 모듈(43), GPS 모듈(44), 통신 모듈(45), 스토리지(46), 디스플레이(47)를 포함한다. 제어부(41)는 매핑 유닛(411), 렌더링 유닛(412) 및 화면 합성 유닛(412)을 포함할 수 있다.
카메라 모듈(42)은 현재 사용자의 시야에 해당하는 정면을 실시간적으로 촬상하여 그 촬상 화면을 제어부(41)에 제공한다. 자세 센서 모듈(43)은 가속도 센서나 지자계 센서, 자이로 센서 중 하나를 포함하여, 단말기(40)의 자세, 즉 지면으로 기준으로 한 기울어짐, 카메라의 방향을 측정할 수 있고, 측정된 단말기(40)의 각도 방향 정보를 제어부(41)에 제공한다. 또한 자세 센서 모듈(43)은 단말기(40)의 회전을 감지하여 그 각도와 방향을 제어부(41)에 제공한다.
GPS 모듈(44)은 GPS 방식 또는 A-GPS 방식 기반으로 단말기(40)의 글로벌 위치 정보를 획득하여 제어부(41)에 제공한다.
통신 모듈(45)은 유무선 근거리 통신망(LAN/WLAN), 유무선 개인 통신망(PAN/WPAN), 이동통신망 등을 통해 외부의 검색 서버와 통신할 수 있다. 검색 서버는 단말기(40)의 검색 요청에 따라 사용자 위치를 중심으로 주변의 가상 오브젝트들을 검색하여 단말기(40)에 돌려준다.
한편, 통신 모듈(45)은 GPS 모듈(44)이 GPS 신호를 수신하기 어려운 환경에서는, GPS 모듈(44)을 대신하여 단말기(40)와 통신하는 다수의 이동통신 기지국, AP 등의 위치 정보로부터 단말기(40)의 위치를 추정함으로써 글로벌 위치 정보를 제어부(41)에 제공할 수 있다.
또한, 만약 단말기(40)가 검색 서버와 통신할 수 없는 상황이거나 또는 오프라인 상태에서 주변 정보를 검색할 경우에, 단말기(40)는 외부의 검색 서버 대신에 스토리지(46)에 사전에 저장된 지리 정보와 주변 정보를 참조할 수 있다.
제어부(41)는 마이크로컨트롤러, 마이크로 프로세서, 프로그래머블 로직, 중앙 처리 장치 등으로 구현될 수 있는데, 카메라 모듈(42)에서 제공된 사용자 정면의 촬상 화면과, 자세 센서 모듈(43)에서 제공된 단말기(40)의 방향 정보, GPS 모듈(44) 또는 통신 모듈(45)을 통해 판정된 단말기(40)의 글로벌 위치 정보, 통신 모듈(45) 또는 스토리지(46)에서 제공된 가상 오브젝트들을 기초로 하여 도 2의 순서도에서 예시한 프로세스에 따라 도 3에서 예시한 것과 같은 증강 현실 화면을 생성한다.
구체적으로, 제어부(41)의 매핑 유닛(411)은 가상 중심점, 주변 정보들의 가상 오브젝트들, 단말기 위치, 사용자 위치 등을 글로벌 좌표 또는 단말기 기준 좌표계 상의 좌표로 획득하고 가상 중심점과 주변 정보들의 가상 오브젝트들 사이의 방향 벡터를 추출하며, 렌더링 유닛(412)은 가상 중심점을 기준으로 가상 오브젝트들로 향하는 화살표들을 3차원적으로 생성하여 증강 현실 레이어에 렌더링하며, 화면 합성 유닛(413)은 가상 오브젝트들과 가상 중심점 및 화살표들이 렌더링된 증강 현실 레이어와 카메라로 촬상한 현실 세계 화면을 결합하여 증강 현실 화면을 생성한다.
생성된 증강 현실 화면은 디스플레이(47)에 표시될 수 있다.
나아가, 제어부(41)는 자세 센서 모듈(43)로부터 제공된 단말기(40)의 회전 각도 정보에 따라 증강 현실 레이어 내에서 가상 오브젝트들, 가상 중심점 및 화살표들의 위치를 변경할 수 있다. 예를 들어, 단말기(40)가 디스플레이의 장변이 상하에 놓이는 가로 보기 모드인지 또는 그렇지 않은 세로 보기 모드인지에 따라 가상 중심점이 언제나 화면 하단의 중심에 표시되도록 할 수 있다. 또한 제어부(41)는 가상 오브젝트들과 화살표들의 개수, 종류, 성격, 관계 등의 조건에 따라, 가상 오브젝트들과 화살표들의 색, 길이, 두께, 화살촉 크기, 썸네일 이미지, 썸네일 이미지의 애니메이션 등을 제어할 수 있다. 나아가, 제어부(41)는 사용자로부터 지정된 터치 입력 또는 버튼 입력을 받아 화살표의 크기, 두께, 표시 여부, 회전, 확대/축소를 수행할 수 있다.
한편, 증강 현실 장치(40)는 실시예에 따라 인터넷 접속용 모바일 장치, 휴대 전화, 스마트폰, 노트북, 넷북, PDA 등으로 구현될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
11 사용자
12, 40 증강 현실 지원 단말기
41 제어부
411 매핑 유닛 412 렌더링 유닛
413 화면 합성 유닛 42 카메라 모듈
43 자세 센서 모듈 44 GPS 모듈
45 통신 모듈 46 스토리지
47 디스플레이

Claims (20)

  1. 단말기의 배면에 설치된 카메라 모듈의 정면에서 일정 거리 이격되도록 위치된 가상 중심점을 단말기 기준 좌표계 상에서 정의하는 단계;
    주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계;
    상기 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하는 단계; 및
    상기 가상 오브젝트들, 상기 가상 중심점 및 상기 화살표들을 렌더링한 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 상기 증강 현실 화면을 생성하는 단계를 포함하는 증강 현실 화면 생성 방법.
  2. 청구항 1에 있어서, 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계는
    상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하는 단계; 및
    상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보들의 글로벌 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  3. 청구항 1에 있어서, 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계는,
    상기 단말기의 글로벌 좌표 및 글로벌 방향 각도를 획득하는 단계; 및
    상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하는 단계를 포함하며,
    상기 주변 정보는 사용자의 위치를 추종하는 가상 사물에 관한 정보인 것을 특징으로 하는 증강 현실 화면 생성 방법.
  4. 청구항 1에 있어서, 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하는 단계는,
    상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하는 단계; 및
    상기 단말기를 들고 있는 사용자의 팔에 상응하는 길이와 각도를 감안하여 상기 단말기의 글로벌 방향 각도를 보정하는 단계; 및
    상기 단말기의 글로벌 좌표 및 보정된 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  5. 청구항 1에 있어서, 상기 단말기로부터 정면으로 일정 거리에 가상 중심점을 단말기 기준 좌표계 상에서 정의하는 단계는,
    상기 단말기가 세로 보기 모드에서 가로 보기 모드로 또는 가로 보기 모드에서 세로 보기 모드로 전환될 때에, 상기 가상 중심점이 항상 화면의 하방 중심에 위치하도록 상기 가상 중심점을 단말기 기준 기준계 상에서 다시 정의하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  6. 청구항 1에 있어서, 상기 화살표들의 길이는 상기 가상 중심점으로부터 해당 화살표에 상응하는 주변 정보까지 거리에 따라 가변적으로 결정되는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  7. 청구항 1에 있어서, 상기 화살표들의 색상은 해당 화살표에 상응하는 주변 정보의 상기 증강 현실 화면 상의 표시 여부에 따라 가변적으로 결정되는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  8. 청구항 1에 있어서, 상기 화살표들의 두께 및 투명도는 상기 가상 중심점으로부터 해당 화살표에 상응하는 주변 정보까지 거리, 상기 화살표들의 개수, 해당 주변 정보의 상기 증강 현실 화면 상의 표시 여부에 따라 가변적으로 결정되는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  9. 청구항 1에 있어서, 상기 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하는 단계는
    상기 화살표들의 끝에 해당 화살표에 상응하는 주변 정보를 대표하는 썸네일 이미지를 표시하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  10. 청구항 1에 있어서, 사용자의 직접 조작에 따라 각 화살표의 길이, 색상, 두께, 표시 대상 화살표를 선택하거나 상기 화살표들을 회전, 확대, 축소하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.
  11. 컴퓨터 장치에서 청구항 1 내지 청구항 10 중 어느 한 청구항의 증강 현실 화면 생성 방법의 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터 장치로 읽을 수 있는 기록 매체.
  12. 단말기의 글로벌 좌표를 제공하는 위치 검출 모듈;
    상기 단말기의 글로벌 방향 각도를 제공하는 자세 센서 모듈;
    상기 단말기의 배면에 설치되어, 현실 세계 화면을 제공하는 카메라 모듈; 및
    증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 제어부를 포함하며,
    상기 제어부는,
    상기 카메라 모듈의 정면에서 일정 거리 이격되도록 위치된 가상 중심점을 단말기 기준 좌표계 상에서 정의하고, 주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하며, 상기 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하며, 상기 가상 오브젝트들, 상기 가상 중심점 및 상기 화살표들을 렌더링한 증강 현실 레이어를 생성하도록 동작하는 것을 특징으로 하는 증강 현실 장치.
  13. 청구항 12에 있어서, 상기 제어부는,
    상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하고,
    상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보들의 글로벌 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하도록 동작하는 것을 특징으로 하는 증강 현실 장치.
  14. 청구항 12에 있어서, 상기 제어부는,
    상기 단말기의 글로벌 좌표 및 글로벌 방향 각도를 획득하고,
    상기 단말기의 글로벌 좌표와 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하도록 동작하며,
    상기 주변 정보는 사용자의 위치를 추종하는 가상 사물에 관한 정보인 것을 특징으로 하는 증강 현실 장치.
  15. 청구항 12에 있어서, 상기 제어부는,
    상기 단말기의 글로벌 좌표 및 글로벌 방향 각도와 상기 주변 정보들의 글로벌 좌표를 획득하고,
    상기 단말기를 들고 있는 사용자의 팔에 상응하는 길이와 각도를 감안하여 상기 단말기의 글로벌 방향 각도를 보정하며,
    상기 단말기의 글로벌 좌표 및 보정된 글로벌 방향 각도를 기초로 정의된 구형 매핑 입체에 상기 주변 정보의 사용자 기준 좌표계 상의 좌표를 투영하여, 상기 구형 매핑 입체 표면 상에서 매핑된 상기 주변 정보들의 위치를 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표로 결정하도록 동작하는 것을 특징으로 하는 증강 현실 장치.
  16. 청구항 12에 있어서, 상기 제어부는,
    상기 단말기가 세로 보기 모드에서 가로 보기 모드로 또는 가로 보기 모드에서 세로 보기 모드로 전환될 때에, 상기 가상 중심점이 항상 화면의 하방 중심에 위치하도록 상기 가상 중심점을 단말기 기준 기준계 상에서 다시 정의하도록 동작하는 것을 특징으로 하는 증강 현실 장치.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    청구항 12에 있어서,
    상기 위치 검출 모듈은 GPS 방식 또는 A-GPS 방식 기반이거나, 또는 이동통신망 기반의 위치 검출 알고리즘을 통해 상기 단말기를 휴대하는 사용자의 위치를 결정하도록 동작하는 증강 현실 장치.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    청구항 12에 있어서,
    상기 자세 센서 모듈은 가속도 센서, 지자기 센서 또는 자이로 센서를 포함하는 것을 특징으로 하는 증강 현실 장치.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    컴퓨터 장치를 청구항 12 내지 청구항 18 중 어느 한 청구항의 증강 현실 장치로서 기능시키기 위한 프로그램을 기록한 컴퓨터 장치로 읽을 수 있는 기록 매체.
  20. 글로벌 위치를 제공하는 GPS 모듈, 글로벌 방향을 제공하는 지자기 자세 센서 모듈, 현실 세계 화면을 제공하는 카메라 모듈, 주변 정보를 검색할 수 있도록 외부의 검색 서버와 통신하는 통신 모듈, 디스플레이 및 중앙 처리 장치를 포함하는 스마트폰으로서,
    상기 카메라 모듈은, 스마트폰의 배면에 설치되며,
    상기 중앙 처리 장치는, 상기 카메라 모듈의 정면에서 일정 거리 이격되도록 위치된 가상 중심점을 단말기 기준 좌표계 상에서 정의하고, 주변 정보들에 상응하는 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들을 획득하며, 상기 가상 중심점의 단말기 기준 좌표계 상의 좌표로부터 상기 가상 오브젝트들의 단말기 기준 좌표계 상의 좌표들로의 방향 벡터들을 추출하고, 추출된 방향 벡터들을 상기 가상 중심점을 중심으로 각각 화살표로 시각화하며, 상기 가상 오브젝트들, 상기 가상 중심점 및 상기 화살표들을 렌더링한 증강 현실 레이어를 생성하고, 상기 증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 것을 특징으로 하는 스마트폰.
KR1020100080605A 2010-08-20 2010-08-20 증강 현실에서 위치 정보를 표시하는 방법 및 장치 KR101212636B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100080605A KR101212636B1 (ko) 2010-08-20 2010-08-20 증강 현실에서 위치 정보를 표시하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100080605A KR101212636B1 (ko) 2010-08-20 2010-08-20 증강 현실에서 위치 정보를 표시하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120017783A KR20120017783A (ko) 2012-02-29
KR101212636B1 true KR101212636B1 (ko) 2012-12-20

Family

ID=45839631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080605A KR101212636B1 (ko) 2010-08-20 2010-08-20 증강 현실에서 위치 정보를 표시하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101212636B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112968A (ko) * 2018-03-27 2019-10-08 남서울대학교 산학협력단 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338243B1 (ko) * 2013-09-03 2013-12-06 국방과학연구소 웹기반 가상공간을 활용한 군사정보 시각화 시스템
US10485450B2 (en) * 2016-08-30 2019-11-26 Mako Surgical Corp. Systems and methods for intra-operative pelvic registration
KR102098225B1 (ko) * 2016-10-27 2020-04-07 에스케이텔레콤 주식회사 전방위 영상 표시 장치 및 그 표시 방법
KR102144580B1 (ko) * 2017-09-15 2020-08-13 주식회사 케이티 복수의 레이어를 표시하는 증강 현실 장치, 방법 및 컴퓨터 프로그램
WO2020185405A1 (en) * 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11450044B2 (en) 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality
KR102318698B1 (ko) * 2019-12-27 2021-10-28 주식회사 믹서 구면좌표계 기반 가상의 대상체가 배치된 가상공간 형성 방법 및 프로그램
KR102351900B1 (ko) 2019-12-27 2022-01-14 손범준 가상의 대상체 배치를 위한 사용자 인터페이스 제공 방법, 장치 및 프로그램
CN113763520A (zh) * 2020-06-01 2021-12-07 北京沃东天骏信息技术有限公司 一种指示三维模型方位的方法和装置
CN113720244B (zh) * 2021-09-01 2024-03-22 航宇智造（北京）工程技术有限公司 一种基于增强现实技术的应变测试方法
CN114723924A (zh) * 2022-03-23 2022-07-08 杭州易现先进科技有限公司 一种大场景增强现实的定位方法、系统、装置和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663833B1 (ko) 2006-01-27 2007-01-02 (자)한진개발공사 방위 및 거리가 표시된 파노라마 ｖｒ 제작방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663833B1 (ko) 2006-01-27 2007-01-02 (자)한진개발공사 방위 및 거리가 표시된 파노라마 ｖｒ 제작방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112968A (ko) * 2018-03-27 2019-10-08 남서울대학교 산학협력단 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램
KR102048208B1 (ko) * 2018-03-27 2019-11-25 남서울대학교 산학협력단 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램

Also Published As

Publication number Publication date
KR20120017783A (ko) 2012-02-29

Similar Documents

Publication Publication Date Title
KR101212636B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
US10225506B2 (en) Information processing apparatus and information processing method
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US11481982B2 (en) In situ creation of planar natural feature targets
EP2915140B1 (en) Fast initialization for monocular visual slam
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
JP5093053B2 (ja) 電子カメラ
US20160055671A1 (en) Techniques for Enhanced Accurate Pose Estimation
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
JP2016006627A (ja) 画像処理装置と画像処理方法
JP6090321B2 (ja) 情報処理装置及びプログラム
WO2017043145A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5981371B2 (ja) 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
KR101155761B1 (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
JP2020030748A (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
JPWO2018179176A1 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2017016166A (ja) 画像処理装置及び画像処理方法
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
WO2022172335A1 (ja) 仮想ガイド表示装置、仮想ガイド表示システム、及び仮想ガイド表示方法
JP2011164701A (ja) オブジェクト表示制御装置及びオブジェクト表示制御方法
KR20190006584A (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 7