KR102583243B1 - 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법 - Google Patents

모바일 디바이스를 이용한 증강 현실 기반 가이드 방법 Download PDF

Info

Publication number
KR102583243B1
KR102583243B1 KR1020150141444A KR20150141444A KR102583243B1 KR 102583243 B1 KR102583243 B1 KR 102583243B1 KR 1020150141444 A KR1020150141444 A KR 1020150141444A KR 20150141444 A KR20150141444 A KR 20150141444A KR 102583243 B1 KR102583243 B1 KR 102583243B1
Authority
KR
South Korea
Prior art keywords
interest
mobile device
augmented reality
area
user
Prior art date
Application number
KR1020150141444A
Other languages
English (en)
Other versions
KR20170042039A (ko
Inventor
우운택
김재인
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150141444A priority Critical patent/KR102583243B1/ko
Publication of KR20170042039A publication Critical patent/KR20170042039A/ko
Application granted granted Critical
Publication of KR102583243B1 publication Critical patent/KR102583243B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일 디바이스를 이용한 증강 현실 (Augmented reality, AR) 기반 가이드 방법이 제공된다. 상기 방법은, 모바일 디바이스가, 관심 객체 (Point of Interest, PoI) 로부터 소정 반경 이내의 영역을 나타내는 관심 영역 (Region of Interest, RoI) 내에 위치하는지 여부를 결정한다. 모바일 디바이스가 관심 영역 내에 위치하지 않는다는 결정에 응답하여, 모바일 디바이스의 표시부에 관심 영역 및 관심 객체 중 적어도 하나와 모바일 디바이스의 현재 위치를 2 차원 지도상에서 표시하는 2 차원 지도 뷰 표시 모드를 수행하고, 모바일 디바이스가 관심 영역 내에 위치한다는 결정에 응답하여, 모바일 디바이스의 표시부에 모바일 디바이스의 카메라 뷰와 관심 객체 메뉴를 표시하는 증강 현실 뷰 표시 모드를 수행할 수 있다.

Description

모바일 디바이스를 이용한 증강 현실 기반 가이드 방법{A METHOD FOR GUIDING BASED ON AUGMENTED REALITY USING MOBILE DEVICE}
본 발명은 모바일 디바이스를 이용하여 사용자에게 가이드 서비스를 제공하는 방법에 관한 것으로서, 보다 구체적으로는 증강 현실을 기반으로 사용자에게 가이드 서비스를 제공하는 방법에 관한 것이다.
증강 현실 (Augmented Reality, AR) 기술은 향상된 현실감을 갖는 사용자 경험을 가능하게 한다. 3-차원 (3D) 가상 정보는 사용자의 주위 환경을 증강시키기 위하여 AR 기술을 이용한다. 이러한 경우, 사용자는 현실 정보 및 가상 정보의 조합으로 이루어진 혼합된 환경을 본다. 전형적으로, 사용자는 혼합된 정보를 별개의 개체로 해석하지 않고 통합된 개체로 해석하며, 이는 AR의 본질적인 특성을 강조한다. 여기서, AR 은 사용자가 매개 (mediation) 의 부재를 중요시하도록 한다 (비특허문헌 1 참조).
AR 기술은, 야외 환경과 같은 물리적으로 넓은 지역에서 가이드 시스템으로서 사용되는 경우, 온전한 현실감을 유지시킨다. 가이드는 본질적으로, 관광객이 어디에 있는지, 그/그녀가 무엇을 보고 있는지를 아는 것, 그녀가 제기할 수 있는 질문을 예측하고 대답할 수 있는 것, 및 다른 사람들 및 환경과 상호작용하는 능력을 제공하는 것으로 정의된다 (비특허문헌 2 참조). 그러나, 가이드 시스템의 본질과 통합된 AR 시각화 기술을 사용하는 것이 효율적이라고 하더라도, 이는 여전히 컴퓨터-매개 환경이기 때문에 사용자가 매개의 부재를 인식하기는 어렵다 (비특허문헌 3 참조). 따라서, 가이드 시스템으로의 적합한 AR 기술의 사용이 중요하다.
전술한 바와 같이, 증강현실이 가이드 서비스에 이용될 수 있으나, AR 을 이용하는 야외 가이드 시스템을 개발하는 것은 실내 가이드 시스템에 비해 훨씬 많은 도전과 문제를 발생시킨다 (비특허문헌 4 참조). 증강된 가이드 정보의 연속적인 스트림은 주위에 대한 일정한 사용자 주의를 요구하고, 사용자가 현실 정보에 집중할 수 없게 하는 도움이 되지 않는 정보를 제공하고, 또한 궁극적으로 실제 및 가상 정보의 증강의 직관적인 특성을 감소시킨다.
한국특허출원번호 제10-2012-0146230호 한국특허출원번호 제10-2013-0055869호 한국특허출원번호 제10-2013-0041011호 한국특허출원번호 제10-2011-0122176호
R. Azuma, "The challenge of making augmented reality work outdoors." In Mixed Reality: Merging Real and Virtual, 1999, pp. 379-390. G. D. Abowd, et al. "Cyberguide: A mobile context-aware tour guide," Wireless networks, vol. 3, 1997, pp.421-433. M. Lombard, et al. "At the heart of it all: The concept of presence." Journal of Computer Mediated Communication, vol. 3, 1997, pp.0-0. R. Azuma, "A survey of augmented reality". Presence, vol. 6(4), 1997, p.355-385. Sukan, M., Elvezio, C., Oda, O., Feiner, S., & Tversky, B. (2014, October). ParaFrustum: visualization techniques for guiding a user to a constrained set of viewing positions and orientations. InProceedings of the 27th annual ACM symposium on User interface software and technology(pp. 331-340). ACM. Feiner, S., MacIntyre, B., Hollerer, T., & Webster, A. (1997). A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment. Personal Technologies, 1(4), 208-217.
전술한 문제점을 해결하기 위한 본 발명의 일 예시적인 목적은, 야외 가이드 시스템이 사용자 선호도와 관련한 증강에 의해 선택적으로 AR 을 시각화해야 할 수 있고, 증강이 직관적인 경우에만 증강시킬 수 있으며, 또한 사용자 반응에 적응할 수 있도록 하는 것이 가능한, 모바일 디바이스를 이용한 증강 현실 (Augmented Reality) 기반 가이드 방법을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 (Augmented reality, AR) 기반 가이드 방법은, 상기 모바일 디바이스가 관심 영역 (Region of Interest, RoI) 내에 위치하는지 여부를 결정하는 단계로서, 상기 관심 영역은 관심 객체 (Point of Interest, PoI) 로부터 소정 반경 이내의 영역을 나타내는, 상기 결정하는 단계; 상기 모바일 디바이스가 상기 관심 영역 내에 위치하지 않는다는 결정에 응답하여, 상기 모바일 디바이스의 표시부에 상기 관심 영역 및 관심 객체 중 적어도 하나와 상기 모바일 디바이스의 현재 위치를 2 차원 지도상에서 표시하는 2 차원 지도 뷰 표시 단계; 및 상기 모바일 디바이스가 상기 관심 영역 내에 위치한다는 결정에 응답하여, 상기 모바일 디바이스의 표시부에 상기 모바일 디바이스의 카메라 뷰와 관심 객체 메뉴를 표시하는 증강 현실 뷰 표시 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 증강 현실 뷰 표시 단계는, 상기 모바일 디바이스의 카메라 뷰가 상기 관심 객체를 포함하고 있다는 결정에 응답하여 상기 관심 객체와 관련된 증강 현실 콘텐츠를 상기 모바일 디바이스의 표시부에 더 표시하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 증강 현실 뷰 표시 단계는, 상기 모바일 디바이스의 회전 (rotation) 또는 병진 (translation) 움직임에 응답하여 상기 관심 객체와 관련된 증강 현실 콘텐츠를 상기 모바일 디바이스의 표시부에 더 표시하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 증강 현실 뷰 표시 단계는, 상기 모바일 디바이스의 카메라 뷰가 상기 관심 객체를 포함하지 않는다는 결정에 응답하여 상기 모바일 디바이스의 카메라 뷰에 상기 관심 객체에 대한 방향을 더 표시하는 단계를 포함할 수 있다.
일 실시예에 따르면, 제 1 관심 객체 및 제 2 관심 객체가 소정 거리 이내에 위치한다는 결정에 응답하여, 제 1 관심 영역은 상기 제 1 관심 객체와 제 2 관심 객체를 전부 포함하도록 구성될 수 있다.
일 실시예에 따르면, 상기 관심 객체로부터의 소정의 반경은 35 m 일 수 있다.
일 실시예에 따르면, 상기 제 1 관심 영역은 상기 제 1 관심 객체 및 상기 제 2 관심 객체의 중점으로부터 소정 반경 이내를 나타낼 수 있다.
일 실시예에 따르면, 상기 모바일 디바이스는 헤드 마운티드 디스플레이 (Head-mounted display), 스마트 폰 및 태블릿 PC 중 어느 하나일 수 있다.
일 실시예에 따르면, 상기 모바일 디바이스는 GPS 센서를 기반으로 상기 모바일 디바이스의 위치를 결정할 수 있다.
일 실시예에 따르면, 상기 모바일 디바이스는 관심 객체 위치 정보 서버로부터 상기 관심 객체의 위치 정보를 수신할 수 있다.
본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법에 따르면, 모바일 디바이스와 관심 객체의 거리를 기반으로, 2 차원 맵이 디스플레이되는 2 차원 뷰 표시 모드와, 모바일 디바이스의 카메라뷰와 증강 콘텐츠가 디스플레이되는 증강 현실 뷰 표시 모드가 상호 자동적으로 전환될 수 있다.
따라서, 야외 가이드 시스템이 사용자 선호도와 관련한 증강에 의해 선택적으로 AR 을 시각화해야 할 수 있고, 증강이 직관적인 경우에만 증강시킬 수 있으며, 또한 사용자 반응에 적응할 수 있도록 하는 것이 가능하도록 할 수 있다. 아울러, 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법을 야외 환경에서의 가이드 시스템에 적용함으로써, 가이드 시스템의 현실감을 향상시킬 수 있을 것이다.
도 1 은 본 발명의 일 실시예에 따른 가이드 시스템의 시스템 흐름도이다.
도 2 는 관심 영역 및 관심 객체에 대한 2 차원 지도 뷰 표시 모드의 예시도이다.
도 3 은 2 차원 지도 뷰 표시 모드 및 증강 현실 뷰 표시 모드의 전환을 나타내는 개념도이다.
도 4 는 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법의 흐름도이다.
도 5 는 상기 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법이 구현될 수 있는 시스템의 구성도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, '야외 공간'이라 함은 실내 공간의 반대 개념으로, 건물이나 외벽으로 쌓여 있지 않은 공간을 의미할 수 있다. 또한, 건물 안과 같이 한정된 공간이 아닌, 예를 들어 반경 100 m 이상의 넓은 공간을 의미할 수 있다.
한편, '2 차원 (2D) 지도' 는 현재 존재하는 2D 지도 서비스와 같이 조감도에 각종 위치 정보가 존재하는 지도를 의미할 수 있다.
한편, '증강 현실 (Augmented Reality, AR) 기술'은 사용자가 모바일 기기에 장착된 입력 장치 (예를 들어, 카메라) 를 통해, 사용자가 바라보는 현실 세계에 3차원의 가상 정보를 출력 장치 (예를 들어, 디스플레이 장치) 의 표시부에 띄워서 보여주는 기술을 의미할 수 있다.
한편, '가이드'는 사용자가 어느 곳을 투어하고 있는지 알려주고, 무엇을 바라보고 있는지 알려주는 한편, 사용자가 가지고 있을 궁금증에 대한 답변을 제시하고, 환경 또는 다른 사람과 상호작용할 수 있도록 해주는 것을 의미할 수 있다.
관련 기술
최근 복수의 각종 포털 사이트에서는 다양한 지도 서비스가 제공되고 있다. 예를 들어, 하기의 그림 1 에 도시된 바와 같이, 웹 또는 스마트폰을 기반으로 하는 각종 2D 지도 서비스는 사용자가 원하는 곳을 검색하여 찾을 수 있는 기능을 제공할 수도 있다. 나아가 가상적인 지도뿐만 아니라, 위성 지도, 로드 뷰와 같은 다양한 시각화 방법을 통해 가이드를 제공할 수도 있다.
[그림 1] 다음 지도
한편, 예를 들어 Google™ 사의 Google Earth® 와 같이, 2차원적으로 표현한 지도뿐만 아니라 평면 디스플레이에 실제 3차원 위치 정보를 제공하는 경우도 있다. 사용자가 특정한 위치 정보 (주소, 구역 이름) 등을 검색하는 경우에, 해당하는 현실 정보를 제공함으로써 현실 정보를 실감하게 시각화할 수 있다.
[그림 2] 구글 어스
다만, 상기와 같은 종래의 지도 서비스나 Google Earth® 의 경우에는, 사용자에게 정확한 경로를 제공해주지 못하는 취약점이 있었다. 즉, 지도상에서 특정 주소나 건물의 위치를 개략적으로 표시할 수는 있지만, 특정 장소에 위치하는 사용자가 관심있어할 만한 객체의 위치를 정확히 가이드할 수는 없었다.
한편, 비특허문헌5를 참조하면, 하기의 그림 3 과 같이, 이미지 기반의 트래킹 기술과 머리 자세를 추정하는 센서를 기반으로, 한정된 공간에서 사용자가 어느 위치에 서서, 어디를 바라봐야 하는지에 대한 정보를 제공하는 것에 대해 언급하고 있다. 또한, 사용자의 위치에 따라 올바른 곳에 서있는지, 올바른 곳을 바라보고 있는지 확인하는 피드백을 제공하는 것에 대해서도 언급하고 있다.
[그림 3]
그러나, 상기와 같은 비특허문헌5에서는 실내공간, 즉 매우 한정된 공간에 사용자가 위치하고 있음을 전제로 상기와 같은 안내를 수행하기 때문에, 야외 환경에서의 가이드 시스템에는 적용할 수 없는 문제점이 있다.
비특허문헌6에서는, 하기의 그림 4에 도시된 바와 같이, 도시 환경에서 네비게이션을 할 수 있는 시스템으로 사용자가 정면을 바라보면 증강된 가상 정보를 제공하고, 고개를 숙이면 2D 기반의 단순 가상 정보를 제공하는 구성을 개시하고 있다. 또한, GPS 센서를 이용하여 대략적인 사용자의 위치 정보를 기반으로 가상 정보를 제공하는 구성이 개시되어 있다.
그러나, 비특허문헌6에서는 정확한 위치 정보가 아닌 대략적인 위치 정보만을 증강시켜 제공한다는 한계가 있었다.
[그림 4]
가이드 시스템
본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법은, 예를 들어 헤드-마운티드 디스플레이 (Head-mounted display), 스마트폰 및 태블릿 PC 와 같은 모바일 디바이스를 이용하여, 야외 공간에서 2D 지도와 증강 현실 (Augmented Reality, AR) 기술을 이용하여 관광객(사용자)에게 가이드를 해주는 기능적 요소를 제시할 수 있다. 따라서, 사용자의 위치에 따라, 2D 지도 뷰와 AR 뷰가 자동적으로 전환되도록 하는 가이드 시스템이 제공될 수 있으며, AR 뷰를 통해 2D 지도 뷰에서는 하지 못했던 보다 구체적인 위치를 가이딩 해줄 수 있는 시스템이 제공될 수도 있다.
도 1 은 본 발명의 일 실시예에 따른 가이드 시스템의 시스템 흐름도이다. 도 1 에 도시된 바와 같이, 본 발명에 따른 가이드 시스템은 실제 사용자 위치 및 관심 객체 (Point of interest, PoI) 를 기반으로 설계될 수 있다. 이러한 시스템은 2차원 지도 뷰 (2D map view) 모드 및 증강 현실 (Augmented Reality, AR) 뷰 모드에서 상호 교환적으로 자동적으로 전환할 수 있다. 상기 시스템의 사용자는 관심 객체가 위치하는 장소 및 관심 객체가 무엇인지 여부와 같은 관심 객체에 관련된 정보를 수신하기를 원하는 것으로 추측된다. 특정한 관심 객체로부터 멀리 위치한 사용자는, 2차원 지도 뷰 모드에서, GPS 기반 2D 맵을 통해 가이드 시스템으로부터 관심 객체의 위치를 수신할 수 있으며, 2D 맵 상의 관심 객체 위치의 정보는, 사용자가 용이하게 루트를 찾아 관심 객체에 접근하도록 할 수 있다. 사용자가 복수의 관심 객체가 위치하고 있는 관심 영역 (Region of Interest, RoI) 에 접근하는 경우, 시스템은 자동적으로 카메라 뷰(camera input video) 및 관심 객체 메뉴 (PoI Menu) 를 디스플레이하는 증강 현실 뷰 모드로 전환할 수 있다.
사용자가 관심 영역에 들어가는 경우, 가이드 시스템은 관찰 장소 - 관심 객체 - 관심 객체의 콘텐츠를 순차적으로 증강시킬 수 있다. 이미지-기반 트래킹을 기반으로 하는 증강 현실 시각화는 제한된 양의 정보를 나타낸다. 따라서, 시스템은 점진적으로, 사용자 위치 및 모바일 장치의 회전 (Rotation) 및 병진 (Translation) 을 기반으로 하는 더 많은 정보를 시각화할 수도 있다. 관심 영역에 접근하는 사용자는 먼저 관찰 장소로 가이드될 수 있고, 도착시에, 시스템은 관심 객체의 관찰 지점 (viewpoint) 을 시각화할 수 있다. 사용자가 관찰 지점과 카메라 위치를 일직선으로 맞추는 경우, 사용자의 조작을 위해 관심 객체의 증강 현실 콘텐츠가 표시될 수도 있다.
모바일 디바이스를 이용한 증강 현실 기반 가이드
도 4 는 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법의 흐름도이다. 도 4 를 참조하여, 하기에서 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법을 보다 상세히 설명한다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법에 따르면 야외 공간에서 사용자의 실제 위치와 관심 객체 (Point of Interest, PoI) 를 기반으로 사용자의 위치에 따라 2차원 지도 뷰 표시 모드와 증강 현실 뷰 표시 모드가 자동적으로 전환될 수 있다. 2차원 지도 뷰 표시 모드와 증강 현실 뷰 표시 모드를 자동적으로 전환함으로써, 야외 공간에 다수의 관심 객체들이 존재하는 경우에 사용자가 획득하고자 하는 관심 객체와 관련된 정보 중에서, 관심 객체의 정확한 위치 및 관심 객체에 담겨있는 정보를 모두 용이하게 제공할 수 있다.
본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법은, 도 4 에 도시된 바와 같이, 먼저 모바일 디바이스가 관심 영역 (Region of Interest, RoI) 내에 위치하는지 여부를 결정한다 (S401). 여기서, 상기 관심 영역은 관심 객체 (Point of Interest, PoI) 로부터 소정 반경 이내의 영역을 나타낼 수 있다.
도 2 는 관심 영역 및 관심 객체에 대한 2 차원 지도 뷰 표시 모드의 예시도이다. 도 2 에 도시된 바와 같이, 야외 영역에는 사용자가 관심을 가질 수 있는, 복수의 관심 객체 (PoI1 내지 PoI8) 가 존재할 수 있으며, 관심 객체로부터 소정 거리에 위치하는 영역이 관심 영역 (RoI1 내지 RoI7) 으로서 설정될 수 있다. 관심 객체로부터 어느정도 떨어진 영역을 관심 영역으로 설정할 지 여부는, 관심 객체의 크기를 고려하여 결정될 수도 있고, 사용자의 설정에 따라 변화할 수도 있다. 예를 들어, 상기 관심 객체로부터의 소정의 반경은 35 m 로 설정될 수 있다.
한편, 제 1 관심 객체 및 제 2 관심 객체가 소정 거리 이내에 위치한다는 결정에 응답하여, 제 1 관심 영역은 상기 제 1 관심 객체와 제 2 관심 객체를 전부 포함하도록 구성될 수 있다. 즉, 기본적으로는 관심 영역 RoI 는 관심 객체 PoI 의 개수만큼 존재할 수 있지만, 관심 객체 PoI 간의 거리가 소정 거리 미만일 경우에는 다수의 관심 객체를 하나의 관심 영역으로 통합 지정함으로써, 특정 관심 영역은 복수의 관심 객체를 포함할 수도 있다. 예를 들어, 도 2 를 참조하면, PoI4 와 PoI5 를 둘러싸고 있는 RoI3 과 같이, 하나의 관심 영역이 2 개의 관심 객체를 포함할 수도 있다.
상기와 같이 하나의 관심 영역이 복수의 관심 객체를 포함하고 있을 경우, 복수의 객체 중 어느 하나로부터의 거리가 소정 거리 이내인 영역을 관심 영역으로 지정할 수도 있고, 상기 복수의 관심 객체들의 위치의 중점으로부터 소정 거리 이내에 위치한 영역을 관심 영역으로서 지정할 수도 있다. 즉, 제 1 관심 영역은 상기 제 1 관심 영역에 포함된 제 1 관심 객체 및 제 2 관심 객체의 중점으로부터 소정 반경 이내에 위치한 영역을 나타낼 수도 있다.
다시 도 4 를 참조하면, 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법은, 모바일 디바이스가 관심 영역 내에 위치하는지 여부를 기반으로, 2 차원 지도 뷰 표시 모드 및 증강 현실 뷰 표시 모드 중 어느 하나로 자유롭게 전환할 수 있다.
모바일 디바이스의 사용자가 아직 관심 객체와 관련된 영역인 관심 영역에 위치하고 있지 않는 경우라면, 사용자는 관심 객체에 대한 부가 정보 보다는 관심 객체에 근접한 위치로 도달하기 위한 정보가 더 유용할 수 있다. 따라서, 모바일 디바이스가 관심 영역 내에 위치하지 않는다는 결정에 응답하여, 모바일 디바이스의 표시부에 관심 영역 및 관심 객체 중 적어도 하나와 상기 모바일 디바이스의 현재 위치를 2 차원 지도상에서 표시하는 2 차원 지도 뷰 표시 모드를 수행할 수 있다 (S402). 앞서 인용한 도 2 를 다시 참조하면, 2 차원 지도 뷰 표시 모드에서는 2 차원 형태의 지도 상에서, 먼저 관심 객체 (PoI 1 내지 PoI 8), 관심 영역 (RoI 1 내지 RoI 7), 또는 양자 모두를 표시할 수 있다. 또한, 모바일 디바이스의 GPS 센서를 기반으로 측정된 사용자의 위치를 더 표시할 수 있다.
따라서, 사용자는 2D 맵 뷰에서 자신의 대략적인 위치를 확인하고 관심 객체 PoI 가 존재하는 지역인 관심 영역에 용이하게 접근할 수 있게 된다. 즉, 사용자의 위치가 어떠한 관심 영역에도 포함되어 있지 않을 경우, 모바일 디바이스의 표시부에서는 2D 맵 뷰로 관심 객체의 위치와 사용자의 위치가 대략적으로 보여질 수 있다.
한편, 사용자가 관심 객체가 존재하는 지역인 관심 영역에 접근하고 있는 경우에, 사용자는 관심 객체에 대한 지리적인 정보보다는 관심 객체 자체에 대한 부가적인 정보를 더 원할 수 있다. 따라서, 모바일 디바이스가 관심 영역 내에 위치한다는 결정에 응답하여, 모바일 디바이스의 표시부에 모바일 디바이스의 카메라 뷰와 관심 객체 메뉴를 표시하는 증강 현실 뷰 표시 모드를 수행할 수 있다 (S403). 즉, 사용자가 관심 영역에 포함되는 경우, 증강 현실 (AR) 뷰로 자동적으로 전환되어 상기 모바일 디바이스에 포함된 입력 장치, 예를 들어 카메라에 의해 입력되는 비디오 스트림이 표시부에 표시될 수 있으며, 상기 관심 객체에 연관된 부가적인 정보를 포함할 수도 있는, 증강 현실 콘텐츠의 구현과 관련된 PoI 메뉴 (menu) 를 표시할 수 있다.
이어서, 사용자는 카메라 뷰로 전환된 모바일 디바이스로 특정 관심 객체를 바라보면, 그곳에 매칭된 가상 정보를 확인할 수 있다. 예를 들어, 모바일 디바이스의 카메라 뷰가 나타내는 영상에, 관심 객체가 포함되어 있다는 결정에 응답하여 관심 객체와 관련된 증강 현실 콘텐츠를 모바일 디바이스의 표시부에 더 표시할 수 있다. 한편, 이미지-기반 트래킹을 기반으로 하는 증강 현실 시각화는 제한된 양의 정보를 나타낼 수도 있다. 따라서, 시스템은 점진적으로, 사용자 위치 및 모바일 장치의 회전 (Rotation) 및 병진 (Translation) 을 기반으로 하는 더 많은 정보를 시각화할 수도 있다. 예를 들어, 모바일 디바이스의 회전 (rotation) 또는 병진 (translation) 움직임에 응답하여 관심 객체와 관련된 증강 현실 콘텐츠를 모바일 디바이스의 표시부에 더 표시하도록 할 수도 있다.
한편, 사용자가 관심 영역에 위치한 경우에도, 관심 객체의 위치를 사용자가 즉각적으로 인지하지 못할 수도 있다. 예를 들어, 관심 객체의 크기가 매우 작을 수도 있으며, 관심 객체의 주변에 건축물, 건조물 등이 둘러 쌓여 있을 수도 있다. 종래의 지도 기반 위치 안내 서비스에서는 지리적 위치 정보만을 안내함으로써, 이러한 구체적인 위치에 대한 안내는 불가능한 문제가 있었다.
이에, 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법은, 증강 현실 뷰 표시 모드에서, 모바일 디바이스의 카메라 뷰가 상기 관심 객체를 포함하지 않는다는 결정에 응답하여 모바일 디바이스의 카메라 뷰에 상기 관심 객체에 대한 방향을 더 표시하도록 할 수 있다. 상기와 같은 방향의 표시를 위해, 사용자의 위치와 관심 객체의 위치 관계를 기반으로 산출되는 관심 객체 방위 정보, 사용자의 위치와 상기 모바일 디바이스에 포함될 수 있는 자이로스코프와 같은 센서의 측정 결과를 기반으로 산출되는 카메라뷰 방위 정보가 이용될 수도 있다.
도 3 은 2 차원 지도 뷰 표시 모드 및 증강 현실 뷰 표시 모드의 전환을 나타내는 개념도이다. 도 3 에 도시된 바와 같이, 증강 현실 뷰 표시 모드의 작동 중에, 사용자가 관심 영역 밖으로 이동하면, 다시 2차원 지도 뷰 표시 모드로 전환되어, 사용자는 사용자의 위치와 다수의 PoI의 위치를 모바일 디바이스를 통해 확인할 수 있다. 또한, 2차원 지도 뷰 표시 모드의 작동 중에, 사용자가 관심 영역 내로 이동하면, 자동적으로 증강 현실 뷰 모드가 작동될 수 있다.
시스템 구성도
도 5 는 상기 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법이 구현될 수 있는 시스템의 구성도이다. 도 5 에 도시된 바와 같이, 전술한 본 발명의 일 실시예에 따른 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법은 입력 장치, 관심 영역 및 사용자 위치 인식 콤포넌트, 화면 가시화 콤포넌트 및 출력 장치를 포함하는 장치에 의해 구현될 수 있다.
입력 장치는 시스템 입력으로서, 카메라와 같은 입력 장치 뿐만 아니라, GPS 센서 및 자이로스코프 센서와 같은 내장 센서를 포함할 수 있다. 관심 영역 및 사용자 위치 인식 콤포넌트는 GPS 센서를 기반으로 하는 위치 정보를 획득할 수 있고, 관심 객체 위치 정보 서버로부터 획득한 관심 영역의 위치 정보를 획득할 수 있다. 아울러, 영상 기반 관심 객체 위치 및 사용자 시점에 대한 정보를 획득할 수 있다. 화면 가시화 콤포넌트는 2차원 지도 뷰 표시 모드에 사용되기 위한 2D 지도 기반의 관심 객체 및 사용자 위치를 가시화할 수 있고, 증강 현실 뷰 표시 모드에 사용되기 위한 증강현실 기반 관심 객체 및 관찰 시점을 가시화할 수 있다. 출력 장치는 모바일 디바이스의 표시부로서 동작할 수 있다.
상기에서는 본 발명을 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (3)

  1. 모바일 디바이스를 이용한 증강 현실 (Augmented reality, AR) 기반 가이드 방법으로서, 상기 방법은,
    상기 모바일 디바이스가 관심 영역 (Region of Interest, RoI) 내에 위치하는지 여부를 결정하는 단계로서, 상기 관심 영역은 관심 객체 (Point of Interest, PoI) 로부터 소정 반경 이내의 영역을 나타내는, 상기 결정하는 단계;
    상기 모바일 디바이스가 상기 관심 영역 내에 위치하지 않는다는 결정에 응답하여, 상기 모바일 디바이스의 표시부에 상기 관심 영역 및 관심 객체 중 적어도 하나와 상기 모바일 디바이스의 현재 위치를 2 차원 지도상에서 표시하는 2 차원 지도 뷰 표시 단계; 및
    상기 모바일 디바이스가 상기 관심 영역 내에 위치한다는 결정에 응답하여, 상기 모바일 디바이스의 표시부에 상기 모바일 디바이스의 카메라 뷰와 관심 객체 메뉴를 표시하는 증강 현실 뷰 표시 단계를 포함하고,
    상기 증강 현실 뷰 표시 단계는,
    상기 모바일 디바이스의 카메라 뷰가 상기 관심 객체를 포함하지 않는다는 결정에 응답하여 상기 모바일 디바이스의 카메라 뷰에 상기 관심 객체에 대한 방향을 더 표시하는 단계를 포함하는, 모바일 디바이스를 이용한 증강 현실 (Augmented reality, AR) 기반 가이드 방법.
  2. 제 1 항에 있어서,
    상기 증강 현실 뷰 표시 단계는,
    상기 모바일 디바이스의 카메라 뷰가 상기 관심 객체를 포함하고 있다는 결정에 응답하여 상기 관심 객체와 관련된 증강 현실 콘텐츠를 상기 모바일 디바이스의 표시부에 더 표시하는 단계를 포함하는, 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법.

  3. 삭제
KR1020150141444A 2015-10-08 2015-10-08 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법 KR102583243B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150141444A KR102583243B1 (ko) 2015-10-08 2015-10-08 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150141444A KR102583243B1 (ko) 2015-10-08 2015-10-08 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법

Publications (2)

Publication Number Publication Date
KR20170042039A KR20170042039A (ko) 2017-04-18
KR102583243B1 true KR102583243B1 (ko) 2023-09-27

Family

ID=58704015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150141444A KR102583243B1 (ko) 2015-10-08 2015-10-08 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법

Country Status (1)

Country Link
KR (1) KR102583243B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201700058961A1 (it) 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
KR20210042753A (ko) 2019-10-10 2021-04-20 삼성전자주식회사 엣지 컴퓨팅 서비스를 위한 방법 및 장치
KR102502035B1 (ko) 2020-04-27 2023-02-21 (유)엔와이텔 증강 현실 체험용 마커 기능을 지원하는 이동형 ar 안내 노드 장치
KR20240022714A (ko) * 2022-08-12 2024-02-20 네이버랩스 주식회사 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말을 제어하는 방법 및 장치
WO2024136383A1 (ko) * 2022-12-20 2024-06-27 삼성전자주식회사 외부 전자 장치에 의해 제공되는 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022112A (ja) * 2009-07-21 2011-02-03 Kddi Corp 関心地点表示システム、装置及び方法
US20110242134A1 (en) 2010-03-30 2011-10-06 Sony Computer Entertainment Inc. Method for an augmented reality character to maintain and exhibit awareness of an observer

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI493732B (zh) 2009-02-17 2015-07-21 Shinetsu Chemical Co Solar module
KR101663478B1 (ko) * 2010-06-09 2016-10-07 주식회사 엘지유플러스 증강 현실을 이용한 위치 정보 제공 시스템 및 방법
KR101397873B1 (ko) * 2011-11-04 2014-07-01 인하대학교 산학협력단 증강 현실 표시 장치 및 방법
KR20130055869A (ko) 2011-11-21 2013-05-29 에스티엑스조선해양 주식회사 선박용 쇄빙칼날
US20130328926A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
KR101342605B1 (ko) 2013-03-20 2013-12-17 삼성에스디아이 주식회사 탄화수소 개질 촉매, 그 제조방법 및 이를 포함하는 연료처리장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022112A (ja) * 2009-07-21 2011-02-03 Kddi Corp 関心地点表示システム、装置及び方法
US20110242134A1 (en) 2010-03-30 2011-10-06 Sony Computer Entertainment Inc. Method for an augmented reality character to maintain and exhibit awareness of an observer

Also Published As

Publication number Publication date
KR20170042039A (ko) 2017-04-18

Similar Documents

Publication Publication Date Title
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
KR102583243B1 (ko) 모바일 디바이스를 이용한 증강 현실 기반 가이드 방법
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
Möller et al. A mobile indoor navigation system interface adapted to vision-based localization
US20110279478A1 (en) Virtual Tagging Method and System
EP2530588A2 (en) Method for providing information on object which is not included in visual field of terminal device, terminal device and computer readable recording medium
Fröhlich et al. On the move, wirelessly connected to the world
EP3196840B1 (en) Displaying visual information of views captured at geographic locations
US9965140B2 (en) Method and apparatus of a marking objects in images displayed on a portable unit
US8836698B2 (en) Method and apparatus for identifying a 3-D object from a 2-D display of a portable unit
US20130328939A1 (en) Method and apparatus of physically moving a portable unit to view an image of a stationary map
US10546432B2 (en) Presenting location based icons on a device display
Pierdicca et al. Cyberarchaeology: improved way findings for archaeological parks through mobile augmented reality
Suomela et al. Context compass
US20190179512A1 (en) Graphical user interface for finding and depicting individuals
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
Schmalstieg et al. Augmented reality as a medium for cartography
JP5705793B2 (ja) 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム
Suomela et al. Taxonomy for visualizing location-based information
KR101404976B1 (ko) 3차원 매칭을 이용한 영상 기반의 보행 경로 ｐｏｉ표출 시스템
JP7065455B2 (ja) スポット情報表示システム
Mountain et al. Mixed reality (MR) interfaces for mobile information systems
JPWO2010150643A1 (ja) 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム
Au et al. Mirrormap: augmenting 2d mobile maps with virtual mirrors
Gardiner et al. EgoViz–a mobile based spatial interaction system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right