KR102009031B1 - 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템 - Google Patents

증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102009031B1
KR102009031B1 KR1020180106848A KR20180106848A KR102009031B1 KR 102009031 B1 KR102009031 B1 KR 102009031B1 KR 1020180106848 A KR1020180106848 A KR 1020180106848A KR 20180106848 A KR20180106848 A KR 20180106848A KR 102009031 B1 KR102009031 B1 KR 102009031B1
Authority
KR
South Korea
Prior art keywords
card
information
guide information
displaying
navigation method
Prior art date
Application number
KR1020180106848A
Other languages
English (en)
Inventor
김중곤
최학승
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020180106848A priority Critical patent/KR102009031B1/ko
Application granted granted Critical
Publication of KR102009031B1 publication Critical patent/KR102009031B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템이 개시된다. 내비게이션 방법은, 카메라를 통해 촬영되는 실내 공간의 영상인 카메라 영상 상에 상기 실내 공간 내 안내 지점과 관련된 안내 정보를 카드 형태의 객체로 증강하여 표시하는 단계; 및 상기 카메라의 방향에 따라 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계를 포함한다.

Description

증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템{METHOD AND SYSTEM FOR INDOOR NAVIGATION USING AUGMENTED REALITY}
아래의 설명은 증강현실(augmented reality)을 이용하여 실내 내비게이션 기능을 제공하는 기술에 관한 것이다.
증강현실은 현실 세계에 컴퓨터 기술로 만든 가상 물체 및 정보를 융합, 보완해 주는 기술을 의미한다.
가상현실(VR: virtual reality) 기술은 컴퓨터 그래픽이 만든 가상 환경에 사용자를 몰입하도록 함으로써 실제 환경을 볼 수 없는 반면, 증강현실 기술은 실제 환경에 가상의 객체를 혼합하여 사용자가 실제 환경에서 보다 실감나는 부가정보를 제공받을 수 있다.
예컨대, 한국 공개특허공보 제10-2014-0065963호(공개일 2014년 05월 30일)에는 차량에 설치되어 카메라에 의해 촬영된 주행경로의 영상을 디스플레이에 표시하고 디스플레이에 표시된 영상에 주행경로를 안내하는 가상의 표시정보를 매핑하여 보여주는 증강현실 내비게이터가 개시되어 있다.
카메라 영상에 증강된 안내 정보와 상호작용하는 UX(user experience)를 제공할 수 있는 내비게이션 방법 및 내비게이션 시스템을 제공한다.
사용자의 시야에 따라 카메라 영상에 증강된 안내 정보를 회전시킬 수 있는 내비게이션 방법 및 그 시스템을 제공한다.
컴퓨터 시스템에서 수행되는 내비게이션 방법에 있어서, 상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 내비게이션 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 컴퓨터 시스템의 카메라를 통해 촬영된 실내 공간의 영상인 카메라 영상 상에 상기 실내 공간 내 안내 지점과 관련된 안내 정보를 카드 형태의 객체로 증강하여 표시하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 카메라의 방향에 따라 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계를 포함하는 내비게이션 방법을 제공한다.
일 측면에 따르면, 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계는, 상기 컴퓨터 시스템의 위치와 방향에 기초하여 상기 컴퓨터 시스템의 중심점과 상기 안내 정보의 중심점을 잇는 직선에 대해 수직인 방향으로 상기 카드 객체를 회전 배치하여 표시할 수 있다.
다른 측면에 따르면, 상기 안내 정보는 상기 실내 공간 내에서의 방향 안내를 위한 정보인 방향 정보와 상기 실내 공간과 관련된 안내를 위한 공간 정보를 포함하고, 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계는, 상기 방향 정보를 제공하는 카드 객체의 경우 카드 방향이 고정된 상태로 표시하고 상기 공간 정보를 제공하는 카드 객체의 경우 카드 방향이 상기 카메라 영상의 정면을 향하는 방향으로 회전하면서 표시할 수 있다.
또 다른 측면에 따르면, 상기 내비게이션 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 안내 정보가 특정 지점을 목적지로 하는 이동 경로를 포함하는 경우 상기 카메라 영상 상에 상기 이동 경로를 나타내는 경로 가이드 그래픽을 증강하여 표시하는 단계를 포함하고, 상기 경로 가이드 그래픽을 증강하여 표시하는 단계는, 상기 이동 경로에 포함된 굴절 구간으로 인해 상기 이동 경로의 일부 구간이 상기 카메라 영상의 가시 범위에 나타나지 않은 경우 가시 범위에 있는 굴절 지점 직전까지 상기 경로 가이드 그래픽을 표시하고 굴절 지점 또는 굴절 지점과 인접한 위치 상에는 다음 구간으로의 이동 방향을 나타내는 방향 카드를 표시할 수 있다.
또 다른 측면에 따르면, 상기 안내 정보를 카드 형태의 객체로 증강하여 표시하는 단계는, 상기 컴퓨터 시스템의 현재 위치에서 이동 가능한 공간적 연결성에 기초하여 적어도 하나의 장소에 대한 안내 정보를 선별하여 표시하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 내비게이션 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 카메라 영상에 증강된 안내 정보 중 카메라의 포커스 프레임과 적어도 일부의 정보가 겹치는 안내 정보를 인식하여 상기 인식된 안내 정보의 카드 영역을 확장하여 표시하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 인식된 안내 정보의 카드 영역을 확장하여 표시하는 단계는, 상기 포커스 프레임과 겹치는 상태의 지속 시간이 일정 시간을 경과하는 경우 안내 정보의 카드가 확장되면서 확장된 카드 영역에 해당 안내 정보의 지점과 관련된 추가 정보를 표시할 수 있다.
또 다른 측면에 따르면, 상기 인식된 안내 정보의 카드 영역을 확장하여 표시하는 단계는, 상기 카메라 영상에 증강된 안내 정보 중 상기 인식된 안내 정보의 카드 투명도를 감소시키고 나머지 다른 안내 정보의 카드 투명도를 증가시킬 수 있다.
또 다른 측면에 따르면, 상기 내비게이션 방법은, 상기 적어도 하나의 프로세서에 의해, 사용자와 안내 정보 간의 거리에 기초하여 상기 카메라 영상에 증강된 안내 정보의 카드 크기와 카드 투명도를 조절하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 조절하는 단계는, 일정 거리 이내에서는 상기 거리가 가까울수록 상기 카드 크기를 크게, 멀수록 상기 카드 크기를 작게 표시하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 조절하는 단계는, 상기 일정 거리를 초과한 거리에서는 상기 카드 크기를 일정 크기로 유지하면서 상기 거리가 멀수록 상기 카드 투명도를 증가시키는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 조절하는 단계는, 상기 카메라 영상에 증강된 안내 정보 중 목적지를 나타내는 안내 정보의 경우 상기 거리와 상관없이 기본 값으로 설정된 카드 투명도를 유지하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 내비게이션 방법은, 상기 적어도 하나의 프로세서에 의해, 목적지가 상기 카메라 영상의 가시 범위에 포함되어 있지 않은 경우 상기 카메라 영상의 가장자리(edge)에 상기 목적지의 방향을 나타내는 인디케이터를 표시하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 목적지의 방향을 나타내는 인디케이터를 표시하는 단계는, 상기 카메라 영상에서 사용자의 위치를 기준으로 상기 목적지가 위치한 방향과 대응되는 지점의 가장자리에 상기 인디케이터를 표시할 수 있다.
또 다른 측면에 따르면, 상기 내비게이션 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 컴퓨터 시스템의 기울기에 따라 상기 카메라 영상에 상기 안내 정보를 증강하여 표시하는 AR 카메라 모드와 지도를 제공하는 지도 모드 중 어느 하나로 전환하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 전환하는 단계는, 상기 컴퓨터 시스템의 피치(pitch) 값이 일정 레벨 이상이면 상기 AR 카메라 모드로 전환하고 상기 피치 값이 일정 레벨 미만이면 지도 모드로 전환할 수 있다.
컴퓨터와 결합되어 상기 내비게이션 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 내비게이션 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.
컴퓨터 시스템에 있어서, 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 컴퓨터 시스템의 카메라를 통해 촬영된 실내 공간의 영상인 카메라 영상 상에 상기 실내 공간 내 안내 지점과 관련된 안내 정보를 카드 형태의 객체로 증강하여 표시하는 정보 표시부를 포함하고, 상기 정보 표시부는, 상기 카메라의 방향에 따라 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 것을 특징으로 하는 컴퓨터 시스템을 제공한다.
본 발명의 실시예들에 따르면, 카메라 영상에 증강된 안내 정보와 상호작용하는 UX를 제공함으로써 실내 내비게이션의 안내 전달 효과를 향상시킬 수 있다.
본 발명의 실시예들에 따르면, 사용자의 시야에 따라 카메라 영상에 증강된 안내 정보를 회전시킴으로써 사용자가 내비게이션의 안내 정보를 편리하게 확인할 수 있다.
도 1은 본 발명의 일실시예에 따른 컴퓨터 시스템의 예를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 시스템이 수행할 수 있는 내비게이션 방법의 예를 도시한 순서도이다.
도 4는 본 발명의 일실시예에 있어서 AR 컨텐츠로 제공 가능한 안내 정보의 종류를 나타낸 것이다.
도 5는 본 발명의 일실시예에 있어서 사용자 시야에 따라 정보 카드를 회전하는 인터랙션을 설명하기 위한 예시 도면이다.
도 6은 본 발명의 일실시예에 있어서 가시 범위에 경로 가이드 그래픽을 표시하는 인터랙션을 설명하기 위한 예시 도면이다.
도 7 내지 도 8은 본 발명의 일실시예에 있어서 공간적 연결성이 있는 장소에 대한 안내 정보를 제공하는 인터랙션을 설명하기 위한 예시 도면이다.
도 9는 본 발명의 일실시예에 있어서 카메라 포커스 프레임과 정보 카드의 인터랙션을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 일실시예에 있어서 카메라 포커스 프레임과의 인터랙션을 통해 확장되는 정보 카드의 예시를 도시한 것이다.
도 11은 본 발명의 일실시예에 있어서 사용자와의 거리에 따라 정보 카드의 크기와 투명도를 조절하는 인터랙션을 설명하기 위한 예시 도면이다.
도 12는 본 발명의 일실시예에 있어서 가시 범위를 벗어난 목적지에 대한 방향 인디케이터를 표시하는 인터랙션을 설명하기 위한 예시 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 실내 내비게이션 기능을 제공하는 내비게이션 방법 및 내비게이션 시스템에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 증강현실을 이용하여 실내 내비게이션 기능을 제공함에 있어 카메라 영상에 증강된 안내 정보와 상호작용하는 UX를 제공할 수 있고, 이를 통해 정보 전달성, 효율성, 편의성 등의 측면에 있어서 상당한 장점들을 달성할 수 있다.
도 1은 본 발명의 일실시예에 따른 컴퓨터 시스템의 예를 도시한 블록도이다.
본 발명의 실시예들에 따른 내비게이션 시스템이 도 1의 컴퓨터 시스템(100)을 통해 구현될 수 있다. 예를 들어, 컴퓨터 시스템(100)에는 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 시스템(100)은 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 내비게이션 방법을 수행할 수 있다.
내비게이션 시스템은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 내비게이션 시스템은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다. 내비게이션 시스템은 컴퓨터 시스템(100) 상에 설치되는 어플리케이션 형태로 구현되어 증강현실을 이용한 실내 내비게이션 기능을 제공할 수 있다.
예를 들어, 내비게이션 시스템은 스마트폰(smartphone), 웨어러블 디바이스(wearable device), 태블릿(tablet), 내비게이션, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등 개인용 디바이스가 포함될 수 있다.
도 1에 도시된 바와 같이, 컴퓨터 시스템(100)은 내비게이션 방법을 실행하기 위한 구성요소로서 메모리(110), 프로세서(120), 통신 인터페이스(130) 그리고 입출력 인터페이스(140)를 포함할 수 있다.
메모리(110)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(110)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 시스템(100)에 포함될 수도 있다. 또한, 메모리(110)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(110)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(160)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 시스템(100)의 메모리(110)에 로딩될 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 인터페이스(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(130)는 네트워크(160)를 통해 컴퓨터 시스템(100)이 다른 컴퓨터 시스템(미도시)과 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 시스템(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(130)의 제어에 따라 네트워크(160)를 통해 다른 컴퓨터 시스템으로 전달될 수 있다. 역으로, 다른 컴퓨터 시스템으로부터의 신호나 명령, 데이터, 파일 등이 네트워크(160)를 거쳐 컴퓨터 시스템(100)의 통신 인터페이스(130)를 통해 컴퓨터 시스템(100)으로 수신될 수 있다. 통신 인터페이스(130)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 파일 등은 컴퓨터 시스템(100)이 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(140)는 입출력 장치(150)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(150)는 컴퓨터 시스템(100)과 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 시스템(100)은 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(100)은 상술한 입출력 인터페이스(140)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 컴퓨터 시스템(100)이 스마트폰과 같은 모바일 기기의 형태로 구현되는 경우, 일반적으로 모바일 기기가 포함하고 있는 카메라, 가속도 센서나 자이로 센서, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 컴퓨터 시스템(100)에 더 포함되도록 구현될 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 컴퓨터 시스템이 수행할 수 있는 내비게이션 방법의 예를 도시한 순서도이다.
도 2에 도시된 바와 같이, 프로세서(120)는 정보 획득부(201), 및 정보 표시부(202)를 포함할 수 있다. 이러한 프로세서(120)의 구성요소들은 적어도 하나의 프로그램 코드에 의해 제공되는 제어 명령에 따라 프로세서(120)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(120)가 안내 정보를 획득하도록 컴퓨터 시스템(100)을 제어하기 위해 동작하는 기능적 표현으로서 획득부(201)가 사용될 수 있다.
프로세서(120) 및 프로세서(120)의 구성요소들은 도 3의 내비게이션 방법이 포함하는 단계들(S310 내지 S320)을 수행할 수 있다. 예를 들어, 프로세서(120) 및 프로세서(120)의 구성요소들은 메모리(320)가 포함하는 운영체제의 코드와 상술한 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 적어도 하나의 프로그램 코드는 내비게이션 방법을 처리하기 위해 구현된 프로그램의 코드에 대응될 수 있다.
내비게이션 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
프로세서(120)는 내비게이션 방법을 위한 프로그램 파일에 저장된 프로그램 코드를 메모리(320)에 로딩할 수 있다. 예를 들어, 내비게이션 방법을 위한 프로그램 파일은 도 3을 통해 설명한 영구 저장 장치(330)에 저장되어 있을 수 있고, 프로세서(120)는 버스를 통해 영구 저장 장치(330)에 저장된 프로그램 파일로부터 프로그램 코드가 메모리(320)에 로딩되도록 컴퓨터 시스템(100)을 제어할 수 있다. 이때, 프로세서(120) 및 프로세서(120)가 포함하는 정보 획득부(201)와, 정보 표시부(202) 각각은 메모리(320)에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(S310 내지 S320)을 실행하기 위한 프로세서(120)의 서로 다른 기능적 표현들일 수 있다. 단계들(S310 내지 S320)의 실행을 위해, 프로세서(120) 및 프로세서(120)의 구성요소들은 직접 제어 명령에 따른 연산을 처리하거나 또는 컴퓨터 시스템(100)을 제어할 수 있다.
단계(S310)에서 정보 획득부(201)는 컴퓨터 시스템(100)에 포함된 카메라를 통해 실시간으로 촬영되는 실내 공간의 영상(이하, '카메라 영상'이라 칭함)에 대하여 카메라 영상을 기준으로 실내 공간 내 각 안내 지점에 설정된 안내 정보를 획득할 수 있다. 일례로, 정보 획득부(201)는 카메라의 현재 위치 및 방향성 정보를 포함하는 위치 정보를 기준으로 카메라 영상의 가시 범위에 포함된 안내 지점에 대한 안내 정보를 획득할 수 있다. 다른 예로, 정보 획득부(201)는 카메라 영상의 가시 범위에 포함되지 않더라도 카메라 영상을 통해 안내하고자 하는 지점, 예컨대 사용자에 의해 설정된 목적지 또는 카메라 영상의 가시 범위와 인접한 인근 지점 등에 대한 안내 정보를 획득할 수 있다. 정보 획득부(201)는 카메라 영상에 대응되는 안내 정보로서 메모리(110)와 같은 기록 장치에 저장된 안내 정보를 읽어오거나 혹은 네트워크(160)를 거쳐 통신 인터페이스(130)를 통해 다른 컴퓨터 시스템에서 제공하는 안내 정보를 수신할 수도 있다. 상기한 정보 획득부(201)는 실내 공간에서의 내비게이션을 위해 카메라 영상을 기준으로 카메라 영상에 증강하여 표시하고자 하는 안내 정보를 획득할 수 있다.
단계(S320)에서 정보 표시부(202)는 단계(S310)에서 획득한 안내 정보를 카드 형태의 객체로 카메라 영상에 증강하여 표시함으로써 해당 실내 공간에 대한 내비게이션 기능을 제공할 수 있다. 실내 내비게이션의 경우 실외 환경과 다른 실내 환경만의 특성, 예컨대 반복적이고 특성 없는 공간 구조 등을 고려하여 카메라 영상에 증강된 안내 정보와 사용자 간에 다양하고 활발한 인터랙션을 제공할 필요가 있다.
본 실시예에서는 안내 정보를 카드 형태의 객체로 증강하여 표시하는 것으로 설명하고 있으나, 안내 정보를 제공하는 객체는 카드 형태 이외에 3D 객체 등 다양한 형태의 증강 객체를 적용할 수 있다.
(1) 안내 정보의 회전
정보 표시부(202)는 카메라 영상에 해당되는 사용자 시야(즉, 카메라의 방향)에 따라 카메라 영상에 증강된 안내 정보를 회전시키면서 표시할 수 있다. 정보 표시부(202)는 컴퓨터 시스템(100)에 포함된 센서에 의해 감지되는 회전 변화에 기초하여 안내 정보를 제공하는 카드 객체를 카메라 영상의 정면 방향으로 회전시키면서 표시할 수 있다.
먼저, 실내 내비게이션을 위한 안내 정보는 실내 공간 내에서의 방향 안내를 위한 방향 정보, 및 실내 공간과 관련된 안내를 위한 공간 정보를 포함할 수 있다. 이때, 공간 정보는 방향 정보를 제외한 모든 안내 정보를 포괄하여 의미할 수 있고, 일례로 실내 공간에 대한 각종 공지나 이벤트 등의 안내 사항은 물론이고, 층별 내지 권역별 안내 정보, 실내 공간 내 개별 장소와 관련된 안내 정보 등을 포함할 수 있다. 이하에서는 개별 장소에 대한 안내 정보를 공간 정보의 대표적인 예시로 하여 설명하기로 한다.
도 4를 참조하면, 실내 내비게이션을 위한 안내 정보(400)는 크게 방향 안내를 위한 정보(이하, '방향 정보'라 칭함)(410)와, 실내 공간 내 개별 장소에 대한 정보(이하, '장소 정보'라 칭함)(420)로 구분될 수 있다. 장소 정보는 개별 장소의 명칭, 위치, 전화번호, 장소 설명 등이 포함될 수 있으며, 예를 들어 상점의 경우 상호명, 층수나 위치, 전화번호, 업종 등이 포함될 수 있다. 이때, 방향 정보(410)를 표시하기 위한 카드(이하, '방향 카드'라 칭함)와 장소 정보(420)를 표시하기 위한 카드(이하, '장소 카드'라 칭함)는 정보 구분을 위해 카드의 디스플레이 요소(예컨대, 카드 색상, 카드 모양 등)가 다르게 구성될 수 있다.
안내 정보(400)는 실내 공간 내에서 해당 정보가 증강현실로 표시될 안내 지점(즉, 위치 정보)이 사전에 설정되어 유지될 수 있으며, 방향 정보(410)의 경우 교차 지점이나 커브길과 같은 굴절 지점 등에 설정될 수 있고, 장소 정보(420)는 개별 장소의 적어도 하나의 출입구 등에 설정될 수 있다.
정보 표시부(202)는 카메라 영상 상에 정보 카드(방향 카드와 장소 카드)를 증강하여 표시함에 있어 방향 카드의 경우 사용자의 위치에 대해 고정시켜 표시하는 반면에, 장소 카드의 경우 사용자의 위치에 따라 회전시키면서 표시할 수 있다.
도 5에 도시한 바와 같이, 방향 정보(410)는 사용자의 위치에 대해 절대적인 정보이므로 이를 표시하는 방향 카드(510)의 경우 위치와 방향이 고정된 상태의 AR 컨텐츠로서 표시될 수 있다. 이와 달리, 장소 카드(520)는 사용자의 위치에 따라 회전이 가능한 상태로 표시될 수 있다. 컴퓨터 시스템(100)이 스마트폰과 같은 모바일 기기의 형태로 구현되는 경우, 정보 표시부(202)는 기기의 위치와 방향을 인식하여 기기의 중심점과 장소 카드(520)의 중심점을 잇는 직선에 대해 수직인 방향으로 장소 카드(520)를 회전 배치하여 표시할 수 있다. 일례로, 장소 카드(520)는 3차원 공간 좌표에서 Z 좌표 축을 기준으로 사용자의 위치에 따라 좌우로 회전될 수 있다. 따라서, 사용자가 기기를 들고 이동할 때 장소 카드(520) 또한 사용자 시선, 즉 카메라 영상의 정면을 향하는 방향으로 회전하면서 표시될 수 있다.
사용자 시선에 따라 회전되는 증강 객체의 대표적인 예로 장소 카드(520)를 설명하고 있으나, 이에 한정되는 것은 아니며 카메라 영상에 AR 컨텐츠로 표시되는 모든 증강 객체에 대해 적용 가능하다.
따라서, 본 실시예에서는 증강 객체를 사용자 시선과 마주보는 방향으로 회전시키는 인터랙션을 제공할 수 있다.
(2) 경로 가이드 그래픽 표시
안내 정보가 실내 공간 내 특정 지점을 목적지로 하는 이동 경로에 대한 정보를 포함하는 경우, 도 6에 도시한 바와 같이 정보 표시부(202)는 카메라 영상(600)에 이동 경로를 나타내는 경로 가이드 그래픽(601)을 증강하여 표시할 수 있다. 이때, 정보 표시부(202)는 카메라 영상(600)에 나타나는 물리적 공간과 카메라 영상(600)에 증강되는 경로 가이드 그래픽(601) 간의 이질감을 최소화 하기 위해 카메라 영상(600) 내 가시적인 부분의 이동 경로까지만 경로 가이드 그래픽(601)을 표시할 수 있다.
특히, 이동 경로가 교차로나 커브길 등과 같이 굴절 구간을 포함할 때 굴절 구간으로 인해 이동 경로의 일부 구간이 카메라 영상(600)의 가시 범위에 나타나지 않은 경우 가시 범위에 있는 굴절 지점 직전까지만 경로 가이드 그래픽(601)을 표시하고 해당 굴절 지점 또는 해당 굴절 지점과 일정 반경 이내로 인접한 위치 상에는 다음 구간으로의 이동 방향을 나타내는 방향 카드(602)를 표시해 줄 수 있다.
길 찾기 안내를 위한 이동 경로는 실내 공간에 대해 사전에 구축된 실내 지도를 바탕으로 생성되는데, 이때 실내 지도에서 일정 각도 이상 굴절되는 구간 각각에 대해 해당 굴절 지점 또는 해당 굴절 지점 인근에 방향 카드가 표시되도록 설정될 수 있다. 즉, 정보 표시부(202)는 카메라 영상(600)의 가시 범위에 있는 굴절 지점 직전까지의 이동 경로에 대해서는 경로 가이드 그래픽(601)을 표시하고 굴절 구간으로 인해 가시 범위에서 벗어난 다음 이동 경로에 대해서는 해당 굴절 지점에 방향 카드(602)를 표시할 수 있다.
따라서, 본 실시예에서는 카메라 영상의 가시 범위까지만 경로 가이드 그래픽을 표시하여 실제 물리적 공간과 증강된 객체 간의 이질감을 최소화할 수 있다.
(3) 공간 연결성을 고려한 안내 정보 표시
정보 표시부(202)는 사용자의 위치(카메라 위치, 즉 컴퓨터 시스템(100)의 현재 위치)를 기준으로 해당 위치와의 공간적 연결성에 기초하여 장소 정보를 선별하여 표시할 수 있다. 이는 카메라 영상 상에 사용자가 현재 위치에서 이동할 수 없는, 공간적 연결성이 없는 장소에 대한 안내 정보가 표시되는 오류를 방지하고자 하는 것이다.
여기서, 공간적 연결성이라 함은 실내 공간 상에서의 이동 가능성을 의미할 수 있다.
일례로, 도 7과 도 8을 참조하면, 실내 공간(700)을 개별 장소 간의 공간적 연결성을 고려하여 복수 개의 권역으로 나눌 수 있으며, 이때 정보 표시부(202)는 사용자의 현재 위치(701)가 특정 권역 내에 있을 때 카메라 영상에 해당 권역에 포함된 장소 정보(710)만을 증강하여 표시할 수 있다. 따라서, 사용자가 위치한 권역에 따라 표시되는 장소 정보(710)가 달라지게 된다.
다른 예로, 정보 표시부(202)는 카메라 영상에 포함된 안내 지점 중 사용자의 현재 위치(701)를 기준으로 공간적 연결성이 있는 적어도 하나의 개별 장소를 포함하는 권역을 사용자 시야 범위의 권역으로 결정할 수 있고 카메라 영상에 해당 권역에 포함된 장소 정보(710)만을 증강하여 표시할 수 있다.
다시 말해, 정보 표시부(202)는 카메라 영상 상에 사용자가 현재 위치에서 이동 가능한, 즉 공간적 연결성이 있는 장소 정보를 선별하여 표시할 수 있다.
따라서, 본 실시예에서는 공간적 연결성이 있는 장소에 대한 안내 정보를 선별하여 제공하는 인터랙션을 제공할 수 있다.
(4) 카메라 영상의 포커스 프레임과 정보 카드의 인터랙션
도 9를 참조하면, 정보 표시부(202)는 카메라 영상(900)에 증강된 정보 카드(방향 카드와 장소 카드) 중 카메라의 포커스 프레임 영역(901)과 적어도 일부의 정보가 겹치는 정보 카드(910)를 인식하여 포커스 프레임(901)을 통해 해당 정보 카드(910)를 캡쳐할 수 있다. 이때, 포커스 프레임(901)은 카메라 영상(900)의 중앙에 배치되거나 혹은 카메라 영상(900)에서 사용자에 의해 특정된 위치에 배치될 수 있다.
정보 표시부(202)는 포커스 프레임(901)과 겹치는 상태, 즉 포커스 프레임(901)이 정보 카드(910)를 캡쳐하고 있는 상태의 지속 시간(time duration)이 일정 시간을 경과하는 경우 정보 카드(910)가 확장되면서 확장된 카드 영역에 해당 카드의 장소와 관련된 추가 정보를 노출할 수 있다.
이때, 정보 표시부(202)는 정보 카드(910)가 포커스 프레임(901)에 캡쳐되는 시점 혹은 정보 카드(910)가 확장되는 시점에 해당 정보 카드(910)의 투명도를 조정할 수 있으며, 예를 들어 정보 카드(910)의 투명도를 사전에 정해진 최소 레벨로 감소시킬 수 있다. 다른 예로, 카메라 영상(900)에 증강된 정보 카드 중 포커스 프레임(901)에 캡쳐된 정보 카드(910)의 투명도는 최소 레벨로 감소시키고 나머지 다른 정보 카드들의 투명도는 사전에 정해진 최대 레벨로 높일 수 있다.
그리고, 정보 표시부(202)는 카메라 영상(900)에서 확장된 상태의 정보 카드(910)가 선택되는 경우 해당 카드의 장소와 관련된 이미지, 상세 설명 등을 포함하는 상세 페이지(911)를 제공할 수 있다.
도 10은 정보 카드의 확장 예시를 도시한 것이다.
도 10에 도시한 바와 같이, 장소 정보인 회의실에 대한 장소 카드(1010)의 경우 디폴트 상태에서는 회의실의 이름 'Meeting Rm.1'이 표시되다가 확장 상태에서는 해당 회의실과 관련된 추가 정보, 예를 들어 현재 사용 상태, 예약 여부, 예약 시간 등이 표시될 수 있다.
또 다른 장소 정보인 식당에 대한 장소 카드의 경우 디폴트 상태에서는 식당의 이름이 표시되고 확장되면 해당 식당과 관련된 추가 정보, 예를 들어 대기 인원, 대기 시간, 쿠폰이나 할인과 같은 이벤트 정보 등이 표시될 수 있다.
방향 정보가 표시된 방향 카드(1020)의 경우 디폴트 상태에서는 현재 지점에서의 방향 정보가 표시되고 이후 확장되면 적어도 하나의 다음 지점에서의 방향 정보가 추가로 표시될 수 있다.
따라서, 본 실시예에서는 카메라 포커스 프레임에 의해 캡쳐된 정보 카드를 확장하여 추가 정보를 제공함으로써 카메라 포커스 프레임과 정보 카드 간의 인터랙션을 제공할 수 있다.
(5) 사용자와 정보 간 거리에 따른 정보 카드 표시
정보 표시부(202)는 카메라 영상에 증강되는 정보 카드와 같은 증강 객체를 기본적으로 원근 법칙에 의해 사용자에게 가까워질수록 크게 표시하고 멀어질수록 작게 표시할 수 있다. 다만, 증강 객체가 일정 거리 이상 멀어지면 객체 크기가 더 이상 작아지지 않고 일정 크기를 유지하게 되며, 이는 사용자가 카메라 영상 상의 정보 카드와 인터랙션을 해야 하기 때문이다.
또한, 사용자와의 인터랙션이 지양되어야 하는 일부 정보 카드의 경우, 예컨대 정보 카드가 표시되어야 할 장소가 너무 가깝거나 혹은 너무 먼 경우 정보 카드의 투명도를 증가시켜 투명해지도록 함으로써 사용자가 정보 카드와 인터랙션하는 것을 막을 수 있다.
예를 들어, 도 11을 참조하면 사용자(1101)와 3m 이내의 거리에서는 정보 카드(1120)의 투명도를 사용자(1101)와 가까울수록 증가시키고 사용자(1101)와 멀수록 감소시킬 수 있다. 아울러, 사용자(1101)와 20m 이내의 거리까지는 정보 카드(1120)의 크기를 사용자(1101)와 가까울수록 증가시키고 사용자(1101)와 멀수록 감소시킬 수 있다. 이때, 사용자(1101)와 20m를 넘어가는 거리부터는 정보 카드(1120)의 크기를 유지하면서 사용자(1101)와의 거리에 따라 투명도를 조절할 수 있다. 예를 들어, 사용자(1101)와의 거리가 멀어질수록 정보 카드(1120)의 투명도를 증가시킬 수 있다.
그리고, 카메라 영상에 증강되는 정보 카드 중 목적지를 나타내는 정보 카드(1120)의 경우 사용자(1101)와의 거리와 상관없이 기본 값으로 설정된 투명도를 유지한다.
따라서, 본 실시예에서는 사용자와의 거리에 따라 카메라 영상에 증강된 정보 카드의 크기와 투명도를 조절하는 인터랙션을 제공할 수 있다.
(6) 방향 인디케이터(indicator)
도 12를 참조하면, 실내 공간(1210) 내 사용자(1201)의 위치에 따라 길 찾기를 위한 목적지(1220)가 카메라 영상(1200)의 가시 범위에 포함되어 있지 않은 경우 사용자(1201)는 현재 위치를 기준으로 목적지(1220)가 어느 방향에 위치하여 있는지 판단하기 어렵다.
이를 해결하기 위해, 정보 표시부(202)는 목적지(1220)가 카메라 영상(1200)의 가시 범위에서 벗어나 있는 경우 카메라 영상(1200)의 가장자리(edge)에 해당 목적지(1220)의 대략적인 방향을 나타내는 인디케이터(1221)를 표시할 수 있다. 이때, 정보 표시부(202)는 카메라 영상(1200)에서 사용자(1201)의 위치를 기준으로 목적지(1220)가 위치한 방향과 대응되는 지점의 가장자리에 인디케이터(1221)를 표시할 수 있다.
따라서, 본 실시예에서는 카메라 영상의 가시 범위를 벗어난 목적지에 대한 방향 인디케이터를 표시하는 인터랙션을 제공할 수 있다.
(7) 지도 전환
컴퓨터 시스템(100)이 스마트폰과 같은 모바일 기기의 형태로 구현되는 경우, 프로세서(120)는 기기의 기울기에 따라 카메라 영상에 안내 정보를 증강하여 표시하는 AR 카메라 모드와 실내 공간에 대한 실내 지도(예컨대, 2D map)를 표시하는 실내 지도 모드 중 어느 하나로 전환할 수 있다. 일례로, 프로세서(120)는 기기의 피치(pitch) 값이 일정 레벨 이상이면(즉, 기기를 수직 방향으로 세워 들면) AR 카메라 모드로 전환하고 일정 레벨 미만이면(즉, 기기를 바닥 방향으로 눕히면) 실내 지도 모드로 전환할 수 있다.
따라서, 본 실시예에서는 AR 카메라 모드와 실내 지도 모드 간 자동 전환 인터랙션을 제공할 수 있다.
이처럼 본 발명의 실시예들에 따르면, 카메라 영상에 증강된 안내 정보와 상호작용하는 UX를 제공함으로써 실내 내비게이션의 안내 전달 효과를 향상시킬 수 있고, 안내 정보와 사용자 간의 다양하고 활발한 인터랙션을 통해 몰입형(immersive) 가상현실의 사용자 경험을 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터 시스템에서 수행되는 내비게이션 방법에 있어서,
    상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 내비게이션 방법은,
    상기 적어도 하나의 프로세서에 의해, 상기 컴퓨터 시스템의 카메라를 통해 촬영된 실내 공간의 영상인 카메라 영상 상에 상기 실내 공간 내 안내 지점과 관련된 안내 정보를 카드 형태의 객체로 증강하여 표시하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 카메라의 방향에 따라 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계
    를 포함하는 내비게이션 방법.
  2. 제1항에 있어서,
    상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계는,
    상기 컴퓨터 시스템의 위치와 방향에 기초하여 상기 컴퓨터 시스템의 중심점과 상기 안내 정보의 중심점을 잇는 직선에 대해 수직인 방향으로 상기 카드 객체를 회전 배치하여 표시하는 것
    을 특징으로 하는 내비게이션 방법.
  3. 제1항에 있어서,
    상기 안내 정보는 상기 실내 공간 내에서의 방향 안내를 위한 방향 정보와 상기 실내 공간과 관련된 안내를 위한 공간 정보를 포함하고,
    상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 단계는,
    상기 방향 정보를 제공하는 카드 객체의 경우 카드 방향이 고정된 상태로 표시하고
    상기 공간 정보를 제공하는 카드 객체의 경우 카드 방향이 상기 카메라 영상의 정면을 향하는 방향으로 회전하면서 표시하는 것
    을 특징으로 하는 내비게이션 방법.
  4. 제1항에 있어서,
    상기 내비게이션 방법은,
    상기 적어도 하나의 프로세서에 의해, 상기 안내 정보가 특정 지점을 목적지로 하는 이동 경로를 포함하는 경우 상기 카메라 영상 상에 상기 이동 경로를 나타내는 경로 가이드 그래픽을 증강하여 표시하는 단계
    를 포함하고,
    상기 경로 가이드 그래픽을 증강하여 표시하는 단계는,
    상기 이동 경로에 포함된 굴절 구간으로 인해 상기 이동 경로의 일부 구간이 상기 카메라 영상의 가시 범위에 나타나지 않은 경우 가시 범위에 있는 굴절 지점 직전까지 상기 경로 가이드 그래픽을 표시하고 굴절 지점 또는 굴절 지점과 인접한 위치 상에는 다음 구간으로의 이동 방향을 나타내는 방향 카드를 표시하는 것
    을 특징으로 하는 내비게이션 방법.
  5. 제1항에 있어서,
    상기 안내 정보를 카드 형태의 객체로 증강하여 표시하는 단계는,
    상기 컴퓨터 시스템의 현재 위치에서 이동 가능한 공간적 연결성에 기초하여 적어도 하나의 장소에 대한 안내 정보를 선별하여 표시하는 단계
    를 포함하는 내비게이션 방법.
  6. 제1항에 있어서,
    상기 내비게이션 방법은,
    상기 적어도 하나의 프로세서에 의해, 상기 카메라 영상에 증강된 안내 정보 중 카메라의 포커스 프레임과 적어도 일부의 정보가 겹치는 안내 정보를 인식하여 상기 인식된 안내 정보의 카드 영역을 확장하여 표시하는 단계
    를 포함하는 내비게이션 방법.
  7. 제6항에 있어서,
    상기 인식된 안내 정보의 카드 영역을 확장하여 표시하는 단계는,
    상기 포커스 프레임과 겹치는 상태의 지속 시간이 일정 시간을 경과하는 경우 안내 정보의 카드가 확장되면서 확장된 카드 영역에 해당 안내 정보의 지점과 관련된 추가 정보를 표시하는 것
    을 특징으로 하는 내비게이션 방법.
  8. 제6항에 있어서,
    상기 인식된 안내 정보의 카드 영역을 확장하여 표시하는 단계는,
    상기 카메라 영상에 증강된 안내 정보 중 상기 인식된 안내 정보의 카드 투명도를 감소시키고 나머지 다른 안내 정보의 카드 투명도를 증가시키는 것
    을 특징으로 하는 내비게이션 방법.
  9. 제1항에 있어서,
    상기 내비게이션 방법은,
    상기 적어도 하나의 프로세서에 의해, 사용자와 안내 정보 간의 거리에 기초하여 상기 카메라 영상에 증강된 안내 정보의 카드 크기와 카드 투명도를 조절하는 단계
    를 포함하는 내비게이션 방법.
  10. 제9항에 있어서,
    상기 조절하는 단계는,
    일정 거리 이내에서는 상기 거리가 가까울수록 상기 카드 크기를 크게, 멀수록 상기 카드 크기를 작게 표시하는 단계
    를 포함하는 내비게이션 방법.
  11. 제10항에 있어서,
    상기 조절하는 단계는,
    상기 일정 거리를 초과한 거리에서는 상기 카드 크기를 일정 크기로 유지하면서 상기 거리가 멀수록 상기 카드 투명도를 증가시키는 단계
    를 포함하는 내비게이션 방법.
  12. 제9항에 있어서,
    상기 조절하는 단계는,
    상기 카메라 영상에 증강된 안내 정보 중 목적지를 나타내는 안내 정보의 경우 상기 거리와 상관없이 기본 값으로 설정된 카드 투명도를 유지하는 단계
    를 포함하는 내비게이션 방법.
  13. 제1항에 있어서,
    상기 내비게이션 방법은,
    상기 적어도 하나의 프로세서에 의해, 목적지가 상기 카메라 영상의 가시 범위에 포함되어 있지 않은 경우 상기 카메라 영상의 가장자리(edge)에 상기 목적지의 방향을 나타내는 인디케이터를 표시하는 단계
    를 포함하는 내비게이션 방법.
  14. 제13항에 있어서,
    상기 목적지의 방향을 나타내는 인디케이터를 표시하는 단계는,
    상기 카메라 영상에서 사용자의 위치를 기준으로 상기 목적지가 위치한 방향과 대응되는 지점의 가장자리에 상기 인디케이터를 표시하는 것
    을 특징으로 하는 내비게이션 방법.
  15. 제1항에 있어서,
    상기 내비게이션 방법은,
    상기 적어도 하나의 프로세서에 의해, 상기 컴퓨터 시스템의 기울기에 따라 상기 카메라 영상에 상기 안내 정보를 증강하여 표시하는 AR 카메라 모드와 지도를 제공하는 지도 모드 중 어느 하나로 전환하는 단계
    를 포함하는 내비게이션 방법.
  16. 제15항에 있어서,
    상기 전환하는 단계는,
    상기 컴퓨터 시스템의 피치(pitch) 값이 일정 레벨 이상이면 상기 AR 카메라 모드로 전환하고 상기 피치 값이 일정 레벨 미만이면 지도 모드로 전환하는 것
    을 특징으로 하는 내비게이션 방법.
  17. 컴퓨터와 결합되어 제1항 내지 제16항 중 어느 한 항의 내비게이션 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  18. 제1항 내지 제16항 중 어느 한 항의 내비게이션 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
  19. 컴퓨터 시스템에 있어서,
    메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 컴퓨터 시스템의 카메라를 통해 촬영된 실내 공간의 영상인 카메라 영상 상에 상기 실내 공간 내 안내 지점과 관련된 안내 정보를 카드 형태의 객체로 증강하여 표시하는 정보 표시부
    를 포함하고,
    상기 정보 표시부는,
    상기 카메라의 방향에 따라 상기 안내 정보를 제공하는 카드 객체를 회전시키면서 표시하는 것
    을 특징으로 하는 컴퓨터 시스템.
  20. 제19항에 있어서,
    상기 안내 정보는 상기 실내 공간 내에서의 방향 안내를 위한 방향 정보와 상기 실내 공간과 관련된 안내를 위한 공간 정보를 포함하고,
    상기 정보 표시부는,
    상기 방향 정보를 제공하는 카드 객체의 경우 카드 방향이 고정된 상태로 표시하고,
    상기 공간 정보를 제공하는 카드 객체의 경우 카드 방향이 상기 카메라 영상의 정면을 향하는 방향으로 회전 배치하여 표시하는 것
    을 특징으로 하는 컴퓨터 시스템.
KR1020180106848A 2018-09-07 2018-09-07 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템 KR102009031B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106848A KR102009031B1 (ko) 2018-09-07 2018-09-07 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106848A KR102009031B1 (ko) 2018-09-07 2018-09-07 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102009031B1 true KR102009031B1 (ko) 2019-08-08

Family

ID=67613254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106848A KR102009031B1 (ko) 2018-09-07 2018-09-07 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102009031B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076647A (ko) * 2018-12-19 2020-06-29 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210129024A (ko) * 2019-12-03 2021-10-27 네이버랩스 주식회사 위치 기반 ar 서비스에서 지도와 ar 상의 poi 하이라이팅을 연동하는 방법 및 시스템
WO2022059878A1 (ko) * 2020-09-18 2022-03-24 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
KR20220092047A (ko) * 2020-12-24 2022-07-01 한국철도기술연구원 항법정보 표시방법 및 장치
KR20230070175A (ko) * 2021-03-09 2023-05-22 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
US11785430B2 (en) 2021-04-13 2023-10-10 Research Foundation Of The City University Of New York System and method for real-time indoor navigation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004048895A1 (ja) * 2002-11-22 2004-06-10 Kumamoto Technology & Industry Foundation 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2004184418A (ja) * 2002-12-03 2004-07-02 Robert Bosch Gmbh 移動型デバイスおよびナビゲーション方法
KR20130137074A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 3차원 지도를 이용한 증강 정보 제공 장치 및 방법
JP2016515197A (ja) * 2013-02-26 2016-05-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated モバイルデバイスを用いるナビゲーションのための方向性ビュー及びx線ビュー技法
KR20170101758A (ko) * 2016-02-26 2017-09-06 자동차부품연구원 증강현실 헤드 업 디스플레이 내비게이션
KR20180075843A (ko) * 2016-12-27 2018-07-05 러브투트레일 주식회사 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004048895A1 (ja) * 2002-11-22 2004-06-10 Kumamoto Technology & Industry Foundation 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2004184418A (ja) * 2002-12-03 2004-07-02 Robert Bosch Gmbh 移動型デバイスおよびナビゲーション方法
KR20130137074A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 3차원 지도를 이용한 증강 정보 제공 장치 및 방법
JP2016515197A (ja) * 2013-02-26 2016-05-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated モバイルデバイスを用いるナビゲーションのための方向性ビュー及びx線ビュー技法
KR20170101758A (ko) * 2016-02-26 2017-09-06 자동차부품연구원 증강현실 헤드 업 디스플레이 내비게이션
KR20180075843A (ko) * 2016-12-27 2018-07-05 러브투트레일 주식회사 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523601B1 (ko) 2018-12-19 2023-04-20 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210100048A (ko) * 2018-12-19 2021-08-13 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102361728B1 (ko) 2018-12-19 2022-02-11 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20200076647A (ko) * 2018-12-19 2020-06-29 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210129024A (ko) * 2019-12-03 2021-10-27 네이버랩스 주식회사 위치 기반 ar 서비스에서 지도와 ar 상의 poi 하이라이팅을 연동하는 방법 및 시스템
KR102421370B1 (ko) * 2019-12-03 2022-07-15 네이버랩스 주식회사 위치 기반 ar 서비스에서 지도와 ar 상의 poi 하이라이팅을 연동하는 방법 및 시스템
KR102458102B1 (ko) * 2020-09-18 2022-10-24 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
KR20220037789A (ko) * 2020-09-18 2022-03-25 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
WO2022059878A1 (ko) * 2020-09-18 2022-03-24 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
KR20220092047A (ko) * 2020-12-24 2022-07-01 한국철도기술연구원 항법정보 표시방법 및 장치
KR102666937B1 (ko) * 2020-12-24 2024-05-17 한국철도기술연구원 항법정보 표시방법 및 장치
KR20230070175A (ko) * 2021-03-09 2023-05-22 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
KR102637701B1 (ko) * 2021-03-09 2024-02-19 네이버랩스 주식회사 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
US11785430B2 (en) 2021-04-13 2023-10-10 Research Foundation Of The City University Of New York System and method for real-time indoor navigation

Similar Documents

Publication Publication Date Title
KR102009031B1 (ko) 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템
KR102132675B1 (ko) 항공뷰를 통한 이동 기능을 제공하는 방법 및 시스템
KR101650269B1 (ko) 화면 제어를 위한 효율적인 인터페이스를 제공하는 시스템 및 방법
KR102040566B1 (ko) 명확한 픽업 장소를 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US9971470B2 (en) Navigation application with novel declutter mode
EP2635876B1 (en) Visually representing a three-dimensional environment
WO2017029759A1 (ja) 表示制御装置、表示装置および表示制御方法
KR102637701B1 (ko) 증강현실 뷰를 사용하는 경로 안내 방법 및 장치
KR20190120122A (ko) 영상 통화를 이용한 길안내 방법 및 시스템
KR102136855B1 (ko) 거리뷰 제공 방법, 장치 및 컴퓨터 프로그램
US20230228587A1 (en) Route guidance method and device using augmented reality view
US11143523B2 (en) Providing raised patterns and haptic feedback for mapping applications
CN115683152A (zh) 基于坐标转换的车辆导航指引方法、装置及电子设备
KR20200108272A (ko) 대화방을 3차원 형태로 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102670496B1 (ko) 기 설정된 단위 공간에 기반하여 증강현실 뷰를 통해 증강 콘텐츠를 제공하는 방법 및 장치
KR20240030345A (ko) 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말에 가상 현실 콘텐츠를 표시하는 방법 및 장치
KR102421370B1 (ko) 위치 기반 ar 서비스에서 지도와 ar 상의 poi 하이라이팅을 연동하는 방법 및 시스템
KR102392675B1 (ko) 3차원 스케치를 위한 인터페이싱 방법 및 장치
KR102243138B1 (ko) 환경 정보 취득을 이용한 혼합 현실 기기 지원 장치 및 그 방법
KR20240030481A (ko) 커스텀 영역 생성 툴을 사용하여, 공간 내에서 서비스 요소가 연관된 커스텀 영역을 생성하는 방법 및 장치
KR102053158B1 (ko) WebGL을 이용한 렌더링 환경에서 FPS에 따라 퍼포먼스를 제어하는 방법 및 시스템
KR102276816B1 (ko) 공간 단위로 구성된 컨텐츠를 제공하는 방법 및 시스템
KR20240022714A (ko) 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말을 제어하는 방법 및 장치
CN109916426B (zh) 引导箭头绘制方法、装置、设备和介质
KR20180107910A (ko) 상황에 따른 화면 간 상호 연동을 위한 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant