KR20180075843A - 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법 - Google Patents

증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법 Download PDF

Info

Publication number
KR20180075843A
KR20180075843A KR1020160179701A KR20160179701A KR20180075843A KR 20180075843 A KR20180075843 A KR 20180075843A KR 1020160179701 A KR1020160179701 A KR 1020160179701A KR 20160179701 A KR20160179701 A KR 20160179701A KR 20180075843 A KR20180075843 A KR 20180075843A
Authority
KR
South Korea
Prior art keywords
information
user
image information
image
augmented reality
Prior art date
Application number
KR1020160179701A
Other languages
English (en)
Inventor
손희정
이종구
Original Assignee
러브투트레일 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 러브투트레일 주식회사 filed Critical 러브투트레일 주식회사
Priority to KR1020160179701A priority Critical patent/KR20180075843A/ko
Priority to PCT/KR2017/003484 priority patent/WO2018124397A1/ko
Publication of KR20180075843A publication Critical patent/KR20180075843A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

본 발명은 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 통신부; 상기 대상 공간에 대한 화상 정보를 수집하는 카메라부; 증강현실 이미지 정보를 출력하는 디스플레이부; 및 상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하여 이를 상기 증강현실 이미지 정보로 출력하도록 제어하는 제어부;를 포함하는, 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 관한 것이다.

Description

증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법{DEVICE FOR PROVIDING ROUTE GUIDE USING AUGMENTED REALITY AND METHOD USING THE SAME}
본 발명은 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 관한 것이다.
일반적으로 내비게이션은 사용자의 현재 위치를 GPS 좌표로 수신하여 지도 정보에 사용자의 위치 정보를 매칭시킴으로써 목적지까지의 이동 경로를 산출하여 사용자에게 제공하는 장치이다.
이러한 내비게이션은 이전에는 주로 자동차의 목적지 경로 검색 수단으로 이용되었으나, 최근 GPS가 구비된 스마트폰의 대중화에 따라 개인별 이동 경로 수단으로도 활용되고 있다.
하지만, 기존의 스마트폰을 이용한 개인별 경로 안내 장치는 지리적 맵 정보에서 사용자의 위치만을 제공한다. 따라서, 외부에 위치하는 목적지로의 이동 경로는 제공받을 수 있으나, 특정 건물의 실내에 위치하는 목적지 경로 정보 제공은 어려움이 있다. 또한, 기존 경로 안내는 단순히 2차원의 평면 정보만을 제공하여 특정 장소에 위치하는 세부 구성들의 구체적인 형상이나 특징점을 파악하기 곤란함 문제점이 있다.
본 발명의 목적은 실내 공간에서 목적지로 향하는 이동 경로를 가상 현실화하여 세부적 구성들까지 구체적으로 입체감을 부여함과 동시에 보다 명확한 이동 경로를 제공할 수 있는 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법을 제공하는 것이다.
상기한 과제를 실현하기 위한 증강현실을 이용한 경로 안내 장치는, 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 통신부; 상기 대상 공간에 대한 화상 정보를 수집하는 카메라부; 증강현실 이미지 정보를 출력하는 디스플레이부; 및 상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하여 이를 상기 증강현실 이미지 정보로 출력하도록 제어할 수 있다.
여기서, 상기 카메라부는, 스트레오 카메라를 포함하고, 상기 제어부는, 상기 스트레오 카메라를 통해 수집되는 상기 화상 정보를 통해 상기 가상 공간 정보의 입체 정보를 생성할 수 있다.
여기서, 사용자의 입력에 따른 입력 정보를 감지하는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 증강현실 이미지 정보에 대한 상기 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하여 이를 상기 가상 공간 정보에 반영할 수 있다.
여기서, 상기 제어부는, 상기 화상 정보를 기초하여 상기 사용자의 위치에 관한 사용자 위치 정보 판단하고, 상기 사용자 위치 정보를 참고하여 상기 이동 경로 정보를 생성할 수 있다.
여기서, 상기 사용자의 사용자 위치 정보를 감지하는 GPS를 더 포함하고, 상기 제어부는, 상기 사용자 위치 정보를 기초하여 상기 이동 경로 정보를 생성할 수 있다.
여기서, 상기 제어부는, 상기 입력 정보가 제품 선택 정보를 포함하는 경우, 이에 대응되는 이동 경로 정보를 생성하고, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 이를 출력하도록 제어할 수 있다.
여기서, 상기 제어부는, 상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여, 이에 대한 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하도록 제어할 수 있다.
여기서, 상기 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보를 감지하는 관성 센서부를 더 포함하고, 상기 제어부는, 상기 화상 이동 방향 정보 및 상기 관성 이동 방향 정보를 매칭하여 이를 상기 이동 경로 정보에 반영할 수 있다.
여기서, 상기 제어부는, 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭시켜 대응되는 영역에 출력되도록 제어할 수 있다.
여기서, 상기 제어부는, 상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하고, 상기 이벤트 정보를 상기 이벤트 영역에 출력되도록 제어할 수 있다.
여기서, 상기 제어부는, 상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여 상기 외부 서버에 전송하도록 제어할 수 있다.
상기한 과제를 실현하기 위한 다른 실시예에 따른 증강현실을 이용한 경로 안내 방법은, 통신부를 통해 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 단계; 카메라부를 통해 상기 대상 공간에 대한 화상 정보를 수집하는 단계; 및 상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 증강현실 이미지 정보로 생성하여 이를 디스플레이부에 출력시키는 단계;를 포함할 수 있다.
여기서, 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는, 상기 화상 정보에 기초하여 상기 화상 정보 대비 상기 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는, 관성 센서부를 통해 상기 사용자의 이동에 의해 변화되는 관성 정보인 관성 이동 방향 정보가 감지되는 경우, 상기 화상 이동 방향 정보와 매칭하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는, 상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계를 더 포함할 수 있다.
여기서, 상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계는, 상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여 이에 대한 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하는 단계를 포함할 수 있다.
여기서, 상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계를 더 포함할 수 있다.
여기서, 상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계는, 상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하는 단계를 포함할 수 있다.
여기서, 상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여, 이를 통신부로 상기 외부 서버에 전송시키는 단계를 더 포함할 수 있다.
상기와 같이 구성되는 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 의하면, 건물 내부 공간을 보다 명확하게 가상 공간화하여 사용자에게 제공할 수 있다.
또한, 목적지까지의 경로를 3차원 영상으로 제공할 수 있다.
또한, 사용자의 위치 및 이동 방향에 따라 자동으로 이동 경로를 재설정할 수 있다.
또한, 관리자가 의도하는 다양한 이벤트 정보를 사용자에게 제시할 수 있다.
또한, 사용의 이동 및 제품 선택 패턴을 수집하여 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 이용 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 구성을 설명하기 위한 블록도이다.
도 3 내지 도 5는 본 발명의 다른 실시예에 따른 서로 다른 방식의 경로 안내 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 증강현실을 이용한 경로 안내 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 13은 도 6의 경로 안내 방법을 설명하기 위한 개념도이다.
이하, 본 발명의 바람직한 실시예에 따른 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법에 대하여 첨부한 도면을 참조하여 상세히 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다.
도 1은 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 이용 방법을 설명하기 위한 개념도이다.
도시된 바와 같이, 경로 안내 장치(100)는 사용자(U)가 출입하는 건물의 내부 공간인 대상 공간(F)을 3차원의 가상 공간 정보가 반영된 증강현실 이미지 정보를 제공하기 위한 장치이다.
이러한, 경로 안내 장치(100)는 일반적인 휴대용 단말기로 적용될 수 있으며, 사용자(U)가 건물 내부에 인입하여 관련 어플리케이션을 구동하는 경우, 사용자(U)의 위치 정보를 기초하여 외부 서버(S)로부터 해당 건물의 맵 정보를 수신할 수 있다. 이후, 경로 안내 장치(100)의 카메라부(130, 도2)를 통해 화상 정보가 수집되며, 맵 정보와 화상 정보를 기초하여 대상 공간에 대한 가상 공간 정보를 생성하고 이를 증강현실 이미지 정보로 출력할 수 있다. 사용자(U)는 출력되는 증강현실 이미지 정보에 대하여 원하는 제품이나 목적지에 대한 정보를 입력할 수 있고, 경로 안내 장치(100)는 사용자(U)에 의해 입력되는 입력 정보에 대하여 관련 이동 경로 정보(R)나 제품 정보 등을 생성하여 출력할 수 있다.
이와 같은, 경로 안내 장치(100)에 의하면 사용자(U)는 대상 공간(F)에서 자신이 원하는 제품이나 목적지에 대한 이동 경로 정보(R)를 대상 공간과 유사한 증강현실로 제공받아 이용할 수 있다.
이상은 경로 안내 장치(100)에 대한 기본적인 동작 방법에 대하여 설명하였다. 도 2에서는 경로 안내 장치(100)의 세부 구성들에 대하여 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 구성을 설명하기 위한 블록도이다.
도시된 바와 같이, 경로 안내 장치(100)는 통신부(110), 카메라부(130), 디스플레이부(150), 사용자 입력부(170), GPS(190), 관성 센서부(210), 메모리부(230), 스피커부(250), 및 제어부(270)를 포함할 수 있다.
통신부(110)는, 외부 서버(S, 도 1 이하생략) 또는 다른 단말기와 전기적으로 통신하기 위한 수단으로, 본 실시예에서는 외부 서버로부터 대상 공간에 대한 맵 정보를 수신할 수 있다.
맵 정보는, 대상 공간이 위치하는 건물의 설계 도면 정보와 같은 정보를 포함할 수 있으며, 해당 맵 정보는 관리자에 의해 외부 서버에 저장될 수 있으며, 또는 웹 검색을 통해 수신될 수도 있다. 이러한 맵 정보는 후술하는 화상 정보를 반영하여 업데이트될 수도 있다.
카메라부(130)는, 경로 안내 장치(100)의 일측에 설치되어 대상 공간에 대한 화상 정보를 수집하기 위한 수단으로 본 실시예에서의 카메라부(130)는 스트레오 카메라를 포함할 수 있다. 따라서, 사용자(U, 도1 이하생략)가 경로 안내 장치(100)를 소지하고 이동하는 경우, 외부에 노출되는 카메라부(130)를 통해 대상 공간에 대한 화상 정보를 수집할 수 있다. 이때, 화상 정보는 영상 정보 및 사진 정보 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(150)는, 증강현실 이미지 정보를 출력하기 위한 수단으로, 본 실시예에서는 맵 정보, 화상 정보, 및 후술하는 가상 공간 정보가 반영된 증강현실 이미지 정보 등을 출력하여 사용자에게 시각적으로 제공할 수 있다.
사용자 입력부(170)는, 사용자의 입력에 따른 입력 정보를 감지하기 위한 수단으로, 키패드, 마우스, 터치 스크린 등의 입력 장치로 구성될 수 있다. 본 실시예에서는 디스플레이부(150)와 연동되는 터치 스크린으로 적용하여 각 실시예들을 설명하도록 한다.
GPS(190)는, 대상 건물 및 사용자의 위치 정보를 감지하기 위한 수단으로, 도시하지 않은 GPS 위성과 통신하여 경로 안내 장치(100)의 위치 좌표를 수신함으로서, 이를 사용자 위치 정보로 감지할 수 있다.
관성 센서부(210)는, 경로 안내 장치(100)에 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보를 감지하기 위한 수단이다. 따라서, 사용자가 경로 안내 장치(100)를 제1 방향에서 제2 방향으로 위치 변화시키는 경우, 해당 방향의 변화에 따라 관성 정보가 변화되고, 이를 관성 이동 방향 정보로 감지할 수 있다.
메모리부(230)는, 수집 및 수신되는 정보들을 저장하기 위한 수단으로 내장 메모리 및 외장 메모리 등이 적용될 수 있다.
스피커부(250)는, 음향 정보를 출력하기 위한 수단으로, 디스플레이부(150)에서 출력되는 이미지 정보에 대응되는 음성 정보 및 효과음 정보 등을 출력할 수 있다.
또한, 도시하지 않았으나 경로 안내 장치(100)는 마이크와 같은 음성 입력 장치를 더 포함할 수 있다. 음성 입력 장치는 사용자의 음성을 수신하기 위한 수단으로 수신되는 음성 정보에 따라 특정 기능 등을 자동으로 구동되도록 할 수 있다.
제어부(270)는, 상술한 구성들을 제어하기 위한 수단으로, 먼저 맵 정보 및 화상 정보를 기초하여 대상 공간에 대한 가상 공간 정보를 생성하고 이를 증강현실 이미지 정보로 출력하도록 제어할 수 있다. 다시말해, 제어부(270)는 통신부(110)를 통해 외부 서버로부터 캐드 도면과 같은 맵 정보가 수신되고, 카메라부(130)로부터 대상 공간에 대한 화상 정보가 수집되면, 맵 정보에 화상 정보를 매칭하여 3차원의 가상 공간 정보를 생성할 수 있다. 이때, 맵 정보와 화상 정보의 매칭 방법으로는, 화상 정보에서 화소 정보, 픽셀 정보, 프레임 정보, 엣지 정보, 및 패턴 정보들 중 적어도 어느 하나를 이용하여 특이점을 추출하고, 추출된 특이점과 맵 정보를 서로 매칭함으로써, 3차원의 가상 공간 정보를 생성할 수 있다.
이때, 도시하지 않았으나, 경로 안내 장치(100)는 3D 스캐너를 더 포함할 수 있다. 3D 스캐너는 레이저광을 조사하고, 대상물에 의해 반사되는 레이저광의 수신 시간을 이용해 대상물까지의 거리 정보를 감지하거나, 패턴광을 조사하여 대상물에 새겨지는 패턴광의 형상을 통해 거리 정보를 감지할 수 있다. 따라서, 3D 스캐너가 구비되는 경우, 제어부(270)는 3D 스캐너에 의해 감지되는 거리 정보를 가상 공간 정보에 반영시킬 수도 있다.
이렇게 가상 공간 정보가 생성되어 이를 증강현실 이미지 정보로 디스플레이부(150)에 출력시키는 경우, 해당 증강현실 이미지 정보에 대한 사용자의 입력 정보가 발생될 수 있다. 입력 정보는 특정 위치에 대한 목적지 정보 또는 특정 제품 선택에 대한 제품 선택 정보를 포함할 수 있다. 이러한 입력 정보가 발생되면 제어부(270)는 해당 입력 정보에 대응되는 이동 경로 정보 및 제품 상세 정보 등을 생성하여 디스플레이부(150)에 표시하도록 제어할 수 있다.
이때, 제어부(270)는 이동 경로 정보에서 사용자의 위치에 관한 사용자 위치 정보를 카메라부(130)에서 감지되는 화상 정보에 기초하여 생성할 수 있다. 다시말해, 화상 정보는 사용자가 소지하는 경로 안내 장치(100)의 카메라부(130)를 통해 수집됨으로써, 해당 화상 정보에서 특정 좌표 정보(예컨데, 중심 하방 영역)를 사용자 위치 정보로 설정할 수 있다. 또한, 추가적으로 제어부(270)는 GPS(190)를 통해 수집되는 좌표 정보인 사용자 위치 정보를 수신하여 사용자의 위치를 판단하고 이를 이동 경로 정보에 반영할 수도 있다. 뿐만 아니라, 카메라부(130)에 의해 수집되는 화상 정보를 통해 감지되는 사용자 위치 정보와, GPS(190)를 통해 감지되는 사용자 위치 정보를 서로 매칭시키고, 매칭된 사용자 위치 정보를 이동 경로 정보에 반영할 수도 있다.
이렇게 이동 경로 정보가 생성되고 해당 이동 경로 정보를 따라 사용자의 이동이 발생되면, 제어부(270)는 화상 정보에 기초하여 화상 정보 대비 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하여, 이를 이동 경로 정보에 반영시킬 수 있다. 또한, 제어부(270)는 관성 센서부(210)를 통해 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보가 감지되는 경우, 관성 이동 방향 정보를 이동 경로 정보에 반영할 수도 있다. 뿐만 아니라, 제어부9270)는 상술한 화상 이동 방향 정보 및 관성 이동 방향 정보를 서로 매칭시켜, 매칭된 이동 방향 정보를 이동 경로 정보에 반영하여, 이동 경로 정보가 실시간으로 재설정되도록 제어할 수도 있다.
제어부(270)는 통신부(110)를 통해 이벤트 정보가 수신되는 가상 공간 정보 중 대응되는 위치에 이벤트 정보를 표시하도록 제어할 수 있으며, 맵 정보와 화상 정보를 매칭하여 화상 정보가 반영된 업데이트 맵 정보를 생성하여 이를 외부 서버로 전송하도록 제어할 수 있다.
이와 같이, 경로 안내 장치(100)는 SLAM(Simultaneous Localization And Map-Building) 방식으로 대상 공간(F)에 대응되는 가상 공간 정보를 증강현실 이미지 정보로 표시하고, 표시된 증강현실 이미지 정보를 통해 사용자의 입력에 따른 이동 경로 정보를 제공하거나, 관리자가 의도하는 이벤트 정보를 제공할 수 있다.
이상은, 경로 안내 장치(100)의 세부 구성에 대하여 설명하였다. 도 3 내지 도 5에서는 경로 안내 장치의 종류에 대하여 설명하도록 한다.
도 3 내지 도 5는 본 발명의 다른 실시예에 따른 서로 다른 방식의 경로 안내 장치를 설명하기 위한 도면이다.
먼저 도 3의 (a)는, 최근에 출시되어 유통되는 스마트 단말기(100)에 대한 것으로, 최근 스마트 단말기(100)는 관성 센서 및 스트레오 카메라를 포함하고 있어, 별도의 장치를 구비하지 않아도 관련 어플리케이션을 설치하는 경우 도 1에서 상술한 경로 안내 장치로 활용할 수 있다.
도 3의 (b)는 스마트 글래스(300)에 관성 센서, 스트레오 카메라, 및 통신부 등이 구비되어 이를 경로 안내 장치로 적용하는 실시예이다. 스마트 글래스와 같은 웨어러블 단말기는 신체 착용 기능에 의해 보다 편리하게 경로 안내에 대한 정보를 제공받을 수 있다.
도 4는 기존의 스마트 단말기(100'), 다시말해 관성 센서 및 스트레오 카메라가 구비되지 않은 단말기(100')로, 해당 단말기(100')를 통해서는 본 발명의 경로 안내 서비스를 제공하는데 어려움이 있을 수 있다. 따라서, 결합부(410)를 통해 관성 센서 및 스트레오 카메라가 구비되는 센서 장치(400)를 단말기(100')에 장착할 수 있다. 또한, 본 도면에서는 도시하지 않았으나 센서 장치(400)와 단말기(100')를 전기적으로 연결하는 연결부를 통해 센서 장치에서 감지되는 화상 정보 및 이동 방향 정보를 단말기(100')에 전달하여, 기존 단말기(100')를 경로 안내 장치로 활용할 수 있다.
도 5는 대형 마트에 주로 비치되는 카트(C)에 결합되는 경로 안내 장치(500)에 관한 것이다. 해당 경로 안내 장치(500)는 카트 결합부(510)를 통해 카트(C)의 손잡이 영역에서 선택적으로 승하강될 수 있도록 결합될 수 있다. 따라서, 사용자는 카트(C)를 주행하는 동작을 통해 경로 안내 장치(500)로부터 경로를 안내 받을 수 있어 보다 편리한 쇼핑을 실시할 수 있다.
이상은, 경로 안내 장치의 다양한 적용 종류에 대하여 설명하였다. 도 6 내지 도 13에서는 경로 안내 장치를 통해 증강현실의 경로를 안내하는 방법에 대하여 구체적으로 설명하도록 한다.
도 6은 본 발명의 다른 실시예에 따른 증강현실을 이용한 경로 안내 방법을 설명하기 위한 흐름도이고, 도 7 내지 도 13은 도 6의 경로 안내 방법을 설명하기 위한 개념도이다. 설명의 용이성을 의해 상술한 실시예 중 도 3의 (a)에 적용되는 경로 안내 장치(100)를 대표하여 설명하도록 한다.
도 6 및 도 7에 도시된 바와 같이, 최초 사용자(U)는 건물의 내부에 인입하여 경로 안내를 위한 어플리케이션을 구동시킬 수 있다(S11). 해당 어플리케이션은 사용자의 입력에 따라 수동으로 구동될 수도 있고, 경로 안내 장치(100)에 구비되어 있는 GPS(190, 도2 이하생략)를 통해 사용자가 건물 내부로 인입되는 위치 정보가 감지되는 경우 자동으로 구동될 수도 있다.
이렇게 어플리케이션이 구동되면, 외부 서버(S)로부터 사용자(U)가 위치하는 건물 내부의 대상 공간(F)에 대한 맵 정보를 수신할 수 있다(S13). 맵 정보는, 캐드 설계 도면 정보와 같은 정보로 이루어질 수 있으며, 해당 설계 도면 정보에는 계단, 비상구, 이동 통로와 같은 통로 정보 및 매장, 진열대, 계산대, 편의 시설 등에 관한 시설 정보 등이 포함될 수 있다. 또한, 사용자(U)가 위치하는 대상 공간에 대한 맵 정보가 외부 서버(S)에 저장되어 있지 않을 경우, 웹 검색을 통해 해당 공간에 대한 맵 정보를 수신하여 사용자(U)의 경로 이동 장치(100)로 제공할 수 있다.
맵 정보가 제공되면 경로 이동 장치(100)의 제어부(270, 도2 이하생략)는 도 8과 같이 카메라부(130)를 통해 대상 공간에 대한 화상 정보가 수집되는지 여부를 판단할 수 있다(S15). 다시말해, 사용자(U)가 경로 안내 장치(100)를 대상 공간에 비추어 카메라부(130)를 통해 주변 영역에 대한 화상 정보를 수집하고 있는지 여부를 판단할 수 있다. 도 2에서 상술하였지만, 화상 정보는 영상 정보 및 이미지 정보를 포함할 수 있다. 특히 스테레오 카메라가 적용되는 경우, 평행식, 직교식, 수평식, 교차식, 수평 이동식 중 적어도 어느 하나로 배치되는 복수의 카메라를 통해 각 카메라의 시점 차에 의해 발생되는 입체 정보를 수집할 수 있다. 따라서, 카메라부(130)를 통해 화상 정보가 수집되면 제어부는 맵 정보와 화상 정보를 매칭시켜 가상 공간 정보를 생성하고, 해당 가상 공간 정보가 반영된 증강현실 이미지 정보(V)를 경로 안내 장치(100)의 디스플레이부(150, 도2 이하생략)에 출력시킬 수 있다(S17). 이때, 제어부는 맵 정보와 화상 정보를 비교하여 그 비교결과를 반영한 업데이트 맵 정보를 생성할 수 있다. 업데이트 맵 정보는, 건물 내부의 일부 구조 변경에 따라 특정 대상의 배치 등이 변경되는 경우, 이를 화상 정보로 확인하여 기존 맵 정보에 반영하는 정보일 수 있다. 따라서, 업데이트 맵 정보가 생성되면 제어부는 이를 통신부(110, 도2 이하생략)로 외부 서버(S)에 전송하여, 외부 서버(S)로 하여금 맵 정보가 최신 버전으로 업데이트될 수 있도록 할 수 있다.
가상 공간 정보의 생성 시, 제어부는 화상 정보를 분석하여, 화상 정보의 색상 정보, 텍스트 정보, 이미지 정보 및 입체 정보(거리 정보) 등을 필터링하여 맵 정보에 반영함으로써 입체감이 제공된 가상 공간 정보를 생성하여, 이를 3차원의 증강현실 이미지 정보(V)로 출력하도록 제어할 수 있다. 이때, 화상 정보에는 각 제품에 부착되는 바코드 정보 또는 마커 정보가 포함될 수 있다. 따라서, 증강현실 이미지 정보(V)에는 해당 바코드 정보 및 마커 정보 중 적어도 어느 하나가 해당 제품 정보와 연계되어 구현될 수 있다.
또한, 증강현실 이미지 정보(V)에서 표시되는 가상의 제품 정보 및 시설 정보는 화상 정보를 반영하는 방법도 있지만, 관리자나 사용자(U)의 취향에 따라 편집된 편집 이미지 정보로 표시될 수 있다. 편집 이미지 정보는 색상이나 형상 등을 실시간으로 수집되는 화상 정보를 그대로 반영하는 것이 아니라, 사용자(U)나 관리자에 의해 기설정된 색상 및 형성으로 변환되는 이미지 정보일 수 있다. 예컨데, 다양한 아이콘이나 테마 이미지를 반영하여 사용자(U)에게 보다 재미있는 화면 영상을 제공할 수도 있다.
가상 공간 정보에 대한 증강현실 이미지 정보(V)가 디스플레이부에 표시되면, 제어부는 사용자(U)로부터 도 10에서처럼 해당 증강현실 이미지 정보에 대하여 입력 정보(I)를 발생되는지 여부를 판단할 수 있다(S19). 입력 정보(I)는, 증강현실 이미지 정보(V)에 대한 목적지 정보 또는 제품 선택 정보를 포함할 수 있다. 사용자 입력부(170, 도2 이하생략)가 터치 스크린으로 구성되는 경우, 해당 증강현실 이미지 정보(V)에서 원하는 위치에 대하여 손가락과 같은 입력 수단으로 터치하여 목적지 정보를 입력하거나, 원하는 제품을 선택할 수 있다. 또한, 증강현실 이미지 정보(V)의 일측에 배치되는 검색 버튼(SC)을 통해 원하는 대상에 대하여 키워드를 입력하는 방식으로도 입력 정보를 발생시킬 수 있다.
이렇게 입력 정보(I)가 발생되면, 제어부는 현재 사용자 위치 정보와 입력 정보의 대상이 되는 목적지 정보 또는 제품 정보를 서로 매칭하여 사용자의 현재 위치에서 목적지까지의 이동 경로 정보(R)를 표시하도록 제어할 수 있고(S21), 목적지는 점멸이나 색상 변화 등을 통해 보다 시각적으로 차별성을 갖도록 제어할 수 있다. 사용자 위치 정보는, 카메라부를 통해 수집되는 화상 정보를 통해 판단는 방법, GPS를 통해 수신하는 방법 및 상술한 두 가지 방법을 서로 매칭하여 사용자 위치 정보를 획득할 수도 있다.
또한, 제어부는 입력 정보(I)가 제품 선택 정보를 포함하는 경우, 해당 제품에 관련 제품 상세 정보(G)를 외부 서버(S)로부터 수신하여 증강현실 이미지 정보(V)에 표시할 수 있다. 제품 상세 정보(G)에는 제품명 정보, 제품이 판매되는 매장명 정보, 제품까지의 거리 정보, 제품 가격 정보 등이 간략하게 표시될 수 있으며, 제품 상세 정보를 클릭하면, 제품 수량 정보, 원산지 정보, 재료 정보, 인터넷 가격 정보 등 보다 구체적인 정보를 표시하도록 구성할 수 있다.
뿐만 아니라, 제어부는 도 11에서처럼 이벤트 정보(A)를 증강현실 이미지 정보(V)에 포함하여 사용자에게 제공할 수 있다. 이벤트 정보(A)는, 외부 서버(S)에 의해 수신되는 이미지 정보, 동영상 정보, 플래시 정보 등을 포함할 수 있다. 해당 이벤트 정보(A)는 관리자에 의해 특정 시간 및 주기에 따라 경로 안내 장치로 전송되어 자동으로 표시될 수도 있고, 도 11에서처럼 제품 선택 정보에 따라 이에 관련된 광고 정보가 표시될 수도 있다.
이러한 이벤트 정보(A)는, 증강현실 이미지 정보(V)와 매칭되도록 대응되는 영역에 배치될 수 있다. 구체적으로, 이벤트 정보(A)는 대응되는 목적지나 제품에 주변 영역에 배치하거나, 증강현실 이미지 정보(V) 중 화상 정보의 유효도가 기준값이 낮은 영역을 이벤트 영역으로 설정하여 해당 영역에 이벤트 정보를 표시하도록 제어할 수 있다.
또한, 이벤트 정보는 도 12에서처럼 플래시 게임(P)과 같이 표시되어 해당 플래시 아이콘에 대한 입력 정보가 발생되면 사용자에 대한 포인트 정보가 생성되도록 구성될 수 있다. 이때, 포인트 정보는 사용자가 선택한 제품 선택 정보에 의해 형성되는 이동 경로 정보(R)에 매칭되도록 생성되어, 제품에 가까워질수록 높은 포인트를 받을 수 있게 구성될 수도 있다.
여기에 더하여, 이벤트 정보는 도 13에서처럼 특정 제품에 대한 할인 정보(E)를 포함하여 사용자(U)의 소비를 유도하도록 구성될 수도 있다.
사용자(U)는 자신이 선택한 제품으로의 이동 경로를 따라 이동하면서 상술한 다양한 이벤트 정보를 확인하여 보다 합리적인 소비를 실시할 수 있다.
사용자(U)가 이동 경로 정보(R)를 따라 이동하는 과정에서 제어부는 사용자(U)의 이동 방향에 따라 이동 경로 정보를 재설정할 수 있다. 이를 위해, 제어부는 화상 정보를 기초하여 사용자(U)의 이동 방향에 관한 화상 이동 방향 정보를 생성하여 이를 이동 경로 정보(R)에 반영하거나, 관성 센서부(210, 도 2 이하생략)에서 감지되는 관성 정보인 관성 이동 방향 정보를 참고하여 이동 경로 정보에 반영시킬 수도 있다. 또한, 제어부는 상술한 화상 이동 방향 정보 및 관성 이동 방향 정보를 서로 매칭시켜, 매칭된 이동 방향 정보를 이동 경로 정보에 실시간으로 반영시킬 수 있다.
따라서, 제어부는 사용자(U)가 이동 경로 정보(R)를 따라 이동하는 중 어떠한 이유에 의해 해당 이동 경로를 벗어나는 상황이 발생되면, 화상 이동 방향 정보 또는 관성 이동 방향 정보를 참고하여 이동 경로 정보를 재설정할 수 있다. 또한, 해당 경로 변경을 알리기 위해 제어부는 해당 내용을 음성 정보와 같은 음향 정보로 스피커부(250, 도2 이하생략)를 통해 출력시키거나, 도시하지 않은 진동 모듈을 구동시킬 수도 있다. 뿐만 아니라, 제어부는 사용자(U)의 음성 명령 정보가 마이크로 수신되는 경우, 이에 대응되는 기능이 자동으로 활성화되도록 제어할 수 있으며, 사용자의 쇼핑 간에 발생되는 모든 이벤트 정보 및 안내 정보를 사용자 설정에 따라 스피커부로 음성 출력하도록 제어할 수 있다.
이렇게 경로 안내 장치(100)는 사용자(U)의 소비 및 이동 패턴에 따른 다양한 안내 정보를 사용자(U)에게 제공을 하고, 사용자(U)에 의해 이루어지는 제품 선택 정보 및 이동 경로 정보(R)를 수집하여 이에 대한 소비 패턴 정보를 생성하여 이를 외부 서버(S)로 전송시킬 수 있다. 이에 따라, 관리자는 다수 사용자의 소비 패턴 정보를 각각 수집하여 시설물 이용에 대한 빅데이터로 활용함에 따라 보다 효율적인 건물 관리 시스템을 구축할 수 있다.
상기와 같은 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법는 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.
100: 경로 안내 장치 250: 스피커부
110: 통신부 270: 제어부
130: 카메라부 300: 스마트 글래스
150: 디스플레이부 400: 센서 장치
170: 사용자 입력부
190: GPS
210: 관성 센서부
230: 메모리부

Claims (22)

  1. 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 통신부;
    상기 대상 공간에 대한 화상 정보를 수집하는 카메라부;
    증강현실 이미지 정보를 출력하는 디스플레이부; 및
    상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하여 이를 상기 증강현실 이미지 정보로 출력하도록 제어하는 제어부;를 포함하는, 증강현실을 이용한 경로 안내 장치.
  2. 제1항에 있어서,
    상기 카메라부는,
    스트레오 카메라를 포함하고,
    상기 제어부는,
    상기 스트레오 카메라를 통해 수집되는 상기 화상 정보를 통해 상기 가상 공간 정보의 입체 정보를 생성하는, 증강현실을 이용한 경로 안내 장치.
  3. 제1항에 있어서,
    사용자의 입력에 따른 입력 정보를 감지하는 사용자 입력부를 더 포함하고,
    상기 제어부는,
    상기 증강현실 이미지 정보에 대한 상기 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하여 이를 상기 가상 공간 정보에 반영하는, 증강현실을 이용한 경로 안내 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 화상 정보를 기초하여 상기 사용자의 위치에 관한 사용자 위치 정보 판단하고, 상기 사용자 위치 정보를 참고하여 상기 이동 경로 정보를 생성하는, 증강현실을 이용한 경로 안내 장치.
  5. 제3항에 있어서,
    상기 사용자의 사용자 위치 정보를 감지하는 GPS를 더 포함하고,
    상기 제어부는,
    상기 사용자 위치 정보를 기초하여 상기 이동 경로 정보를 생성하는, 증강현실을 이용한 경로 안내 장치.
  6. 제3항에 있어서,
    상기 제어부는,
    상기 입력 정보가 제품 선택 정보를 포함하는 경우, 이에 대응되는 이동 경로 정보를 생성하고, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 이를 출력하도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여, 이에 대한 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  8. 제3항에 있어서,
    상기 제어부는,
    상기 화상 정보에 기초하여 상기 화상 정보 대비 상기 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하고, 이를 상기 이동 경로 정보에 반영하는, 증강현실을 이용한 경로 안내 장치.
  9. 제8항에 있어서,
    상기 사용자의 이동 방향에 따라 변화되는 관성 정보인 관성 이동 방향 정보를 감지하는 관성 센서부를 더 포함하고,
    상기 제어부는,
    상기 화상 이동 방향 정보 및 상기 관성 이동 방향 정보를 매칭하여 이를 상기 이동 경로 정보에 반영하는, 증강현실을 이용한 경로 안내 장치.
  10. 제3항에 있어서,
    상기 제어부는,
    통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭시켜 대응되는 영역에 출력되도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하고, 상기 이벤트 정보를 상기 이벤트 영역에 출력되도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  12. 제1항에 있어서,
    상기 제어부는,
    상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여 상기 외부 서버에 전송하도록 제어하는, 증강현실을 이용한 경로 안내 장치.
  13. 통신부를 통해 외부 서버로부터 대상 공간에 대한 맵 정보를 수신하는 단계;
    카메라부를 통해 상기 대상 공간에 대한 화상 정보를 수집하는 단계; 및
    상기 맵 정보 및 상기 화상 정보를 기초하여 상기 대상 공간에 대한 가상 공간 정보를 생성하고, 이에 대한 증강현실 이미지 정보를 디스플레이부에 출력시키는 단계;를 포함하는, 증강현실을 이용한 경로 안내 방법.
  14. 제13항에 있어서,
    사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  15. 제14항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    상기 화상 정보를 기초하여 상기 사용자의 위치에 관한 사용자 위치 정보를 판단하여 이를 상기 이동 경로 정보에 반영하는 단계를 포함하는, 증강현실을 이용한 경로 안내 방법.
  16. 제14항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    상기 화상 정보에 기초하여 상기 화상 정보 대비 상기 사용자의 이동 방향 변화에 대한 화상 이동 방향 정보를 생성하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  17. 제16항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    관성 센서부를 통해 상기 사용자의 이동에 의해 변화되는 관성 정보인 관성 이동 방향 정보가 감지되는 경우, 상기 화상 이동 방향 정보와 매칭하여 이를 상기 이동 경로 정보에 반영하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  18. 제14항에 있어서,
    상기 사용자 입력부로부터 상기 증강현실 이미지 정보에 대한 입력 정보가 발생되는 경우, 이에 따른 이동 경로 정보를 생성하는 단계는,
    상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  19. 제16항에 있어서,
    상기 입력 정보가 제품 선택 정보를 포함하는 경우, 상기 외부 서버로부터 대응되는 제품의 제품 상세 정보를 수신하여 상기 이동 경로 정보에 반영하는 단계는,
    상기 제품 선택 정보 및 상기 이동 경로 정보를 수집하여 이에 대한 소비 패턴 정보를 생성하고, 이를 상기 외부 서버로 전송하는 단계를 포함하는, 증강현실을 이용한 경로 안내 방법.
  20. 제13항에 있어서,
    상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
  21. 제20항에 있어서,
    상기 통신부를 통해 상기 외부 서버로부터 이벤트 정보가 수신되는 경우, 이를 상기 가상 공간 정보와 매칭되도록 대응되는 영역에 출력시키는 단계는,
    상기 가상 공간 정보 중, 상기 화상 정보의 유효도가 기준값보다 낮은 영역을 이벤트 영역으로 설정하는 단계를 포함하는, 증강현실을 이용한 경로 안내 방법.
  22. 제13항에 있어서,
    상기 맵 정보와 상기 화상 정보를 매칭하여, 상기 화상 정보가 반영된 업데이트 맵 정보를 생성하여, 이를 통신부로 상기 외부 서버에 전송시키는 단계를 더 포함하는, 증강현실을 이용한 경로 안내 방법.
KR1020160179701A 2016-12-27 2016-12-27 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법 KR20180075843A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160179701A KR20180075843A (ko) 2016-12-27 2016-12-27 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법
PCT/KR2017/003484 WO2018124397A1 (ko) 2016-12-27 2017-03-30 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179701A KR20180075843A (ko) 2016-12-27 2016-12-27 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Publications (1)

Publication Number Publication Date
KR20180075843A true KR20180075843A (ko) 2018-07-05

Family

ID=62709774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179701A KR20180075843A (ko) 2016-12-27 2016-12-27 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법

Country Status (2)

Country Link
KR (1) KR20180075843A (ko)
WO (1) WO2018124397A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009031B1 (ko) * 2018-09-07 2019-08-08 네이버랩스 주식회사 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템
WO2020190082A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 이동 단말기를 이용한 내비게이션 서비스 제공 방법 및 이동 단말기

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
KR101667722B1 (ko) * 2010-10-26 2016-10-28 엘지전자 주식회사 이동 단말기의 정보 표시 장치 및 그 방법
KR20130091991A (ko) * 2012-02-09 2013-08-20 경기과학기술대학교 산학협력단 영상패턴인식을 이용한 증강 현실 장치
US9264860B2 (en) * 2013-03-14 2016-02-16 Samsung Electronics Co., Ltd. Communication system with indoor navigation mechanism and method of operation thereof
KR20150088662A (ko) * 2014-01-24 2015-08-03 한국전자통신연구원 증강현실 특이점을 이용한 이동 길 안내 서비스 제공 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009031B1 (ko) * 2018-09-07 2019-08-08 네이버랩스 주식회사 증강현실을 이용한 실내 내비게이션을 위한 방법 및 시스템
WO2020190082A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 이동 단말기를 이용한 내비게이션 서비스 제공 방법 및 이동 단말기

Also Published As

Publication number Publication date
WO2018124397A1 (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
CN105677138B (zh) 移动终端和用于移动终端的控制方法
US10395116B2 (en) Dynamically created and updated indoor positioning map
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
US10928914B2 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
EP2672232B1 (en) Method for Providing Navigation Information and Server
US20150379770A1 (en) Digital action in response to object interaction
CN110487262A (zh) 基于增强现实设备的室内定位方法及系统
CN105306084A (zh) 眼镜型终端及其控制方法
US20170140457A1 (en) Display control device, control method, program and storage medium
EP2672459A1 (en) Apparatus and method for providing augmented reality information using three dimension map
CN105310604A (zh) 机器人清洁系统以及控制机器人清洁器的方法
CN109074154A (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
US11734898B2 (en) Program, information processing method, and information processing terminal
CN113168279A (zh) 影像显示装置和方法
KR101796276B1 (ko) 시각장애인을 위한 보행 안내 장치 및 시스템
KR102351584B1 (ko) 시각장애인을 위한 길안내 서비스 시스템
JP2012108053A (ja) 携帯情報端末装置及び制御プログラム
CN113590070A (zh) 导航界面的显示方法、装置、终端及存储介质
KR20180075843A (ko) 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법
KR102027565B1 (ko) 3차원 캐릭터를 이용한 증강현실 도보 길안내 서비스 제공 방법
JP2006101013A (ja) 案内情報表示装置
Oliveira The path force feedback belt
CN113574491A (zh) 影像显示装置和影像显示方法