KR102074684B1 - 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법 - Google Patents

위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법 Download PDF

Info

Publication number
KR102074684B1
KR102074684B1 KR1020180032834A KR20180032834A KR102074684B1 KR 102074684 B1 KR102074684 B1 KR 102074684B1 KR 1020180032834 A KR1020180032834 A KR 1020180032834A KR 20180032834 A KR20180032834 A KR 20180032834A KR 102074684 B1 KR102074684 B1 KR 102074684B1
Authority
KR
South Korea
Prior art keywords
image
information
user terminal
location information
providing
Prior art date
Application number
KR1020180032834A
Other languages
English (en)
Other versions
KR20190110859A (ko
Inventor
성창건
Original Assignee
(주)브이알에이포인트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)브이알에이포인트 filed Critical (주)브이알에이포인트
Priority to KR1020180032834A priority Critical patent/KR102074684B1/ko
Publication of KR20190110859A publication Critical patent/KR20190110859A/ko
Application granted granted Critical
Publication of KR102074684B1 publication Critical patent/KR102074684B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Navigation (AREA)

Abstract

본 발명의 일 실시예는 근거리통신장치인 와이파이 단말 및 블루투스 단말 중 하나 이상을 활용하여, GPS 정보의 오차를 보정하여 정확한 위치를 수집하고, 사용자 단말을 통해 사용자의 방향정보를 수집하여 정확한 AR 또는 VR 영상을 제공할 수 있으며, 이를 통해, 미공된 건설 현장에 적용하는 경우, 외부에서 바라볼 때는 완공되었을 때 건물의 외부모습을 제공하고, 현장 내로 사용자가 이동하는 경우, 완공되었을 때, 건물의 내부 모습을 제공할 수 있다. 추가로, 유적지나 유형 문화재가 존재하는 또는 존재 했던 곳을 방문하였을 때, 특정 위치에서 특정 방향으로 촬영을 할 경우, 지금은 소실되었으나 예전에 존재하였던 유적지를 AR 영상으로 제공할 수 있다.

Description

위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법 {METHOD FOR PROVIDING AR OR VR IMAGE BASED ON LOCATION INFORMATION AND DIRECTION INFORMATION}
본 발명은 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법에 관한 것으로서, 보다 상세하게는, 특정 위치나 장소에 대한 AR 또는 VR 영상을 제공함에 있어서, 근거리통신장치와 사용자 단말을 활용하여 정확한 위치 및 방향을 인식하고 해당 위치 및 방향에서 바라보는 시야에 대응하는 AR 또는 VR 영상을 제공하는 방법에 관한 것이다.
AR 또는 VR 영상을 제공하는 것에 대한 연구는 지속적으로 활발하게 진행되고 있으며, 다양한 형태로 활용되고 있다.
일 예로, '포켓몬 고' 게임의 경우, AR 영상을 제공하여 게임에 현실감을 높이고 있으나, 해당 AR은 단순하게 사용자가 소지한 단말의 카메라를 통해 보여지는 영상에 특정 케릭터를 오버랩하는 수준에 지나지 않아, 사용자로 하여금 몰입도를 높이는 효과가 크지 않은 수준이였다.
또한, 사용자 단말의 카메라가 아닌 네트워크를 이용하여 현 위치에 대한 AR 또는 VR 영상을 제공하기에는 GPS의 불안정성으로 인해 많은 어려움이 존재하였다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 근거리통신장치를 이용하여 사용자의 정확한 위치를 파악하고, 사용자 단말을 이용하여 현재 사용자가 단말을 통해 바라보는 방향을 파악하여, 정확한 AR 또는 VR 영상을 제공하고자 한다.
정확한 위치정보 및 방향정보를 통해, 사용자가 바라보는 시각에 맞춰 영상을 제공하고 실내 및 실외를 구분하여 영상을 제공하는 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따라, 서버에 의해 수행되는 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법은, 사용자 단말로부터 AR 또는 VR 영상 어플리케이션에 대한 실행 요청을 수신하고 상기 사용자 단말로부터 근거리통신장치들의 통신정보에 대한 패턴정보를 수신하고, 기 등록된 패턴정보 중 매칭되는 패턴정보에 대한 위치정보를 사용자 단말로 제공하고 상기 사용자 단말로부터 상기 사용자 단말의 방향 정보를 수신하고 인식하고 상기 사용자 단말의 방향 정보 및 상기 위치정보에 대응하는 AR 또는 VR 영상을 사용자 단말로 제공할 수 있다.
또한, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하는 서버에 있어서, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 프로그램이 저장된 메모리 및 상기 프로그램을 실행하는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램의 실행에 따라, 사용자 단말로부터 AR 또는 VR 영상 어플리케이션에 대한 실행 요청을 수신하고, 상기 사용자 단말로부터 근거리통신장치들의 통신정보에 대한 패턴정보를 수신하고, 기 등록된 패턴정보 중 매칭되는 패턴정보에 대한 위치정보를 사용자 단말로 제공하고, 상기 사용자 단말로부터 상기 사용자 단말의 방향 정보 및 상기 위치정보에 대응하는 위치에서 상기 사용자 단말의 카메라를 통해 획득된 전방의 이미지를 수신하고 상기 사용자 단말의 방향 정보, 상기 위치정보 및 상기 전방의 이미지에 대응하는 AR 또는 VR 영상을 사용자 단말로 제공할 수 있다.
본 발명의 일 실시예는, 근거리통신장치인 와이파이 단말 및 블루투스 단말 중 하나 이상을 활용하여, GPS 정보의 오차를 보정하여 정확한 위치를 수집하고, 사용자 단말을 통해 사용자의 방향정보를 수집하여 정확한 AR 또는 VR 영상을 제공할 수 있다.
이를 통해, 미공 된 건설 현장에 적용하는 경우, 외부에서 바라볼 때는 완공되었을 때 건물의 외부모습을 제공하고, 현장 내로 사용자가 이동하는 경우, 완공되었을 때, 건물의 내부 모습을 제공할 수 있다.
추가로, 유적지나 유형 문화재가 존재하는 또는 존재 했던 곳을 방문하였을 때, 특정 위치에서 특정 방향으로 촬영을 할 경우, 지금은 소실되었으나 예전에 존재하였던 유적지를 AR 영상으로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따르는, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하기 위한 시스템의 구성도 이다.
도 2은 본 발명의 일 실시예에 따르는, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하기 위해 사전에 정보를 수집하는 과정을 설명하기 위한 순서도 이다.
도 3는 본 발명의 일 실시예에 따르는, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 설명하기 위한 순서도 이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다.
또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하 도 1을 참조하여 본 발명의 일 실시예에 따르는, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하기 위한 시스템(10)에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는 시스템(10)은 서버(100)와 사용자 단말(200)을 포함할 수 있다. 서버(100)와 사용자 단말(200)은 유/무선 네트워크를 통해 연결될 수 있다.
서버(100)는 관리자 단말(미도시)로부터, AR 또는 VR 영상을 제공할 장소의 주변 지역의 와이파이 단말 및 블루투스 단말을 포함하는 근거리통신장치들의 통신정보 및 위치정보를 수신할 수 있다. 서버(100)는 수신한 근거리통신장치들의 통신정보에 대한 패턴을 저장할 수 있다.
서버(100)는 사용자 단말(200)의 AR 또는 VR 영상을 제공하는 어플리케이션 실행 후, 사용자 단말(200)로부터 수집되어 제공되는 근거리통신장치들의 통신정보에 대한 패턴을 수신하고 기 저장된 패턴정보 중 매칭되는 패턴정보를 검색하고, 매칭되는 패턴정보가 존재하는 경우, 해당 패턴정보가 갖는 위치정보를 사용자 단말(200)로 제공할 수 있다.
이후, 서버(100)는 사용자 단말(200)로부터 방향정보 및 단말에 설치된 카메라를 통해 수집되는 전방 이미지를 수신하여, 이에 대응하는 AR 또는 VR 영상을 검색하여 매칭되는 AR 또는 VR 영상을 사용자 단말(200)로 제공할 수 있다.
사용자 단말(200)은 사용자가 소지하는 디바이스 또는 특정장소에 설치된 컴퓨팅 장치가 될 수 있으며, AR 또는 VR 영상제공 어플리케이션이 설치되어 있을 수 있다. 사용자 단말(200)은 컴퓨팅 장치 및 컴퓨팅 장치에 연결된 VR 기기와 컨트롤러를 포함할 수 있으며, VR 기기는 사용자의 머리에 착용하는 HMD 기기 일 수 있으나, 그 외의 다양한 형태가 될 수 있다.
또한, 사용자 단말(200)은 카메라, 가속도 센서, 자이로 센서 및 지자기 센서를 포함할 수 있으며, 이를 통해 방향정보를 수집할 수 있으며, 무선 네트워크를 통해 상시 네트워크에 연결되어 근거리통신장치들로부터 네트워크 식별정보 및 전파의 세기를 수집할 수 있다.
관리자 단말(미도시)은, 해당 단말을 소지한 관리자가 AR이나 VR 영상을 제공할 장소의 주변 지역에서, 사용자들이 그 AR/VR을 시청하기 위해 지나갈 예상 지역이나 예상경로들을 이동하면서, 주변에 설치된 근거리통신장치들의 통신정보를 수집하고, 위치정보와 함께 이들을 서버로 전송할 수 있다.
이하 도 2를 참조하여 본 발명의 일 실시예에 따르는, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하기 위해 사전에 정보를 수집하는 과정에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하기 위해서는 사전에 사용자에게 AR 또는 VR 영상을 제공할 장소의 주변 지역의 정보 수집이 필요할 수 있다.
이에 따라, 정보를 수집하기 위해, 애플리케이션 관리자가 AR이나 VR 영상을 제공할 장소의 주변 지역에서, 사용자들이 AR 또는 VR 영상을 시청하기 위해 지나갈 예상 지역이나 예상경로들을 이동할 수 있다(S410).
즉, 'A' 지점에 대한 AR 또는 VR 영상을 제공할 장소를 기준으로 하여, 도보로 이동가능 한 경로 전체를 예상 경로로 하여 각 위치 및 방향에서 바라본 'A' 지점에 대한 이미지를 수집할 수 있다.
애플리케이션 관리자가 예상경로들을 이동하면서, 주변에 설치된 근거리통신장치들의 통신정보를 수집하고, 위치정보와 함께 이들을 서버로 전송할 수 있다(S420).
이때, 수집되는 통신정보는 근거리통신장치가 형성하는 네트워크의 식별정보 및 사용자 단말(200)로 수신되는 근거리통신장치의 전파 세기가 될 수 있으며, 근거리통신장치는, 와이파이 단말 및 블루투스 단말이 될 수 있다.
즉, 근거리 네트워크 단말(와이파이 단말 및 블루투스 단말)이 형성하는 네트워크의 식별정보(SSID 또는 BSSID), 애플리케이션 관리자 단말에서 인식되는 근거리 네트워크 단말의 전파세기(RSSI)가 수집될 수 있다.
예를 들어, 관리자 단말 또는 사용자 단말(200)'A'지점의 북쪽 위치에서는 와이파이 단말A1으로부터 50 RSSI가 수신되며, 블루투스 단말 B1으로부터 10 RSSI가 수신되고 있음. 'A'지점의 남쪽 위치에서는 와이파이 단말C1으로부터 100 RSSI가 수신되며 와이파이 단말D1으로부터 70 RSSI가 수신될 수 있다.
서버(100)는 각 위치 별로 근거리통신장치들의 통신정보 패턴들을 저장할 수 있다(S430).
즉, 관리자 단말을 통해 AR 또는 VR 영상을 제공할 위치 별로 통신정보 및 위치정보를 수신하고, 통신정보 및 위치정보 쌍을 패턴정보로서 저장하되, 관리자 단말에 의해 수신된 위치정보는 AR 또는 VR 영상으로 표현되는 객체가 실제로 배치되는 위치로부터 소정 범위 내의 근거리 위치정보이며, 사람이 다닐 수 있는 인도 위의 위치정보가 될 수 있다.
이하 도 3을 참조하여, 본 발명의 일 실시예에 따르는, 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법에 대해 구체적으로 설명한다.
서버(100)는사용자 단말(200)로부터 AR 또는 VR 영상 어플리케이션에 대한 실행 요청을 수신할 수 있다(S301).
서버(100)가 실행 요청을 수신하는 경우, AR 또는 VR 영상을 제공받기 위한 가이드 정보를 사용자 단말(200)로 제공할 수 있으며, 가이드 정보는 특정 위치에서 특정 장소를 향하는 방향으로 사용자 단말(200)을 바라보도록 하는 가이드 메시지가 될 수 있다.
사용자 단말(200)에서 AR 또는 VR 영상 어플리케이션이 실행되면, 사용자 단말(200)은 AR 또는 VR 영상 어플리케이션을 통해 주변에 존재하는 근거리통신장치들의 통신정보에 대한 패턴정보를 수집할 수 있다(S302).
서버(100)는 사용자 단말(200)로부터 수집된 근거리통신장치들의 통신정보에 대한 패턴정보를 수신할 수 있다(S303).
서버(100)는 패턴정보를 수신한 후, 기 등록된 패턴 정보 중 일치하는 패턴 정보를 검색하고 패턴 정보에 대한 위치 정보를 수집할 수 있다(S304).
이후, 서버(100)는 수집된 위치 정보를 사용자 단말(200)로 제공할 수 있다(S305).
즉, 사용자 단말(200)로부터 근거리통신장치들의 통신정보에 대한 패턴정보를 수신하고, 기 등록된 패턴정보 중 매칭되는 패턴정보에 대한 위치정보를 사용자 단말(200)로 제공할 수 있다.
본 발명의 추가 실시예로서, 서버(100)는 매칭되는 패턴정보에 대한 위치정보를 고려하여 사용자 단말(200)로부터 전달받은 GPS 정보를 보정할 수 있다.
예를 들어, 일반적으로 수신되는 GPS 정보는 최대 90M 정도의 오차가 발생될 정도로 정확도가 떨어지는 경우도 있으며, 도심이나 숲이 많은 곳 등에서는 GPS 송수신 신호를 방해하는 전파방해요소들이 존재하며, 특히, 빌딩이 운집한 곳에서 오류가 많이 발생될 수 있다.
이에 따라, 사전에 수집된 근거리통신장치들의 통신정보에 대한 패턴정보의 위치정보를 통해 사용자 단말(200)로부터 제공받은 GPS 정보를 보정하면 사용자 단말(200)의 현재 위치에 대한 위치정보 파악의 정확도가 높아질 수 있다.
이후, 서버(100)는 사용자 단말(200)로부터 사용자 단말(200)의 방향 정보를 수신하고 인식할 수 있다.
즉, 사용자 단말(200)은 방향정보 및 사용자 단말(200)의 카메라를 통해 전방 이미지를 수집할 수 있다(S306). 이후, 서버(100)는 사용자 단말(200)로부터 수집된 방향정보 및 이미지를 수신할 수 있다(S307).
이때, 사용자 단말(200)에 구비 된, 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나에 의해 측정된 값을 사용자 단말(200)로부터 수신하여 사용자 단말(200)의 방향 정보로 인식할 수 있다.
서버(100)는 사용자 단말(200)로부터 수신된 방향 정보를 인식한 이후, 사용자 단말(200)로부터 사용자 단말(200)에 구비된 카메라를 통해 촬영된 전방의 이미지를 수신할 수 있다.
본 발명의 추가 실시예로서, 서버(100)는 사용자 단말(200)로부터 수신된 전방의 이미지를 고려하여 사용자 단말(200)의 방위 값을 추출하고, 방위 값을 고려하여 사용자 단말(200)로부터 수신된 방향정보를 보정할 수 있다.
단말의 자이로 센서는 상대적인 방향 값에 관한 것이며 절대적인 방위 값(북위00도)를 알려주는 것이 아니므로 부정확하며, 단말에 지자기센서가 포함되어 절대적인 방위 값을 측정하기는 하나, 현재 상용화된 단말의 지자기센서의 정확도는 낮은 수준으로 이미지로부터 추출한 방위 값을 기초로 방향정보를 보정하면 정확도가 높은 방향정보를 수집할 수 있다.
서버(100)는 사용자 단말(200)로부터 수신된 이미지에 대해 기 등록된 이미지 중 일치하는 이미지를 검색하고 사용자 단말의 위치 및 방향을 인식할 수 있다(S308).
서버(100)에 기 등록된 이미지들 중 전방의 이미지에 매칭되는 이미지가 존재하는 경우, 매칭되는 이미지에 대응하는 방위 값을 추출하고, 서버(100)에 기 등록된 이미지들 중 전방의 이미지에 매칭되는 이미지가 존재하지 않는 경우, 전방의 이미지와 픽셀 특징 값이 기 설정된 범위 이내인 유사 이미지를 검색하고, 유사 이미지가 검색된 경우, 전방의 이미지와 유사 이미지 간의 비교를 통해 전방의 이미지가 유사 이미지로부터 어느 정도의 방위각 차이를 갖는지 검출한 후, 유사 이미지의 방위 값을 기준으로 전방의 이미지에 대한 방위 값을 추출할 수 있다.
즉, 서버(100)는 기 등록 이미지들 중 사용자 단말(200)이 보낸 이미지와 완전히 일치하는 것이 없는 경우 유사한 이미지를 찾고, 유사한 이미지와 사용자 단말(200)이 보낸 이미지를 비교하여, 유사한 이미지로부터 어느 방향으로 어느 정도의 각도만큼 이동하였을 경우 사용자 단말(200)이 보낸 이미지가 나오는지 파악하여, 사용자 단말(200)이 보낸 이미지가 나타내는 방향 값을 찾을 수 있다.
이후, 서버(100)는 사용자 단말(200)의 방향 정보 및 위치정보에 대응하는 AR 또는 VR 영상을 사용자 단말(200)로 제공할 수 있다(S309).
AR 또는 VR 영상이 제공될 때, 사용자 단말(200)의 위치정보 또는 방향정보가 변화하는 경우, 변화된 위치정보 또는 방향정보에 대한 변화 값을 수신하고, 변화 값에 대응하는 AR 또는 VR 영상을 제공할 수 있다.
사용자 단말(200)이 임의의 건축물을 건설하거나 건설할 예정인 공사 현장의 부근에 존재할 때, AR 또는 VR 영상은 건축물에 대한 미래 완공 영상으로 제공되며, 사용자 단말이 공사 현장 방향으로 비추어질 경우 미래 완공 영상 내의 완공된 건축물 영상이 제공될 수 있다.
이때, 미래 완공 영상은 완공된 건축물의 외관 영상 및 완공된 건축물의 내부 영상을 포함할 수 있으며, 미래 완공 영상을 구성하는 각각의 세부 영상은 고유의 위치정보를 포함할 수 있다.
즉, 사용자 단말(200)의 위치정보가 미래 완공 영상을 구성하는 세부 영상 중 어느 것의 위치정보와 대응하는지 따라, 사용자 단말(200)로 완공된 건축물의 외관 영상 또는 내부 영상을 제공할 수 있다.
또한, 미래 완공 영상은 현재 시각 및 현재 계절에 따라, 달라지는 배경 영상을 포함할 수 있으며, 이를 적용한 영상을 제공할 수 있다.
본 발명의 추가 실시예로, 유적지나 유형 문화재를 방문하는 경우, 특정 위치에서 특정 방향으로 사용자 단말(200)을 위치하는 경우, 현재 소실되었으나, 예전에 존재하였던 유적지 또는 유형 문화재에 대한 AR 영상을 제공할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능 한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 시스템
100: 사용자 단말 200: 서버

Claims (15)

  1. 서버에 의해 수행되는 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법에 있어서,
    (a) 사용자 단말로부터 AR 또는 VR 영상 어플리케이션에 대한 실행 요청을 수신하는 단계;
    (b) 상기 사용자 단말로부터 근거리통신장치들의 통신정보에 대한 패턴정보를 수신하고, 기 등록된 패턴정보 중 매칭되는 패턴정보에 대한 위치정보를 사용자 단말로 제공하는 단계;
    (c) 상기 사용자 단말로부터 상기 사용자 단말의 방향 정보를 수신하고 인식하는 단계; 및
    (d) 상기 사용자 단말의 방향 정보 및 상기 위치정보에 대응하는 AR 또는 VR 영상을 사용자 단말로 제공하는 단계;
    를 포함하되,
    상기 (a) 단계 이전에,
    관리자 단말을 통해 상기 AR 또는 VR 영상을 제공할 위치 별로 상기 복수의 통신정보 및 상기 위치정보를 수신하는 단계; 및
    상기 복수의 통신정보 및 상기 위치정보 쌍을 상기 패턴정보로서 저장하는 단계;
    를 포함하며,
    상기 관리자 단말에 의해 수신된 위치정보는 사람이 다닐 수 있는 인도 위의 위치정보인 것이고,
    상기 (c) 단계는,
    상기 사용자 단말로부터 수신된 방향 정보를 인식한 이후,
    상기 사용자 단말로부터 상기 사용자 단말에 구비된 카메라를 통해 촬영된 전방의 이미지를 수신하는 단계;
    상기 전방의 이미지를 고려하여 상기 사용자 단말의 방위 값을 추출하되, 상기 서버에 기 등록된 이미지들 중 상기 전방의 이미지에 매칭되는 이미지가 존재하는 경우, 상기 매칭되는 이미지에 대응하는 방위 값을 추출하고, 상기 서버에 기 등록된 이미지들 중 상기 전방의 이미지에 매칭되는 이미지가 존재하지 않는 경우, 상기 전방의 이미지와 픽셀 특징 값이 기 설정된 범위 이내인 유사 이미지를 검색하고, 상기 유사 이미지가 검색된 경우, 상기 전방의 이미지와 상기 유사 이미지 간의 비교를 통해 상기 전방의 이미지가 상기 유사 이미지로부터 어느 정도의 방위각 차이를 갖는지 검출한 후, 상기 유사 이미지의 방위 값을 기준으로 상기 전방의 이미지에 대한 방위 값을 추출하는 단계; 및
    상기 방위 값을 고려하여 상기 방향정보를 보정하는 단계; 를 더 포함하는 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  2. 제 1 항에 있어서,
    상기 통신정보는,
    근거리통신장치가 형성하는 네트워크의 식별정보 및 상기 사용자 단말로 수신되는 근거리통신장치의 전파 세기인 것이고,
    상기 근거리통신장치는,
    와이파이 단말 또는 블루투스 단말인 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  3. 제 1 항에 있어서,
    상기 관리자 단말에 의해 수신된 위치정보는,
    AR 또는 VR 영상으로 표현되는 객체가 실제로 배치되는 위치로부터 소정 범위 내의 근거리 위치정보인 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  4. 제 1 항에 있어서,
    상기 (a) 단계는,
    상기 실행 요청을 수신한 후,
    상기 AR 또는 VR 영상을 제공받기 위한 가이드 정보를 상기 사용자 단말로 제공하는 단계를 더 포함하되,
    상기 가이드 정보는 특정 위치에서 특정 장소를 향하는 방향으로 단말을 바라보도록 하는 가이드 메시지인 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  5. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 위치 정보를 고려하여 상기 사용자 단말로부터 전달받은 GPS 정보를 보정하는 단계를 더 포함하는,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  6. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 사용자 단말에 구비 된,
    가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나에 의해 측정된 값을 상기 사용자 단말로부터 수신하여 상기 사용자 단말의 방향 정보를 인식하는 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 사용자 단말의 위치정보 또는 방향정보가 변화하는 경우,
    변화된 위치정보 또는 방향정보에 대한 변화 값을 수신하고, 상기 변화 값에 대응하는 AR 또는 VR 영상을 제공하는 단계를 포함하는,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  10. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 사용자 단말이 임의의 건축물을 건설하거나 건설할 예정인 공사 현장의 부근에 존재할 때,
    상기 AR 또는 VR 영상은 상기 건축물에 대한 미래 완공 영상으로 제공되며,
    상기 사용자 단말이 상기 공사 현장 방향으로 비추어질 경우 상기 미래 완공 영상 내의 완공된 건축물 영상이 제공되는 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  11. 제 10 항에 있어서,
    상기 미래 완공 영상은 완공된 건축물의 외관 영상 및 완공된 건축물의 내부 영상을 포함하며,
    상기 미래 완공 영상을 구성하는 각각의 세부 영상은 고유의 위치정보를 포함하는 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  12. 제 10 항에 있어서,
    상기 (d) 단계는,
    상기 사용자 단말의 위치정보가 상기 미래 완공 영상을 구성하는 세부 영상 중 어느 것의 위치정보와 대응하는지 따라, 상기 사용자 단말로 상기 완공된 건축물의 외관 영상 또는 내부 영상을 제공하는 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  13. 제 10 항에 있어서,
    상기 미래 완공 영상은 현재 시각 및 현재 계절에 따라, 달라지는 배경 영상을 더 포함하는 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법.
  14. 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하는 서버에 있어서,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 프로그램이 저장된 메모리 및
    상기 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라,
    관리자 단말을 통해 상기 AR 또는 VR 영상을 제공할 위치 별로 복수의 통신정보 및 위치정보를 수신하고, 상기 복수의 통신정보 및 상기 위치정보 쌍을 상기 패턴정보로서 저장하고,
    사용자 단말로부터 AR 또는 VR 영상 어플리케이션에 대한 실행 요청을 수신하고,
    상기 사용자 단말로부터 근거리통신장치들의 통신정보에 대한 패턴정보를 수신하고, 기 등록된 패턴정보 중 매칭되는 패턴정보에 대한 위치정보를 사용자 단말로 제공하고,
    상기 사용자 단말로부터 상기 사용자 단말의 방향 정보 및 상기 위치정보에 대응하는 위치에서 상기 사용자 단말의 카메라를 통해 획득된 전방의 이미지를 수신하고,
    상기 전방의 이미지를 고려하여 상기 사용자 단말의 방위 값을 추출하되, 상기 서버에 기 등록된 이미지들 중 상기 전방의 이미지에 매칭되는 이미지가 존재하는 경우, 상기 매칭되는 이미지에 대응하는 방위 값이 추출되고,
    상기 서버에 기 등록된 이미지들 중 상기 전방의 이미지에 매칭되는 이미지가 존재하지 않는 경우, 상기 전방의 이미지와 픽셀 특징 값이 기 설정된 범위 이내인 유사 이미지를 검색하고, 상기 유사 이미지가 검색된 경우, 상기 전방의 이미지와 상기 유사 이미지 간의 비교를 통해 상기 전방의 이미지가 상기 유사 이미지로부터 어느 정도의 방위각 차이를 갖는지 검출한 후, 상기 유사 이미지의 방위 값을 기준으로 상기 전방의 이미지의 방위 값이 추출되고,
    상기 방위 값을 고려하여 상기 방향정보를 보정하고,
    상기 사용자 단말의 방향 정보, 상기 위치정보 및 상기 전방의 이미지에 대응하는 AR 또는 VR 영상을 사용자 단말로 제공하되,
    상기 관리자 단말에 의해 수신된 위치정보는 사람이 다닐 수 있는 인도 위의 위치정보인 것인,
    위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하는 서버.
  15. 제 1 항에 따르는 위치정보와 방향정보를 기반으로 한 AR 또는 VR 영상 제공 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020180032834A 2018-03-21 2018-03-21 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법 KR102074684B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180032834A KR102074684B1 (ko) 2018-03-21 2018-03-21 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180032834A KR102074684B1 (ko) 2018-03-21 2018-03-21 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법

Publications (2)

Publication Number Publication Date
KR20190110859A KR20190110859A (ko) 2019-10-01
KR102074684B1 true KR102074684B1 (ko) 2020-02-20

Family

ID=68207982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032834A KR102074684B1 (ko) 2018-03-21 2018-03-21 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법

Country Status (1)

Country Link
KR (1) KR102074684B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210131581A (ko) 2020-04-24 2021-11-03 (주)오픈웍스 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210081576A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 실내 측위를 제공하는 전자 장치 및 그 방법
KR20210099872A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 사용자의 위치를 제공하기 위한 전자 장치 및 방법
KR20230133623A (ko) 2022-03-11 2023-09-19 주식회사 블루캡슐 가상현실 공간 내 이용자간 위치공유 시스템 및 이를 이용한 가상현실 공간 내 이용자간 충돌 방지 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101102408B1 (ko) * 2010-10-06 2012-01-05 주식회사 인스프리트 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120046418A (ko) * 2010-11-02 2012-05-10 에스케이텔레콤 주식회사 증강현실을 이용한 경기 데이터 제공 시스템 및 그 방법
KR101837107B1 (ko) * 2011-09-01 2018-03-09 에스케이 텔레콤주식회사 증강 현실을 이용하여 실내 위치 기반 서비스를 제공하는 단말기 및 컴퓨터로 읽을 수 있는 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101102408B1 (ko) * 2010-10-06 2012-01-05 주식회사 인스프리트 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210131581A (ko) 2020-04-24 2021-11-03 (주)오픈웍스 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
KR20190110859A (ko) 2019-10-01

Similar Documents

Publication Publication Date Title
KR102074684B1 (ko) 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법
US9506761B2 (en) Method and apparatus for indoor position tagging
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
TWI770544B (zh) 視訊與無線電熔合為主的準確室內定位的設備及其儲存媒體
JP6339200B2 (ja) 軌跡を使用する位置推定のための方法および装置
EP3213031B1 (en) Simultaneous localization and mapping by using earth's magnetic fields
CN103827634B (zh) 用于室内定位的徽标检测
CN102960036B (zh) 众包视觉和传感器勘测绘图
US10415978B2 (en) Landmark location determination
US20160192151A1 (en) Mobile device tracking with peer-to-peer mobile device network
CN104471558B (zh) 用于重访位置检测的系统和方法
Feng et al. Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments
CN111083633B (zh) 移动终端定位系统及其建立方法、移动终端的定位方法
CN106470478B (zh) 一种定位数据处理方法、装置和系统
Kao et al. Indoor navigation with smartphone-based visual SLAM and Bluetooth-connected wheel-robot
Steinhoff et al. How computer vision can help in outdoor positioning
Dabove et al. Positioning techniques with smartphone technology: Performances and methodologies in outdoor and indoor scenarios
Liu et al. Eyeloc: Smartphone vision-enabled plug-n-play indoor localization in large shopping malls
Wu et al. Indoor positioning based on tightly coupling of PDR and one single Wi-Fi FTM AP
Varma et al. Indoor localization for IoT applications: Review, challenges and manual site survey approach
Zhao et al. Wi-Fi assisted multi-sensor personal navigation system for indoor environments
CN107911794B (zh) 自动规划无线信号采集位置的方法、系统及可读存储介质
US9307349B2 (en) Communication terminal, place management server, and method of detecting place information thereof
Villarrubia et al. Hybrid indoor location system for museum tourist routes in augmented reality
Yang et al. Vision-Based Indoor Corridor Localization via Smartphone Using Relative Distance Perception and Deviation Compensation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right