KR20210048244A - 3차원 기반의 실내위치 추정 장치 및 시스템 - Google Patents

3차원 기반의 실내위치 추정 장치 및 시스템 Download PDF

Info

Publication number
KR20210048244A
KR20210048244A KR1020190132262A KR20190132262A KR20210048244A KR 20210048244 A KR20210048244 A KR 20210048244A KR 1020190132262 A KR1020190132262 A KR 1020190132262A KR 20190132262 A KR20190132262 A KR 20190132262A KR 20210048244 A KR20210048244 A KR 20210048244A
Authority
KR
South Korea
Prior art keywords
visible light
location
indoor
image
server
Prior art date
Application number
KR1020190132262A
Other languages
English (en)
Other versions
KR102343069B1 (ko
Inventor
신진우
김원모
정유식
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020190132262A priority Critical patent/KR102343069B1/ko
Publication of KR20210048244A publication Critical patent/KR20210048244A/ko
Application granted granted Critical
Publication of KR102343069B1 publication Critical patent/KR102343069B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

3차원 기반의 실내위치 추정 장치 및 시스템이 개시된다. 일 실시예에 따른 3차원 기반의 실내위치 추정 시스템은 실내 공간에 대한 촬영 데이터를 생성하는 3차원 카메라, 촬영 데이터를 수신하고, 촬영 데이터에 기초하여 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 생성하는 서버, 가시광 통신을 이용하여 자신의 위치 정보를 가시광 신호로 출력하는 복수의 가시광 전송 장치들, 및 복수의 가시광 전송 장치들로부터 수신한 가시광 신호들에 기초하여 제1 위치를 추정하고, 서버로부터 수신한 3차원 영상에 포함된 실내 공간에 대한 위치 정보 및 제1 위치에 기초하여 3차원 영상에서 제1 위치를 결정하는 위치 추정 장치를 포함한다.

Description

3차원 기반의 실내위치 추정 장치 및 시스템{3D BASED INDOOR LOCATION ESTIMATION DEVICE AND SYSTEM}
아래 실시예들은 3차원 기반의 실내위치 추정 장치 및 시스템에 관한 것이다.
현재 실사기반의 실내 위치 정보 제공을 위해서는 3D 실내 정보 구축 및 실내위치 정보 측정 기술(예를 들어, Wi-Fi, 비콘, UWB(Ultra Wide Band), IMU(지자기) 센서 등)을 활용하지만 위치 정보가 부정확 하거나, 개발 시간이 오래 걸리거나, 구축비용이 크거나, 유지보수 및 운영/관리에 많은 비용 및 시간이 드는 단점이 있다.
실시예들은 360도 카메라를 통한 실내 3D 실사환경 구축 정보에 LED 조명을 활용한 VLC(Visual Light Communication) 기술 및 휴대폰의 카메라 센서를 이용하여 개발기간 단축, 구축비용 절감, 유지보수 및 운영관리에 많은 비용과 시간이 들지 않는 건물 실내에서의 위치 정보를 제공하는 장치, 절차 및 방법을 제공하고자 한다.
일 실시예에 따른 3차원 기반의 실내위치 추정 시스템은 실내 공간에 대한 촬영 데이터를 생성하는 3차원 카메라; 상기 촬영 데이터를 수신하고, 상기 촬영 데이터에 기초하여 상기 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 생성하는 서버; 가시광 통신을 이용하여 자신의 위치 정보를 가시광 신호로 출력하는 복수의 가시광 전송 장치들; 및 상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들에 기초하여 제1 위치를 추정하고, 상기 서버로부터 수신한 상기 3차원 영상에 포함된 상기 실내 공간에 대한 위치 정보 및 상기 제1 위치에 기초하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 위치 추정 장치를 포함한다.
상기 서버는 상기 촬영 데이터에 기초하여, 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하는 상기 3차원 영상을 생성할 수 있다.
상기 위치 추정 장치는 상기 3차원 영상에 포함된 상기 복수의 가시광 전송 장치들의 위치 정보와 상기 제1 위치를 비교하여 상기 3차원 영상에서 상기 제1 위치를 결정할 수 있다.
상기 위치 추정 장치는 상기 복수의 가시광 전송 장치들로부터 상기 가시광 신호들을 수신하는 카메라 센서를 포함할 수 잇다.
상기 위치 추정 장치는 상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들의 도착 시간 차이(time difference of arrival: TDOA)에 기초하여 상기 제1 위치를 추정할 수 있다.
상기 서버는 상기 촬영 데이터를 스티칭하여 상기 3차원 영상을 생성할 수 있다.
일 실시예에 따른 3차원 기반의 실내위치 추정 시스템은 상기 3차원 카메라의 촬영 위치를 제어하고, 상기 3차원 카메라로부터 상기 촬영 데이터를 수신하며, 상기 촬영 데이터를 상기 서버에 전송하는 지도 생성 장치를 더 포함할 수 있다.
상기 위치 추정 장치는 상기 3차원 카메라의 촬영 위치를 제어하고, 상기 3차원 카메라로부터 상기 촬영 데이터를 수신하며, 상기 촬영 데이터를 상기 서버에 전송할 수 있다.
일 실시예에 따른 3차원 기반의 실내위치 추정 방법은 서버로부터 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 수신하는 단계; 복수의 가시광 전송 장치들로부터 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하는 가시광 신호들을 수신하는 단계; 상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들에 기초하여 제1 위치를 추정하는 단계; 상기 서버로부터 수신한 상기 3차원 영상에 포함된 상기 실내 공간에 대한 위치 정보 및 상기 제1 위치에 기초하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 단계를 포함한다.
일 실시예에 따른 3차원 기반의 실내위치 추정 방법은 상기 제1 위치가 표시된 상기 3차원 영상을 제공하는 단계를 더 포함할 수 있다.
상기 3차원 영상은 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하고, 상기 제1 위치를 결정하는 단계는 상기 3차원 영상에 포함된 상기 복수의 가시광 전송 장치들의 위치 정보와 상기 제1 위치를 비교하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 단계를 포함할 수 있다.
상기 제1 위치를 추정하는 단계는 상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들의 도착 시간 차이(time difference of arrival: TDOA)에 기초하여 상기 제1 위치를 추정하는 단계를 포함할 수 있다.
일 실시예에 따른 실내위치 추정 장치는 서버로부터 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 수신하고, 복수의 가시광 전송 장치들로부터 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하는 가시광 신호들을 수신하고, 상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들에 기초하여 제1 위치를 추정하고, 상기 서버로부터 수신한 상기 3차원 영상에 포함된 상기 실내 공간에 대한 위치 정보 및 상기 제1 위치에 기초하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 프로세서를 포함한다.
실시예들은 360도 카메라를 통한 실내 3D 실사환경 구축 정보에 LED 조명을 활용한 VLC(Visual Light Communication) 기술 및 휴대폰의 카메라 센서를 이용하여 개발기간 단축, 구축비용 절감, 유지보수 및 운영관리에 많은 비용과 시간이 들지 않는 건물 실내에서의 위치 정보를 제공하는 장치, 절차 및 방법을 제공할 수 있다.
도 1은 일 실시예에 따른 3차원 기반의 실내위치 추정 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 3차원 지도 생성 시스템의 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 위치 추정 시스템의 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 3 실내위치 표시 단말의 동작을 설명하기 위한 순서도이다.
도 5는 일 실시예에 따른 실내위치 추정 장치의 블록도를 도시한 도면이다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 3차원 기반의 실내위치 추정 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 3차원 기반의 실내위치 추정 시스템은 3차원 카메라(110), 제1 단말(120), 복수의 가시광 전송 장치들(130), 제2 단말(140) 및 서버(150)를 주체로 포함할 수 있다.
일 실시예에 따른 3차원 기반의 실내위치 추정 시스템은 3차원 실내 지도 생성 시스템(100)과 위치 추정 시스템(105)을 포함할 수 있다. 3차원 실내 지도 생성 시스템(100)은 3차원 카메라(110) 및 제1 단말(120)을 주체로 포함할 수 있고, 위치 추정 시스템(105)은 복수의 가시광 전송 장치들(130) 및 제2 단말(140)을 주체로 포함할 수 있다. 위치 추정 시스템(105)은 측위 시스템으로 지칭될 수도 있다.
일 실시예에 따른 3차원 실내 지도 생성 시스템(100)은 360도의 시야(field of view)를 제공하기 위한 3차원 카메라(110) 및 3차원 유무선 통신(예를 들어, Wi-Fi)를 통해 360도 카메라(110)와 연결하여 3차원 카메라(110)의 촬영 제어 및 촬영 데이터를 수신하고, 이를 서버(150)로 전송하는 제1 단말(120)을 이용하여 3차원 실내 지도(160) 생성을 위한 촬영을 수행할 수 있다. 3차원 실내 지도(160)는 실사기반의 3차원 실내 지도로, 2차원 지도와는 구별될 수 있고, 아래에서 3차원 실내 지도(160)는 3차원 영상 또는 3차원 뷰로 지칭될 수도 있다. 또한, 일 실시예에 따른 '실내 지도'는 '실내 공간'에 관한 지도로, '실내 공간'은 백화점, 전시회, 박물관, 홍보관, 집 내부, 게임장, 체험실, 오락실 등의 공간으로, 예를 들어 증강현실이 적용되는 특정 공간을 의미할 수 있다.
3차원 카메라(110)는 360도 카메라, 스테레오 카메라, 입체 VR 촬영 장비, 입체 파노라마 카메라과 같은 장치 중 하나로 3차원 영상을 생성 가능한 카메라를 의미할 수 있다. 또한, 3차원 카메라(110)는 이동 수단을 포함하여, 제어 신호에 대응하여 이동할 수 있다.
제1 단말(120)은 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera) 같은 전자 장치 중 하나로 서버(150)와 관련된 제1 어플리케이션의 설치 및 실행이 가능한 모든 사용자 장치를 의미할 수 있다. 제1 단말(120)은 제1 어플리케이션의 제어 하에 3차원 카메라(110)의 촬영 제어 및 촬영 데이터를 수신, 이를 서버(150)로 전송, 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.
일 실시예에 따른 서버(150)는 3차원 실내 지도 생성 시스템(100)으로부터 촬영 데이터를 수신하고, 촬영 데이터에 기초하여 3차원 영상을 생성할 수 있다. 서버(150)는 수신된 촬영 데이터를 결합, 스티칭하여 3차원 실내 지도(160)를 생성하고 실내 공간내에 위치하는 복수의 가시광 전송 장치들(130)의 위치 정보를 어노테이션으로 추가 할 수 있다.
일 실시예에 따른 위치 추정 시스템(105)은 복수의 가시광 전송 장치들(130) 및 제2 단말(140)을 이용하여, 서버(150)로부터 수신한 3차원 실내 지도(160) 내에서 현재 제2 단말(140)의 위치(170)를 추정할 수 있다. 아래에서 상세히 설명하겠지만, 위치 추정 시스템(105)은 서버(150)로부터 수신한 3차원 실내 지도(160) 에 기록된 어노테이션과 복수의 가시광 전송 장치들(130)로부터 수신한 광자 정보에 포함된 위치 정보를 비교하여 3차원 실내 지도 내에서의 2 단말(140)의 위치(170)를 추정할 수 있다.
가시광 전송 장치들은 가시광 통신(VLC; Visible Light Communication) 송신기 기능이 있는 조명 장치일 수 있고, 복수의 가시광 전송 장치들(130)은 3차원 실내 지도(160)의 대상이 되는 실내 공간 내의 일정 구역마다 설치될 수 있다. 실내 환경에는 조명 장치가 촘촘히 설치되어 있고, 이들 조명 장치가 자신의 위치를 표시하는 특정신호를 전송하면 제2 단말(140)은 이들 신호를 검출하여 자신의 위치(170)를 측정하는 것이 가능할 수 있다.
포톤 센더(LED)와 포톤 리시버(별도의 단말기 개발 필요)를 사용하는 종래의 가시광 통신 방법 대신에, 일 실시예에 따른 위치 추정 시스템(105)은 스마트폰 카메라의 CMOS 및 제2 어플리케이션을 이용하여 2D 대신 3D기반의 실내위치 서비스를 저렴하게 제공할 수 있다.
일 실시예에 따른 제2 단말(140)은 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙 박스(black box) 또는 디지털 카메라(digital camera) 같은 전자 장치 중 하나로 서버(150)와 관련된 제2 어플리케이션의 설치 및 실행이 가능한 모든 사용자 장치를 의미할 수 있다. 제2 단말(150)은 제2 어플리케이션의 제어 하에 서버(150)로부터 3차원 실내 지도(160) 수신, 위치 표시, 데이터 전송, 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.
도 1에서 제2 단말(140)은 제1 단말(120)과 구분되어 3차원 실내 지도 생성 시스템(100)과 위치 추정 시스템(105)은 별개의 단말에서 수행되는 것으로 도시되었으나, 실시예에 따라서는 3차원 실내 지도 생성 시스템(100)과 위치 추정 시스템(105)은 동일한 하나의 단말을 사용하여 3차원 기반의 실내위치 추정을 수행할 수도 있다. 이 경우, 제1 어플리케이션과 제2 어플리케이션은 하나의 어플리케이션으로 통합될 수 있다.
도 2는 일 실시예에 따른 3차원 지도 생성 시스템의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 3차원 카메라(201), 가시광 전송 장치(202), 단말(203) 및 서버(204)는 각각 도 1을 참조하여 설명한 3차원 카메라(110), 복수의 가시광 전송 장치들(130), 제1 단말(120) 및 서버(150)의 일 실시예일 수 있다.
단계(210)에서, 단말(203)은 wi-fi를 통해 3차원 카메라(201)에 접속하여 촬영 요청을 할 수 있고, 3차원 카메라(201)는 이에 반응하여 실내 공간을 촬영할 수 있다. 나아가, 3차원 카메라(201)는 실내 공간 촬영 시, 실내 공간내에 위치하는 가시광 전송 장치(202)의 위치 정보도 함께 획득할 수 있다. 3차원 카메라(201)의 촬영을 통해 생성된 영상 및 위치 정보는 촬영 데이터로 지칭될 수 있다.
단계(215)에서, 3차원 카메라(201)는 해당 위치에서 생성된 촬영 데이터를 단말에게 전송할 수 있다.
단계(220)에서, 3차원 카메라(201)는 단말(203)의 제어 신호에 반응하여 카메라 촬영 위치를 변경할 수 있고, 변경된 위치에서 실내 공간을 촬영할 수 있다. 단계(225)에서, 3차원 카메라(201)는 해당 위치에서 생성된 촬영 데이터를 단말에게 전송할 수 있다. 단계(220, 225)는 3차원 실내 지도를 생성하기에 충분할 정도까지 반복하여 수행될 수 있다.
단계(230)에서, 3차원 카메라(201)로부터 3차원 실내 지도를 생성하기에 충분할 정도의 촬영 데이터를 수신한 단말(203)은 서버(204)로 촬영 데이터 업로드 및 3차원 실내 지도 생성을 요청할 수 있다.
단계(235)에서, 서버(204)는 수신된 촬영 영상을 결합, 스티칭하여 3차원 실내 지도를 생성하고, 실내 공간내에 위치하는 가시광 전송 장치(202)의 위치 정보를 어노테이션으로 추가 할 수 있다.
다른 실시예로, 3차원 지도 생성 시스템은 단말(203) 없이 서버(204)와 3차원 카메라(201)가 직접 통신을 수행할 수도 있다. 예를 들어, 서버(204)는 3차원 카메라(201)로부터 직접 촬영 데이터를 수신할 수 있고, 3차원 카메라(201)의 촬영을 제어할 수 있다.
도 3은 일 실시예에 따른 위치 추정 시스템의 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 가시광 전송 장치(202), 단말(203) 및 서버(204)는 각각 도 1을 참조하여 복수의 가시광 전송 장치들(130), 제2 단말(140) 및 서버(150)의 일 실시예일 수 있다.
단계(240)에서, 단말(203)은 서버(204)로부터 3차원 실내 지도를 다운로드할 수 있다. 예를 들어, 단말(203)은 사용자로부터 단말(203)에 설치된 어플리케이션(예를 들어, 전술한 제2 어플리케이션)을 통해 3차원 실내 지도를 다운로드하기 위한 입력을 수신할 수 있고, 입력에 반응하여 서버(204)로 3차원 실내 지도 다운로드 요청을 전송할 수 있다.
단계(245)에서, 단말(203)은 위치 추정을 위해 어플리케이션을 실행할 수 있다.
단계(250)에서, 단말(203)은 가시광 전송 장치(202)로부터 가시광 신호를 수신할 수 있다. 예를 들어, 가시광 전송 장치(202)로부터 나오는 가시광 신호를 단말(203)에 구비된 카메라 센서로 수신할 수 있고, 가시광 신호는 가시광 전송 장치(202)의 광자 정보 내 위치 정보를 포함할 수 있다.
단계(260)에서, 단말(203)은 3차원 실내 지도에 기록된 가시광 전송 장치(202)의 위치에 관한 어노테이션과 가시광 전송 장치(202)로부터 수신한 광자 정보에 포함된 위치 정보를 비교하여 3차원 실내 지도 내에서의 단말(203)의 위치를 추정할 수 있다.
구체적으로, 단말(203)은 가시광 전송 장치(202)로부터 수신한 광자 정보를 통해 가시광 전송 장치(202)의 위치를 기반으로 단말(203)의 위치를 추정할 수 있다. 또한, 를 3차원 실내 지도에 기록된 가시광 전송 장치(202)의 위치에 관한 어노테이션을 참조하여, 단말(203)의 위치 추정에 사용된 가시광 전송 장치(202)의 3차원 실내 지도 내에서의 위치를 매칭할 수 있고, 이에 기초하여 단말(203)의 3차원 실내 지도 내에서의 위치를 추정할 수 있다.
도 4는 일 실시예에 따른 3 실내위치 표시 단말의 동작을 설명하기 위한 순서도이다. 도 1 내지 3의 설명은 도 4에도 적용 가능하므로, 중복되는 내용의 설명은 생략한다.
도 4를 참조하면, 단계들(410 내지 440)은 도 3을 참조하여 전술한 단말(203)을 통해 수행될 수 있다. 단말(203)은 하나 또는 그 이상의 하드웨어 모듈, 하나 또는 그 이상의 소프트웨어 모듈, 또는 이들의 다양한 조합에 의하여 구현될 수 있다.
단계(410)에서, 단말(203)은 서버로부터 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 수신한다.
단계(420)에서, 단말(203)은 복수의 가시광 전송 장치들로부터 복수의 가시광 전송 장치들의 위치 정보를 포함하는 가시광 신호들을 수신한다.
단계(430)에서, 단말(203)은 복수의 가시광 전송 장치들로부터 수신한 가시광 신호들에 기초하여 제1 위치를 추정한다. 단말(203)은 복수의 가시광 전송 장치들로부터 수신한 가시광 신호들의 도착 시간 차이(time difference of arrival: TDOA)에 기초하여 제1 위치를 추정할 수 있다.
단계(440)에서, 단말(203)은 서버로부터 수신한 3차원 영상에 포함된 실내 공간에 대한 위치 정보 및 제1 위치에 기초하여 3차원 영상에서 제1 위치를 결정한다.
도 5는 일 실시예에 따른 실내위치 추정 장치의 블록도를 도시한 도면이다.
도 5를 참조하면, 일 실시예에 따른 실내위치 추정 장치(500)는 프로세서(510)를 포함한다. 실내위치 추정 장치(500)는 메모리(530), 통신 인터페이스(550) 및 센서(들)(570)를 더 포함할 수 있다. 프로세서(510), 메모리(530), 통신 인터페이스(550) 및 센서(들)(570)는 통신 버스를 통해 서로 통신할 수 있다.
프로세서(510)는 서버로부터 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 수신하고, 복수의 가시광 전송 장치들로부터 복수의 가시광 전송 장치들의 위치 정보를 포함하는 가시광 신호들을 수신하고, 복수의 가시광 전송 장치들로부터 수신한 가시광 신호들에 기초하여 제1 위치를 추정하고, 서버로부터 수신한 3차원 영상에 포함된 실내 공간에 대한 위치 정보 및 제1 위치에 기초하여 3차원 영상에서 제1 위치를 결정한다.
메모리(530)는 상술한 프로세서(510)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(530)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(530)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(530)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
센서(들)(570는 복수의 가시광 전송 장치들로부터 가시광 신호들을 수신하는 카메라 센서를 포함할 수 있다.
이 밖에도, 프로세서(510)는 도 1 내지 도 4를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(510)는 프로그램을 실행하고, 실내위치 추정 장치(500)를 제어할 수 있다. 프로세서(510)에 의하여 실행되는 프로그램 코드는 메모리(530)에 저장될 수 있다. 실내위치 추정 장치(500)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 실내 공간에 대한 촬영 데이터를 생성하는 3차원 카메라;
    상기 촬영 데이터를 수신하고, 상기 촬영 데이터에 기초하여 상기 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 생성하는 서버;
    가시광 통신을 이용하여 자신의 위치 정보를 가시광 신호들로 출력하는 복수의 가시광 전송 장치들; 및
    상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들에 기초하여 제1 위치를 추정하고, 상기 서버로부터 수신한 상기 3차원 영상에 포함된 상기 실내 공간에 대한 위치 정보 및 상기 제1 위치에 기초하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 위치 추정 장치
    를 포함하는 3차원 기반의 실내위치 추정 시스템.
  2. 제1항에 있어서,
    상기 서버는
    상기 촬영 데이터에 기초하여, 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하는 상기 3차원 영상을 생성하는,
    3차원 기반의 실내위치 추정 시스템.
  3. 제2항에 있어서,
    상기 위치 추정 장치는
    상기 3차원 영상에 포함된 상기 복수의 가시광 전송 장치들의 위치 정보와 상기 제1 위치를 비교하여 상기 3차원 영상에서 상기 제1 위치를 결정하는,
    3차원 기반의 실내위치 추정 시스템.
  4. 제1항에 있어서,
    상기 위치 추정 장치는
    상기 복수의 가시광 전송 장치들로부터 상기 가시광 신호들을 수신하는 카메라 센서
    를 포함하는,
    3차원 기반의 실내위치 추정 시스템.
  5. 제1항에 있어서,
    상기 위치 추정 장치는
    상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들의 도착 시간 차이(time difference of arrival: TDOA)에 기초하여 상기 제1 위치를 추정하는,
    3차원 기반의 실내위치 추정 시스템.
  6. 제1항에 있어서,
    상기 서버는
    상기 촬영 데이터를 스티칭하여 상기 3차원 영상을 생성하는,
    3차원 기반의 실내위치 추정 시스템.
  7. 제1항에 있어서,
    상기 3차원 카메라의 촬영 위치를 제어하고, 상기 3차원 카메라로부터 상기 촬영 데이터를 수신하며, 상기 촬영 데이터를 상기 서버에 전송하는 지도 생성 장치
    를 더 포함하는,
    3차원 기반의 실내위치 추정 시스템.
  8. 제1항에 있어서,
    상기 위치 추정 장치는
    상기 3차원 카메라의 촬영 위치를 제어하고, 상기 3차원 카메라로부터 상기 촬영 데이터를 수신하며, 상기 촬영 데이터를 상기 서버에 전송하는,
    3차원 기반의 실내위치 추정 시스템.
  9. 서버로부터 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 수신하는 단계;
    복수의 가시광 전송 장치들로부터 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하는 가시광 신호들을 수신하는 단계;
    상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들에 기초하여 제1 위치를 추정하는 단계;
    상기 서버로부터 수신한 상기 3차원 영상에 포함된 상기 실내 공간에 대한 위치 정보 및 상기 제1 위치에 기초하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 단계
    를 포함하는 3차원 기반의 실내위치 추정 방법.
  10. 제1항에 있어서,
    상기 제1 위치가 표시된 상기 3차원 영상을 제공하는 단계
    를 더 포함하는, 3차원 기반의 실내위치 추정 방법.
  11. 제1항에 있어서,
    상기 3차원 영상은
    상기 복수의 가시광 전송 장치들의 위치 정보를 포함하고,
    상기 제1 위치를 결정하는 단계는
    상기 3차원 영상에 포함된 상기 복수의 가시광 전송 장치들의 위치 정보와 상기 제1 위치를 비교하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 단계
    를 포함하는, 3차원 기반의 실내위치 추정 방법.
  12. 제1항에 있어서,
    상기 제1 위치를 추정하는 단계는
    상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들의 도착 시간 차이(time difference of arrival: TDOA)에 기초하여 상기 제1 위치를 추정하는 단계
    를 포함하는, 3차원 기반의 실내위치 추정 방법.
  13. 하드웨어와 결합되어 제9항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  14. 서버로부터 실내 공간에 대한 위치 정보를 포함하는 3차원 영상을 수신하고, 복수의 가시광 전송 장치들로부터 상기 복수의 가시광 전송 장치들의 위치 정보를 포함하는 가시광 신호들을 수신하고, 상기 복수의 가시광 전송 장치들로부터 수신한 상기 가시광 신호들에 기초하여 제1 위치를 추정하고, 상기 서버로부터 수신한 상기 3차원 영상에 포함된 상기 실내 공간에 대한 위치 정보 및 상기 제1 위치에 기초하여 상기 3차원 영상에서 상기 제1 위치를 결정하는 프로세서
    를 포함하는 3차원 기반의 실내위치 추정 장치.
KR1020190132262A 2019-10-23 2019-10-23 3차원 기반의 실내위치 추정 장치 및 시스템 KR102343069B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190132262A KR102343069B1 (ko) 2019-10-23 2019-10-23 3차원 기반의 실내위치 추정 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190132262A KR102343069B1 (ko) 2019-10-23 2019-10-23 3차원 기반의 실내위치 추정 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20210048244A true KR20210048244A (ko) 2021-05-03
KR102343069B1 KR102343069B1 (ko) 2021-12-23

Family

ID=75910854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190132262A KR102343069B1 (ko) 2019-10-23 2019-10-23 3차원 기반의 실내위치 추정 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102343069B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651723B1 (ko) * 2023-11-16 2024-03-28 주식회사 포윈 실내 위치 추정 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031703A (ko) * 2013-09-16 2015-03-25 주식회사 에이디이엔지 실내위치인식모듈을 통한 사용자 실내위치인식 장치 및 방법
KR20170115876A (ko) * 2016-04-08 2017-10-18 한국전자통신연구원 가시광 통신을 이용한 위치 정보 기반의 다시점 cctv 영상 제공 시스템
KR20180079213A (ko) * 2016-12-30 2018-07-10 성균관대학교산학협력단 수중 로봇을 위한 vlc 기반의 위치 인식 시스템 및 방법
JP2019125227A (ja) * 2018-01-18 2019-07-25 光禾感知科技股▲ふん▼有限公司 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031703A (ko) * 2013-09-16 2015-03-25 주식회사 에이디이엔지 실내위치인식모듈을 통한 사용자 실내위치인식 장치 및 방법
KR20170115876A (ko) * 2016-04-08 2017-10-18 한국전자통신연구원 가시광 통신을 이용한 위치 정보 기반의 다시점 cctv 영상 제공 시스템
KR20180079213A (ko) * 2016-12-30 2018-07-10 성균관대학교산학협력단 수중 로봇을 위한 vlc 기반의 위치 인식 시스템 및 방법
JP2019125227A (ja) * 2018-01-18 2019-07-25 光禾感知科技股▲ふん▼有限公司 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651723B1 (ko) * 2023-11-16 2024-03-28 주식회사 포윈 실내 위치 추정 시스템

Also Published As

Publication number Publication date
KR102343069B1 (ko) 2021-12-23

Similar Documents

Publication Publication Date Title
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
KR101770648B1 (ko) 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
US10102656B2 (en) Method, system and recording medium for providing augmented reality service and file distribution system
CN103996016B (zh) 电子设备及其确定描述符的方法
US20160203643A1 (en) Exhibition guide apparatus, exhibition media display apparatus, mobile terminal and method for guiding exhibition
KR20190077014A (ko) 증강 현실에 기초한 사용자 위치 결정
CN111766951B (zh) 图像显示方法和装置、计算机系统和计算机可读存储介质
EP2974509B1 (en) Personal information communicator
CN109374002B (zh) 导航方法和系统、计算机可读存储介质
KR101600456B1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR101699202B1 (ko) 최적 촬영 위치 추천 방법 및 시스템
CN104700352B (zh) 生成用于多投影剧院的图像的方法和图像管理设备
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
US11627302B1 (en) Stereoscopic viewer
CN113936085B (zh) 三维重建方法和装置
CN110553651A (zh) 一种室内导航方法、装置、终端设备及存储介质
US20150326705A1 (en) Mobile Device Data Transfer Using Location Information
KR102343069B1 (ko) 3차원 기반의 실내위치 추정 장치 및 시스템
WO2022110785A1 (zh) 定位方法及装置、电子设备、存储介质、计算机程序产品、计算机程序
US10664948B2 (en) Method and apparatus for processing omni-directional image
WO2019218737A1 (zh) 大屏系统中的视频画面显示方法、装置及存储介质
CN110796706A (zh) 视觉定位方法及系统
CN111754564A (zh) 视频展示方法、装置、设备及存储介质
US20200334910A1 (en) Ar space image projecting system, ar space image projecting method, and user terminal
KR20130055857A (ko) 스마트폰의 위치기반 어드벤처 미팅 게임장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant