KR102277974B1 - 이미지 기반 실내 측위 서비스 시스템 및 방법 - Google Patents

이미지 기반 실내 측위 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR102277974B1
KR102277974B1 KR1020190060846A KR20190060846A KR102277974B1 KR 102277974 B1 KR102277974 B1 KR 102277974B1 KR 1020190060846 A KR1020190060846 A KR 1020190060846A KR 20190060846 A KR20190060846 A KR 20190060846A KR 102277974 B1 KR102277974 B1 KR 102277974B1
Authority
KR
South Korea
Prior art keywords
image
location
service server
learned
node
Prior art date
Application number
KR1020190060846A
Other languages
English (en)
Other versions
KR20200134807A (ko
Inventor
박주흠
Original Assignee
주식회사 다비오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다비오 filed Critical 주식회사 다비오
Priority to KR1020190060846A priority Critical patent/KR102277974B1/ko
Priority to PCT/KR2019/007581 priority patent/WO2020235740A1/ko
Priority to US17/613,567 priority patent/US20220245944A1/en
Publication of KR20200134807A publication Critical patent/KR20200134807A/ko
Application granted granted Critical
Publication of KR102277974B1 publication Critical patent/KR102277974B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 이미지 기반 실내 측위 서비스 시스템 및 방법이 개시된다. 본 발명의 일 측면에 따른 서비스 서버는, 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수신하는 통신부, 상기 통신부를 통해 수신한 각 노드에서의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 위치 추정 모델 생성부를 포함한다.

Description

이미지 기반 실내 측위 서비스 시스템 및 방법{SYSTEM AND METHOD FOR INDOOR POSITIONING BASED ON IMAGE}
본 발명은 이미지 기반 실내 측위 서비스 시스템 및 방법에 관한 것으로서, 보다 상세하게는 단말장치의 촬영부를 통해 촬영된 이미지를 이용하여 사용자의 위치를 추정할 수 있는 이미지 기반 실내 측위 서비스 시스템 및 방법에 관한 것이다.
다수의 사용자들에게 선택적 데이터를 원하는 장소에서 제공하는 여러 서비스, 즉 사용자의 현재 위치에 기초하여 다양한 위치 기반 서비스(LBS: Location-Based Services), 예컨대 실시간 데이터 팝업 서비스, 사용자 위치에 따른 선택적 데이터 전송 서비스, 실내 네비게이션 서비스가 제공되고 있다.
이러한 서비스는 사용자의 위치를 측정하는 기술을 기반으로 하는데, 위치 기반 서비스는 와이파이(WIFI), 비콘 등을 이용하여 사용자의 위치를 측정하여 실내 지도 등의 서비스를 제공할 수 있다. 이러한 위치 기반 서비스는 적절히 제공하기 위해서는 사용자의 위치를 정확히 파악하는 것이 중요하다. 그런데, 사용자의 위치를 파악하기 위해 와이파이를 사용하는 경우, 건물 내부에서 측정된 단말의 위치 오차가 커서, 적절한 위치 기반 서비스를 제공하는 데 어려움이 있고, 비콘 송신기들을 이용하는 경우, 비콘 송신기들의 배치 간격에 따라 사용자의 위치 측정이 어려울 수 있다. 예를 들어, 비콘을 이용하여 사용자의 위치를 측정하기 위해서는 비콘과 사용자와의 거리가 정확히 측정되어야 하는데, 실제로 측정을 해 보면 비콘과 사용자의 거리를 측정할 때마다 오차가 발생하며 특히 거리가 멀어질수록 오차가 커진다. 또한, 종래의 실내 위치 추정 기술들은 고가의 장비나 인프라를 구축해야 하는 문제점이 있다.
이에, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 추정할 수 있는 기술 개발이 요구되고 있다.
본 발명과 관련된 선행기술로는 대한민국 공개특허 제2011-00250250호가 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 목적은 단말장치의 촬영부를 통해 촬영된 이미지를 이용하여 사용자의 위치를 추정할 수 있는 이미지 기반 실내 측위 서비스 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 서비스 서버는, 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수신하는 통신부, 상기 통신부를 통해 수신한 각 노드에서의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 위치 추정 모델 생성부를 포함한다.
본 발명에 있어 상기 서비스 서버는, 상기 통신부를 통해 단말장치로부터 촬영 이미지를 포함하는 위치 추청 요청 신호가 수신되면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 위치 추정부를 더 포함할 수 있다.
본 발명에 있어 상기 위치 추정부는, 상기 촬영 이미지에서 오브젝트들을 분할하고, 상기 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 확률값을 산출하며, 상기 산출된 확률값을 기 설정된 임계치와 비교하여, 임계치 이상인 경우 해당 노드 좌표를 상기 단말장치의 위치로 추정하고, 임계치 이상이 아닌 경우 이미지 재촬영 요청 신호를 상기 단말장치로 전송할 수 있다.
본 발명에 있어 상기 위치 추정 모델 생성부는, 상기 실내 지도에 설정된 각 노드의 촬영 이미지를 수집하는 수집모듈, 상기 수집된 각 노드의 촬영 이미지를 학습하는 이미지 분류모듈, 상기 학습된 촬영 이미지를 오브젝트들로 분할하는 이미지 분할모듈, 상기 분할된 오브젝트들을 상기 학습된 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 결정모듈을 포함할 수 있다.
본 발명의 다른 측면에 따른 단말장치는, 통신망을 통해 서비스 서버와 통신을 수행하는 통신부, 기 설정된 노드가 표시된 실내 지도가 저장된 저장부, 촬영부, 표시부 및 상기 촬영부를 통해 촬영된 이미지를 포함하는 위치 추정 요청 신호를 상기 통신부를 통해 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 이미지에 대응하는 위치가 수신되면, 상기 실내 지도상에 상기 위치를 표시하여 상기 촬영된 이미지와 함께 상기 표시부를 통해 디스플레이시키는 제어부를 포함한다.
본 발명에 있어 상기 제어부는, 상기 저장부에 저장된 이미지 수집 애플리케이션이 실행된 경우, 상기 촬영부를 통해 촬영된 이미지와 상기 실내 지도를 상기 표시부에 디스플레이시키고, 상기 실내 지도를 통해 초기 노드를 설정하며, 노드 안내에 따라 해당 노드에서 촬영된 이미지를 저장하고, 상기 저장된 각 노드의 촬영 이미지를 상기 서비스 서버로 전송할 수 있다.
본 발명의 또 다른 측면에 따른 이미지 기반 실내 측위 서비스 방법은, 서비스 서버가 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수집하는 단계, 상기 서비스 서버가 상기 수집된 각 노드에서의 촬영 이미지를 학습하는 단계, 상기 서비스 서버가 상기 학습된 촬영 이미지를 오브젝트들로 분할하는 단계 및 상기 서비스 서버가 상기 분할된 오브젝트들을 상기 학습된 촬영 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 단계를 포함한다.
본 발명에 있어 상기 서비스 서버가, 촬영 이미지를 포함하는 위치 추청 요청 신호를 단말장치로부터 수신하면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 단계를 더 포함할 수 있다.
본 발명은 실내 지도에 표시된 노드들에서 촬영된 이미지들에 대한 선택적 활성화(selective activation) 기법과 이미지 분할(image segmentation) 기법을 활용하여 위치 추정 모델을 생성함으로써, 유동적인 사물 및 환경에 의한 영향을 최소화할 수 있다.
또한, 본 발명은 실내 환경에서 사용자 단말장치의 카메라로 촬영된 이미지를 이용하여 사용자의 위치를 추정함으로써, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 정확하게 추정할 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 실내 지도를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 단말장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 수집 화면을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 위치추정 화면을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 나타낸 블록도이다.
도 7은 도 6에 도시된 위치 추정 모델 생성부의 구성을 상세히 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 위치 추정 모델 생성 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 서비스 시스템 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 시스템을 설명하기 위한 도면, 도 2는 본 발명의 일 실시예에 따른 실내 지도를 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 시스템은 관리자 단말(100a), 서비스 서버(200) 및 사용자 단말(100b)을 포함한다. 이때, 관리자 단말(100a), 서비스 서버(200) 및 사용자 단말(100b)은 Wifi, 3G, LTE 등 다양한 형태의 무선 통신망으로 연결될 수 있다.
관리자 단말(100a)은 이미지 수집 애플리케이션이 저장되고, 이미지 수집 애플리케이션을 통해 실내 지도에 표시된 노드들에서 촬영된 이미지들을 저장하며, 저장된 노드별 촬영 이미지를 서비스 서버로 전송한다. 여기서, 실내 지도는 CAD 도면, Point Cloud Map, Lidar Map, 이미지 맵 등을 활용하여 제작된 디지털화(벡터화)된 지도이며, 디지털화된 지도는 관리자 단말(100a) 및 사용자 단말(100b)에서 사용할 수 있는 지도일 수 있다. 예컨대, 실내 지도는 평면 이미지나 건축도면을 활용하여 디지털화된 지도일 수 있다. 평면 이미지는 쇼핑몰, 백화점, 공공 시설물 및 산업 시설물 등의 건물 내 공간을 구획짓는 경계선을 포함한다. 경계선은 평면 이미지 내 각 공간을 구획짓기 위한 컴포넌트이다. 평면 이미지 내 경계선에 의해 구획지어지는 공간 중 적어도 하나는 사용자가 보행할 수 있는 경로가 설정될 수 있고, 경로상에는 노드가 표시될 수 있다. 건축도면은 쇼핑몰, 백화점, 공공 시설물 및 산업 시설물 등과 같은 건축물의 건축에 사용된 도면으로서, 캐드 파일 또는 이미지 파일 형식으로 제작될 수 있다.
실내 지도에 표시된 노드는 실내 환경에서 보행자들이 위치할 가능성이 높은 지점들의 집합을 의미할 수 있다. 예컨대, 실내 지도는 도 2와 같을 수 있고, 실내 지도상의 빨간 사각형이 노드일 수 있다. 실내 지도는 좌측 상단을 [0,0]으로 좌표를 설정할 수 있고, 이를 기준으로 각 노드의 좌표가 설정될 수 있다. 이때, 실내 지도의 축적비는 관리자에 의해 사전에 설정할 수 있다.
상술한 바와 같이 관리자 단말은(100a) 실내 지도에 표시된 각 노드에서 이미지를 촬영하고, 노드별 촬영 이미지를 위치 추정 모델 생성을 위한 학습 데이터로 이용하도록 서비스 서버(200)에 제공한다.
서비스 서버(200)는 관리자 단말(100a)로부터 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수집하고, 수집된 노드별 촬영 이미지를 학습하여 위치 추정 모델을 생성한다. 이때, 서비스 서버(200)는 딥 러닝을 이용하여 위치 추정 모델을 생성할 수 있다. 구체적으로, 서비스 서버(200)는 선택적 활성화(selective activation)와 이미지 분할(image segmentation)을 이용하여 위치 추정 모델을 생성할 수 있다. 여기서, 선택적 활성화는 이미지 상에서 학습이 되어야 하는 부분을 우선적으로 학습시키는 것을 의미할 수 있고, 이미지 분할은 이미지를 좀 더 의미 있게 해석하기 위해, 여러 개의 오브젝트의 집합으로 나누는 것을 의미할 수 있다.
또한, 서비스 서버(200)는 사용자 단말(100b)로부터 촬영 이미지를 포함하는 위치 추청 요청 신호가 수신되면, 촬영 이미지를 위치 추정 모델에 입력하여 사용자 단말(100b)의 위치를 추정한다.
이러한 서비스 서버(200)에 대한 상세한 설명은 도 6을 참조하기로 한다.
사용자 단말(100b)은 위치 추정 애플리케이션이 저장되고, 위치 추정 애플리케이션을 통해 주변 환경을 촬영하며, 촬영된 이미지를 포함하는 위치 추청 요청 신호를 서비스 서버(200)로 전송하고, 서비스 서버(200)로부터 촬영된 이미지에 대응하는 위치를 수신한다. 여기서, 촬영된 이미지에 대응하는 위치는 사용자 단말(100b)의 위치일 수 있다.
한편, 본 실시예에서는 관리자 단말(100a)과 사용자 단말(100b)을 분리하여 설명하였으나, 관리자 단말(100a)과 사용자 단말(100b)은 동일한 단말일 수 있다. 따라서, 이하에서는 설명의 편의를 위해 관리자 단말(100a)과 사용자 단말(100b)을 단말장치(100)로 칭하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 단말장치의 구성을 나타낸 블록도, 도 4는 본 발명의 일 실시예에 따른 이미지 수집 화면을 설명하기 위한 예시도, 도 5는 본 발명의 일 실시예에 따른 위치추정 화면을 설명하기 위한 예시도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 단말장치(100)는 통신부(110), 저장부(120), 촬영부(130), 표시부(140), 제어부(150)를 포함한다.
통신부(110)는 통신망을 통해 서비스 서버(200)와 통신을 위한 구성으로, 촬영부(130)를 통해 획득된 이미지 등 다양한 정보를 송수신할 수 있다. 이때, 통신부(110)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
저장부(120)는 단말장치(100)의 동작과 관련된 데이터들을 저장하는 구성이다. 여기서 저장부(120)는 공지된 저장매체를 이용할 수 있으며, 예를 들어, ROM, PROM, EPROM, EEPROM, RAM 등과 같이 공지된 저장매체 중 어느 하나 이상을 이용할 수 있다. 특히, 저장부(120)에는 기 설정된 노드를 포함하는 실내 지도가 저장될 수 있다. 또한, 저장부(120)에는 위치 추정 모델 생성을 위한 학습 데이터를 수집하기 위해, 촬영부(130)를 구동시켜 노드별 촬영 이미지를 획득할 수 있는 이미지 수집 애플리케이션이 저장될 수 있다. 또한, 저장부(120)에는 이미지를 이용하여 현재 위치를 추정할 수 있도록 하는 위치 추정 애플리케이션이 저장될 수 있다.
촬영부(130)는 이미지 수집 애플리케이션 또는 이미지 추정 애플리케이션이 실행된 경우 이미지를 획득하고, 획득된 이미지를 제어부(150)로 전송한다. 이러한 촬영부(130)는 예컨대, 카메라일 수 있다.
표시부(140)는 단말장치(100)의 동작과 관련된 다양한 정보를 표시하는 구성이다. 특히, 표시부(140)는 이미지 수집 애플리케이션 실행 시, 이미지 수집화면을 디스플레이할 수 있고, 위치 추정 애플리케이션 실행 시 위치 추정 화면을 디스플레이할 수 있다. 이러한 표시부(140)는 사용자로부터 정보를 입력받기 위한 입력부로도 동작할 수 있다.
제어부(150)는 저장부(120)에 저장된 이미지 수집 애플리케이션이 실행되면, 촬영부(130)를 구동시키고, 촬영부(130)를 통해 촬영된 이미지와 실내 지도를 표시부에 디스플레이한다. 즉, 이미지 수집 애플리케이션이 실행되면, 제어부(150)는 도 4와 같이 촬영 이미지(410)와 실내 지도(420)가 표시된 이미지 수집 화면(400)을 디스플레이한다. 사용자는 이미지 수집 화면(400)의 실내 지도(420)를 통해 이미지 수집 시작 장소를 지정하는 초기 노드를 설정한다. 그러면, 제어부(150)는 다음 노드 안내, 이전 노드 안내 등의 노드 안내를 제공하고, 사용자는 노드 안내에 따라 해당 노드에서 이미지를 촬영한다. 이때, 노드 안내는 음성으로 출력 또는 실내 지도상에 기호로 표시될 수 있고, 사용자는 각 노드에서 하나 이상의 이미지를 촬영할 수 있다. 그러면, 제어부(150)는 노드 안내에 따라 각 노드에서 촬영된 이미지를 저장하고, 저장된 각 노드의 촬영 이미지를 서비스 서버(200)로 전송한다. 즉, 제어부(150)는 모든 노드들에 대해 이미지 수집이 완료되면, 수집된 이미지와 노드 좌표를 서비스 서버(200)로 전송한다. 이때, 실내 지도 상의 노드 수 및 촬영의 방향 등은 관리자에 따라 사전에 설정될 수 있다.
또한, 제어부(150)는 저장부(120)에 저장된 위치 추정 애플리케이션이 실행되면, 촬영부(130)를 구동시키고, 촬영부(130)를 통해 촬영된 이미지를 포함하는 위치 추청 요청 신호를 통신부(110)를 통해 서비스 서버(200)로 전송한다. 그런 후, 서비스 서버(200)로부터 상기 이미지에 대응하는 위치가 수신되면, 제어부(150)는 실내 지도상에 상기 위치를 표시하여 촬영 이미지와 함께 표시부(140)를 통해 디스플레이한다. 즉, 위치 추정 애플리케이션을 통해 사용자의 위치가 추정되면, 제어부(150)는 도 5와 같이 촬영된 이미지(510)와 실내 지도(520)상에 자신의 위치(A)가 표시된 위치 추정 화면(500)을 디스플레이할 수 있다.
이러한 제어부(150)는 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
한편, 상기와 같이 구성된 단말장치(100)는 촬영부(130)를 통해 주변 환경의 촬영이 가능하고, 다양한 유무선 환경에 적용될 수 있는 전자 기기일 수 있다. 예컨대, 단말장치(100)는 PDA(Personal Digital Assistant), 스마트폰, 셀룰러폰, PCS(Personal Communication Service)폰, GSM(Global System for Mobile)폰, W-CDMA(Wideband CDMA)폰, CDMA-2000폰, MBS(Mobile Broadband System)폰 등을 포함한다. 여기서 단말장치(100)는 휴대용 소형기기를 나타낼 수 있지만, 캠코더 또는 랩탑 컴퓨터 등을 포함하는 경우에는 이동통신단말기로 지칭될 수 있으므로, 본 발명의 실시예에서는 이에 특별히 한정하지는 않을 것이다.
도 6은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 나타낸 블록도, 도 7은 도 6에 도시된 위치 추정 모델 생성부의 구성을 상세히 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 서비스 서버(200)는 통신부(210), 저장부(220), 위치 추정 모델 생성부(230), 위치 추정부(240), 제어부(250)를 포함한다.
통신부(210)는 단말장치(100)로부터 노드별 촬영 이미지 또는 촬영 이미지를 포함하는 위치 추정 요청 신호를 수신한다.
저장부(220)는 서비스 서버(200)의 동작과 관련된 데이터들을 저장하는 구성이다. 특히, 저장부(220)에는 기 설정된 노드가 표시된 실내 지도가 저장될 수 있다.
위치 추정 모델 생성부(230)는 통신부(210)를 통해 단말장치(100)로부터 노드 좌표별 촬영 이미지를 수신하고, 수신된 각 노드 좌표의 촬영 이미지를 학습하며, 학습된 촬영 이미지를 오브젝트들로 분할하고, 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성한다. 이때, 위치 추정 모델 생성부(230)는 딥 러닝을 이용하여 위치 추정 모델을 생성할 수 있다. 위치 추정 모델은 노드 좌표별 최적 이미지가 매핑된 형태일 수 있다. 따라서, 위치추정 모델은 위치를 모르는 이미지가 입력되면, 그 이미지에 대응하는 노드 좌표를 출력값으로 계산할 수 있다.
이러한 위치 추정 모델 생성부(230)은 수집모듈(232), 이미지 분류모듈(234), 이미지 분할모듈(236), 결정모듈(238)을 포함한다.
수집모듈(232)은 실내 지도에 설정된 각 노드 좌표의 촬영 이미지를 수집한다.
이미지 분류모듈(234)은 수집모듈(232)에서 수집된 각 노드 좌표의 촬영 이미지들을 학습한다. 이때, 이미지 분류모듈(234)은 예컨대, resnet를 이용하여 각 노드의 촬영 이미지들을 학습할 수 있다.
이미지 분할모듈(236)은 이미지 분류모듈(234)에서 학습된 촬영 이미지를 오브젝트로 분할한다. 이때, 이미지 분할모듈(236)은 예컨대, Fusion net를 이용하여 학습된 이미지를 사람, 책상, 벽, 의자 등의 오브젝트 별로 분할시킬 수 있다.
결정모듈(238)은 이미지 분할모듈(236)에서 분할된 오브젝트를 선택적으로 활성화시켜 위치 추정 모델을 생성한다. 이때, 결정모듈(238)은 예컨대, softmax 함수를 이용하여 분할된 오브젝트를 선택적으로 활성화시켜 위치 추정 모델을 생성할 수 있다. 즉, 결정모듈(238)은 이미지 분류모듈(234)에서 학습된 이미지 상에 활성화시키고 싶은 오브젝트가 위치하는 부분의 가중치를 높여주고, 반대의 경우는 가중치를 낮추어 주는 형태로, 즉 선택적으로 활성화시켜 최종적으로 학습하고자 하는 부분만을 선택적으로 활성화 시켜줄 수 있도록 한다. 예를 들어, 다이나믹 오브젝트인 사람이 존재하는 부분의 가중치를 '0'으로 설정할 수 있다.
상술한 바와 같이 위치 추정 모델 생성부(230)는 이미지 분할(image segmentation) 기법과 선택적 활성화(selective activation) 기법을 이용하여 위치 추정 모델을 생성함으로써, 유동적인 오브젝트 및 환경의 영향을 최소화할 수 있다.
위치 추정부(240)는 단말장치(100)로부터 촬영 이미지를 포함하는 위치 추청 요청 신호가 수신되면, 촬영 이미지를 위치 추정 모델 생성부(230)에서 생성된 위치 추정 모델에 입력하여 단말장치(100)의 위치를 추정하고, 추정된 위치를 단말장치(100)로 전송한다. 위치추정 모델은 위치를 모르는 이미지가 입력되면, 그 이미지에 대응하는 노드 좌표를 출력할 수 있다.
구체적으로, 위치 추정부(240)는 이미지를 포함하는 위치 추정 요청 신호가 수신되면, 이미지를 오브젝트별로 분할하고, 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 정규화된 확률값을 산출할 수 있다. 이때, 위치 추정부(240)는 Softmax 함수를 통해 정규화된 확률 값을 산출할 수 있다. 그런 후, 위치 추정부(240)는 산출된 확률값을 기 설정된 임계치(threshold value)와 비교하고, 그 비교결과 임계치 이상인 경우 해당 노드 좌표를 사용자의 위치로 추정하여, 단말장치(100)로 전송할 수 있다. 만약, 확률값이 임계치 이상이 아니면, 위치 추정부(240)는 이미지 재촬영 요청 신호를 단말장치(100)로 전송한다. 그러면, 단말장치(100)는 이미지를 재촬영하여 위치 추정을 요청할 수 있다.
한편, 위치 추정 모델 생성부(230), 위치 추정부(240)는 컴퓨팅 장치상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 위치 추정 모델 생성부(230), 위치 추정부(240)는 물리적으로 독립된 각각의 구성에 의해 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(250)는 통신부(210), 저장부(220), 위치 추정 모델 생성부(230) 및 위치 추정부(240)를 포함하는 서비스 서버(200)의 다양한 구성부들의 동작을 제어하는 구성으로, 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
도 8은 본 발명의 일 실시예에 따른 위치 추정 모델 생성 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 단말장치(100)는 이미지 수집 애플리케이션이 실행되면(S810), 촬영부(130)를 구동시키고, 촬영부(130)를 통해 촬영된 이미지와 실내 지도가 표시된 이미지 수집 화면을 디스플레이한다(S820).
단계 S820이 수행되면, 단말장치(100)는 이미지 수집 화면의 실내 지도를 통해 지정된 초기 노드를 설정하고(S830), 노드 안내에 따라 각 노드에서 이미지를 촬영하여 저장한다(S840).
단계 S840의 수행으로 실내 지도상의 모든 노드에서 이미지 촬영이 완료되면, 단말장치(100)는 각 노드의 촬영 이미지를 서비스 서버(200)로 전송한다(S850).
단계 S850이 수행되면, 서비스 서버(200)는 단말장치(100)로부터 전송된 각 노드 좌표의 촬영 이미지를 학습하고(S860), 학습된 촬영 이미지를 오브젝트들로 분할하며(S870), 분할된 오브젝트들을 학습된 이미지상에 선택적으로 활성화시켜(S880) 위치 추정 모델을 생성한다(S890). 이때, 서비스 서버(200)는 딥 러닝을 이용하여 위치 추정 모델을 생성할 수 있다
도 9는 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 단말장치(100)는 위치 추정 애플리케이션이 실행되면(S910), 촬영부(130)를 구동시켜 이미지를 촬영하고(S920), 촬영 이미지를 포함하는 위치 추청 요청 신호를 서비스 서버(200)로 전송한다(S930).
단계 S930이 수행되면, 서비스 서버(200)는 촬영 이미지를 위치 추정 모델에 입력하여 위치에 대한 확률값을 산출한다(S940). 이때, 서비스 서버(200)는 이미지를 오브젝트별로 분할하고, 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 정규화된 확률값을 산출할 수 있다.
단계 S940이 수행되면, 서비스 서버(200)는 산출된 확률값이 기 설정된 임계값 이상인지를 판단한다(S950).
단계 S950의 판단결과, 확률값이 임계값 이상이면, 서비스 서버(200)는 해당 노드 좌표를 사용자의 위치로 추정하여, 단말장치(100)로 전송한다(S960).
그러면, 단말장치(100)는 실내 지도상에 상기 위치를 표시된 위치 추정 화면을 디스플레이한다(S970).
만약, 단계 S950의 판단결과 확률값이 임계치 이상이 아니면, 서비스 서버(200)는 이미지 재촬영 요청 신호를 단말장치(100)로 전송한다(S980). 그러면, 단말장치(100)는 이미지를 재촬영하여 위치 추정을 요청할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 서비스 시스템 및 방법은, 실내 지도에 표시된 노드들에서 촬영된 이미지들에 대한 선택적 활성화(selective activation) 기법과 이미지 분할(image segmentation) 기법을 활용하여 위치 추정 모델을 생성함으로서, 유동적인 사물 및 환경에 의한 영향을 최소화할 수 있고, 실내 환경에서 사용자 단말장치의 카메라로 촬영된 이미지를 이용하여 사용자의 위치를 추정함으로써, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 정확하게 추정할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 단말장치
110, 210 : 통신부
120, 220 : 저장부
130 : 촬영부
140 : 표시부
150, 250 : 제어부
200 : 서비스 서버
230 : 위치 추정 모델 생성부
240 : 위치 추정부

Claims (8)

  1. 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수신하는 통신부; 및
    상기 통신부를 통해 수신한 각 노드에서의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 위치 추정 모델 생성부;를 포함하되,
    상기 위치 추정 모델 생성부는,
    상기 학습된 이미지 상에 활성화시킬 오브젝트가 위치하는 부분의 가중치를 기준 가중치보다 높이고, 활성화시키지 않을 오브젝트가 위치하는 부분의 가중치를 기준 가중치보다 낮춤으로써, 최종적으로 학습하고자 하는 오브젝트가 위치하는 부분만을 선택적으로 활성화시키는 것을 특징으로 하는 서비스 서버.
  2. 제1항에 있어서,
    상기 통신부를 통해 단말장치로부터 촬영 이미지를 포함하는 위치 추정 요청 신호가 수신되면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 위치 추정부를 더 포함하는 서비스 서버.
  3. 제2항에 있어서,
    상기 위치 추정부는,
    상기 촬영 이미지에서 오브젝트들을 분할하고, 상기 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 확률값을 산출하며, 상기 산출된 확률값을 기 설정된 임계치와 비교하여, 임계치 이상인 경우 해당 노드 좌표를 상기 단말장치의 위치로 추정하고, 임계치 이상이 아닌 경우 이미지 재촬영 요청 신호를 상기 단말장치로 전송하는 것을 특징으로 하는 서비스 서버.
  4. 제1항에 있어서,
    상기 위치 추정 모델 생성부는,
    상기 실내 지도에 설정된 각 노드의 촬영 이미지를 수집하는 수집모듈;
    상기 수집된 각 노드의 촬영 이미지를 학습하는 이미지 분류모듈;
    상기 학습된 촬영 이미지를 오브젝트들로 분할하는 이미지 분할모듈; 및
    상기 분할된 오브젝트들을 상기 학습된 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 결정모듈을 포함하는 것을 특징으로 하는 서비스 서버.
  5. 통신망을 통해 서비스 서버와 통신을 수행하는 통신부;
    기 설정된 노드가 표시된 실내 지도가 저장된 저장부;
    촬영부;
    표시부; 및
    상기 저장부에 저장된 이미지 수집 애플리케이션이 실행된 경우, 상기 촬영부를 통해 촬영된 이미지와 상기 실내 지도를 상기 표시부에 디스플레이시키고, 상기 실내 지도를 통해 초기 노드를 설정하며, 노드 안내에 따라 해당 노드에서 촬영된 이미지를 저장하고, 상기 저장된 각 노드의 촬영 이미지를 서비스 서버로 전송하는 제어부를 포함하고,
    상기 서비스 서버는,
    상기 각 노드의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하되,
    상기 서비스 서버는, 상기 학습된 이미지 상에 활성화시킬 오브젝트가 위치하는 부분의 가중치를 기준 가중치보다 높이고, 활성화시키지 않을 오브젝트가 위치하는 부분의 가중치를 기준 가중치보다 낮춤으로써, 최종적으로 학습하고자 하는 오브젝트가 위치하는 부분만을 선택적으로 활성화시키는 것을 특징으로 하는 단말장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 촬영부를 통해 촬영된 이미지를 포함하는 위치 추정 요청 신호를 상기 통신부를 통해 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 이미지에 대응하는 위치가 수신되면, 상기 실내 지도상에 상기 위치를 표시하여 상기 촬영된 이미지와 함께 상기 표시부를 통해 디스플레이시키는 것을 특징으로 하는 단말장치.
  7. 서비스 서버가 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수집하는 단계;
    상기 서비스 서버가 상기 수집된 각 노드에서의 촬영 이미지를 학습하는 단계;
    상기 서비스 서버가 상기 학습된 촬영 이미지를 오브젝트들로 분할하는 단계; 및
    상기 서비스 서버가 상기 분할된 오브젝트들을 상기 학습된 촬영 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 단계;를 포함하되,
    상기 위치 추정 모델을 생성하는 단계에서,
    상기 서비스 서버는, 상기 학습된 촬영 이미지 상에 활성화시킬 오브젝트가 위치하는 부분의 가중치를 기준 가중치보다 높이고, 활성화시키지 않을 오브젝트가 위치하는 부분의 가중치를 기준 가중치보다 낮춤으로써, 최종적으로 학습하고자 하는 오브젝트가 위치하는 부분만을 선택적으로 활성화시키는 것을 특징으로 하는 이미지 기반 실내 측위 서비스 방법.
  8. 제7항에 있어서,
    상기 서비스 서버가, 촬영 이미지를 포함하는 위치 추정 요청 신호를 단말장치로부터 수신하면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 이미지 기반 실내 측위 서비스 방법.



KR1020190060846A 2019-05-23 2019-05-23 이미지 기반 실내 측위 서비스 시스템 및 방법 KR102277974B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190060846A KR102277974B1 (ko) 2019-05-23 2019-05-23 이미지 기반 실내 측위 서비스 시스템 및 방법
PCT/KR2019/007581 WO2020235740A1 (ko) 2019-05-23 2019-06-24 이미지 기반 실내 측위 서비스 시스템 및 방법
US17/613,567 US20220245944A1 (en) 2019-05-23 2019-06-24 Image-based indoor positioning service system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060846A KR102277974B1 (ko) 2019-05-23 2019-05-23 이미지 기반 실내 측위 서비스 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200134807A KR20200134807A (ko) 2020-12-02
KR102277974B1 true KR102277974B1 (ko) 2021-07-15

Family

ID=73458902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060846A KR102277974B1 (ko) 2019-05-23 2019-05-23 이미지 기반 실내 측위 서비스 시스템 및 방법

Country Status (3)

Country Link
US (1) US20220245944A1 (ko)
KR (1) KR102277974B1 (ko)
WO (1) WO2020235740A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591370B1 (ko) * 2021-03-23 2023-10-20 주식회사 다비오 실내 측위 장치 및 그 방법
KR102624732B1 (ko) * 2021-04-21 2024-01-11 경북대학교 산학협력단 실내 네비게이션 서비스 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310446A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像検索システム
JP2009074995A (ja) * 2007-09-21 2009-04-09 Univ Of Electro-Communications 移動体情報処理装置、移動体情報処理方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100041926A (ko) * 2008-10-15 2010-04-23 에스케이 텔레콤주식회사 위치 확인 서비스 시스템 및 방법, 그리고 이를 위한 위치정보 생성 방법
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
KR102362117B1 (ko) * 2014-07-01 2022-02-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치
WO2016098457A1 (ja) * 2014-12-17 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9892553B2 (en) * 2015-09-08 2018-02-13 Electronics And Telecommunications Research Institute Apparatus and method for providing image-based indoor map
KR102050457B1 (ko) * 2015-09-08 2019-11-29 한국전자통신연구원 이미지 기반의 실내지도 제공 장치 및 이를 이용한 방법
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
JP6275362B1 (ja) * 2016-04-01 2018-02-07 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310446A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像検索システム
JP2009074995A (ja) * 2007-09-21 2009-04-09 Univ Of Electro-Communications 移動体情報処理装置、移動体情報処理方法、およびプログラム

Also Published As

Publication number Publication date
KR20200134807A (ko) 2020-12-02
US20220245944A1 (en) 2022-08-04
WO2020235740A1 (ko) 2020-11-26

Similar Documents

Publication Publication Date Title
CN105318881B (zh) 地图导航方法、装置及系统
CN111983635B (zh) 位姿确定方法及装置、电子设备和存储介质
KR102277503B1 (ko) 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법
US10747634B2 (en) System and method for utilizing machine-readable codes for testing a communication network
CN109165606B (zh) 一种车辆信息的获取方法、装置以及存储介质
US12020463B2 (en) Positioning method, electronic device and storage medium
KR102277974B1 (ko) 이미지 기반 실내 측위 서비스 시스템 및 방법
WO2022110776A1 (zh) 定位方法及装置、电子设备、存储介质、计算机程序产品、计算机程序
CN112433211B (zh) 一种位姿确定方法及装置、电子设备和存储介质
US20230154027A1 (en) Spatial construction using guided surface detection
WO2020098431A1 (zh) 一种构建地图模型的方法及装置
CN107193820B (zh) 位置信息获取方法、装置及设备
US10921131B1 (en) Systems and methods for interactive digital maps
WO2022237071A1 (zh) 定位方法及装置、电子设备、存储介质和计算机程序
JP2023544913A (ja) 客体認識基盤室内側位のための端末装置、サービスサーバーおよびその方法
TW201906464A (zh) 用於定位終端裝置的系統及方法
US11869217B2 (en) Image processing apparatus, detection method, and non-transitory computer readable medium
KR102591370B1 (ko) 실내 측위 장치 및 그 방법
Kartalidis et al. Cellular automata based evacuation process triggered by indoors Wi-Fi and GPS established detection
CN116558524A (zh) 一种室内定位方法、装置、设备及计算机程序产品
KR20240041053A (ko) 경로 안내 단말, 경로 안내 시스템 및 경로 안내 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right