KR20220086194A - 비정형 환경에서의 위치인식 방법 및 장치 - Google Patents

비정형 환경에서의 위치인식 방법 및 장치 Download PDF

Info

Publication number
KR20220086194A
KR20220086194A KR1020200176412A KR20200176412A KR20220086194A KR 20220086194 A KR20220086194 A KR 20220086194A KR 1020200176412 A KR1020200176412 A KR 1020200176412A KR 20200176412 A KR20200176412 A KR 20200176412A KR 20220086194 A KR20220086194 A KR 20220086194A
Authority
KR
South Korea
Prior art keywords
node
information
map
topology
unit
Prior art date
Application number
KR1020200176412A
Other languages
English (en)
Inventor
이소연
블라디미로브블라고베스트요르다노브
박상준
손진희
이창은
전성우
조은영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200176412A priority Critical patent/KR20220086194A/ko
Priority to US17/551,038 priority patent/US11978244B2/en
Publication of KR20220086194A publication Critical patent/KR20220086194A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)

Abstract

본 발명은 비정형 환경에서의 위치인식 장치에 관한 것으로, 센서 모듈들로부터 수집되는 센싱 데이터로부터 영상 이미지의 시멘틱 라벨 정보와 객체 위치 정보를 검출하고, 영상 이미지 내 이벤트를 검출하는 센싱 정보 획득부; 사용자 이동 정보를 획득하는 보행 항법 정보 제공부; 센싱 정보 획득부를 통해 수집되는 센싱 데이터를 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영하는 메트릭 맵 생성모듈; 및 센싱 정보 획득부를 통해 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보를 통해 토폴로지 노드를 갱신하는 토폴로지 맵 생성모듈을 포함한다.

Description

비정형 환경에서의 위치인식 방법 및 장치{Location recognition method and apparatus in atypical environment}
본 발명은 비정형 환경에서의 위치인식 장치에 관한 것으로, 더욱 상세하게는 사전정보 없이 처음 진입하는 건물이나 지하시설물, GNSS-denied 환경하에서 이동하는 이동체에서 해당지역의 지도를 점진적으로 생성하는 동시에 정밀한 위치를 추정하는 비정형 환경에서의 위치인식 장치에 관한 것이다.
최근의 전장 양상이 소규모, 대테러 대응 등 도심작전 위주로 변화하면서 병사들의 평소 작전훈련과 실전에 임했을 때에 활용할 수 있는 첨단 ICT(Information Communications Technologies) 기술의 지원이 절실히 필요하다.
특히, 병사들의 위치정보는 훈련이나 실전에서 기본적으로 확보되어야 하는 정보로 그동안 많은 기술적 접근법이 시도되어 왔다.
실외에서는 대부분 GNSS 위성신호를 이용하여 위치정보를 획득하는 위성 항법 시스템을 사용하나, 빌딩이 밀집된 지역이나, 실내공간에서는 이를 사용할 수 없어 무선신호를 이용하는 방법, 센서를 이용하는 방법 등이 제안되고 있다.
일반 보행자용으로는 Wi-Fi, BLE, 이동통신망 등의 무선신호 분석, 가속도 및 자이로와 같은 센서 신호분석을 이용하는 보행 항법을 주로 적용하나, 인프라를 활용할 수 없는 환경에서는 IR-UWB를 이용하여 단말의 위치를 추정하거나 보행 항법을 융합하는 방법 등이 제안된 바 있다.
최근 몇 년 사이의 인공지능 및 영상인식의 기술적 진보에 의해, 비전센서 기반의 SLAM을 수행하는 기술에 대한 관심이 높아지고 있다.
SLAM(Simultaneous Localization And Mapping)은 센서로부터 취득되는 정보를 이용하여 이동체의 주변환경에 대한 지도를 작성함과 동시에 이동체의 현재위치를 추정하는 기술로, 다양한 센서들(라이다, 레이더, 레이저, 카메라 등)을 활용할 수 있다.
SLAM은 사전 정보가 없는 미지의 공간에서 주행을 시작하는 경우에 환경에 대한 지도를 작성하는 동시에 사용자의 위치를 추정하는 기술로, 다양한 방법론이 연구되어 왔다. 이러한 방법론들의 공통적인 문제는 많은 연산량에 의해 실시간성이 떨어지는 것이었는데, 최근에 이루어진 컴퓨터 비전분야의 기술적 진보의 핵심인 심층학습이 접목되면서 SLAM 기술의 성능을 한 차원 높일 수 있는 계기가 마련되었다.
영상 SLAM(이하VSLAM)은 SfM(Structure from Motion)의 실시간 버전으로, 시각적 오도메트릭 맵을 이용하여 SLAM 문제를 해결한다.
ORB-SLAM(Oriented FAST and Rotated BRIEF)은 수공예 특징점 기반 방법의 하나로, ORB-특징점을 활용하여 카메라의 궤적과 다양한 환경에서의 3D 지도를 실시간으로 계산할 수 있는 방법이다.
또 다른 방법인 LSD-SLAM은 직접적 영상 기반 방법의 하나로 키포인트/특징점 추출없이 이미지의 모든 정보를 사용하여 추정하는 방법이다.
이 방식은, 실내와 같이 키 포인트/특징점을 추출하기 어려운 환경에서 보다 높은 정확성과 견고성을 제공하며 상대적으로 더 밀도가 높은 3D 재구성을 가능하게 한다.
또한, 기존의 영상기반 주행 경로 거리 추정 방법은 수공예 특징점 기반 방법에 의존하고 있으며, 이 방법들은 자동차 및 비행물체 또는 로봇과 같이 이동거리의 규모가 크거나 이동시에 가감속의 크기가 안정적인 대상의 움직임에 대해 최적화되어 있다.
게다가 기존의 방법들은 실시간으로 변하는 환경 변화 주변 물체의 움직임 및 물체 이동 등에 매우 취약한 문제점이 있다.
반면에, 보행자의 경우에는 주변의 사람이나 물체가 시시각각 변하는 환경이며, 전투원의 이동패턴 자체의 경우 이동거리의 규모가 작지만, 실제 행동에서의 가속 또는 감속 변화가 큰 매우 동적인 환경이다.
이에 따라, 기존 영상기반 주행 경로 거리 추정들이 동적 움직임이 랜덤한 일반 보행자 응용에 대해서 거의 적용되지 못하고 있다.
본 발명은 종래 문제점을 해결하기 위한 것으로, 사전정보 없이 처음 진입하는 건물이나 지하시설물, GNSS-denied 환경, 전투원의 불규칙적이고 동적인 움직임으로 열악한 품질의 데이터수집, 변형된 전장공간 조건에서 전투원들 협업을 통한 작전 지역의 3D 지도를 점진적으로 생성하고 동시에 정밀한 위치를 제공하는 비정형 환경에서의 위치인식 장치를 제공하고자 한다.
본 발명은 멀티센서 기반의 VSLAM 기능과 보행 항법 기능을 융합하는 강건한 위치인식과 시멘틱 정보를 이용하는 메트릭 맵을 통해, 맵을 구축하는데 소요되는 시간을 줄이고, 환경 변화에 강인하도록 구성하여 시간이 지남에도 일정 수준의 성능 수준을 유지하기 위해 위치 오차를 줄이는 방법을 제공할 수 있는 비정형 환경에서의 위치인식 장치를 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 장치는 센서 모듈들로부터 영상 이미지를 포함하는 센싱 데이터를 수집하는 센싱 정보 획득부; 사용자 이동 정보를 획득하는 보행 항법 정보 제공부; 상기 센싱된 영상 이미지에서 시멘틱 라벨 정보와 객체 위치 정보를 검출하고, 영상 이미지 내 이벤트를 검출 여부를 분석하는 영상 분석부; 상기 센싱 정보 획득부를 통해 수집되는 센싱 데이터와 상기 영상 분석부를 통해 분석한 정보들을 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영하는 메트릭 맵 생성모듈; 및 상기 센싱 정보 획득부를 통해 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보를 통해 토폴로지 노드를 갱신하는 토폴로지 맵 생성모듈을 포함한다.
상기 토폴로지 맵 생성모듈은, 상기 센싱 정보 획득부를 통해 획득한 시멘틱 라벨 정보와 객체 위치 정보를 통해 토폴로지 노드를 생성하는 노드 생성부; 상기 수신되는 이벤트 정보와 실제 사용자의 위치정보를 분석하여 노드의 천이 필요 여부를 판단하는 천이 판단부; 상기 천이 여부에 따라 상기 생성된 토폴로지 노드의 위치를 갱신하는 노드 관리부; 및 상기 메트릭 맵 생성모듈을 통해 제공되는 시멘틱 라벨 정보와 상기 토폴로지 노드를 비교하여 토폴로지 노드와 사용자 위치 정보를 융합하는 맵 융합부를 포함한다.
그리고 상기 토폴로지 맵 생성모듈은, 사용자의 궤적에 의해 생성된 일련의 메트릭 맵 기능에 대한 자기 지도학습을 수행하는 자기지도 학습부를 더 포함할 수 있다.
한편, 상기 토폴로지 맵 생성모듈은, 상기 토폴로지 노드가 생성된 경로에서 메트릭 맵 기능 시퀀스를 생성할 때 강화학습을 수행하는 강화 학습부를 더 포함할 수 있다.
상기 보행 항법 정보 제공부는, 사용자의 보폭, 이동방향 및 이동거리 데이터를 포함하는 사용자 이동 정보를 획득하여 상기 토폴로지 맵 생성모듈로 제공할 수 있다.
상기 천이 판단부는, 상기 센싱 정보 획득부를 통해 획득한 사용자의 위치를 기준으로 상기 영상 이미지를 통해 획득한 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드 정보가 대응되는 지의 여부를 판단하는 노드 판단부; 상기 노드 판단부의 판단 결과, 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응되지 않으면, 상기 토폴로지 맵의 노드 정보를 보정하는 노드 보정부; 상기 노드 판단부의 판단 결과 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응하면, 상기 토폴로지 맵의 노드와 다음 노드 사이에 링크를 추가하는 링크 처리부; 상기 보행 항법 모듈로부터 제공되는 사용자의 이동 정보를 통해 상기 추가된 링크거리를 계산하는 링크거리 계산부; 및 상기 링크거리 계산부에 의해 계산된 링크거리에 대응되도록 상기 추가된 링크와 상기 토폴로지 맵의 노드 위치를 보정하는 노드 천이부를 포함한다.
한편, 본 발명의 다른 실시예에서의 토폴로지 맵 생성모듈은, 실제 지도 정보를 이용하여 생성된 보정되지 않은 토폴로지 맵 정보가 이용될 수 있다.
그리고 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 방법은 센서 모듈들에 의해 수집되는 센싱 데이터로부터 영상 이미지의 시멘틱 라벨 정보, 객체 위치 정보 및 영상 이미지 내 이벤트를 검출하는 센싱 정보 획득 단계; 사용자 이동 정보를 획득하는 단계; 메트릭 맵 생성모듈이 상기 수집되는 센싱 데이터를 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영하는 단계; 토폴로지 맵 생성모듈이 상기 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보와 영상 오도메트릭 맵을 통해 토폴로지 노드를 갱신하는 단계를 포함한다.
상기 토폴로지 노드를 갱신하는 단계는, 노드 생성부가 상기 획득한 시멘틱 라벨 정보와 객체 위치 정보를 통해 토폴로지 노드를 생성하는 단계; 천이 판단부가 상기 수신되는 이벤트 정보와 실제 사용자의 위치정보를 분석하여 노드의 천이 필요 여부를 판단하는 단계; 노드 관리부가 상기 천이 여부에 따라 상기 생성된 토폴로지 노드의 위치를 갱신하는 단계; 및 맵 융합부는 상기 메트릭 맵 생성모듈을 통해 제공되는 시멘틱 라벨 정보와 상기 토폴로지 노드를 비교하여 토폴로지 노드와 사용자 위치 정보를 융합하는 단계를 포함한다.
한편, 본 발명의 일 실시예에서는 자기지도 학습부가 사용자의 궤적에 의해 생성된 일련의 메트릭 맵 기능에 대한 자기 지도학습을 수행하는 단계를 더 포함할 수 있다.
반면에, 본 발명의 일 실시예에서는 강화 학습부가 상기 토폴로지 노드가 생성된 경로에서 메트릭 맵 기능 시퀀스를 생성할 때 강화학습을 수행하는 단계를 더 포함할 수 있다.
그리고 상기 사용자 이동 정보를 획득하는 단계는, 사용자의 보폭, 이동방향 및 이동거리 데이터를 포함하는 사용자 이동 정보를 획득하여 상기 토폴로지 맵 생성모듈로 제공한다.
또한 상기 사용자 위치와 노드간 천이 여부를 판단하는 단계는, 노드 판단부가 상기 센싱 정보 획득부를 통해 획득한 사용자의 위치를 기준으로 상기 영상 이미지를 통해 획득한 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드 정보가 대응되는 지의 여부를 판단하는 단계; 상기 판단 단계에서 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응되지 않으면, 노드 보정부가 상기 토폴로지 맵의 노드 정보를 보정하는 단계; 상기 판단 단계에서 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응하면, 링크 처리부가 상기 토폴로지 맵의 노드와 다음 노드 사이에 링크를 추가하는 단계; 링크거리 계산부가 제공되는 사용자의 이동 정보를 통해 상기 추가된 링크거리를 계산하는 단계; 및 노드 천이부가 상기 계산된 링크거리에 대응되도록 상기 추가된 링크와 상기 토폴로지 맵의 노드 위치를 보정하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 비정형 환경에서의 위치인식 방법은 상기 토폴로지 맵 생성하는 단계는, 실제 지도 정보를 이용하여 생성된 보정되지 않은 토폴로지 맵 정보가 이용될 수 있다.
이러한 본 발명의 일 실시예에 따르면, 위치인식 장치가 건물 내부를 이동해 가면서 토폴로지 맵을 생성함으로써, 비정형의 동적으로 가감속이 높은 환경하에서 위치 인식을 하고자 할 때, 처음 가보는 장소에서도 보다 빠르고 정확하게 환경 맵을 생성하고 그 안에서 사용자의 위치를 인식할 수 있는 효과가 있다.
도 1은 본 발명에 따른 비정형 환경에서의 위치인식 장치를 설명하기 위한 기능블록도.
도 2는 SLAM 기능을 이용한 맵 구축 시간을 설명하기 위한 참고도.
도 3는 본 발명의 일 실시예에 따른 토폴로지 맵 생성모듈을 설명하기 위한 구성블록도.
도 4는 도 3의 천이 판단부를 설명하기 위한 구성블록도.
도 5는 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 장치에서 사용자의 이동에 른 시간별 토폴로지 맵의 생성 과정을 설명하기 위한 참고도.
도 6은 본 발명의 다른 실시예에서 사용자 이동 정보를 획득하기 전에 기본적으로 생성된 보정되지 않은 토폴로지 맵 정보를 설명하기 위한 참고도.
도 7은 실제 건물의 맵을 설명하기 위한 참고도.
도 8은 도 1의 보행항법 정보 제공부에 의해 노드 및 링크가 보정된 토폴로지 맵을 설명하기 위한 참고도.
도 9는 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 장치를 설명하기 위한 순서도.
도 10은 도 9의 토폴로지 노드를 갱신하는 단계를 설명하기 위한 순서도.
도 11은 도 10의 사용자 위치와 노드간 천이 여부를 판단하는 단계를 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명에 따른 비정형 환경에서의 위치인식 장치를 설명하기 위한 기능블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 장치는 센싱 정보 획득부(100), 보행 항법 정보 제공부(200), 영상 분석부(300), 토폴로지 맵 생성모듈(400) 및 메트릭 맵 생성모듈(500)을 포함한다.
센싱 정보 획득부(100)는 센서 모듈들로부터 영상 이미지를 포함하는 센싱 데이터를 수집한다. 이러한 센싱 정보 획득부(100)는 레이더, 라이다, 레이저, 적외선, 스테레오 카메라, RGB-D 카메라 및 IMU(Inertial Measurement Unit) 센서들을 포함할 수 있고, 상기 획득하는 센싱 데이터를 이용할 수 있다. 여기서 이미지 내 이벤트는 사용자의 움직임 여부를 의미한다.
보행 항법 정보 제공부(200)는 센싱 정보 획득부(100)를 통해 수집되는 센싱 데이터에서 사용자 이동 정보를 획득한다. 여기서, 사용자 이동 정보는 사용자의 보폭, 이동방향 및 이동거리를 의미한다. 본 실시예에서는 IMU 센서를 통해 획득한 센싱 데이터로부터 산출할 수 있다.
영상 분석부(300)는 상기 센싱된 영상 이미지에서 시멘틱 라벨 정보와 객체 위치 정보를 검출하고, 영상 이미지 내 이벤트를 검출 여부를 분석한다.
메트릭 맵 생성모듈(500)은 센싱 정보 획득부(100)를 통해 수집되는 센싱 데이터와 상기 영상 분석부(300)를 통해 분석한 정보들을 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영한다. 즉, 메트릭 맵 생성모듈(500)은 생성된 영상 오도메트릭 맵을 통해 검출되는 노드에 대하여 시멘틱 라벨 정보를 반영한다. 여기서, 노드는 방과 같이 벽체로 둘러싸인 독립적인 공간을 나타낸다.
메트릭 맵 생성모듈(500)은 VSLAM(Visual Simultaneous Localization and Mapping, 이하 “VSLAM”이라 함) 기능을 이용하는 것으로, 통상 low-level 이미지 피처들(즉, 코너, 블롭 등)을 이용해서 유저의 위치를 추정하고 메트릭 맵을 생성한다.
도 2에 도시된 바와 같이, 파란선을 보면, 맵의 품질이 향상되는 초기맵 구축 단계와 해당 품질이 유지되는 이후의 전개 단계를 구분할 수 있다. 그리고, 빨간선은 전장환경과 같은 열악한 환경하에서는 사용 가능한 수준의 맵을 구축하는데 소요되는 시간이 훨씬 더 많이 필요하고 또한 이를 유지하는 것도 매우 어려운 태스크임을 알 수 있다. 특히나, 동적 움직임이 격렬한 상황에서 발생가능한 조도(照度)의 변화, 흐린 영상 등은 메트릭 맵을 구성하는 시간을 증가시킨다.
또한, 메트릭 맵은 일차적인 이미지 특성들에 의존하기 때문에, 환경변화에 매우 민감하며, 환경이 자주 변하는 장소에서는 좀 더 잦은 업데이트를 필요로 한다. 초록선은 가장 이상적인 경우로서, 맵이 빠르게 안정적인 상태로 구축되는 상황을 보여준다.
토폴로지 맵 생성모듈(400)은 센싱 정보 획득부(100)를 통해 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보를 통해 토폴로지 노드를 갱신한다. 본 발명의 일 실시예에서의 토폴로지 맵은 공간을 단순화해서 표현한 것으로, 타겟 공간을 좀 더 축약된 수준으로 표현한다.
도 3는 본 발명의 일 실시예에 따른 토폴로지 맵 생성모듈(400)을 설명하기 위한 구성블록도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 토폴로지 맵 생성모듈(400)은 노드 생성부(410), 천이 판단부(420), 노드 관리부(430) 및 맵 융합부(440)를 포함한다.
노드 생성부(410)는 상기 영상 분석부(300)를 통해 획득한 시멘틱 라벨 정보와 객체 위치 정보를 통해 토폴로지 노드를 생성한다.
천이 판단부(420)는 상기 수신되는 이벤트 정보와 실제 사용자의 위치정보를 분석하여 노드의 천이 필요 여부를 판단한다.
노드 관리부(430)는 상기 천이 여부에 따라 상기 생성된 토폴로지 노드의 위치를 갱신한다.
맵 융합부(440)는 메트릭 맵 생성모듈(500)을 통해 제공되는 시멘틱 라벨 정보와 토폴로지 노드를 비교하여 토폴로지 노드와 사용자 위치 정보를 융합하여 제공한다.
도 4는 도 3의 천이 판단부를 설명하기 위한 구성블록도이다.
도 4에 도시된 바와 같이, 상기 천이 판단부(420)는 노드 판단부(421), 노드 보정부(422), 링크 처리부(423), 링크거리 계산부(424) 및 노드 천이부(425)를 포함한다.
노드 판단부(421)는 상기 센싱 정보 획득부(100)를 통해 획득한 사용자의 위치를 기준으로 상기 영상 이미지를 통해 획득한 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드 정보가 대응되는 지의 여부를 판단한다.
노드 보정부(422)는 상기 노드 판단부(421)의 판단 결과, 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응되지 않으면, 현재 사용자 위치에서 상기 토폴로지 맵의 다음 노드 정보를 보정한다.
일 예로, 메트릭 맵의 시멘틱 라벨 정보에는 존재하는데 토폴로지 맵의 노드가 존재하지 않으면, 상기 노드 보정부(422)가 토폴로지 맵의 노드를 추가로 구성하고, 메트릭 맵의 시멘틱 라벨 정보에는 존재하지 않은데 토폴로지 맵의 노드가 존재하면 토폴로지 맵의 노드를 삭제하는 보정을 수행한다.
한편, 판단부의 판단 결과 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응하면, 링크 처리부(423)가 상기 토폴로지 맵의 노드와 다음 노드 사이에 링크를 추가한다.
링크거리 계산부(424)는 상기 보행 항법 모듈로부터 제공되는 사용자의 이동 정보를 통해 상기 추가된 링크거리를 계산한다.
노드 천이부(425)는 상기 링크거리 계산부(424)에 의해 계산된 링크거리에 대응되도록 상기 추가된 링크의 거리와 상기 토폴로지 맵의 노드 위치를 보정한다.
이와 같이, 토폴로지 맵은 기하학적 관계가 배제된 상태이므로 보행 항법 모듈에 의해 생성되는 사용자 이동 정보 즉, 보폭, 이동방향, 이동거리 등의 값을 전달받아 노드와 노드 사이의 링크 길이를 보정하고 노드들 간의 상대적인 위치 등을 조정한다.
도 5는 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 장치에서 사용자의 이동에 른 시간별 토폴로지 맵의 생성 과정을 설명하기 위한 참고도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 비정형 환경에서의 위치인식 장치가 시간에 따라 이동하면서, 토폴로지 맵을 생성한다. 예로서, 도 5에 도시된 바와 같이, 원은 노드를 의미하는 것으로 ‘방’과 같이 벽체로 둘러싸인 독립적인 공간을 나타내고, 선은 방들을 서로 연결 짓는 통로인 링크를 나타낼 수 있다.
이에, 토폴로지 맵은 사전에 다양한 형태의 건물에 대해 센싱 데이터에서 영상데이터를 검출하고, 이로부터 토폴로지 맵을 생성할 수 있도록 학습해 놓으면, 메트릭 맵 보다 먼저 top-level의 그래프를 만들기 때문에 병사들이 움직이는 공간의 특성에 따라 노드와 링크가 만들어지고 확장될 수 있다.
먼저 위치인식 장치가 건물 내부로 진입(t1 시간)하면, 토폴로지 맵 생성모듈(400)은 가상의 토폴로지 맵의 노드를 생성한다.
이후, 위치인식 장치가 건물 내부로 진입한 후 이동(t2)하면서 메트릭 맵 생성모듈(500)이 VSLAM를 통해 노드(방과 같이 벽체로 둘러싸인 독립적인 공간)을 검출하고, 검출된 노드에 시멘틱 라벨 정보를 반영한다.
만약, VSLAM을 통해 노드가 검출되면, 토폴로지 맵 생성모듈(400)은 상기 생성한 노드의 시멘틱 라벨 정보를 메트릭 맵 생성모듈(500)을 통해 검출한 노드와 비교하여 매칭시킨다.
이후, 위치인식 장치가 이동(t3)하게 되고, 메트릭 맵 생성모듈(500)은 지속적으로 VSLAM를 통해 다음 노드를 검출한다.
만약, 토폴로지 맵 생성모듈(400)은 “t3”에서와 같이, 생성한 토폴로지 맵에 다음 노드가 존재하지 않을 경우에는 가상 노드를 새롭게 생성한다.
이때, 토폴로지 맵 생성모듈(400)은 보행 항법 정보 제공부(200)를 통해 획득하는 사용자 이동 정보를 이용하여 “t4”에서와 같이, 토폴로지 맵의 다음 노드의 위치를 보정한다.
이러한 본 발명의 일 실시예에 따르면, 위치인식 장치가 건물 내부를 이동해 가면서 토폴로지 맵을 생성함으로써, 비정형의 동적으로 가감속이 높은 환경하에서 위치 인식을 하고자 할 때, 처음 가보는 장소에서도 보다 빠르고 정확하게 환경 맵을 생성하고 그 안에서 사용자의 위치를 인식할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따르면, 인프라가 소실되거나 무선 전파 환경이 좋지 않은 환경하에서 최소한의 위치 인식정보를 제공해 줄 수 있으므로 향후 작전을 수행하는 병사들의 생존성 향상에 큰 기여를 할 수 있는 효과가 있다.
한편, 본 발명의 다른 실시예에서의 토폴로지 맵 생성모듈은 도 6에 도시된 바와 같이, 지도 정보를 이용하여 생성된 보정되지 않은 토폴로지 맵 정보(노드 1 내지 노드6)를 제공받아 별도의 메모리에 저장하여 관리할 수 있다.
이렇게 제공된 보정되지 않은 토폴로지 맵은 메트릭 맵 생성모듈(500)에 의해 검출되는 도 7의 실제 건물을 서칭하여 검출할 수 있는 영상 오도메트릭 맵의 노드에 대한 시멘틱 라벨 정보와, 사용자 이동 정보를 이용하여 도 8에 도시된 바와 같이 노드(노드 1 내지 노드 6)의 위치가 보정된 토폴로지 맵을 생성할 수도 있고, 노드와 노드를 연결하는 링크 또한 그 길이와 위치를 보정할 수 있다.
한편, 토폴로지 맵 생성모듈(400)은 사용자의 궤적에 의해 생성된 일련의 메트릭 맵 기능에 대한 자기 지도학습을 수행하거나, 상기 토폴로지 노드가 생성된 경로에서 메트릭 맵 기능 시퀀스를 생성할 때 강화학습을 수행할 수도 있다.
이하, 하기에서는, 본 발명의 일 실시예에 따른 비정형 환경에서의 위치인식 방법에 대하여 도 9를 참조하여 설명하기로 한다.
먼저, 센서 모듈들에 의해 수집되는 센싱 데이터로부터 영상 이미지의 시멘틱 라벨 정보, 객체 위치 정보 및 영상 이미지 내 이벤트를 검출한다(S110).
이어서, 보행 항법 정보 제공부(200)가 사용자 이동 정보를 획득한다(S120). 상기 사용자 이동 정보를 획득하는 단계(S120)는 사용자의 보폭, 이동방향 및 이동거리 데이터를 포함하는 사용자 이동 정보를 획득하여 상기 토폴로지 맵 생성모듈로 제공한다.
이후, 메트릭 맵 생성모듈(500)이 상기 수집되는 센싱 데이터를 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영한다(S130).
이어서, 토폴로지 맵 생성모듈(400)이 상기 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보와 영상 오도메트릭 맵을 통해 토폴로지 노드를 갱신한다(S140).
이하, 하기에서는 본 발명의 일 실시예에 따른 토폴로지 노드를 갱신하는 단계(S140)의 세부 단계에 대하여, 도 10을 참조하여 설명하기로 한다.
노드 생성부가 상기 획득한 시멘틱 라벨 정보와 객체 위치 정보를 통해 토폴로지 노드를 생성한다(S141).
이어서, 천이 판단부가 상기 수신되는 이벤트 정보와 실제 사용자의 위치정보를 분석하여 노드의 천이 필요 여부를 판단한다(S142).
그리고 노드 관리부가 상기 천이 여부에 따라 상기 생성된 토폴로지 노드의 위치를 갱신한다(S143).
이 후, 맵 융합부는 상기 메트릭 맵 생성모듈(500)을 통해 제공되는 시멘틱 라벨 정보와 상기 토폴로지 노드를 비교하여 토폴로지 노드와 사용자 위치 정보를 융합한다(S144).
본 발명의 일 실시예에서 사용자 위치와 노드간 천이 여부를 판단하는 단계(S142)의 세부 단계를 도 11을 참조하여 설명하기로 한다.
노드 판단부가 상기 센싱 정보 획득부(100)를 통해 획득한 사용자의 위치를 기준으로 상기 영상 이미지를 통해 획득한 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드 정보가 대응되는 지의 여부를 판단한다(S1421).
상기 판단 단계(S1421)에서 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응되지 않으면(NO), 노드 보정부가 상기 토폴로지 맵의 노드 정보를 보정한다(S1422).
상기 판단 단계(S1421)에서 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응하면(YES), 링크 처리부가 상기 토폴로지 맵의 노드와 다음 노드 사이에 링크를 추가한다(S1423).
이어서, 링크거리 계산부가 제공되는 사용자의 이동 정보를 통해 상기 추가된 링크거리를 계산한다(S1424).
노드 천이부가 상기 계산된 링크거리에 대응되도록 상기 추가된 링크와 상기 토폴로지 맵의 노드 위치를 보정한다(S1425).
본 발명의 일 실시예에 따르면, 비정형의 동적으로 가감속이 높은 환경하에서 위치인식을 하고자 할 때, 처음 가보는 장소에서도 보다 빠르고 정확하게 환경 맵을 생성할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따르면, 인프라가 소실되거나 무선 전파 환경이 좋지 않은 환경하에서 최소한의 위치 인식정보를 제공해 줄 수 있으므로 향후 작전을 수행하는 병사들의 생존성 향상에 큰 기여를 할 수 있는 효과가 있다.
자기지도 학습부가 사용자의 궤적에 의해 생성된 일련의 메트릭 맵 기능에 대한 자기 지도학습을 수행하거나 토폴로지 노드가 생성된 경로에서 메트릭 맵 기능 시퀀스를 생성할 때 강화학습을 수행할 수도 있다.
한편, 본 발명의 다른 실시예에서의 토폴로지 맵 생성모듈은 도 6에 도시된 바와 같이, 지도 정보를 이용하여 생성된 보정되지 않은 토폴로지 맵 정보(노드 1 내지 노드6)를 제공받아 별도의 메모리에 저장하여 관리할 수 있다.
이렇게 제공된 보정되지 않은 토폴로지 맵은 메트릭 맵 생성모듈(500)에 의해 검출되는 실제 건물(도 7)을 센싱한 영상 오도메트릭 맵의 노드에 대한 시멘틱 라벨 정보와, 사용자 이동 정보를 이용하여 도 8에 도시된 바와 같이 노드(노드 1 내지 노드 6)의 위치가 보정된 토폴로지 맵을 생성할 수도 있고, 노드와 노드를 연결하는 링크 또한 그 길이와 위치를 보정할 수 있다.
참고로, 본 발명의 실시예에 따른 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터를 이용하거나 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터를 이용하거나 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (14)

  1. 센서 모듈들로부터 영상 이미지를 포함하는 센싱 데이터를 수집하는 센싱 정보 획득부;
    사용자 이동 정보를 획득하는 보행 항법 정보 제공부;
    상기 센싱된 영상 이미지에서 시멘틱 라벨 정보와 객체 위치 정보를 검출하고, 영상 이미지 내 이벤트를 검출 여부를 분석하는 영상 분석부;
    상기 센싱 정보 획득부를 통해 수집되는 센싱 데이터와 상기 영상 분석부를 통해 분석한 정보들을 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영하는 메트릭 맵 생성모듈; 및
    상기 센싱 정보 획득부를 통해 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보를 통해 토폴로지 노드를 갱신하는 토폴로지 맵 생성모듈을 포함하는 비정형 환경에서의 위치인식 장치.
  2. 제 1항에 있어서,
    상기 토폴로지 맵 생성모듈은,
    상기 센싱 정보 획득부를 통해 획득한 시멘틱 라벨 정보와 객체 위치 정보를 통해 토폴로지 노드를 생성하는 노드 생성부;
    상기 수신되는 이벤트 정보와 실제 사용자의 위치정보를 분석하여 노드의 천이 필요 여부를 판단하는 천이 판단부;
    상기 천이 여부에 따라 상기 생성된 토폴로지 노드의 위치를 갱신하는 노드 관리부; 및
    상기 메트릭 맵 생성모듈을 통해 제공되는 시멘틱 라벨 정보와 상기 토폴로지 노드를 비교하여 토폴로지 노드와 사용자 위치 정보를 융합하는 맵 융합부를 포함하는 비정형 환경에서의 위치인식 장치.
  3. 제 2항에 있어서,
    상기 토폴로지 맵 생성모듈은,
    사용자의 궤적에 의해 생성된 일련의 메트릭 맵 기능에 대한 자기 지도학습을 수행하는 자기지도 학습부를 더 포함하는 비정형 환경에서의 위치인식 장치.
  4. 제 2항에 있어서,
    상기 토폴로지 맵 생성모듈은,
    상기 토폴로지 노드가 생성된 경로에서 메트릭 맵 기능 시퀀스를 생성할 때 강화학습을 수행하는 강화 학습부를 더 포함하는 비정형 환경에서의 위치인식 장치.
  5. 제 1항에 있어서,
    상기 보행 항법 정보 제공부는,
    사용자의 보폭, 이동방향 및 이동거리 데이터를 포함하는 사용자 이동 정보를 획득하여 상기 토폴로지 맵 생성모듈로 제공하는 것인 비정형 환경에서의 위치인식 장치.
  6. 제 2항에 있어서,
    상기 천이 판단부는,
    상기 센싱 정보 획득부를 통해 획득한 사용자의 위치를 기준으로 상기 영상 이미지를 통해 획득한 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드 정보가 대응되는 지의 여부를 판단하는 노드 판단부;
    상기 노드 판단부의 판단 결과, 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응되지 않으면, 상기 토폴로지 맵의 노드 정보를 보정하는 노드 보정부;
    상기 노드 판단부의 판단 결과 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응하면, 상기 토폴로지 맵의 노드와 다음 노드 사이에 링크를 추가하는 링크 처리부;
    상기 보행 항법 모듈로부터 제공되는 사용자의 이동 정보를 통해 상기 추가된 링크거리를 계산하는 링크거리 계산부; 및
    상기 링크거리 계산부에 의해 계산된 링크거리에 대응되도록 상기 추가된 링크와 상기 토폴로지 맵의 노드 위치를 보정하는 노드 천이부를 포함하는 비정형 환경에서의 위치인식 장치.
  7. 제 1항에 있어서,
    상기 토폴로지 맵 생성모듈은,
    실제 지도 정보를 이용하여 생성된 보정되지 않은 토폴로지 맵 정보가 이용될 수 있는 비정형 환경에서의 위치인식 장치.
  8. 센서 모듈들에 의해 수집되는 센싱 데이터로부터 영상 이미지의 시멘틱 라벨 정보, 객체 위치 정보 및 영상 이미지 내 이벤트를 검출하는 센싱 정보 획득 단계;
    사용자 이동 정보를 획득하는 단계;
    메트릭 맵 생성모듈이 상기 수집되는 센싱 데이터를 이용하여 영상 오도메트릭 맵을 생성한 후 시멘틱 라벨 정보를 반영하는 단계;
    토폴로지 맵 생성모듈이 상기 획득한 센싱 데이터를 이용하여 토폴로지 노드를 생성하고, 수집되는 사용자 이동 정보와 영상 오도메트릭 맵을 통해 토폴로지 노드를 갱신하는 단계를 포함하는 비정형 환경에서의 위치인식 방법.
  9. 제 8항에 있어서,
    상기 토폴로지 노드를 갱신하는 단계는,
    노드 생성부가 상기 획득한 시멘틱 라벨 정보와 객체 위치 정보를 통해 토폴로지 노드를 생성하는 단계;
    천이 판단부가 상기 수신되는 이벤트 정보와 실제 사용자의 위치정보를 분석하여 노드의 천이 필요 여부를 판단하는 단계;
    노드 관리부가 상기 천이 여부에 따라 상기 생성된 토폴로지 노드의 위치를 갱신하는 단계; 및
    맵 융합부는 상기 메트릭 맵 생성모듈을 통해 제공되는 시멘틱 라벨 정보와 상기 토폴로지 노드를 비교하여 토폴로지 노드와 사용자 위치 정보를 융합하는 단계를 포함하는 비정형 환경에서의 위치인식 방법.
  10. 제 9항에 있어서,
    자기지도 학습부가 사용자의 궤적에 의해 생성된 일련의 메트릭 맵 기능에 대한 자기 지도학습을 수행하는 단계를 더 포함하는 비정형 환경에서의 위치인식 방법.
  11. 제 9항에 있어서,
    강화 학습부가 상기 토폴로지 노드가 생성된 경로에서 메트릭 맵 기능 시퀀스를 생성할 때 강화학습을 수행하는 단계를 더 포함하는 비정형 환경에서의 위치인식 방법.
  12. 제 8항에 있어서,
    상기 사용자 이동 정보를 획득하는 단계는,
    사용자의 보폭, 이동방향 및 이동거리 데이터를 포함하는 사용자 이동 정보를 획득하여 상기 토폴로지 맵 생성모듈로 제공하는 것인 비정형 환경에서의 위치인식 방법.
  13. 제 9항에 있어서,
    상기 사용자 위치와 노드간 천이 여부를 판단하는 단계는,
    노드 판단부가 상기 센싱 정보 획득부를 통해 획득한 사용자의 위치를 기준으로 상기 영상 이미지를 통해 획득한 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드 정보가 대응되는 지의 여부를 판단하는 단계;
    상기 판단 단계에서 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응되지 않으면, 노드 보정부가 상기 토폴로지 맵의 노드 정보를 보정하는 단계;
    상기 판단 단계에서 상기 메트릭 맵의 시멘틱 라벨 정보와 상기 토폴로지 맵의 노드가 대응하면, 링크 처리부가 상기 토폴로지 맵의 노드와 다음 노드 사이에 링크를 추가하는 단계;
    링크거리 계산부가 제공되는 사용자의 이동 정보를 통해 상기 추가된 링크거리를 계산하는 단계; 및
    노드 천이부가 상기 계산된 링크거리에 대응되도록 상기 추가된 링크와 상기 토폴로지 맵의 노드 위치를 보정하는 단계를 포함하는 비정형 환경에서의 위치인식 방법.
  14. 제 8항에 있어서,
    상기 토폴로지 맵 생성하는 단계는,
    실제 지도 정보를 이용하여 생성된 보정되지 않은 토폴로지 맵 정보가 이용되는 것인 비정형 환경에서의 위치인식 방법.
KR1020200176412A 2020-12-16 2020-12-16 비정형 환경에서의 위치인식 방법 및 장치 KR20220086194A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200176412A KR20220086194A (ko) 2020-12-16 2020-12-16 비정형 환경에서의 위치인식 방법 및 장치
US17/551,038 US11978244B2 (en) 2020-12-16 2021-12-14 Location recognition method and apparatus in atypical environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200176412A KR20220086194A (ko) 2020-12-16 2020-12-16 비정형 환경에서의 위치인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220086194A true KR20220086194A (ko) 2022-06-23

Family

ID=82221675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200176412A KR20220086194A (ko) 2020-12-16 2020-12-16 비정형 환경에서의 위치인식 방법 및 장치

Country Status (2)

Country Link
US (1) US11978244B2 (ko)
KR (1) KR20220086194A (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8626188B2 (en) 2010-09-20 2014-01-07 Electronics And Telecommunications Research Institute Method and server for estimating position of mobile node
KR101841741B1 (ko) 2010-09-20 2018-03-23 한국전자통신연구원 이동 노드의 위치 추정 방법 및 위치 추정 서버
KR102048954B1 (ko) 2012-10-25 2020-01-09 한국전자통신연구원 실내 인프라 정보 제공 시스템, 장치 및 방법
KR102207584B1 (ko) 2014-04-03 2021-01-26 한국전자통신연구원 통합 측위 방법 및 장치
KR20180087827A (ko) 2017-01-25 2018-08-02 한국과학기술연구원 무선 환경 변화에 강인한 slam 방법 및 장치
KR20180087814A (ko) 2017-01-25 2018-08-02 한국과학기술연구원 위치 측정 방법 및 시스템
US11275163B2 (en) 2017-01-25 2022-03-15 Korea Institute Of Science And Technology Slam method and apparatus robust to wireless environment change
US10762006B2 (en) 2017-03-31 2020-09-01 Intel Corporation Techniques to dynamically enable memory channels on a compute platform
JP7014911B2 (ja) * 2018-07-26 2022-02-01 本田技研工業株式会社 移動体及び移動体システム
US10885342B1 (en) * 2018-12-03 2021-01-05 Ambarella International Lp Intelligent monitoring camera using computer vision and intelligent personal audio assistant capabilities to maintain privacy

Also Published As

Publication number Publication date
US20220277555A1 (en) 2022-09-01
US11978244B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
CN110856112B (zh) 一种群智感知的多源信息融合室内定位方法及系统
Philipp et al. Mapgenie: Grammar-enhanced indoor map construction from crowd-sourced data
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
CA3080184A1 (en) Deployment of trained neural network based rss fingerprint dataset
CN105606102B (zh) 一种基于格网模型的pdr室内定位方法及系统
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
JP2016533557A (ja) オブジェクト検出および追跡のための地図データの動的拡張
CA3076139A1 (en) Neural network- instantiated lightweight calibration of rss fingerprint dataset
CA3049070A1 (en) Neural network training for mobile device rss fingerprint-based indoor navigation
CN109001789B (zh) 一种基于互相关熵配准的无人车定位融合方法
CN111083633B (zh) 移动终端定位系统及其建立方法、移动终端的定位方法
Alliez et al. Real-time multi-SLAM system for agent localization and 3D mapping in dynamic scenarios
CN115267796B (zh) 定位方法、装置、机器人和存储介质
Ren Advanced map matching technologies and techniques for pedestrian/wheelchair navigation
Chiu et al. Sub-meter vehicle navigation using efficient pre-mapped visual landmarks
CN111754388B (zh) 一种建图方法及车载终端
Andersson et al. Simultaneous localization and mapping for vehicles using ORB-SLAM2
KR20220086194A (ko) 비정형 환경에서의 위치인식 방법 및 장치
CN112132951A (zh) 一种基于视觉的网格语义地图的构建方法
Li et al. TrackPuzzle: Efficient registration of unlabeled PDR trajectories for learning indoor route graph
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
CN116337068A (zh) 基于仿人思路的机器人同步语义定位与建图方法及系统
Yang Indoor Positioning System for Smart Devices
CN112509006A (zh) 一种子地图恢复融合方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal