KR20190081334A - 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치 - Google Patents

복합 측위 기반의 이동 궤적 추적 방법 및 그 장치 Download PDF

Info

Publication number
KR20190081334A
KR20190081334A KR1020170183785A KR20170183785A KR20190081334A KR 20190081334 A KR20190081334 A KR 20190081334A KR 1020170183785 A KR1020170183785 A KR 1020170183785A KR 20170183785 A KR20170183785 A KR 20170183785A KR 20190081334 A KR20190081334 A KR 20190081334A
Authority
KR
South Korea
Prior art keywords
section
moving
candidate
similarity
target
Prior art date
Application number
KR1020170183785A
Other languages
English (en)
Inventor
김상수
손영미
이호준
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170183785A priority Critical patent/KR20190081334A/ko
Publication of KR20190081334A publication Critical patent/KR20190081334A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/021—Calibration, monitoring or correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

복합 측위 기반의 이동 궤적 추적 방법이 제공된다. 측위 장치에서 수행되는 본 발명의 일 실시예에 따른 복합 측위 기반의 이동 궤적 추적 방법은, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계, 상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 단계 및 상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 포함할 수 있다.

Description

복합 측위 기반의 이동 궤적 추적 방법 및 그 장치{METHOD FOR TRACKING MOVING TRAJECTORY BASED ON COMPLEX POSITIONING AND APPARATUS THEREOF}
본 발명은 복합 측위 기반의 이동 궤적 추적 방법 및 장치에 관한 것이다. 보다 자세하게는, WiFi, BLE(bluetooth low energy) 비콘 등의 별도의 인프라 구축 없이 실내 환경에서 타깃 이동체의 위치 측정과 이동 궤적 추적을 수행하는 방법 및 그 장치에 관한 것이다.
GPS(global positioning system) 기반 측위 기술은 높은 정확도로 인해 자동차 내비게이션, 실외 보행자 측위 서비스 등 실생활에서 유용하게 사용되고 있다. 하지만, GPS 기반 측위 기술은 GPS 신호의 특성상 실내에서 수신이 어렵기 때문에 실내 측위 서비스에는 적용되기 어렵다는 한계점이 존재한다. 따라서, 실내 측위 서비스를 제공하기 위해서는 GPS 신호를 이용하지 않고 측위를 할 수 있는 기술이 요구된다.
인프라 구축 비용은 줄이기 위해, 종래에는 WiFi AP(access point) 인프라를 활용한 실내 측위 기술들이 많이 연구되어 왔다. 대표적으로, WiFi 신호를 이용한 삼각 측량 기법, WiFi 핑거프린트(fingerprint) 기반의 측위 기법 등이 제안된 바 있다. 그러나, WiFi AP에 기반한 측위 기술들은 물류 창고 등과 같이 AP 인프라가 구축되어 있지 않은 실내 환경에 적용될 수 없기 때문에, 보편적으로 적용될 수 없다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 방편으로 실내의 지자기 핑거프린트를 이용하여 실내 측위를 수행하는 지자기 기반 측위 기술이 제안된 바 있다. 지자기 기반 측위 기술은 공간 상에서 서로 다른 패턴으로 존재하는 지구 자기장의 특성을 핑거프린트로 활용하기 때문에 별도의 인프라 구축이 필요하지 않다. 하지만, 자기장 패턴은 주변 전자 장비 등 환경적 영향에 의해 왜곡이 발생되는 점, 실내 공간이 넓을수록 유사한 지자기 핑거프린트를 갖는 위치가 다수 발견되는 점 등으로 인해 측위의 정확도가 떨어지는 문제점이 있다.
한국공개특허 제2017-0018143호 (2017.02.16)
본 발명이 해결하고자 하는 기술적 과제는, 별도의 측위 인프라 없이 실내 공간에서 정확하게 타깃 이동체의 위치를 측정하고, 상기 타깃 이동체의 이동 궤적을 추적할 수 있는 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 복합 측위 기반의 이동 궤적 추적 방법은, 측위 장치에서 수행되는 복합 측위 기반의 이동 궤적 추적 방법에 있어서, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계, 상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 단계 및 상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 실내 공간에 대한 맵 정보를 획득하되, 상기 맵 정보는 실내 공간에 대한 이동 가능 영역 및 이동 불가 영역에 대한 정보를 포함하는 것인, 단계를 더 포함하고, 상기 제2 이동 궤적을 획득하는 단계는, 상기 제1 이동 궤적을 구성하는 곡선 구간 중에서 기준 구간을 선정하는 단계, 상기 복수의 구간 중에서 상기 기준 구간에 인접한 직선 구간을 보정 대상 구간으로 선정하는 단계, 상기 이동 가능 영역 중 상기 보정 대상 구간에 대응되는 제1 이동 가능 영역 내에서, 제1 후보 직선 구간 및 제2 후보 직선 구간을 결정하는 단계, 상기 보정 대상 구간과 상기 제1 후보 직선 구간 간의 제1 유사도와 상기 보정 대상 구간과 상기 제2 후보 직선 구간 간의 제2 유사도에 기초하여, 어느 하나의 후보 직선 구간을 상기 타깃 이동체의 이동 경로로 마킹하는 단계 및 상기 마킹된 후보 직선 구간을 상기 기준 구간과 연결하여 상기 제2 이동 궤적을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계는, 상기 타깃 이동체의 이동 중에 촬영된 영상에서 복수의 특징점을 추출하는 단계, 상기 복수의 특징점을 이용하여, 상기 타깃 이동체의 이동 방향을 결정하는 단계, 상기 복수의 특징점 중 적어도 일부의 특징점의 위치를 추적하여, 상기 적어도 일부의 특징점의 이동 궤적을 나타내는 상기 비주얼 오도메트리 정보를 산출하는 단계 및 상기 산출된 비주얼 오도메트리 정보 및 상기 결정된 이동 방향에 기초하여 상기 타깃 이동체의 상기 제1 이동 궤적을 결정하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 다른 실시예에 따른 복합 측위 기반의 이동 궤적 추적 방법은, 측위 장치에서 수행되는 복합 측위 기반의 이동 궤적 추적 방법에 있어서, 이동 가능 영역 및 이동 불가 영역에 대한 정보가 포함된 실내 공간의 맵 정보를 획득하는 단계, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계, 상기 맵 정보를 이용하여, 제1 이동 가능 영역 내에서 제1 후보 구간 및 제2 후보 구간을 결정하는 단계, 상기 제1 이동 궤적 상에서 상기 제1 이동 가능 영역에 대응되는 제1 구간에 대한 지자기 신호와 핑거프린트 맵에서 상기 제1 후보 구간에 대응되는 제1 지자기 핑거프린트 간의 제1 유사도를 산출하는 단계, 상기 제1 구간에 대한 지자기 신호와 상기 핑거프린트 맵에서 상기 제2 후보 구간에 대응되는 제2 지자기 핑거프린트 간의 제2 유사도를 산출하는 단계, 상기 제1 유사도 및 상기 제2 유사도의 비교 결과에 기초하여, 어느 하나의 후보 구간을 상기 제1 이동 가능 영역에 대응되는 이동 경로로 마킹하는 단계 및 상기 마킹된 후보 구간을 기초로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 측위 장치는, 프로세서, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 인스트럭션, 상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 인스트럭션 및 상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 인스트럭션을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 측위 장치는, 프로세서, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 이동 가능 영역 및 이동 불가 영역에 대한 정보가 포함된 실내 공간의 맵 정보를 획득하는 인스트럭션, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 인스트럭션, 상기 맵 정보를 이용하여, 제1 이동 가능 영역 내에서 제1 후보 구간 및 제2 후보 구간을 결정하는 인스트럭션, 상기 타깃 이동체가 상기 제1 이동 가능 영역을 이동 중에 측정된 지자기 신호와 핑거프린트 맵에서 상기 제1 후보 구간에 대응되는 제1 지자기 핑거프린트 간의 제1 유사도를 산출하는 인스트럭션, 상기 측정된 지자기 신호와 상기 핑거프린트 맵에서 상기 제2 후보 구간에 대응되는 제2 지자기 핑거프린트 간의 제2 유사도를 산출하는 인스트럭션, 상기 제1 유사도 및 상기 제2 유사도의 비교 결과에 기초하여 상기 제1 후보 구간 및 상기 제2 후보 구간 중에서 상기 타깃 이동체의 이동 구간을 마킹하는 인스트럭션 및 상기 마킹된 이동 구간을 기초로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 인스트럭션을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계, 상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 단계 및 상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 이동 가능 영역 및 이동 불가 영역에 대한 정보가 포함된 실내 공간의 맵 정보를 획득하는 단계, 타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계, 상기 맵 정보를 이용하여, 제1 이동 가능 영역 내에서 제1 후보 구간 및 제2 후보 구간을 결정하는 단계, 상기 제1 이동 궤적 상에서 상기 제1 이동 가능 영역에 대응되는 제1 구간에 대한 지자기 신호와 핑거프린트 맵에서 상기 제1 후보 구간에 대응되는 제1 지자기 핑거프린트 간의 제1 유사도를 산출하는 단계, 상기 제1 구간에 대한 지자기 신호와 상기 핑거프린트 맵에서 상기 제2 후보 구간에 대응되는 제2 지자기 핑거프린트 간의 제2 유사도를 산출하는 단계, 상기 제1 유사도 및 상기 제2 유사도의 비교 결과에 기초하여, 어느 하나의 후보 구간을 상기 제1 이동 가능 영역에 대응되는 이동 경로로 마킹하는 단계 및 상기 마킹된 후보 구간을 기초로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명이 적용될 수 있는 예시적인 실내 환경과 상기 실내 환경에 구축된 측위 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 측위 서버의 하드웨어 구성도이다.
도 3은 본 발명의 일 실시예에 따른 측위 단말을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 지자기 기반 핑거프린트 맵 구축 방법을 나타내는 흐름도이다.
도 5 내지 도 8은 몇몇 실시예에서 참조될 수 있는 지자기 신호에 대한 전처리 방법을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 복합 측위 기반의 이동 궤적 추적 방법을 나타내는 흐름도이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 영상 기반의 이동 방향 결정 방법을 설명하기 위한 도면이다.
도 12는 도 9에 도시된 직선/곡선 구분 단계(S240)를 부연 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예에 따른 실내 공간의 맵 정보에 기반한 이동 궤적 보정 방법을 설명하기 위한 예시도이다.
도 14는 본 발명의 일 실시예에 따른 지자기 핑거프린트 맵에 기반한 이동 궤적 보정 방법을 나타내는 흐름도이다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 이동 궤적 보정 방법을 설명하기 위한 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 타깃 이동체(target moving object)란, 측위 또는 추적의 대상이 되는 객체를 가리킨다. 상기 타깃 이동체는 이동 단말, 로봇과 같이 특정 장치를 지칭할 수 있고, 상기 특정 장치를 소지한 사용자, 상기 특정 장치가 탑재된 물체(e.g. 지게차) 또는 다른 장치를 지칭할 수도 있다.
본 명세서에서, 핑거프린트 맵(fingerprint map)이란, 특정 실내 공간 내의 특정 위치 또는 특정 영역에서의 핑거프린트 정보가 정의된 맵을 의미한다. 이때, 상기 핑거프린트 정보는 예를 들어 지자기 특성, 무선 신호 특성 등을 포함할 수 있다. 핑거프린트 맵은 당해 기술 분야에서 이미 자명한 용어인 바, 더 이상의 자세한 설명은 생략하도록 한다.
본 명세서에서 인스트럭션(instruction)은 기능을 기준으로 묶인 일련의 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 발명이 적용될 수 있는 예시적인 실내 환경과 상기 실내 환경에 구축된 측위 시스템을 설명하기 위한 도면이다. 특히, 도 1은 물류 창고에 측위 시스템이 구축된 것을 예로써 도시하고 있다.
도 1을 참조하면, 상기 측위 시스템은 측위 서버(100) 및 측위 단말(200)을 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 1에 도시된 측위 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 예를 들어, 측위 서버(100) 및 측위 단말(200)은 동일한 컴퓨팅 장치 내의 서로 다른 로직으로 구현될 수 있다. 가령, 소정의 측위 장치(e.g. 이동 단말)에서 측위 단말(200)의 로직과 및 측위 서버(100)의 로직 중 적어도 일부가 함께 수행될 수도 있다. 이하, 상기 측위 시스템의 각 구성 요소에 대하여 설명하도록 한다.
상기 측위 시스템에서, 측위 단말(200)은 타깃 이동체의 측위에 이용되는 각종 측정 정보를 제공하는 단말이다. 특히, 도 1은 타깃 이동체가 지게차이고, 지게차에 대한 측위를 수행하기 위해 측위 단말(200)이 상기 지게차의 후방에 탑재된 것이 예로써 도시되었다. 물론, 실시예에 따라, 측위 단말(200)이 지게차의 전방 등과 같이 다른 쪽에 탑재될 수도 있다.
상기 측정 정보는 예를 들어 영상, 지자기 신호, 가속도, 기울기 등의 정보 등을 포함할 수 있다. 다만, 상기 열거된 예시들은 본 발명의 일부 실시예를 설명하기 위한 것으로, 본 발명의 범위가 상기 열거된 예시들에 한정되는 것은 아니다.
측위 단말(200)은 내장된 각종 센서를 이용하여 측정 정보를 제공할 수 있다. 구체적으로, 측위 단말(200)은 내장된 영상 센서(e.g. 카메라)를 이용하여 타깃 이동체의 주변 영상을 촬영하여 제공할 수 있다. 또한, 측위 단말(200)은 내장된 지자기 센서를 이용하여 타깃 이동체 주변의 지자기 신호를 측정하여 제공할 수 있다. 이외에도, 측위 단말(200)은 가속도 센서, 지자기 센서 등을 이용하여 타깃 이동체의 가속도, 기울기 등을 측정하고, 측정된 정보를 제공할 수 있다.
측위 단말(200)은 예를 들어 스마트폰(smart phone)과 같은 이동 단말로 구현될 수 있을 것이나, 타깃 이동체에 대한 측정 정보를 제공할 수 있다면 어떠한 장치로 구현되더라도 무방하다. 측위 단말(200)의 구성 및 동작에 대한 보다 자세한 설명은 도 3을 참조하여 후술하도록 한다.
상기 측위 시스템에서, 측위 서버(100)는 타깃 이동체의 위치 측정 및 이동 궤적 추적 등의 측위 서비스를 제공하는 컴퓨팅 장치이다. 여기서, 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 연산 수단 및 통신 수단이 구비된 모든 종류의 장치를 포함할 수 있다.
측위 서버(100)는 측위 단말(200)로부터 제공받은 측정 정보를 이용하여 적어도 하나의 타깃 이동체에 대한 측위 서비스를 제공한다. 예를 들어, 측위 서버(100)는 도 1에 도시된 물류 창고에서 작업 중인 복수의 지게차에 대한 이동 궤적을 추적할 수 있다.
본 발명의 실시예에 따르면, 측위 서버(100)는 복합 측위 기법에 기반하여 측위 서비스를 제공할 수 있다. 구체적으로, 측위 서버(100)는 영상 정보로부터 생성된 비주얼 오도메트리(visual odometry) 정보와 지자기 기반의 핑거프린트 맵을 이용하여 위치 측정 및/또는 이동 궤적 추적을 수행할 수 있다. 본 실시예에 따르면, 복합 측위 기법을 이용하기 때문에 별도의 측위 인프라 없이도 정확한 측위 서비스가 제공될 수 있다. 본 실시예에 대한 자세한 설명은 도 4 이하의 도면을 참조하여 상세하게 설명하도록 한다.
도 1에 도시된 예시적인 실내 환경에서, 측위 서버(100)는 측위 단말(200)을 소지한 작업자, 측위 단말(200)이 탑재된 지게차 등에 대한 위치 측정 및/또는 이동 궤적 추적을 수행하고, 작업자/지게차의 이동 궤적 정보를 제공할 수 있다. 상기 이동 궤적 정보들은 물류 창고 관리를 효율적으로 수행하기 위해 다양한 용도로 활용될 수 있다.
상기 측위 시스템의 각 구성 요소는 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
전술한 바와 같이, 측위 서버(100)와 측위 단말(200)은 각각 독립된 장치로 구현될 수 있고, 측위 서버(100)의 일부 기능이 측위 단말(200)에서 더 수행되는 형태로 구현될 수도 있으며, 측위 서버(100)와 측위 단말(200)이 하나의 장치로 구현될 수도 있다. 이는 실시예에 따라 얼마든지 달라질 수 있는 것이다. 이하에서, 측위 서버(100)와 측위 단말(200)을 통칭하는 경우 "측위 장치"라는 용어를 이용하도록 한다.
지금까지 도 1을 참조하여 본 발명이 적용될 수 있는 예시적인 실내 환경과 상기 실내 환경에 구축된 측위 시스템에 대하여 간략하게 살펴보았다. 이하에서는, 측위 시스템을 구성하는 측위 서버(100) 및 측위 단말(200)의 구성 및 동작에 대하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 측위 서버(100)의 하드웨어 구성도이다. 다만, 측위 단말(200)도 도 2에 도시된 하드웨어의 구성으로 구현될 수 있음은 물론이다.
도 2를 참조하면, 측위 서버(100)는 하나 이상의 프로세서(110), 버스(150), 네트워크 인터페이스(170), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(130)와, 컴퓨터 프로그램(191)을 저장하는 스토리지(190)를 포함할 수 있다. 다만, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 측위 서버(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 측위 서버(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 발명의 실시예들에 따른 이동 궤적 추적 방법을 실행하기 위하여 스토리지(190)로부터 하나 이상의 컴퓨터 프로그램(191)을 로드할 수 있다. 도 2에서 메모리(130)의 예시로 RAM이 도시되었다.
버스(150)는 측위 서버(100)의 구성 요소 간 통신 기능을 제공한다. 버스(150)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(170)는 측위 서버(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(170)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(170)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
네트워크 인터페이스(170)는 측위 단말(200)로부터 타깃 이동체에 대한 각종 측정 정보를 수신하고, 각종 명령 및/또는 정보를 송신할 수 있다.
스토리지(190)는 상기 하나 이상의 컴퓨터 프로그램(191)을 비임시적으로 저장할 수 있다.
스토리지(190)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(191)은 메모리(130)에 로드되어, 프로세서(110)로 하여금 후술할 본 발명의 몇몇 실시예들에 따른 복합 측위 기반의 이동 궤적 추적 방법을 실행하도록 하는 인스트럭션들을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램(191)은 타깃 이동체의 비주얼 오도메트리 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 인스트럭션, 상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 인스트럭션 및 상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 인스트럭션을 포함할 수 있다.
다른 예를 들어, 컴퓨터 프로그램(191)은 이동 가능 영역 및 이동 불가 영역에 대한 정보가 포함된 실내 공간의 맵 정보를 획득하는 인스트럭션, 타깃 이동체의 비주얼 오도메트리 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 인스트럭션, 상기 맵 정보를 이용하여, 제1 이동 가능 영역 내에서 제1 후보 구간 및 제2 후보 구간을 결정하는 인스트럭션, 상기 타깃 이동체가 상기 제1 이동 가능 영역을 이동 중에 측정된 지자기 신호와 핑거프린트 맵에서 상기 제1 후보 구간에 대응되는 제1 지자기 핑거프린트 간의 제1 유사도를 산출하는 인스트럭션, 상기 측정된 지자기 신호와 상기 핑거프린트 맵에서 상기 제2 후보 구간에 대응되는 제2 지자기 핑거프린트 간의 제2 유사도를 산출하는 인스트럭션, 상기 제1 유사도 및 상기 제2 유사도의 비교 결과에 기초하여 상기 제1 후보 구간 및 상기 제2 후보 구간 중에서 상기 타깃 이동체의 이동 구간을 마킹하는 인스트럭션 및 상기 마킹된 이동 구간을 기초로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 인스트럭션을 포함할 수 있다.
지금까지, 도 2를 참조하여 본 발명의 실시예에 따른 측위 서버(100)의 구성 및 동작에 대하여 설명하였다. 다음으로, 도 3을 참조하여 본 발명의 일 실시예에 따른 측위 단말(200)의 구성 및 동작에 대하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 측위 단말(200)을 나타내는 블록도이다.
도 3을 참조하면, 측위 단말(200)은 센서부(210), 저장부(230), 통신부(250), 출력부(270) 및 제어부(290)를 포함하도록 구성될 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 예를 들어, 측위 단말(200)은 사용자 등으로부터 각종 입력을 받는 입력부(미도시)를 더 포함할 수 있다.
각 구성 요소를 살펴보면, 센서부(210)는 지자기 신호를 측정하는 지자기 센서, 가속도를 측정하는 가속도 센서, 3축(x축, y축, z축)의 기울기를 측정하는 자이로 센서, 영상을 촬영하는 영상 센서 등의 각종 센서를 포함하도록 구성될 수 있다.
센서부(210)에 의해 측정된 각종 측정 정보는 통신부(250)를 통해 측위 서버(100)로 전송될 수 있다.
저장부(230)는 각종 데이터, 명령 및/또는 정보를 저장한다. 또한, 저장부(230)는 통신부(250)를 통해 수신되는 각종 정보, 입력부(미도시)를 통해 입력되는 각종 정보를 저장할 수도 있다.
저장부(230)는 외부 장치로부터 전달된 데이터 등을 임시적으로 또는 비임시적으로 저장할 수 있다. 특히, 저장부(230)는 본 발명의 실시예에 따른 방법을 수행하기 위한 적어도 하나의 프로그램 또는 애플리케이션을 저장할 수 있다. 예를 들어, 저장부(230)는 후술할 본 발명의 실시예들에 따른 이동 궤적 추적 방법을 실행하는 컴퓨터 프로그램을 저장할 수 있다.
저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 등의 저장매체 중 적어도 하나의 타입의 저장매체를 포함할 수 있다
상기 예시 외에도, 저장부(230)는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신부(250)는 측위 단말(200)의 무선 인터넷 통신을 지원하며, 외부 장치와 각종 정보를 송수신할 수 있다. 통신부(250)는 외부 장치, 예를 들어 측위 서버(100)로 센서부(210)에 의해 측정된 각종 측정 정보를 제공할 수 있다.
통신부(250)는 무선 통신을 지원하기 위하여 본 발명이 속한 기술분야의 잘 알려진 통신 모듈을 적어도 하나 구비하여 구성될 수 있다.
출력부(270)는 사용자에게 각종 데이터, 명령, 정보 및/또는 GUI(graphical user interface)를 디스플레이한다. 예를 들어, 출력부(270)는 측위 서버(100)로부터 제공받은 맵 정보와 함께 단말(200)의 위치 정보, 이동 궤적 정보 등을 GUI를 통해 출력할 수 있다.
출력부(270)는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 형태의 디스플레이 수단을 더 포함하여 구성될 수 있다. 예를 들어, 출력부(270)는 터치 센서를 구비한 터치스크린으로 구성될 수 있으며, 이 경우, 출력부(270)는 입력부(미도시)로 기능할 수도 있다.
제어부(290)는 측위 단말(200)의 각 구성의 전반적인 동작을 제어한다. 제어부(290)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 제어부(290)는 메모리, 예를 들어 RAM을 구성으로 포함할 수도 있다. 또한, 제어부(290)는 본 발명의 실시예에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램을 저장할 수도 있다.
제어부(290)는 각종 측정 정보를 측정하도록 센서부를 제어하고, 상기 측정 정보를 측위 서버(100)에게 제공하도록 통신부(250)를 제어할 수 있다.
측위 단말(200)이 직접 측위를 수행하는 경우, 제어부(290)는 후술할 본 발명의 몇몇 실시예들에 따른 이동 궤적 추적 방법을 실행할 수도 있다. 상기 이동 궤적 추정 방법에 대한 자세한 설명은 도 4 이하의 도면을 참조하여 후술하도록 한다.
도 3의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
지금까지, 도 2 및 도 3을 참조하여 측위 시스템을 구성하는 측위 서버(100) 및 측위 단말(200)의 구성 및 동작에 대하여 살펴보았다. 이하에서는, 도 4 내지 도 17을 참조하여 본 발명의 일 실시예에 따른 복합 측위 기반의 이동 궤적 추적 방법에 대하여 상세하게 설명한다.
이하에서 후술될 본 발명의 실시예에 따른 이동 궤적 추적 방법의 각 단계는, 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 측위 장치(e.g. 측위 서버 100, 측위 단말 200)일 수 있다. 다만, 설명의 편의를 위해, 상기 이동 궤적 추적 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 이동 궤적 추적 방법의 각 단계는 프로세서에 의해 수행되는 컴퓨터 프로그램의 인스트럭션으로 구현될 수 있다.
본 발명의 실시예에 따른 이동 궤적 추적 방법은 비주얼 오도메트리 정보로부터 이동 궤적을 결정하는 과정, 지자기 기반 핑거프린트 맵을 이용하여 결정된 이동 궤적을 보정하는 과정을 포함한다. 또는, 상기 이동 궤적 추적 방법은 비주얼 오도메트리 정보로부터 산출된 상대 위치에 기초하여 상대적 이동 궤적을 결정하는 과정과 지자기 기반 핑거프린트 맵의 절대 위치에 기초하여 상기 상대적 이동 궤적을 보정하는 과정으로 구성된다고 이해될 수 있다.
상기 이동 궤적 추적 방법에서, 타깃 이동체의 이동 궤적이 보정되기 위해서는, 선행적으로 지자기 기반의 핑거프린트 맵이 구축되어야 한다. 따라서, 본 발명의 실시예에 따른 이동 궤적 추적 방법을 설명하기에 앞서, 지자기 기반의 핑거프린트 맵을 구축하는 방법에 대하여 먼저 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 지자기 기반 핑거프린트 맵 구축 방법을 나타내는 흐름도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 4를 참조하면, 단계(S100)에서, 측위 장치는 실내 공간(e.g. 물류 창고)에 대한 비주얼 오도메트리 정보 및 지자기 신호를 수집한다. 예를 들어, 소정의 이동체가 상기 실내 공간을 이동하며 영상을 촬영하고, 동시에 특정 위치/영역에서의 지자기 신호를 수집할 수 있다. 비주얼 오도메트리 정보는 상기 촬영된 영상으로부터 획득될 수 있다.
실시예에 따라, 정해진 서베이(survey) 플랜에 따라 단계(S100)가 수행될 수 있다. 예를 들어, 실내 공간을 복수의 영역으로 구분하고, 정해진 플랜에 따라 이동체가 해당 영역을 이동하며 비주얼 오도메트리 정보와 지자기 신호를 수집할 수 있다. 이때, 지자기 신호를 수집하는 서베이(survey) 과정은 동일한 영역에 대하여 반복적으로 수행될 수도 있다.
단계(S120)에서, 측위 장치는 비주얼 오도메트리 정보를 이용하여 시계열 데이터인 지자기 신호를 거리 기준으로 전처리한다. 상기 전처리를 통해, 지자기 신호를 수집하는 이동체의 이동 속도가 변동되더라도 동일 거리 기준으로 정합된 지자기 신호가 생성될 수 있다. 이에 따라, 신뢰도 높은 핑거프린트 맵이 구축될 수 있고, 측위의 정확도 또한 향상될 수 있다. 단계(S120)에 대한 보다 자세한 설명은 이후 도 5 내지 도 8을 참조하여 상세하게 설명하도록 한다.
단계(S140)에서, 측위 장치는 전처리된 지자기 신호를 이용하여 해당 실내 공간에 대한 핑거프린트 맵을 구축한다. 보다 자세하게는, 전처리된 지자기 신호와 해당 영역의 위치 정보를 매핑하여 저장함으로써 핑거프린트 맵이 구축될 수 있다.
이하에서는, 도 5 내지 도 8을 참조하여, 본 발명의 일 실시예에 따른 지자기 신호의 전처리 방법에 대하여 상세하게 설명하도록 한다.
도 5는 비주얼 오도메트리 정보로부터 산출된 이동 궤적 데이터(310)의 예시도이고, 도 6은 수집된 지자기 데이터(330)의 예시도이다. 도 5 및 도 6에 도시된 각 정보(310, 330)는 각각 비주얼 오도메트리 정보로부터 도출된 이동 궤적과 지자기 신호를 로우 데이터(raw data) 형태로 도시한 것으로 이해될 수 있다.
도 5에 도시된 바와 같이, 비주얼 오도메트리 정보로부터 산출된 이동 궤적 데이터(310)는 시간(e.g. timestamp) 및 상대적 위치 정보(e.g. X 상대 좌표, Y 상대 좌표)를 포함한다. 여기서, 상대적 위치는 이동체의 초기 위치를 기준으로 결정된 위치를 가리킨다. 비주얼 오도메트리 정보로부터 상대적 위치를 산출하는 방법에 대한 사항은 당해 기술 분야의 당업자에게 이미 자명한 사항일 것인 바, 이에 대한설명은 생략하도록 한다.
참고로, 이동 궤적 데이터(310)에 포함된 이동 방향 정보(e.g. 전진, 후진)는 이동체의 영상 정보로부터 추출될 수 있고, 이에 대한 사항은 도 10 및 도 11을 참조하여 후술하도록 한다.
지자기 신호를 전처리하는 과정은, 측위 장치가 이동 궤적 데이터(310)를 이용하여 이동체가 지정된 단위 거리를 이동하는데 소요된 이동 시간을 산출하는 제1 과정, 산출된 이동 시간을 기초로 지자기 신호 데이터를 그룹핑하는 제2 과정에 따라 수행된다. 가속도 센서를 이용하지 않고, 비주얼 오도메트리 정보를 이용하여 이동 시간을 산출하는 이유는, 비주얼 오도메트리 정보의 신뢰도가 더 높기 때문이다. 즉, 비주얼 오도메트리 정보를 이용하는 경우, 가속도 센서를 이용하는 것보다 정확하게 이동 시간이 산출되는 효과가 있다. 실시예에 따라, 보조적으로 가속도 센서의 측정 정보를 더 이용하여 이동 시간이 산출될 수도 있다.
도 5에 도시된 구체적인 예를 들어 부연 설명하도록 한다. 도 5에 도시된 이동 궤적 데이터(310)에서 사각형으로 표시된 데이터 그룹(311, 313)은 각각 단위 거리에 대응되는 데이터를 가리킨다. 이때, 단위 거리의 값은 미리 설정된 고정 값일 수 있고, 실내 공간의 크기 등에 기초하여 적정한 값으로 설정될 수 있다.
측위 장치는 제1 데이터 그룹(311)의 시간 정보를 기초로 제1 이동 시간을 산출하고, 제2 데이터 그룹(313)의 시간 정보를 기초로 제2 이동 시간이 산출할 수 있다. 이때, 상기 제1 이동 시간과 상기 제2 이동 시간은 같은 거리를 이동하는데 걸린 시간이지만, 이동체의 속도가 변동될 수 있기 때문에 다른 값을 가질 수도 있다.
다음으로, 도 6에 도시된 바와 같이, 측위 장치는 상기 제1 이동 시간과 상기 제2 이동 시간을 이용하여 지자기 데이터(330)를 그룹핑한다. 이때, 사각형으로 표시된 데이터 그룹(331, 333)이 각각 상기 제1 이동 시간과 상기 제2 이동 시간에 대응되는 데이터 그룹이다. 상기 제1 이동 시간과 상기 제2 이동 시간은 동일한 단위 거리를 이동하는데 걸린 시간이기 때문에, 데이터 그룹(331, 333) 또한 단위 거리에 대응되는 지자기 데이터가 된다.
참고로, 시계열의 지자기 데이터(330)를 단위 거리당 이동 시간을 기준으로 그룹핑한다고 설명하였으나, 이는 도 8에 도시된 바와 같이 지자기 신호(360)의 시간 축을 기준으로 단위 거리당 이동 시간에 대응되는 신호를 분할 또는 추출하는 것과 동일한 과정을 가리키는 것이다. 특히, 도 8은 단위 거리당 이동 시간이 서로 다른 경우를 도시하고 있으며, 이에 따라 추출된 지자기 신호(361, 363, 365)는 서로 다른 길이를 가질 수 있다. 실시예에 따라, 지자기 신호(361, 363, 365)의 길이를 정합하는 전처리 과정이 더 수행될 수도 있다.
단위 거리 기준으로 지자기 데이터가 그룹핑되면, 도 7에 도시된 바와 같이, 측위 장치는 각 데이터 그룹(331, 333)의 대푯값(e.g. 평균, 최빈 값, 중간 값 등)을 산출하고, 산출된 대푯값을 해당 위치/영역의 핑거프린트로 이용할 수 있다. 물론 실시예에 따라, 얼마든지 다른 방식으로 지자기 핑거프린트가 생성될 수도 있다.
지금까지, 도 5 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 지자기 신호의 전처리 방법에 대하여 설명하였다. 상술한 바에 따르면, 비주얼 오토메트리 정보를 활용하여 단위 거리당 이동 시간이 산출되고, 산출된 이동 시간에 기초하여 시계열 데이터인 지자기 신호가 동일 거리 기준으로 전처리될 수 있다. 이에 따라, 지자기 신호를 수집하는 이동체의 이동 속도가 변동되는 경우에도 신뢰도 높은 핑거프린트 맵이 구축될 수 있다.
이하에서는, 도 9 내지 도 17을 참조하여, 비주얼 오도메트리 정보 및 구축된 핑거프린트 맵을 이용하여 타깃 이동체의 이동 궤적을 추적하는 방법에 대하여 상세하게 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 복합 측위 기반의 이동 궤적 추적 방법을 나타내는 흐름도이다. 다만, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 9를 참조하면, 단계(S200)에서 측위 장치는 비주얼 오도메트리 정보를 이용하여 타깃 이동체의 이동 궤적을 결정한다. 구체적으로, 측위 장치는 타깃 이동체의 이동 과정에서 수집된 영상 정보에서 특징점을 추출하고, 추출된 특징점의 위치를 추적하여 비주얼 오도메트리 정보를 산출한다. 또한, 측위 장치는 상기 비주얼 오도메트리 정보로부터 도 12에 도시된 바와 같은 이동 궤적 정보를 생성한다.
본 단계(S200)에서, 이동 궤적을 결정하기 위해, 측위 장치는 상기 특징점을 이용하여 타깃 이동체의 이동 방향(e.g. 전진/후진)을 결정하는 과정을 더 수행한다. 이하, 타깃 이동체의 이동 방향을 결정하는 방법에 대하여 도 10 및 도 11을 참조하여 설명한다.
도 10은 본 발명의 일 실시예에 따른 이동 방향 결정 방법을 나타내는 흐름도이고, 도 11은 상기 이동 방향 결정 방법을 설명하기 위한 예시도이다.
도 10을 참조하면, 단계(S300)에서, 측위 장치는 타깃 이동체에 대한 영상 정보(e.g. 복수의 영상 프레임)에서 특징점을 추출한다. 상기 특징점을 추출하는 방법은 어떠한 방식이 이용되더라도 무방하다. 특징점이 추출된 예는 도 11의 왼편 상단의 도면(371)에 도시되어 있다.
단계(S320)에서, 측위 장치는 추출된 특징점 각각에 대한 이동 벡터를 산출한다. 예를 들어, 복수의 영상 프레임에서 각 특징점의 위치를 비교하여 이동 벡터가 산출될 수 있다. 특징점에 대한 이동 벡터가 산출된 예는 도 11의 오른편 상단의 도면(373)에 도시되어 있다.
단계(S340)에서, 측위 장치는 특징점의 중심 방향(또는 중심의 반대 방향)에 매칭되는 이동 벡터를 갖는 특징점의 개수를 카운팅한다. 즉, 측위 장치는 영상의 중심 위치가 아니라 특징점의 중심 위치(e.g. 도 11의 379)를 기준으로 중심 방향을 결정하고, 중심 방향에 매칭되는 특징점의 개수를 카운팅한다. 예를 들어, 도 11의 하단에 도시된 도면(375, 377)에서 특징점의 개수를 카운팅하면, 7개의 특징점 중에서 중심 방향에 매칭되는 특징점의 개수는 1개이고, 중심의 반대 방향에 매칭되는 특징점의 개수는 5개가 된다.
일 실시예서, 이동 벡터의 크기가 임계 수치 이하인 특징점은 카운팅 대상에서 제외될 수 있다. 이때, 상기 임계 수치는 기 설정된 고정 값 또는 상황에 따라 변동되는 변동 값일 수 있다. 예를 들어, 상기 임계 수치는 추출된 특징점에 대한 이동 벡터의 평균 크기에 기초하여 결정되는 변동 값일 수도 있다. 이동 벡터의 크기가 매우 작은 경우 노이즈일 확률이 높기 때문에, 본 실시예에 따르면, 노이즈 제거가 수행되는 효과가 있다.
다른 일 실시예서, 이동 벡터의 크기가 제1 임계 수치 이하인 특징점 또는 이동 벡터의 크기가 제2 임계 수치(단, 제2 임계 수치는 제1 임계 수치 보다 큰 값으로 설정됨) 이상인 특징점이 카운팅 대상에서 제외될 수 있다. 즉, 이동 벡터의 크기가 지나치게 작거나, 지나치게 큰 특징점은 노이즈일 확률이 높기 때문에, 카운팅 대상에서 제외될 수 있다.
단계(S360)에서, 측위 장치는 카운팅 된 특징점의 개수가 임계 수치 이상인지 여부를 판정하다. 이때, 상기 임계 수치는 일정한 값으로 설정될 수도 있고, 일정 비율(%)로 설정될 수도 있다.
단계(S380)에서, 임계 수치 이상이라는 판정에 응답하여, 측위 장치는 타깃 이동체의 이동 방향을 제1 방향으로 결정한다. 가령, 중심 방향을 향하는 특징점의 개수가 임계 수치 이상이고, 해당 영상이 타깃 이동체의 후방을 촬영한 영상인 경우, 상기 타깃 이동체의 이동 방향은 전진 방향으로 결정될 수 있다. 특징점이 추출된 지점이 점점 멀어지고 있다는 것은, 타깃 이동체가 반대 방향으로 전진하고 있다는 것을 가리키기 때문이다. 물론, 상기 촬영된 영상이 타깃 이동체의 전방을 촬영한 영상인 경우라면, 상기 타깃 이동체의 이동 방향은 후진 방향으로 결정될 수 있다.
한편, 본 발명의 실시예에 따르면, 타깃 이동체의 방향 판정의 정확도를 더욱 향상시키기 위해, 깊이 정보가 더 이용될 수 있다. 이때, 상기 깊이 정보는 깊이 센서로부터 획득될 수도 있고, 서로 다른 방향에서 촬영된 영상에 양안 시차의 원리를 적용하여 획득될 수도 있다. 단 본 발명의 범위가 이에 한정되는 것은 아니며, 상기 깊이 정보는 어떠한 방식으로 획득되더라도 무방하다. 본 실시예에서, 촬영 영상에 대한 깊이 정보가 주어지면, 각 특징점에 대응되는 깊이 정보가 추출되고, 깊이 정보를 이용하여 특징점 각각에 소정의 가중치가 부여될 수 있다. 예를 들어, 깊이 정보를 토대로 가까이 위치한 특징점에 상대적으로 큰 가중치가 부여되고, 멀리 위치한 특징점에 상대적으로 작은 가중치가 부여될 수 있다. 가까이 위치한 특징점이 타깃 이동체의 이동에 더 큰 영향을 받기 때문이다. 다만, 본 발명의 범위가 상기 예시에 한정되는 것은 아니다.
본 실시예에서, 측위 장치는 각 특징점에 부여된 가중치를 기초로 타깃 이동체의 이동 방향을 판정할 수 있다. 예를 들어, 측위 장치는 각 특징점에 대하여 소정의 점수를 산출하고, 산출된 점수와 상기 부여된 가중치와의 가중치 합(weighted sum)을 통해 최종 점수를 산출하며, 상기 최종 점수와 임계 수치와의 비교 결과에 기초하여 타깃 이동체의 이동 방향을 결정할 수 있다. 이때, 상기 점수의 산출은 특징점의 이동 벡터 방향이 중심 방향(또는 중심의 반대 방향)에 매칭되는 정도, 해당 이동 벡터의 크기 등에 기초하여 산출될 수 있다. 본 실시예에 따르면, 타깃 이동체의 이동 방향 판단에 모든 특징점이 동일하게 고려되지 않고, 가까이 위치한 특징점에 보다 집중하여 이동 방향이 판단될 수 있다. 예를 들어, 타깃 이동체가 전진하고 있고 해당 영상이 타깃 이동체의 후방을 촬영한 영상인 경우라도, 영상 센서의 노이즈 등 다양한 원인으로 인해 중심 방향에 매칭되는 이동 벡터를 갖는 특징점의 개수가 특정 수치 이하일 수 있다. 이와 같은 경우에도, 근거리에 위치한 특징점의 이동 벡터가 중심 방향과 잘 매칭되고 상기 이동 벡터의 크기가 크다면, 측위 장치는 타깃 이동체의 이동 방향을 전진 방향으로 결정할 수 있다. 따라서, 본 실시예에 따르면, 타깃 이동체의 이동 방향이 더욱 정확하게 판단될 수 있다.
지금까지, 도 10 및 도 11을 참조하여 본 발명의 일 실시예에 따른 이동 방향 결정 방법에 대하여 설명하였다. 상술한 방법에 따르면, 영상의 중심 위치가 아니라 특징점의 중심 위치를 기준으로 중심 방향이 결정된다. 이에 따라, 타깃 이동체의 이동 방향이 보다 정확하게 결정될 수 있다.
다시 도 9를 참조하여 설명을 이어가도록 한다.
단계(S200)에서 결정된 이동 궤적은 기 구축된 지자기 기반의 핑거프린트 맵과 실내 공간의 맵 정보에 기초하여 보정된다. 상기 실내 공간의 맵 정보는 사용자에 의해 제공될 수 있고, 당해 기술 분야에서 널리 알려진 맵 제작 알고리즘을 이용하여 자동으로 생성될 수도 있다. 상기 맵 정보는 이동 가능 영역 및 이동 불가 영역에 대한 정보를 포함한다. 상기 이동 불가 영역은 예를 들어 장애물이 존재하는 영역과 같이 타깃 이동체가 이동할 수 없는 영역을 의미할 수 있다. 도 1에 예시된 물류 창고의 경우 랙(rack)과 평치로 표시된 영역이 이동 불가 영역을 가리키는 것으로 이해될 수 있다.
상기 보정 과정은 단계(S220 내지 S240)를 통해 수행된다. 이하, 각 단계(S220 내지 S240)에 대하여 상세하게 설명하도록 한다.
단계(S220)에서, 측위 장치는 이동 궤적을 직선 구간 또는 곡선 구간을 포함하는 복수의 구간으로 구분한다.
예를 들어, 측위 장치는 이동 궤적을 일정한 거리에 따라 복수의 구간으로 분할하고, 분할된 복수의 구간을 각각 직선 구간 또는 곡선 구간으로 구분할 수 있다. 해당 구간이 곡선 구간에 해당하는지 여부는 가속도 센서 및/또는 자이로 센서의 측정 정보, 비주얼 오도메트리 정보 등에 기초하여 판정될 수 있으나, 어떠한 방식으로 판정되더라도 무방한다.
다른 예를 들어, 측위 장치는 이동 궤적 상에서 곡선이 나타나는 구간을 곡선 구간으로 결정하고, 나머지 구간을 직선 구간으로 구분할 수 있다.
다만, 상기 열거된 예시들은 본 발명의 일부 실시예를 설명하기 위한 것일 뿐, 본 발명의 범위가 상기 열거된 예시들에 한정되는 것은 아니다.
단계(S220)에 대한 예는 도 12를 참조하도록 한다. 도 12는 이동 궤적 상의 직선 구간(392, 396)과 곡선 구간(394, 398) 및 각 구간에 대응되는 이동 궤적 정보(391 내지 397)를 도시하고 있다.
다음으로, 단계(S240)에서, 측위 장치는 곡선 구간을 기준으로 직선 구간을 보정한다. 이때, 지자기 기반의 핑거프린트 맵과 실내 공간에 대한 맵 정보가 이용될 수 있다. 본 단계(S240)에 대한 자세한 설명은 도 14 내지 도 17을 참조하여 상세하게 설명하도록 한다.
한편, 본 발명의 실시예에 따르면, 단계(S240)가 수행되기 전에, 실내 공간에 대한 맵 정보에 기초하여, 이동 궤적에 대한 일차적인 보정이 수행될 수 있다. 이에 대한 예는 도 13에 도시되어 있다.
도 13에 도시된 바와 같이, 측위 장치는 실내 공간의 맵 정보를 이용하여 이동 궤적을 구성하는 복수의 구간 중에서 이동 불가 영역으로 진입하는 제1 구간이 존재하는지를 판정할 수 있다. 상기와 같은 판정은 복수의 구간에 걸쳐서 순차적으로 수행될 수 있으나, 어떠한 순서로 수행되더라도 무방하다.
상기 제1 구간이 존재한다는 판정의 응답으로, 측위 장치는 상기 제1 구간의 이동 방향을 이동 가능 영역을 향하도록 조정할 수 있다. 가령, 도 13에 도시된 바와 같이, 측위 장치는 맵 정보(410)를 이용하여 상기 제1 구간의 방향(411, 내지 417)을 회전하는 시뮬레이션을 수행함으로써, 이동 가능 영역을 향하는 방향을 결정할 수 있다. 또한, 측위 장치는 결정된 방향에 따라 상기 제1 구간의 방향을 조정하여 이동 궤적에 대한 일차적인 보정을 수행할 수 있다.
이하에서는, 도 14 내지 도 17을 참조하여 단계(S240)에서 수행되는 이동 궤적 보정 방법에 대하여 상세하게 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 핑거프린트 맵 기반의 이동 궤적 보정 방법을 나타내는 흐름도이다. 다만, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 14를 참조하면, 단계(S400)에서, 측위 장치는 곡선 구간 중에서 기준 구간을 선정한다. 예를 들어, 복수의 곡선 구간이 존재하는 경우, 측위 장치는 순서에 따라 순차적으로 각각의 곡선 구간을 기준 구간으로 선정하고, 단계(S420 내지 S460)를 반복하여 수행할 수 있다. 다만, 본 발명의 범위가 상기 예시에 한정되는 것은 아니다.
참고로, 곡선 구간을 기준 구간으로 선정하는 이유는 핑거프린트 맵을 이용하여 곡선 구간 이후에 나타나는 직선 구간을 보정하는 것이 이동 궤적의 정확도를 더욱 향상시킬 수 있기 때문이다.
단계(S420)에서, 측위 장치는 기준 구간의 다음 직선 구간에 대응되는 이동 가능 영역(이하, "제1 이동 가능 영역"으로 칭하기로 함) 내에서 복수의 후보 구간을 결정한다.
단계(S420)에서 후보 구간을 결정하는 예는 도 15에 도시되어 있다. 도 15를 참조하면, 기준 구간(음영으로 표시된 영역)을 기준으로 다음 직선 구간에 대응되는 제1 이동 가능 영역(탐색 영역을 표시된 영역)에서 3개의 후보 구간(431, 433, 435)이 결정된 것을 확인할 수 있다. 여기서, 후보 구간을 결정하는 방식은 이동 가능 영역의 크기, 타깃 이동체의 크기 등의 요소를 고려하여 결정될 수 있으나, 어떠한 방식으로 결정되더라도 무방하다.
도 15에 도시된 바와 같이, 기준 구간에 대한 후보 구간이 결정되는 영역은 제1 이동 가능 영역으로 한정되기 때문에 항상 맵의 일부 영역에 해당하게 된다. 즉, 상기와 같은 방식에 따르면, 핑거프린트 맵에 기반하여 이동 궤적을 보정하기 위해 전체 핑거프린트 맵을 탐색할 필요가 없다. 따라서, 이동 궤적을 보정함에 있어서, 컴퓨팅 비용이 크게 절감되는 효과가 있다.
단계(S440)에서, 측위 장치는 기 구축된 핑거프린트 맵을 이용하여 후보 구간 각각에 대한 유사도를 산출한다. 구체적으로, 측위 장치는 보정 대상 구간(= 기준 구간의 다음 직선 구간)에 대한 지자기 신호를 전처리하고, 전처리된 지자기 신호와 핑거프린트 맵에서 각 후보 구간에 대응되는 지자기 핑거프린트 간의 유사도를 산출한다. 이때, 상기 전처리를 수행하는 방식은 전술한 단계(S120)와 동일하므로, 이에 대한 설명은 도 5 내지 도 8의 설명 부분을 참조하도록 한다.
상기 유사도는 어떠한 방식으로 산출되더라도 무방하다. 예를 들어, 상기 유사도는 당해 기술 분야에서 널리 알려진 적어도 하나의 유사도 산출 알고리즘을 이용하여 산출될 수 있다.
단계(S460)에서, 측위 장치는 후보 구간 중에서 가장 유사도가 높은 구간을 타깃 이동체의 이동 경로(실선으로 도시)로 마킹(marking)한다. 도 16은 3개의 후보 구간(431, 433, 435) 중에서 후보 구간(433)이 타깃 이동체의 이동 경로로 마킹된 것이 예시되었다. 도 16에 도시된 바와 같이, 마킹된 구간은 기준 구간과 연결되어, 타깃 이동체의 이동 궤적을 형성하게 된다.
상술한 단계(S400 내지 S460)는 각 곡선 구간을 기준 구간으로 하여 반복적으로 수행될 수 있다.
본 발명의 실시예에 따르면, 측위 장치는 이전 직선 구간들의 유사도 이력을 고려하여 이동 궤적에 대한 보정을 수행할 수 있다. 이하, 도 16 및 도 17을 참조하여 본 실시예에 대하여 상세하게 설명하도록 한다.
도 16은 2번째 곡선 구간이 기준 구간으로 선정되고, 상기 기준 구간의 다음 직선 구간(=보정 대상 구간)을 보정하는 예를 도시하고 있다.
도 16을 참조하면, 전술한 바와 동일하게, 측위 장치는 상기 보정 대상 구간에 대응되는 이동 가능 영역(이하, "제2 이동 가능 영역"으로 칭하기로 함)에서 후보 구간(451, 453, 457)을 결정한다. 후보 구간(451, 453, 457) 중에서 어느 하나의 구간을 이동 경로로 마킹하기 위해, 측위 장치는 각 후보 구간(451, 453, 457)과 인접한 이전 구간들의 유사도 이력을 고려하여 최종 유사도를 산출한다.
구체적으로, 측위 장치는 보정 대상 구간의 지자기 신호와 후보 구간(451, 453, 457) 각각에 대응되는 지자기 핑거프린트 간의 제1 유사도를 산출하고, 상기 제1 유사도와 기 산출된 이전 직선 구간(431, 433, 435)의 제2 유사도에 기초하여 최종 유사도를 산출한다. 이때, 상기 최종 유사도는, 도 16에 도시된 바와 같이, 이동 궤적 상의 이동 구간들(e.g. 기준 구간의 이전 직선 구간, 다음 직선 구간 등)과 전체 후보 경로(452, 454, 456) 간의 유사도를 가리키는 것으로 이해될 수 있다.
일 실시예에서, 상기 최종 유사도는 상기 제1 유사도와 상기 제2 유사도 간의 가중치 합으로 산출될 수 있다. 본 실시예에서, 상기 가중치 합에 이용되는 가중치는 각 후보 구간의 길이에 기초하여(e.g. 길이에 비례하도록) 결정될 수 있다. 후보 구간의 길이가 길고 유사도가 높은 경우, 해당 후보 구간은 타깃 이동체의 실제 이동 경로에 해당할 확률이 높기 때문이다.
참고로, 상기 최종 유사도의 산출에 이용되는 이전 구간의 개수는 실시예에 따라 달라질 수 있다. 예를 들어, 기준 구간의 직전 구간에 대한 유사도만이 최종 유사도에 반영될 수 있고, 이동 궤적 상의 시작 구간부터 모든 구간에 대한 유사도가 전부 최종 유사도에 반영될 수도 있다.
또한, 실시예에 따라, 최종 유사도가 임계 수치 이하라는 판정에 응답하여, 측정 장치는 상기 최종 유사도에 대응되는 전체 후보 경로를 다음의 최종 유사도 산출 단계에서 제외할 수 있다. 유사하게, 특정 후보 구간의 유사도가 임계 수치 이하라는 판정에 응답하여, 측정 장치는 상기 특정 후보 구간을 다음의 최종 유사도 산출 단계에서 제외할 수도 있다.
도 17은 최종 유사도에 기초하여 이동 경로가 마킹된 결과를 도시하고 있다.
도 17을 참조하면, 각 전체 후보 경로(452, 454, 456)에 대하여 산출된 최종 유사도에 기초하여, 후보 구간(451)이 이동 경로로 마킹된 것을 확인할 수 있다. 이와 같은 경우, 측위 장치는 동일한 후보 경로에 포함된 이전 후보 구간(431)가 이동 경로로 마킹되어 있는지 여부를 판정하고, 마킹되지 않았다는 판정에 응답하여 이전 후보 구간(431) 또한 이동 경로로 마킹할 수 있다. 동시에, 측위 장치는 이전에 마킹되어 있었던 후보 구간(433)의 마킹을 해제할 수 있다. 이와 같이, 이전 구간의 유사도 이력을 고려하여 이동 궤적을 보정하는 경우, 잘못 마킹된 이동 경로가 사후적으로 보정될 수 있다. 이에 따라, 타깃 이동체에 대하여 정밀한 이동 궤적 추적 서비스가 제공될 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 측위 장치는 기준 구간을 선정하고 않고 실내 공간의 맵 정보만을 이용하여 이동 궤적에 대한 보정을 수행할 수도 있다. 구체적으로, 비주얼 오도메트리 정보를 이용하여 타깃 이동체의 이동 궤적을 결정한 다음, 측위 장치는 상기 맵 정보를 이용하여 특정 이동 가능 영역 내에서 복수의 후보 구간을 결정하고, 상기 이동 궤적 상에서 상기 특정 이동 가능 영역에 대응되는 제1 구간과 상기 복수의 후보 구간 각각의 유사도에 기초하여 상기 이동 궤적을 보정할 수 있다. 여기서, 상기 유사도는 전술한 바와 같이, 상기 제1 구간의 지자기 신호와 핑거프린트 맵에서 각 후보 구간에 대응되는 지자기 핑거프린트와의 유사도를 의미한다. 본 실시예에서, 측위 장치는 유사도가 가장 높은 후보 구간을 이동 경로로 마킹하고, 마킹된 후보 구간을 기초로 이동 궤적을 보정할 수 있으며, 상기와 같은 보정 과정은 다른 이동 가능 영역에 대해서도 반복적으로 수행될 수 있다.
지금까지, 도 9 내지 도 17을 참조하여 본 발명의 실시예에 따른 이동 궤적의 보정 방법에 대하여 설명하였다. 상술한 방법에 따르면, 비주얼 오도메트리로부터 결정된 상대적 이동 궤적이 지자기 핑거프린트 맵에 기초하여 보정됨으로써 타깃 이동체에 대한 이동 궤적이 정확하게 생성될 수 있다.
지금까지, 도 1 내지 도 17을 참조하여 본 발명의 몇몇 실시예들과 상기 몇몇 실시예들에 따른 효과들을 언급하였다. 본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
지금까지, 도 1 내지 도 17을 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (19)

  1. 측위 장치에서 수행되는 복합 측위 기반의 이동 궤적 추적 방법에 있어서,
    타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계;
    상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 단계; 및
    상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  2. 제1 항에 있어서,
    실내 공간에 대한 맵 정보를 획득하되, 상기 맵 정보는 상기 실내 공간에 대한 이동 가능 영역 및 이동 불가 영역에 대한 정보를 포함하는 것인, 단계;
    상기 맵 정보를 이용하여 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제3 이동 궤적을 획득하는 단계를 더 포함하고,
    상기 제2 이동 궤적을 획득하는 단계는,
    상기 제3 이동 궤적을 보정하여, 상기 제2 이동 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  3. 제2 항에 있어서,
    상기 제3 이동 궤적을 획득하는 단계는,
    상기 복수의 구간 중에서 이동 불가 영역으로 진입하는 제1 구간이 존재하는지 판정하는 단계; 및
    상기 제1 구간이 존재한다는 판정의 응답으로, 상기 제1 구간의 이동 방향을 이동 가능 영역을 향하도록 조정하여 상기 제3 이동 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  4. 제1 항에 있어서,
    실내 공간에 대한 맵 정보를 획득하되, 상기 맵 정보는 실내 공간에 대한 이동 가능 영역 및 이동 불가 영역에 대한 정보를 포함하는 것인, 단계를 더 포함하고,
    상기 제2 이동 궤적을 획득하는 단계는,
    상기 제1 이동 궤적을 구성하는 곡선 구간 중에서 기준 구간을 선정하는 단계;
    상기 복수의 구간 중에서 상기 기준 구간에 인접한 직선 구간을 보정 대상 구간으로 선정하는 단계;
    상기 이동 가능 영역 중 상기 보정 대상 구간에 대응되는 제1 이동 가능 영역 내에서, 제1 후보 직선 구간 및 제2 후보 직선 구간을 결정하는 단계;
    상기 보정 대상 구간과 상기 제1 후보 직선 구간 간의 제1 유사도와 상기 보정 대상 구간과 상기 제2 후보 직선 구간 간의 제2 유사도에 기초하여, 어느 하나의 후보 직선 구간을 상기 타깃 이동체의 이동 경로로 마킹하는 단계; 및
    상기 마킹된 후보 직선 구간을 상기 기준 구간과 연결하여 상기 제2 이동 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  5. 제4 항에 있어서,
    상기 제1 유사도는,
    상기 보정 대상 구간에 대한 지자기 신호와 핑거프린트 맵에서 상기 제1 후보 직선 구간에 대응되는 지자기 핑거프린트 간의 유사도에 기초하여 산출되고,
    상기 제2 유사도는,
    상기 지자기 신호와 상기 핑거프린트 맵에서 상기 제2 후보 직선 구간에 대응되는 지자기 핑거프린트 간의 유사도에 기초하여 산출되는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  6. 제4 항에 있어서,
    상기 보정 대상 구간은 상기 제1 이동 궤적에서 상기 기준 구간의 다음 구간에 대응되고,
    상기 이동 가능 영역 중 제2 이동 가능 영역은 상기 제1 이동 궤적에서 상기 기준 구간의 이전 구간에 대응되며,
    상기 타깃 이동체의 이동 구간으로 결정하는 단계는,
    상기 제2 이동 가능 영역 내에서, 제1-1 후보 직선 구간 및 제2-1 후보 직선 구간을 결정하되, 상기 제1-1 후보 직선 구간은 상기 제1 후보 직선 구간과 인접하고 상기 제2-1 후보 직선 구간은 상기 제2 후보 직선 구간과 인접한 것인, 단계;
    상기 이전 구간과 상기 제1-1 후보 직선 구간 간의 제1-1 유사도를 산출하고, 상기 제1 유사도 및 상기 제1-1 유사도를 기초로 제1 최종 유사도를 산출하는 단계;
    상기 이전 구간과 상기 제2-1 후보 직선 구간 간의 제2-1 유사도를 산출하고, 상기 제2 유사도 및 상기 제2-1 유사도를 기초로 제2 최종 유사도를 산출하는 단계;
    상기 제1 최종 유사도 및 상기 제2 최종 유사도의 비교 결과에 기초하여, 상기 타깃 이동체의 이동 경로를 마킹하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  7. 제6 항에 있어서,
    상기 제1 최종 유사도는,
    상기 제1 유사도 및 상기 제1-1 유사도의 가중치 합(weighted sum)에 기초하여 산출되고,
    상기 제1 유사도 및 상기 제1-1 유사도 각각에 부여되는 가중치는 대응되는 후보 직선 구간의 길이에 기초하여 결정되는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  8. 제6 항에 있어서,
    상기 타깃 이동체의 이동 경로를 마킹하는 단계는,
    상기 제1 후보 직선 구간을 상기 타깃 이동체의 이동 경로로 마킹하는 단계;
    상기 제1-1 후보 직선 구간이 상기 타깃 이동체의 이동 경로로 마킹되었는지 여부를 판정하는 단계;
    상기 제1-1 후보 직선 구간이 마킹되지 않았다는 판정에 응답하여, 상기 제1-1 후보 직선 구간을 상기 타깃 이동체의 이동 경로로 마킹하는 단계; 및
    상기 제1-1 후보 직선 구간이 마킹되지 않았다는 판정에 응답하여, 상기 제2 이동 가능 영역 내에 위치한 후보 직선 구간 중에서 이전에 마킹된 후보 직선 구간의 마킹을 해제하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  9. 제1 항에 있어서,
    상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계는,
    상기 타깃 이동체의 이동 중에 촬영된 영상에서 복수의 특징점을 추출하는 단계;
    상기 복수의 특징점을 이용하여, 상기 타깃 이동체의 이동 방향을 결정하는 단계;
    상기 복수의 특징점 중 적어도 일부의 특징점의 위치를 추적하여, 상기 적어도 일부의 특징점의 이동 궤적을 나타내는 상기 비주얼 오도메트리 정보를 산출하는 단계; 및
    상기 산출된 비주얼 오도메트리 정보 및 상기 결정된 이동 방향에 기초하여 상기 타깃 이동체의 상기 제1 이동 궤적을 결정하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  10. 제9 항에 있어서,
    상기 타깃 이동체의 이동 방향을 결정하는 단계는,
    상기 촬영된 영상으로부터 상기 복수의 특징점에 대한 이동 벡터를 산출하는 단계; 및
    상기 복수의 특징점의 중심을 기준으로, 상기 이동 벡터의 방향에 기초하여 상기 타깃 이동체의 이동 방향을 결정하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  11. 제10 항에 있어서,
    상기 이동 벡터의 방향에 기초하여 상기 타깃 이동체의 이동 방향을 결정하는 단계는,
    상기 복수의 특징점 중에서 중심 방향에 매칭되는 이동 벡터를 갖는 특징점의 개수를 카운팅하는 단계; 및
    상기 카운팅된 특징점의 개수가 임계 수치 이상이라는 판정에 응답하여, 상기 타깃 이동체의 이동 방향을 제1 방향으로 결정하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  12. 제10 항에 있어서,
    상기 이동 벡터의 방향에 기초하여 상기 타깃 이동체의 이동 방향을 결정하는 단계는,
    상기 복수의 특징점 중에서 상기 이동 벡터의 크기가 임계 수치 이하인 특징점을 제외하는 단계; 및
    나머지 특징점에 대한 이동 벡터의 방향에 기초하여 상기 타깃 이동체의 이동 방향을 결정하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  13. 제10 항에 있어서,
    상기 이동 벡터의 방향에 기초하여 상기 타깃 이동체의 이동 방향을 결정하는 단계는,
    상기 복수의 특징점 각각에 대한 깊이 정보를 획득하는 단계;
    상기 획득된 깊이 정보에 기초하여 상기 복수의 특징점 각각에 가중치를 부여하는 단계; 및
    상기 부여된 가중치를 더 이용하여 상기 타깃 이동체의 이동 방향을 결정하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  14. 측위 장치에서 수행되는 복합 측위 기반의 이동 궤적 추적 방법에 있어서,
    이동 가능 영역 및 이동 불가 영역에 대한 정보가 포함된 실내 공간의 맵 정보를 획득하는 단계;
    타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 단계;
    상기 맵 정보를 이용하여, 제1 이동 가능 영역 내에서 제1 후보 구간 및 제2 후보 구간을 결정하는 단계;
    상기 제1 이동 궤적 상에서 상기 제1 이동 가능 영역에 대응되는 제1 구간에 대한 지자기 신호와 핑거프린트 맵에서 상기 제1 후보 구간에 대응되는 제1 지자기 핑거프린트 간의 제1 유사도를 산출하는 단계;
    상기 제1 구간에 대한 지자기 신호와 상기 핑거프린트 맵에서 상기 제2 후보 구간에 대응되는 제2 지자기 핑거프린트 간의 제2 유사도를 산출하는 단계;
    상기 제1 유사도 및 상기 제2 유사도의 비교 결과에 기초하여, 어느 하나의 후보 구간을 상기 제1 이동 가능 영역에 대응되는 이동 경로로 마킹하는 단계; 및
    상기 마킹된 후보 구간을 기초로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  15. 제14 항에 있어서,
    상기 제1 유사도를 산출하는 단계는,
    상기 비주얼 오도메트리 정보를 이용하여 거리를 기준으로 상기 제1 구간에 대한 지자기 신호를 전처리하는 단계; 및
    상기 전처리된 지자기 신호와 상기 제1 지자기 핑거프린트 간의 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  16. 제15 항에 있어서,
    상기 제1 구간에 대한 지자기 신호를 전처리하는 단계는,
    상기 비주얼 오도메트리 정보를 이용하여, 상기 타깃 이동체가 일정 거리를 이동하는데 소요된 이동 시간을 산출하는 단계; 및
    상기 지자기 신호에서 상기 산출된 이동시간에 대응되는 지자기 신호를 추출하는 단계를 포함하는 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  17. 제14 항에 있어서,
    상기 제1 후보 구간 및 제2 후보 구간을 결정하는 단계는,
    상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 단계;
    상기 복수의 구간 중에서 기준 구간을 선정하는 단계; 및
    상기 기준 구간에 인접한 상기 제1 이동 가능 영역 내에서 상기 제1 후보 구간 및 상기 제2 후보 구간을 결정하는 단계를 포함하되,
    상기 제1 이동 가능 영역은 상기 제1 이동 궤적 상에서 상기 기준 구간의 다음 구간에 대응되는 영역인 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  18. 제17 항에 있어서,
    상기 기준 구간은 곡선 구간이고,
    상기 제1 후보 구간 및 상기 제2 후보 구간은 직선 구간인 것을 특징으로 하는,
    복합 측위 기반의 이동 궤적 추적 방법.
  19. 프로세서;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    타깃 이동체의 비주얼 오도메트리(visual odometry) 정보를 이용하여 상기 타깃 이동체의 제1 이동 궤적을 결정하는 인스트럭션;
    상기 제1 이동 궤적을 직선 구간 및 곡선 구간을 포함하는 복수의 구간으로 구분하는 인스트럭션; 및
    상기 복수의 구간 중에서 곡선 구간을 기준으로 상기 제1 이동 궤적을 보정하여, 상기 타깃 이동체에 대한 제2 이동 궤적을 획득하는 인스트럭션을 포함하는 것을 특징으로 하는,
    측위 장치.
KR1020170183785A 2017-12-29 2017-12-29 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치 KR20190081334A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183785A KR20190081334A (ko) 2017-12-29 2017-12-29 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183785A KR20190081334A (ko) 2017-12-29 2017-12-29 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20190081334A true KR20190081334A (ko) 2019-07-09

Family

ID=67261469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183785A KR20190081334A (ko) 2017-12-29 2017-12-29 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20190081334A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101170A (zh) * 2020-09-08 2020-12-18 平安科技（深圳）有限公司 目标定位方法、装置、计算机设备及存储介质
CN112100303A (zh) * 2020-09-14 2020-12-18 拉扎斯网络科技（上海）有限公司 建筑实体位置确定方法、装置、计算机设备及可读存储介质
CN113220811A (zh) * 2021-04-19 2021-08-06 珠海德百祺科技有限公司 位置数据处理方法与装置、终端设备
CN114529311A (zh) * 2022-02-16 2022-05-24 安徽肇立科技有限公司 一种基于定位曲线相似性的路线轨迹匹配方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018143A (ko) 2015-08-05 2017-02-16 라임아이 주식회사 비콘 신호 송출 기기를 이용한 실내 측위 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018143A (ko) 2015-08-05 2017-02-16 라임아이 주식회사 비콘 신호 송출 기기를 이용한 실내 측위 방법 및 그 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101170A (zh) * 2020-09-08 2020-12-18 平安科技（深圳）有限公司 目标定位方法、装置、计算机设备及存储介质
CN112100303A (zh) * 2020-09-14 2020-12-18 拉扎斯网络科技（上海）有限公司 建筑实体位置确定方法、装置、计算机设备及可读存储介质
CN113220811A (zh) * 2021-04-19 2021-08-06 珠海德百祺科技有限公司 位置数据处理方法与装置、终端设备
CN113220811B (zh) * 2021-04-19 2023-08-18 珠海德百祺科技有限公司 位置数据处理方法与装置、终端设备
CN114529311A (zh) * 2022-02-16 2022-05-24 安徽肇立科技有限公司 一种基于定位曲线相似性的路线轨迹匹配方法

Similar Documents

Publication Publication Date Title
CN110673115B (zh) 雷达与组合导航系统的联合标定方法、装置、设备及介质
KR101948728B1 (ko) 데이터 수집 방법 및 시스템
KR102529903B1 (ko) 차량의 위치 추정 장치 및 방법
US11961208B2 (en) Correction of motion-based inaccuracy in point clouds
EP1978432B1 (en) Routing apparatus for autonomous mobile unit
WO2018068771A1 (zh) 目标跟踪方法、系统、电子设备和计算机存储介质
KR20190081334A (ko) 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치
CN109471096B (zh) 多传感器目标匹配方法、装置及汽车
KR102226846B1 (ko) Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
EP4033324B1 (en) Obstacle information sensing method and device for mobile robot
US11328516B2 (en) Apparatus and method for associating sensor data in vehicle
CN111356902A (zh) Radar辅助视觉惯性测程初始化
US11143511B2 (en) On-vehicle processing device
EP3693759B1 (en) System and method for tracking motion of target in indoor environment
KR102456151B1 (ko) 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법
US20230251097A1 (en) Efficient map matching method for autonomous driving and apparatus thereof
CN112362044A (zh) 室内定位方法、装置、设备和系统
KR101523147B1 (ko) 실내 측위 장치 및 방법
CN109945864B (zh) 室内行车定位融合方法、装置、存储介质及终端设备
CN109769206B (zh) 一种室内定位融合方法、装置、存储介质及终端设备
KR102371617B1 (ko) 차량의 객체 인식 장치 및 방법
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
CN111161357B (zh) 信息处理方法及装置、增强现实设备和可读存储介质
JP6653151B2 (ja) 進行方向推定システム
CN111596288B (zh) 测量速度的方法、装置、车载终端和车载测速系统