KR20210026795A - Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 - Google Patents

Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 Download PDF

Info

Publication number
KR20210026795A
KR20210026795A KR1020190108082A KR20190108082A KR20210026795A KR 20210026795 A KR20210026795 A KR 20210026795A KR 1020190108082 A KR1020190108082 A KR 1020190108082A KR 20190108082 A KR20190108082 A KR 20190108082A KR 20210026795 A KR20210026795 A KR 20210026795A
Authority
KR
South Korea
Prior art keywords
equation
indoor positioning
angle
pedestrian
unit
Prior art date
Application number
KR1020190108082A
Other languages
English (en)
Other versions
KR102226846B1 (ko
Inventor
한동석
알윈폴로즈
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190108082A priority Critical patent/KR102226846B1/ko
Publication of KR20210026795A publication Critical patent/KR20210026795A/ko
Application granted granted Critical
Publication of KR102226846B1 publication Critical patent/KR102226846B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003—Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

IMU 센서와 카메라를 이용한 하이브리드 실내 측위 시스템은 IMU 센서와 카메라로부터 얻은 위치 결과를 결합하여 IMU 센서 기반의 측위에서 발생하는 IMU 센서 오차를 카메라 측위 결과인 카메라 포즈에 의해 감소시키고, 카메라 기반의 측위에서 발생하는 방위각 오차를 IMU 측위 결과로 줄임으로써 실내 위치 측위에서 위치 오차를 최소화하는 효과가 있다.

Description

ＩＭＵ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템{System for Positioning Hybrid Indoor Localization Using Inertia Measurement Unit Sensor and Camera}
본 발명은 실내 측위 시스템에 관한 것으로서, 특히 IMU 센서와 카메라로부터 얻은 위치 결과를 결합하여 IMU 센서 기반의 측위에서 발생하는 IMU 센서 오차를 카메라 측위 결과인 카메라 포즈에 의해 감소시키고, 카메라 기반의 측위에서 발생하는 방위각 오차를 IMU 측위 결과로 줄일 수 있는 IMU 센서와 카메라를 이용한 하이브리드 실내 측위 시스템에 관한 것이다.
개인항법시스템(Personal Navigation System, PNS)은 사람의 위치 파악을 위한 모든 시스템을 말한다. 개인항법시스템의 대표적인 방법 중 하나로 GPS가 주로 사용되고 있지만 실내 환경이나 터널 같은 신호 음영지역에서 GPS를 단독으로 사용하는 것이 불가능하게 된다.
이러한 문제점을 해결하기 위한 방법 중 하나인 PDR(Pedestrian Dead-Reckoning) 시스템은 보행자의 걸음에 의해 위치를 변화시킨다는 가정 아래에서 개발된 추측항법시스템이다.
PDR 시스템은 보행자가 보행할 때 발생되는 걸음 정보를 이용하여 처음 위치로부터 얼마나 이동하였는지를 알 수 있다. 이때, 보폭, 방향, 자세, 높이와 같은 걸음 정보를 관성측정장치(Inertia Measurement Unit, IMU)를 이용하여 얻는다.
그러나 IMU 기반 위치 측정 시스템은 어느 정도 수준의 위치 정확도를 제공하나, 외부 전자기 잡음 또는 센서 드리프트에 의해 발생되는 센서 에러의 크기에 따라 정확도가 달라지고, 가속도계의 축적된 오류, 자이로스코프의 드리프트 오류, 자력계에 영향을 미치는 외부 자기장에 의해 위치 오차가 커지는 문제점이 있다.
한국 등록특허번호 제10-1160132호
이와 같은 문제점을 해결하기 위하여, 본 발명은 IMU 센서와 카메라로부터 얻은 위치 결과를 결합하여 IMU 센서 기반의 측위에서 발생하는 IMU 센서 오차를 카메라 측위 결과인 카메라 포즈에 의해 감소시키고, 카메라 기반의 측위에서 발생하는 방위각 오차를 IMU 측위 결과로 줄일 수 있는 IMU 센서와 카메라를 이용한 하이브리드 실내 측위 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 하이브리드 실내 측위 시스템은,
3축 가속도계와 3축 자력계 및 3축 자이로스코프를 포함하는 IMU(Inertia Measurement Unit) 센서들로부터 수신한 센서 신호를 이용하여 보행자의 스텝과 방향각 정보를 계산하며, 상기 스텝과 방향각 정보를 이용하여 제1 위치를 계산하는 제1 실내 측위 장치;
카메라에 의해 촬영된 복수의 영상 프레임에서 복수의 특징점을 검출하여 미리 저장된 키프레임의 매칭을 수행하고, 매칭 결과를 이용하여 상기 카메라의 자세 변화 정보를 추정하며, 상기 자세 변화 정보를 기초로 제2 위치를 측위하는 제2 실내 측위 장치; 및
상기 제1 실내 측위 장치로부터 계산된 제1 위치와, 상기 제2 실내 측위 장치로부터 계산된 제2 위치를 선형 칼만 필터를 이용하여 결합하여 보행자의 최종 위치를 계산하는 센서 융합부를 포함하는 것을 특징으로 한다.
상기 제1 실내 측위 장치는 상기 3축 가속도계와 상기 3축 자이로스코프의 각 센서 신호를 이용하여 가속도와 각속도의 크기 변화를 분석하여 보행자의 스텝을 검출하고, 상기 검출한 스텝을 이용하여 상기 보행자의 스텝 길이를 추정하며, 상기 3축 자력계와 상기 3축 자이로스코프의 센서 신호를 융합하여 방향각 정보를 계산하며, 상기 계산된 방향각 정보와 상기 스텝 길이를 기초로 상기 보행자의 제1 위치를 계산하는 것을 특징으로 한다.
상기 제2 실내 측위 장치는 상기 카메라로부터 촬영된 복수의 영상 프레임을 입력받아 프레임 단위로 복수의 특징점을 검출하고, 상기 검출된 복수의 특징점과 키프레임을 매칭하고, 상기 매칭된 각각의 특징점을 상기 키프레임에 누적하여 상기 키프레임을 갱신하고,상기 키프레임과 상기 갱신한 키프레임 간의 특징점 추적을 통해 상기 카메라의 자세 변화 정보를 계산하며, 상기 자세 변화 정보를 기초로 상기 제2 위치를 측위하는 것을 특징으로 한다.
상기 센서 융합부는 상기 제1 위치와 상기 제2 위치를 상기 선형 칼만 필터에 의해 결합하여 위치 보정을 수행한 후, 상기 보행자의 현재 위치를 지도에 정합시켜 상기 지도 상에 보행자의 위치를 계산하는 것을 특징으로 하는
전술한 구성에 의하여, 본 발명은 IMU 센서와 카메라로부터 얻은 위치 결과를 결합하여 IMU 센서 기반의 측위에서 발생하는 IMU 센서 오차를 카메라 측위 결과인 카메라 포즈에 의해 감소시키고, 카메라 기반의 측위에서 발생하는 방위각 오차를 IMU 측위 결과로 줄임으로써 실내 위치 측위에서 위치 오차를 최소화하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 IMU(Inertia Measurement Unit) 센서와 카메라를 이용한 하이브리드 실내 측위 시스템의 구성을 나타낸 블록도이다.
도 2는 IMU 기반 측위 결과를 나타낸 도면이다.
도 3은 카메라 기반 측위 결과를 나타낸 도면이다.
도 4는 본 발명의 하이브리드 실내 측위 시스템의 측위에서 얻은 실험 결과를 나타낸 도면이다.
도 5는 IMU 기반의 측위 접근 방식의 RMSE를 나타낸 도면이다.
도 6은 카메라 기반의 측위 접근 방식의 RMSE를 나타낸 도면이다.
도 7은 본 발명의 하이브리드 실내 측위 시스템의 측위 접근 방식의 RMSE를 나타낸 도면이다.
도 8은 IMU 기반의 측위와, 카메라 기반의 측위 및 본 발명의 하이브리드 측위의 CDF를 나타낸 도면이다.
이하 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상술한다.
본 발명의 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 IMU(Inertia Measurement Unit) 센서와 카메라를 이용한 하이브리드 실내 측위 시스템의 구성을 나타낸 블록도이다.
본 발명의 실시예에 따른 하이브리드 실내 측위 시스템(100)은 크게 IMU 센서를 이용한 제1 실내 측위 장치(110)와 카메라를 이용한 제2 실내 측위 장치(120) 및 센서 융합부(130)를 포함한다.
본 발명의 제1 실내 측위 장치(110)는 이동체의 움직임에 따른 관성 데이터를 측정하는 기능을 수행한다.
제1 실내 측위 장치(110)는 IMU 센서들(111), 자세 결정부(112), 스텝 검출부(113), 스텝 길이 추정부(114), 자력계 방위각 계산부(115), 자이로스코프 방위각 계산부(116), 방향 필터부(117) 및 현재 위치 계산부(118)를 포함한다.
IMU 센서들(111)은 가속도계(Acceleration Sensor)(111a), 자력계(Magnetometer)(111b), 자이로스코프(Gyroscope)(111c)를 포함한다.
가속도계(111a)는 임의의 센서, 회로 및/또는 모바일 컴퓨팅 장치의 다른 모션 및/또는 가속도를 3차원 축 각각을 따라 측정한다.
가속도계(111a)는 보행자의 3축 가속도 데이터를 측정한다.
자력계(111b)는 임의의 센서, 회로 및/또는 미리 정의된 좌표계에 대해 각도 방향을 측정하도록 구성된다.
자이로스코프(111c)는 보행자의 3축 롤(roll), 3축 피치(pitch) 및/또는 3축 요(yaw)를 측정할 수 있다.
자이로스코프(111c)는 보행자의 3축 각속도 데이터를 측정한다.
자세 결정부(112)는 가속도계(111a)로부터 3축 가속도 데이터를 수신하고, 수신한 3축 가속도 데이터의 피치 각과 롤 각을 하기의 수학식 1에 의해 계산한다.
자세 결정부(112)는 자이로스코프(111c)로부터 3축 각속도 데이터를 수신하고, 수신한 3축 각속도 데이터의 피치 각과 롤 각을 하기의 수학식 1에 의해 계산한다.
자세 결정부(112)는 3축 가속도 데이터의 피치 각 및 롤 각과 3축 각속도 데이터의 피치 각 및 롤 각을 칼만 필터를 이용하여 결합하여 융합 피치 각과 융합 롤 각을 계산한다.
자세 결정부(112)는 가속도 데이터의 피치 각과 롤 각과 각속도 데이터의 피치 각과 롤 각을 결합하면, 가속도계(111a)의 누적 에러와 자이로스코프(111c)의 드리프트 오차를 제거할 수 있다. 이러한 이유로 가속도계(111a)는 오차 범위를 제한적으로 유지할 수 있다.
칼만 필터는 가속도계(111a)와 자이로스코프(111c)의 피치 각 및 롤 각을 결합하는데 사용된다.
Figure pat00001
여기서,
Figure pat00002
는 Pitch의 각,
Figure pat00003
는 Roll의 각,
Figure pat00004
는 IMU 센서의 3축 가속도 데이터, g는 중력 가속도를 나타낸다.
가속도계(111a)로부터 피치 및 롤의 각도의 계산에 사용되는 표현은 가속도 또는 각속도가 충분히 작은 상황에서만 유효하다.
자이로스코프(111c)의 피치와 롤의 각도를 고려할 때, 에러는 수치 통합 과정에 따라 누적된다. 이러한 가속도계(111a)와 자이로스코프(111c)의 에러를 제거하기 위해서 제1 실내 측위 장치(110)와 제2 실내 측위 장치(120)를 혼합한 센서 융합 알고리즘을 제안한다.
스텝 검출부(113)는 자세 결정부(112)로부터 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각을 분석하여 스텝(걸음)을 검출한다. 즉, 스텝 검출부(113)는 가속도와 각속도의 크기 변화를 분석하여 스텝을 검출한다.
스텝 길이 추정부(114)는 스텝 검출부(113)로부터 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각을 수신하고, 수신한 융합 피치 각을 이용하여 하기의 수학식 2의 선형 회귀 모델을 기초로 스텝 길이(SL)를 추정한다.
Figure pat00005
여기서,
Figure pat00006
는 degree 단위의 피치 진폭이고, 상수 a와 b는 각 회귀선에 맞는 매개 변수이다.
IMU 센서의 위치 추정에 사용되는 매개 변수는 방위각 추정이다. 방위각 추정은 보행자의 이동 방향을 결정하는 과정이다. 자력계(111b)와 자이로스코프(111c)는 방위각 추정에 사용된다.
자력계(111b)를 사용하면 장시간의 실험을 통해 높은 위치 정확도를 얻을 수 있다. 그러나 자력계(111b)의 방위각은 외부 자기장의 영향을 쉽게 받기 때문에 신뢰성이 떨어지는 단점이 있다.
자이로스코프(111c)의 방위각 추정은 드리프트 에러로 인해 장시간의 실험에서 정확성이 떨어지므로 단시간의 실험에 사용된다.
본 발명은 자력계(111b)와 자이로스코프(111c)의 상호 보완적인 기능을 사용하여 짧고 긴 실험에서 더 나은 성능을 보여준다.
디바이스(Device)
Figure pat00007
에서의 자력과 글로벌(Glbal)
Figure pat00008
좌표계 간의 관계는 다음의 수학식 3과 같이 표현된다.
Figure pat00009
여기서,
Figure pat00010
는 Pitch의 각,
Figure pat00011
는 Roll의 각을 나타낸다.
자력계 방위각 계산부(115)는 방위각(
Figure pat00012
)을 다음의 수학식 4와 같이 표현한다.
Figure pat00013
여기서, Hx와 Hy는 글로벌 좌표계의 방위 자력을 나타낸다.
자력계 방위각 계산부(115)는 자력계(111b)로부터 보행자의 좌표계에 대한 방향 정보를 수신하고, 자세 결정부(112)로부터 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각과, 각속도 데이터의 롤 각과 각속도 데이터의 롤 각을 결합한 융합 롤 각을 수신하여 절대 방위각의 계산 시 파라미터로 이용한다.
자이로스코프(111c)의 방위각은 단시간 실험을 통해 자력계(111b)와 비교해보면 더 낮은 방위각 오차를 가진다.
Figure pat00014
는 바디 프레임 X축 자이로스코프(111c)의 출력,
Figure pat00015
는 바디 프레임 Y축 자이로스코프(111c)의 출력,
Figure pat00016
는 바디 프레임 Z축 자이로스코프(111c)의 출력을 나타낸다.
자이로스코프 방위각 계산부(116)는 자이로스코프(111c)로부터 3축 각속도 데이터를 수신하여 보행자가 위치한 방향을 3차원 공간에 표시하기 위하여 피치의 각과 롤의 각을 이용하여 다음의 수학식 5의 오일러의 각도를 계산한다.
Figure pat00017
여기서,
Figure pat00018
는 각 Roll, Pitch, Yaw,
Figure pat00019
는 각 x, y,z 바디 프레임 축의 출력을 나타낸다.
자이로스코프 방위각 계산부(116)는 계산한 오일러의 각도를 다음의 수학식 6과 같이, 사원수의 값을 사용하여 오일러 각도에 의한 사원수(Quaternion)의 업데이트를 수행한다.
Figure pat00020
여기서,
Figure pat00021
는 각 Roll, Pitch, Yaw의 오일러 각도,
Figure pat00022
는 사원수의 값을 나타낸다.
방향 필터부(117)는 자력계 방위각 계산부(115)에서 계산된 절대 방위각과, 자이로스코프 방위각 계산부(116)에서 계산된 각속도 정보를 다음의 수학식 7의 칼만 필터에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산한다.
방향 필터부(117)는 오일러 각도를 통해 얻은 사원수로부터 자이로스코프의 방위각을 계산할 수 있다. 다시 말해, 방향 필터부(117)는 자력계(111b)의 방향들과 자이로스코프(111c)의 방향들의 합을 통해 보행자의 최종 방향을 계산한다.
Figure pat00023
여기서,
Figure pat00024
는 업데이트된 사원수의 값을 나타낸다.
자력계(111b)와 자이로스코프(111c)의 센서 오류를 보완하기 위해서 자이로스코프 방위각을 자력계 방위각과 결합하여 개별 센서 방위각의 결과에 비해 더 나은 결과를 제공한다. 칼만 필터는 자력계(111b)와 자이로스코프(111c)의 방위각 융합에 사용된다.
위치 추정에는 방위각 융합 결과와 스텝 길이 정보를 사용한다. 보행자의 현재 위치는 이전에 알려진 위치, 스텝 길이 정보 및 단계 간격에서 방위각으로 추정한다. 보행자의 초기 위치는 0으로 정의되며, 스텝 길이와 방위각 정보는 초기값을 기준으로 보행자의 현재 위치를 추정한다.
현재 위치 계산부(118)는 방향 필터부(117)로부터 보행자의 최종 방향 정보를 수신하고, 스텝 길이 추정부(114)로부터 추정한 스텝 길이(SL)를 수신한다.
현재 위치 계산부(118)는 하기의 수학식 8과 같이, 보행자의 최종 방향 정보와 스텝 길이, 초기 위치값을 이용하여 보행자의 현재 위치를 계산한다.
Figure pat00025
여기서, Xt-1, Yt-1은 초기 위치값, Xt, Yt는 보행자의 위치값, SL은 스텝 길이, Headingfusion은 자력계와 자이로스코프의 융합한 방위각을 나타낸다.
본 발명의 제2 실내 측위 장치(120)는 스마트폰 카메라(121), 트래킹부(Tracking)(122), 위치 인식부(Place Recognition)(123), 지도 데이터베이스부(124), 로컬 매핑부(Local Mapping)(125) 및 루프 클로징부(Loop Closing)(126)를 포함한다.
제2 실내 측위 장치(120)는 영상 기반으로 보행자의 실시간 위치인식 및 지도작성 방법에 관한 것으로 ORB(Oriented Fast Rotated BRIEF)-SLAM(Simultaneous Localization and Mapping) 시스템을 적용한다.
동시간 위치 인식 및 지도 작성(SLAM) 방법은 카메라와 같은 센서를 가진 보행자의 주변 환경을 3차원 모델로 복원함과 동시에 3차원 공간상에서 보행자의 위치를 추정하는 기술이다.
스마트폰 카메라(121)는 렌즈를 이용하여 일정한 크기에 10 FPS(Frame Per Second)으로 촬영하여 복수의 영상 프레임을 획득한다.
트래킹부(122)는 각각의 프레임의 새로운 영상으로부터 ORB(Oriented Fast Rotated BRIEF) 특징점(Keypoints)을 추출한다.
트래킹부(122)는 복수의 프레임을 입력받아 프레임 단위로 특징점을 검출한다.
트래킹부(122)는 이전 프레임의 특징점과 현재 프레임의 특징점을 정합하여 특징점을 추적한다. 트래킹부(122)는 프레임 간의 특징점 추적을 위해서 현재 프레임에서의 특징점을 이전 프레임 특징점의 좌표로부터 일정 크기의 창 내에 존재할 경우 정합을 수행한다.
트래킹부(122)는 검출된 특징점과 키프레임을 매칭하고, 상기 매칭된 특징점을 키프레임에 누적하여 키프레임을 갱신한다.
트래킹부(122)는 제1 프레임의 특징점을 키프레임으로 설정하고, 제1 프레임에 후속하는 프레임들의 특징점이 매칭되면 매칭된 특징점들을 키프레임에 누적하여 키프레임을 갱신하는 것을 반복하여 실행함으로써 키프레임을 추출할 수 있다.
트래킹부(122)는 상기 키프레임 또는 상기 갱신된 키프레임과, 상기 제2 프레임 또는 상기 후속하여 입력되는 프레임간의 특징점 추적을 통해 자세 변화를 계산한다.
트래킹부(122)는 이전 프레임으로부터 추적되어 온 특징점의 개수가 일정 개수 이하인 경우, 새로운 특징점 추적을 위한 새로운 키프레임을 추가한다.
트래킹부(122)는 모든 프레임에서 카메라 위치를 추정하고, 새로운 키프레임의 입력을 제어한다.
이후에 이전 프레임과 일치하는 초기 특성을 사용하여 카메라 포즈를 최적화하기 위해 BA(Motion only Bunle Adjust)를 사용한다.
지도 데이터베이스부(124)는 지도 포인트 또는 3D ORB의 지도 포인트를 저장하고 있다. 각각의 지도 포인트는 위치가 다른 뷰에서 삼각 측량되고 번들 조정으로 수정된 텍스처 평면 패치에 해당한다.
지도 포인트는 이미지의 ORB 영상에 해당하므로 FAST 모서리의 삼각 분할이다. 지도 포인트는 여러 키프레임에서 ORB 기능과 연관될 수 있다.
키프레임은 실제 시각 정보를 요약한 스냅샷이다. 각각의 키프레임은 모든 ORB 기능을 프레임에 저장하고, 카메라 포즈(Pose)를 저장한다.
가시성 그래프(Covisiblity Graph)는 로컬 맵을 결정하거나 위치 인식부(123)의 성능을 향상시킨다.
가시성 그래프는 2개의 키프레임들이 공통된 지도 포인들이 존재하는 경우, 키프레임과 모서리를 나타내는 각 노드들이 저장된다.
위치 인식부(123)는 각 시각적 단어에 대해 해당 키프레임이 표시된 어휘와 키프레임의 가중치가 저장되는 반전 색인이 포함되어 있으며, 이에 따라 일반적인 시각적 단어만을 확인하여 데이터베이스 쿼리를 매우 효율적으로 수행 할 수 있다.
위치 인식부(123)는 로컬 맵핑이 처리를 완료한 후 루프 클로저 작업에 의해 새로운 키프레임이 지도 데이터베이스부(124)에 삽입된다.
위치 인식부(123)는 데이터베이스를 쿼리 할 때 쿼리 이미지와 시각적 단어를 공유하는 모든 키프레임 간에 유사성 점수가 계산된다.
위치 인식부(123)는 데이터베이스를 쿼리 한 후 카메라 포즈 및 유사성 변환을 각각 계산하여 기하학적 유효성 검사로 사용한다.
위치 인식부(123)는 두 개의 연속적인 키프레임의 일치가 존재하고 이를 연결하는 가시성 그래프에 모서리가 있는 경우 일관성있는 것으로 판단한다.
트래킹부(122)는 특징점 추적을 통해 카메라 포즈의 초기화가 완료되면, 지도 데이터베이스부(124)에서 키프레임을 가진 Covisibility 그래프를 사용하여 로컬 맵이 검색된다. 이후에 재투영에 의해 탐색된 로컬 맵 지점들과 일치시키고, 마지막으로 모든 일치 항목을 사용하여 카메라 포즈를 최적화한다.
로컬 매핑부(125)는 새로운 키프레임을 사용하여 로컬 BA를 수행함으로써 카메라 포즈와 관계된 최적의 재구성을 얻는다.
로컬 매핑부(125)는 트래킹부(122)로부터 수신한 새로운 키프레임을 저장하고, 서로 다른 키프레임에서 ORB 특징점을 삼각 측량 방법에 의해 새로운 지도 포인트들을 생성한다.
로컬 매핑부(125)는 대부분의 지도 포인트를 공유하는 가시성 그래프에서 N개의 인접한 키프레임에서 ORB 특징점을 삼각 측량한다.
로컬 매핑부(125)는 현재 처리된 키프레임과 가시성 그래프에서 연결된 모든 키프레임 및 이러한 키프레임에서 볼 수 있는 모든 지도 포인트를 최적화하는 로컬 번들 최적화를 수행한다(Local Bundle Adjustment).
루프 클로징부(126)는 로컬 매핑부(125)에 의해 처리된 키프레임을 가져오고, 지도에서 새로운 키 프레임이 있는 루프를 탐색하고, 루프를 닫으려면 현재 키프레임으로부터 루프의 키프레임까지의 루프의 누적된 드리프트에 대한 정보를 제공하는 유사성 변환을 계산한다.
다시 말해, 루프 클로징부(126)는 지도 데이터베이스부(124)에서 이전의 키프레임들과 현재의 키프레임을 비교하여 유사도 정도가 소정의 문턱값보다 큰 키프레임이 있는지를 검색한다. 루프 클로징부(126)는 유사도가 소정의 문턱값보다 큰 키프레임이 검출되는 경우, 이들을 루프 클로져로 설정하며, 설정된 루프 클로져의 자세 변화 정보를 바탕으로 카메라 포즈의 그래프를 최적화하며, 최적화된 그래프를 토대로 위치 인식 및 지도 작성(SLAM)을 수행한다.
본 발명의 실내 측위 시스템(100)은 위치 측정 오차를 최소화하기 위하여 제1 실내 측위 장치(110)와 제2 실내 측위 장치(120)를 결합하여 IMU 센서 기반의 제1 실내 측위 장치(110)의 센서 에러와 카메라 센서 기반의 제2 실내 측위 장치(120)의 방위각 에러를 감소하는데 있다.
센서 융합부(130)는 IMU 센서 기반의 제1 실내 측위 장치(110)의 제1 위치 측정 결과와 카메라 센서 기반의 제2 실내 측위 장치(120)의 제2 위치 측정 결과를 결합하여 보행자의 최종 위치 정보를 계산한다.
제1 실내 측위 장치(110)의 센서 에러는 제2 실내 측위 장치(120)의 위치 측정 결과로 보완하고, 제2 실내 측위 장치(120)의 방위각 에러는 제1 실내 측위 장치(110)의 위치 측정 결과로 보완하여 위치 측정 정확도를 향상시킨다.
센서 융합부(130)는 제1 실내 측위 장치(110)의 제1 위치 측정 결과와 제2 실내 측위 장치(120)의 제2 위치 측정 결과를 선형 칼만 필터를 이용하여 결합한다.
센서 융합부(130)는 하기의 수학식 9의 이동 모델과 수학식 10의 관측 모델을 갖는 칼만 필터 알고리즘을 이용한다.
Figure pat00026
수학식 9는 센서 융합의 전이 상태 함수로서,
Figure pat00027
는 보행자 위치의 2차원 좌표이고,
Figure pat00028
는 시스템에 입력되는 IMU 센서의 x,y값(보행자의 2차원 좌표 정보), A와 B는 단위 행렬이고, W는 zero mean을 갖는 동작 모델이고, 공분산 행렬 Q의 가우시안 잡음을 나타낸다.
Figure pat00029
수학식 10은 관측 모델로 제1 실내 측위 장치(110)의 위치 측정 결과를 통해 얻을 수 있으며,
Figure pat00030
는 zero mean과 공분산 행렬 R을 갖는 IMU 기반의 제1 실내 측위 장치(110)의 위치 측정 결과의 가우시안 잡음을 나타낸다. 센서 융합은 직접적인 관측 문제이기 때문에 H를 항등 행렬로 사용한다.
선형 칼만 필터는 프로세스의 상태를 추적하기 위해 위치 오차를 최소화하는 방법으로 효율적인 계산 수단을 제공하는 수학 방정식의 집합이다. 선형 칼만 필터는 신호와 잡음의 분리도가 우수하여 순간적인 위치의 점프 현상을 방지할 수 있으며, 정확한 위치, 속도 및 시간을 안정적으로 검출하는데 사용된다.
선형 칼만 필터 알고리즘은 예측을 위한 시간 갱신 방정식과 측정 갱신 방정식의 두 프로세스로 구성된다.
선형 칼만 필터의 시간 갱신 과정(Time Update)은 시간에 앞서 미리 현재 상태를 예측하는 칼만 필터의 예측 단계(Predict)로 순방향으로 현재 상태 추정 결과를 전달한다.
선형 칼만 필터의 시간 갱신 과정(Time Update)은 하기의 수학식 11의 선형 추정 방정식과, 하기의 수학식 12의 Prior 추적 에러 공분산 방정식을 포함한다.
Figure pat00031
여기서, A와 B는 단위 행렬,
Figure pat00032
는 시스템에 입력되는 IMU 센서의 x,y값(보행자의 2차원 좌표 정보),
Figure pat00033
는 예측값을 나타낸다.
Figure pat00034
여기서,
Figure pat00035
는 공분산 행렬, T는 전치행렬,
Figure pat00036
는 에러 공분산 값을 나타낸다.
선형 칼만 필터의 측정 갱신 과정(Measurement Update)은 해당 시간에 실제 측정에 의해 전달된 추정 상태값들을 보정하는 칼만 필터의 보정 단계이다.
선형 칼만 필터의 측정 갱신 과정(Measurement Update)은 하기의 수학식 13의 칼만 이득 생성 방정식과 하기의 수학식 14의 갱신된 추정값 생성 방정식 및 하기의 수학식 15의 Posteriori 추적 에러 공분산 방정식을 포함한다.
Figure pat00037
여기서, H는 항등 행렬, R은 공분산 행렬을 나타낸다.
Figure pat00038
여기서,
Figure pat00039
는 관찰 함수를 나타낸다.
Figure pat00040
선형 필터의 알고리즘에 사용되는 모든 변수는 하기의 표 1과 같이 정리된다.
Figure pat00041
센서 융합부(130)는 선형 칼만 필터를 거쳐 위치 보정을 수행한 후 보행자의 현재 위치를 지도(Map)과 정합시켜 지도 상에 보행자의 위치를 계산할 수 있다.
본 발명의 하이브리드 실내 측위 시스템(100)은 실내 측위의 성능과 정확성을 평가하기 위해서 IMU 센서와 카메라를 사용하여 데이터를 경북대학교 IT1호관 512호에서 수집하였다. 데이터를 수집을 위해서 사용자는 스마트폰과 IMU 센서를 손에 들고 실험 장소에서 실험을 하였다.
이번 실험은 삼성 갤럭시S6 엣지 스마트폰에 탑재된 안드로이드 5.0.2 롤리팝 플랫폼에 엑시노스 7420 프로세서와 3GB 램을 탑재해 진행했다.
A Biscuit Programmable Wi-Fi 9-Axis absolute orientation 센서는 IMU 측위에 사용했다. 실험 면적의 길이는 3.1m, 폭은 6m이다.
도 2는 IMU 기반 측위 결과이고, 도 3은 카메라 기반 측위 결과이며, 도 4는 본 발명의 하이브리드 실내 측위 시스템(100)의 측위에서 얻은 실험 결과를 보여준다.
도 4에 도시된 바와 같이, 본 발명의 하이브리드 측위 결과는 센서 오류의 영향이 상당히 줄어든 것을 볼 수 있다. IMU 기반의 측위 결과는 가속도계(111a)의 누적 오류와 자이로스코프(111c)의 편향 오류가 존재한다.
카메라 기반의 측위 결과는 보행자가 방향을 변경할 때 정확하게 추정할 수 없는 문제점이 있다.
본 발명의 하이브리드 실내 측위 시스템(100)은 IMU 방식과 카메라 방식을 비교할 때 보다 높은 정확도를 보여준다.
본 발명의 하이브리드 실내 측위 시스템(100)의 측위 정확도는 RMSE(Root Mean Square Error)와 측위 오차의 누적 오차 분포 함수를 이용하여 평가된다.
도 5 내지 도 7은 IMU 기반의 측위와, 카메라 기반의 측위, 본 발명의 하이브리드 측위 방식의 RMSE 결과를 나타낸 것이다.
도 5는 IMU 기반의 측위 접근 방식의 RMSE를 보여준다. IMU 기반의 측위 접근 방식의 최대 오차는 0.7467m이다.
도 6은 카메라 기반의 측위 접근 방식에서 측위 에러를 보여준다. 카메라 기반의 측위 접근 방식은 실제 위치값에 비해 최대 1m의 측위 오류가 있다.
도 7은 본 발명의 하이브리드 측위 접근 방식에 대한 RMSE를 나타낸다. 본 발명의 하이브리드 측위 접근 방식의 최대 위치 오류는 실제 위치와 비교하여 0.4924m이다. 측위 오류 결과에서 제안된 하이브리드 측위 접근 방식은 IMU 기반 및 카메라 기반의 측위 접근 방식보다 더 나은 결과를 나타낸다.
다음의 표 2는 서로 다른 측위 접근 방식의 성능 분석을 보여준다.
Figure pat00042
표 2에서 본 발명의 하이브리드 측위 방식은 IMU 및 카메라 기반 측위 방식에 비해 측위 오류가 적다. 하이브리드 측위 방식은 다른 측위 접근 방식에 비해 높은 위치 정확도를 제공한다. 본 발명의 하이브리드 접근 방식의 정확도는 측위 오류의 누적 분포 함수(Cumulative Distribution Functions, CDF)에 의해 분석된다. 도 8은 IMU 기반의 측위와, 카메라 기반의 측위 및 본 발명의 하이브리드 측위의 CDF를 보여준다.
CDF 그래프를 보면, 본 발명의 하이브리드 측위 방식은 위치 오류를 줄이고 IMU 및 카메라 기반 측위 방식과 비교하여 더 나은 성능을 얻을 수 있다.
IMU 기반의 측위 방식은 카메라 기반의 측위 방식에 비해 성능이 우수하다.
오류 분석 결과, 카메라 기반의 측위 방식은 카메라 포즈 오류의 영향을 받아 실내 위치 정확도가 저하된다. 모든 실험 결과 분석에서 본 발명의 하이브리드 측위 접근 방식은 실내 어플리케이션에 대한 합당한 위치 정확도를 제공한다.
본 발명은 IMU 센서와 스마트폰 카메라(121)를 이용한 하이브리드 실내 측위를 제안했다. IMU 센서 기반의 측위에서 발생하는 IMU 센서 오차는 카메라 측위 결과인 카메라 포즈에 의해 감소시키고, 카메라 기반의 측위에서 발생하는 방위각 오차는 IMU 측위 결과로 줄이는 효과가 있다.
본 발명의 하이브리드 측위 방식은 개별적인 위치 결정 방법에 비해서 위치 결정 결과가 더 향상된다. 본 발명은 하이브리드 측위를 위한 칼만 필터 기반의 센서 퓨전 프레임 워크를 제안했다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 하이브리드 실내 측위 시스템 110: 제1 실내 측위 장치
111: IMU 센서들 111a: 가속도계
111b: 자력계 111c: 자이로스코프
112: 자세 결정부 113: 스텝 검출부
114: 스텝 길이 추정부 115: 자력계 방위각 계산부
116: 자이로스코프 방위각 계산부 117: 방향 필터부
118: 현재 위치 계산부 120: 제2 실내 측위 장치
121: 스마트폰 카메라 122: 트래킹부
123: 위치 인식부 124: 지도 데이터베이스부
125: 로컬 매핑부 126: 루프 클로징부
130: 센서 융합부

Claims (16)

  1. 3축 가속도계와 3축 자력계 및 3축 자이로스코프를 포함하는 IMU(Inertia Measurement Unit) 센서들로부터 수신한 센서 신호를 이용하여 보행자의 스텝과 방향각 정보를 계산하며, 상기 스텝과 방향각 정보를 이용하여 제1 위치를 계산하는 제1 실내 측위 장치;
    카메라에 의해 촬영된 복수의 영상 프레임에서 복수의 특징점을 검출하여 미리 저장된 키프레임의 매칭을 수행하고, 매칭 결과를 이용하여 상기 카메라의 자세 변화 정보를 추정하며, 상기 자세 변화 정보를 기초로 제2 위치를 측위하는 제2 실내 측위 장치; 및
    상기 제1 실내 측위 장치로부터 계산된 제1 위치와, 상기 제2 실내 측위 장치로부터 계산된 제2 위치를 선형 칼만 필터를 이용하여 결합하여 보행자의 최종 위치를 계산하는 센서 융합부를 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  2. 제1항에 있어서,
    상기 제1 실내 측위 장치는 상기 3축 가속도계와 상기 3축 자이로스코프의 각 센서 신호를 이용하여 가속도와 각속도의 크기 변화를 분석하여 보행자의 스텝을 검출하고, 상기 검출한 스텝을 이용하여 상기 보행자의 스텝 길이를 추정하며, 상기 3축 자력계와 상기 3축 자이로스코프의 센서 신호를 융합하여 방향각 정보를 계산하며, 상기 계산된 방향각 정보와 상기 스텝 길이를 기초로 상기 보행자의 제1 위치를 계산하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  3. 제1항에 있어서,
    상기 제2 실내 측위 장치는 상기 카메라로부터 촬영된 복수의 영상 프레임을 입력받아 프레임 단위로 복수의 특징점을 검출하고, 상기 검출된 복수의 특징점과 키프레임을 매칭하고, 상기 매칭된 각각의 특징점을 상기 키프레임에 누적하여 상기 키프레임을 갱신하고,상기 키프레임과 상기 갱신한 키프레임 간의 특징점 추적을 통해 상기 카메라의 자세 변화 정보를 계산하며, 상기 자세 변화 정보를 기초로 상기 제2 위치를 측위하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  4. 제1항에 있어서,
    상기 센서 융합부는 상기 제1 위치와 상기 제2 위치를 상기 선형 칼만 필터에 의해 결합하여 위치 보정을 수행한 후, 상기 보행자의 현재 위치를 지도에 정합시켜 상기 지도 상에 보행자의 위치를 계산하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  5. 제1항에 있어서,
    상기 제1 실내 측위 장치는 상기 가속도계로부터 3축 가속도 데이터를 수신하고, 상기 수신한 3축 가속도 데이터의 피치 각과 롤 각을 하기의 수학식 1에 의해 계산하고, 상기 자이로스코프로부터 3축 각속도 데이터를 수신하고, 상기 수신한 3축 각속도 데이터의 피치 각과 롤 각을 하기의 수학식 1에 의해 계산하며, 3축 가속도 데이터의 피치 각 및 롤 각과 3축 각속도 데이터의 피치 각 및 롤 각을 제1 칼만 필터를 이용하여 결합하여 융합 피치 각과 융합 롤 각을 계산하는 자세 결정부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 1]
    Figure pat00043

    여기서,
    Figure pat00044
    는 Pitch의 각,
    Figure pat00045
    는 Roll의 각,
    Figure pat00046
    는 IMU 센서의 3축 가속도 데이터, g는 중력 가속도임.
  6. 제5항에 있어서,
    상기 제1 실내 측위 장치는 상기 자력계로부터 보행자의 좌표계에 대한 방향 정보를 수신하고, 상기 자세 결정부로부터 상기 융합 피치 각과, 상기 융합 롤 각을 수신하여 절대 방위각을 계산하는 자력계 방위각 계산부; 및
    상기 자이로스코프로부터 3축 각속도 데이터를 수신하여 보행자가 위치한 방향을 3차원 공간에 표시하기 위하여 피치의 각과 롤의 각을 이용하여 하기의 수학식 2의 오일러의 각도를 계산하는 자이로스코프 방위각 계산부를 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 2]
    Figure pat00047

    여기서,
    Figure pat00048
    는 각 Roll, Pitch, Yaw,
    Figure pat00049
    는 각 x, y,z 바디 프레임 축의 출력임.
  7. 제6항에 있어서,
    상기 자이로스코프 방위각 계산부는 상기 계산한 오일러의 각도를 하기의 수학식 3에 의해 사원수의 값을 사용하여 오일러 각도에 의한 사원수(Quaternion)의 업데이트를 수행하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 3]
    Figure pat00050

    여기서,
    Figure pat00051
    는 각 Roll, Pitch, Yaw의 오일러 각도,
    Figure pat00052
    는 사원수의 값임.
  8. 제6항에 있어서,
    상기 제1 실내 측위 장치는 상기 자력계 방위각 계산부에서 계산된 절대 방위각과, 상기 자이로스코프 방위각 계산부에서 계산된 각속도 정보를 제2 칼만 필터에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산하는 방향 필터부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  9. 제6항에 있어서,
    상기 제1 실내 측위 장치는 상기 절대 방위각과 상기 각속도 정보를 하기의 수학식 4에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산하는 방향 필터부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 4]
    Figure pat00053

    여기서,
    Figure pat00054
    는 업데이트된 사원수의 값임.
  10. 제5항에 있어서,
    상기 제1 실내 측위 장치는 상기 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각을 수신하고, 상기 수신한 융합 피치 각을 이용하여 하기의 수학식 5의 선형 회귀 모델을 기초로 스텝 길이(SL)를 추정하는 스텝 길이 추정부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 5]
    Figure pat00055

    여기서,
    Figure pat00056
    는 degree 단위의 피치 진폭이고, 상수 a와 b는 각 회귀선에 맞는 매개 변수임.
  11. 제5항에 있어서,
    상기 제1 실내 측위 장치는 상기 자력계로부터 보행자의 좌표계에 대한 방향 정보를 수신하고, 자세 결정부로부터 상기 융합 피치 각과, 상기 융합 롤 각을 수신하여 절대 방위각을 계산하는 자력계 방위각 계산부;
    상기 자이로스코프로부터 3축 각속도 데이터를 수신하여 보행자가 위치한 방향을 3차원 공간에 표시하는 각속도 정보를 계산하는 자이로스코프 방위각 계산부; 및
    상기 자력계 방위각 계산부에서 계산된 절대 방위각과, 상기 자이로스코프 방위각 계산부에서 계산된 각속도 정보를 제2 칼만 필터에 의해 결합하여 보행자의 최종 방향 정보(Headinggyro)를 계산하는 방향 필터부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  12. 제11항에 있어서,
    상기 제1 실내 측위 장치는 상기 가속도 데이터의 피치 각과 각속도 데이터의 피치 각을 결합한 융합 피치 각을 수신하고, 상기 수신한 융합 피치 각을 이용하여 스텝 길이(SL)를 추정하는 스텝 길이 추정부; 및
    상기 방향 필터부로부터 보행자의 최종 방향 정보를 수신하고, 상기 스텝 길이 추정부로부터 추정한 스텝 길이(SL)를 수신하고, 하기의 수학식 6에 의해 상기 보행자의 최종 방향 정보와 상기 스텝 길이, 초기 위치값을 이용하여 보행자의 현재 위치를 계산하는 현재 위치 계산부를 더 포함하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 6]
    Figure pat00057

    여기서, Xt-1, Yt-1은 초기 위치값, Xt, Yt는 보행자의 위치값, SL은 스텝 길이, Headingfusion은 자력계와 자이로스코프의 융합한 방위각임.
  13. 제1항에 있어서,
    상기 제2 실내 측위 장치는 이전의 키프레임들과 현재의 키프레임을 비교하여 유사도 정도가 소정의 문턱값보다 큰 키프레임이 있는지를 검색한다. 루프 클로징부는 유사도가 소정의 문턱값보다 큰 키프레임이 검출되는 경우, 이들을 루프 클로져로 설정하며, 설정된 루프 클로져(Loop Closer)의 자세 변화 정보를 바탕으로 카메라 포즈의 그래프를 최적화하며, 최적화된 그래프를 토대로 위치 인식 및 지도 작성을 수행하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
  14. 제1항에 있어서,
    상기 센서 융합부는 센서 융합의 전이 상태 함수인 하기의 수학식 7의 이동 모델과 수학식 8의 관측 모델을 갖는 칼만 필터 알고리즘을 이용하여 상기 제1 위치와 상기 제2 위치를 결합하는 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 7]
    Figure pat00058

    여기서,
    Figure pat00059
    는 보행자 위치의 2차원 좌표,
    Figure pat00060
    는 시스템에 입력되는 IMU 센서의 x,y값(보행자의 2차원 좌표 정보), A와 B는 단위 행렬, W는 zero mean을 갖는 동작 모델이고, 공분산 행렬 Q의 가우시안 잡음을 나타냄.
    [수학식 8]
    Figure pat00061

    수학식 8은 상기 제1 실내 측위 장치의 위치 측정 결과를 통해 얻을 수 있으며,
    Figure pat00062
    는 zero mean과 공분산 행렬 R을 갖는 상기 제1 실내 측위 장치의 위치 측정 결과의 가우시안 잡음, H는 항등 행렬임.
  15. 제14항에 있어서,
    상기 칼만 필터 알고리즘은 시간에 앞서 미리 현재 상태를 예측하는 칼만 필터의 예측 단계(Predict)로 순방향으로 현재 상태 추정 결과를 전달하는 것으로 하기의 수학식 9의 선형 추정 방정식과, 하기의 수학식 10의 Prior 추적 에러 공분산 방정식으로 이루어진 예측을 위한 시간 갱신 방정식인 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 9]
    Figure pat00063

    여기서, A와 B는 단위 행렬,
    Figure pat00064
    는 시스템의 입력,
    Figure pat00065
    는 예측값임.
    [수학식 10]
    Figure pat00066

    여기서,
    Figure pat00067
    는 공분산 행렬, T는 전치행렬,
    Figure pat00068
    는 에러 공분산 값임.
  16. 제15항에 있어서,
    상기 칼만 필터 알고리즘은 시간에 실제 측정에 의해 전달된 추정 상태값들을 보정하는 것으로 하기의 수학식 11의 칼만 이득 생성 방정식과 하기의 수학식 12의 갱신된 추정값 생성 방정식 및 하기의 수학식 13의 Posteriori 추적 에러 공분산 방정식으로 이루어진 측정 갱신 방정식인 것을 특징으로 하는 하이브리드 실내 측위 시스템.
    [수학식 11]
    Figure pat00069

    여기서, H는 항등 행렬, R은 공분산 행렬임.
    [수학식 12]
    Figure pat00070

    여기서,
    Figure pat00071
    는 관찰 함수임.
    [수학식 13]
    Figure pat00072
KR1020190108082A 2019-09-02 2019-09-02 Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 KR102226846B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190108082A KR102226846B1 (ko) 2019-09-02 2019-09-02 Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190108082A KR102226846B1 (ko) 2019-09-02 2019-09-02 Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템

Publications (2)

Publication Number Publication Date
KR20210026795A true KR20210026795A (ko) 2021-03-10
KR102226846B1 KR102226846B1 (ko) 2021-03-11

Family

ID=75142829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108082A KR102226846B1 (ko) 2019-09-02 2019-09-02 Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템

Country Status (1)

Country Link
KR (1) KR102226846B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN113566827A (zh) * 2021-07-09 2021-10-29 中国能源建设集团安徽省电力设计院有限公司 一种基于信息融合的变电站巡检机器人室内定位方法
CN113865584A (zh) * 2021-08-24 2021-12-31 知微空间智能科技(苏州)有限公司 一种基于视觉惯性里程计的uwb三维寻物方法和装置
CN114440892A (zh) * 2022-01-27 2022-05-06 中国人民解放军军事科学院国防科技创新研究院 一种基于拓扑地图和里程计的自定位方法
CN115103437A (zh) * 2022-04-27 2022-09-23 电子科技大学 一种蓝牙和惯性测量单元的紧耦合室内定位方法
KR102456872B1 (ko) * 2021-12-30 2022-10-21 서울대학교산학협력단 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
WO2024037295A1 (zh) * 2022-08-16 2024-02-22 北京三快在线科技有限公司 定位
WO2024037155A1 (zh) * 2022-08-17 2024-02-22 腾讯科技（深圳）有限公司 用于足式机器人的状态估计方法、装置、计算机设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020001257A (ko) * 2000-06-27 2002-01-09 지규인 Ｇｐｓ와 관성센서를 이용한 개인 위치측정장치 및 방법
KR20080090215A (ko) * 2007-04-04 2008-10-08 삼성전자주식회사 이동 로봇의 자이로 센서를 캘리브레이션하는 장치 및 방법
KR20110068340A (ko) * 2009-12-16 2011-06-22 에스케이텔레콤 주식회사 관성 센서 기반의 실내 측위 장치 및 그 방법
KR101160132B1 (ko) 2011-12-07 2012-06-27 인하대학교 산학협력단 관성측정장치의 오차보정시스템
KR20160040042A (ko) * 2014-10-02 2016-04-12 네이버 주식회사 위치 추정 장치, 위치 추정 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020001257A (ko) * 2000-06-27 2002-01-09 지규인 Ｇｐｓ와 관성센서를 이용한 개인 위치측정장치 및 방법
KR20080090215A (ko) * 2007-04-04 2008-10-08 삼성전자주식회사 이동 로봇의 자이로 센서를 캘리브레이션하는 장치 및 방법
KR20110068340A (ko) * 2009-12-16 2011-06-22 에스케이텔레콤 주식회사 관성 센서 기반의 실내 측위 장치 및 그 방법
KR101160132B1 (ko) 2011-12-07 2012-06-27 인하대학교 산학협력단 관성측정장치의 오차보정시스템
KR20160040042A (ko) * 2014-10-02 2016-04-12 네이버 주식회사 위치 추정 장치, 위치 추정 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE Access *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884840A (zh) * 2021-03-29 2021-06-01 湖南国科微电子股份有限公司 一种视觉定位方法、装置、设备及存储介质
CN113566827A (zh) * 2021-07-09 2021-10-29 中国能源建设集团安徽省电力设计院有限公司 一种基于信息融合的变电站巡检机器人室内定位方法
CN113865584A (zh) * 2021-08-24 2021-12-31 知微空间智能科技(苏州)有限公司 一种基于视觉惯性里程计的uwb三维寻物方法和装置
CN113865584B (zh) * 2021-08-24 2024-05-03 知微空间智能科技(苏州)有限公司 一种基于视觉惯性里程计的uwb三维寻物方法和装置
KR102456872B1 (ko) * 2021-12-30 2022-10-21 서울대학교산학협력단 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
CN114440892A (zh) * 2022-01-27 2022-05-06 中国人民解放军军事科学院国防科技创新研究院 一种基于拓扑地图和里程计的自定位方法
CN114440892B (zh) * 2022-01-27 2023-11-03 中国人民解放军军事科学院国防科技创新研究院 一种基于拓扑地图和里程计的自定位方法
CN115103437A (zh) * 2022-04-27 2022-09-23 电子科技大学 一种蓝牙和惯性测量单元的紧耦合室内定位方法
CN115103437B (zh) * 2022-04-27 2024-03-15 电子科技大学 一种蓝牙和惯性测量单元的紧耦合室内定位方法
WO2024037295A1 (zh) * 2022-08-16 2024-02-22 北京三快在线科技有限公司 定位
WO2024037155A1 (zh) * 2022-08-17 2024-02-22 腾讯科技（深圳）有限公司 用于足式机器人的状态估计方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR102226846B1 (ko) 2021-03-11

Similar Documents

Publication Publication Date Title
KR102226846B1 (ko) Ｉｍｕ 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
Poulose et al. An indoor position-estimation algorithm using smartphone IMU sensor data
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
Chen et al. A data-driven inertial navigation/Bluetooth fusion algorithm for indoor localization
US9377310B2 (en) Mapping and positioning system
US9734414B2 (en) Unified framework for precise vision-aided navigation
EP2434256B1 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
KR101193638B1 (ko) 이미징 센서 및 디지털화된 맵을 이용한 관성 측정
WO2018068771A1 (zh) 目标跟踪方法、系统、电子设备和计算机存储介质
WO2017088196A1 (zh) 基于无线指纹和mems传感器的融合导航装置和方法
CN112639502A (zh) 机器人位姿估计
Zhu et al. A novel particle filter approach for indoor positioning by fusing WiFi and inertial sensors
CN109059907B (zh) 轨迹数据处理方法、装置、计算机设备和存储介质
Li et al. Estimating position of mobile robots from omnidirectional vision using an adaptive algorithm
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
Cai et al. Mobile robot localization using gps, imu and visual odometry
KR101737950B1 (ko) 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
CN114636414A (zh) 高清晰度城市地图绘制
Shu et al. Accurate indoor 3d location based on mems/vision by using a smartphone
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
Ross et al. Uncertainty estimation for stereo visual odometry
CN113115214A (zh) 基于不可翻转定位标签的室内人体朝向识别系统
Jung et al. U-VIO: tightly coupled UWB visual inertial odometry for robust localization
Hu et al. M³LVI: a multi-feature, multi-metric, multi-loop, LiDAR-visual-inertial odometry via smoothing and mapping
Chen et al. ReLoc-PDR: Visual Relocalization Enhanced Pedestrian Dead Reckoning via Graph Optimization

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant