KR20200044420A - 위치 추정 방법 및 장치 - Google Patents

위치 추정 방법 및 장치 Download PDF

Info

Publication number
KR20200044420A
KR20200044420A KR1020180125159A KR20180125159A KR20200044420A KR 20200044420 A KR20200044420 A KR 20200044420A KR 1020180125159 A KR1020180125159 A KR 1020180125159A KR 20180125159 A KR20180125159 A KR 20180125159A KR 20200044420 A KR20200044420 A KR 20200044420A
Authority
KR
South Korea
Prior art keywords
data
landmark
error
map
image
Prior art date
Application number
KR1020180125159A
Other languages
English (en)
Inventor
강철우
이원희
정경부
정휘룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180125159A priority Critical patent/KR20200044420A/ko
Priority to US16/357,794 priority patent/US20200124421A1/en
Publication of KR20200044420A publication Critical patent/KR20200044420A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/876—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/07—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing data for correcting measured positioning data, e.g. DGPS [differential GPS] or ionosphere corrections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

대상의 위치를 추정하는 방법 및 장치가 제공된다. 위치 추정 장치는 센싱 데이터로부터 1차적으로 대상의 위치를 추정하고, 이미지 데이터로부터 검출된 이미지 랜드마크 및 현재 추정된 위치에 대응하는 맵 랜드마크에 기초하여 오차를 산출하며, 추정된 위치를 산출된 오차에 기초하여 보정할 수 있다.

Description

위치 추정 방법 및 장치{METHOD AND DEVICE TO ESTIMATE POSITION}
이하, 위치 추정에 관련된 기술이 제공된다.
차량용 네비게이션 시스템은 자동차등이 이동하고 있을 때 복수개의 전세계 위치 측정 시스템(GPS, Global Positioning System)에 속하는 인공위성으로부터 나오는 전파를 수신하여 이동체의 현재위치를 확인하고, 또한 이동체의 속도를 확인하여야 한다. 이와 같은 차량용 네비게이션장치는 GPS수신기에서 수신한 정보를 이용하여 위도, 경도 및 고도정보를 포함하는 3차원의 차량 현재위치를 계산할 수 있다. 그러나 GPS 신호는 약 10m 내지 100m정도의 GPS 위치오차를 포함할 수 있다. 이러한 위치의 오차는 다른 센서를 이용하여 보정될 수 있다.
일 실시예에 따르면 프로세서에 의해 수행되는 위치 추정 방법은, 센서(sensor)로부터 획득된 센싱 데이터로부터 대상(target)의 위치를 추정하는 단계; 상기 추정된 위치, 맵 데이터 및 이미지 데이터에 기초하여, 상기 추정된 위치에 대한 오차를 산출하는 단계; 및 상기 추정된 위치를 상기 산출된 오차에 기초하여 보정하는 단계를 포함할 수 있다.
상기 오차를 산출하는 단계는, 상기 맵 데이터로부터 상기 추정된 위치에 대응하는 맵 랜드마크(map landmark)를 예측하는 단계; 상기 이미지 데이터로부터 이미지 랜드마크(image landmark)를 검출하는 단계; 및 상기 맵 랜드마크 및 상기 이미지 랜드마크 간의 차이에 기초하여, 상기 추정된 위치에 대한 상기 오차를 산출하는 단계를 포함할 수 있다.
상기 오차를 산출하는 단계는, 상기 대상의 위치 및 자세(pose)에 더 기초하여, 상기 오차로서 위치 오차 및 자세 오차를 산출하는 단계를 더 포함할 수 있다.
상기 맵 랜드마크를 예측하는 단계는, 상기 추정된 위치 및 상기 대상의 자세에 기초하여, 상기 맵 데이터의 랜드마크들 중 상기 이미지 데이터를 획득하는 이미지 센서의 시야각에 나타날 맵 랜드마크를 예측하는 단계를 포함할 수 있다.
상기 맵 랜드마크를 예측하는 단계는, 상기 맵 데이터에 포함된 랜드마크의 3차원 좌표를 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 맵 랜드마크를 획득하는 단계를 포함할 수 있다.
상기 오차를 산출하는 단계는, 맵 데이터에 대해 상기 이미지 데이터와 함께 라이다(LiDAR, Light Detection and Ranging) 데이터 및 레이더(RADAR, Radio Detection and Ranging) 데이터에 더 기초하여, 상기 추정된 위치에 대한 상기 오차를 산출하는 단계를 포함할 수 있다.
상기 오차를 산출하는 단계는, 상기 맵 데이터에 기초한 상기 맵 랜드마크, 상기 이미지 데이터에 기초한 이미지 랜드마크, 상기 라이다 데이터에 기초한 라이다 랜드마크, 및 상기 레이더 데이터에 기초한 레이더 랜드마크에 기초하여, 상기 오차를 산출하는 단계를 더 포함할 수 있다.
위치 추정 방법은 대상의 가속도 및 각속도를 나타내는 IMU(inertial measurement unit) 신호 및 GPS(global positioning system) 신호를 상기 센싱 데이터로서 획득하는 단계를 더 포함할 수 있다.
상기 보정하는 단계는, 상기 산출된 오차에 기초한 비선형 필터링을 상기 추정된 위치에 적용함으로써, 상기 최종 위치를 결정하는 단계를 포함할 수 있다.
상기 최종 위치를 결정하는 단계는, 상기 대상에 대응하는 동역학 모델(dynamic model)에 따른 제한조건(constraint) 하에 상기 비선형 필터링을 상기 추정된 위치에 적용하는 단계를 포함할 수 있다.
일 실시예에 따른 위치 추정 장치는, 센싱 데이터를 획득하는 센서; 및 상기 센싱 데이터로부터 대상의 위치를 추정하고, 상기 추정된 위치, 맵 데이터 및 이미지 데이터에 기초하여, 상기 추정된 위치에 대한 오차를 산출하며, 상기 추정된 위치를 상기 산출된 오차에 기초하여 보정하는 프로세서를 포함할 수 있다.
도 1은 일 실시예에 따른 위치 추정 장치의 개괄적인 구성을 도시한 블록도이다.
도 2 및 도 3은 일 실시예에 따른 위치 추정 장치의 세부적인 구성을 도시한 블록도이다.
도 4는 일 실시예에 따른 위치 추정 방법을 설명하는 흐름도이다.
도 5는 일 실시예에 따른 위치 추정 과정을 설명하는 도면이다.
도 6은 일 실시예에 따른 상세한 위치 추정 과정을 설명하는 도면이다.
도 7은 일 실시예에 따른 위치 추정 방법을 구체적으로 설명하는 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 위치 추정 장치의 개괄적인 구성을 도시한 블록도이다.
도 1은 위치 추정 장치(100)의 개괄적인 구성을 도시한다. 위치 추정 장치(100)는 센서(110) 및 프로세서(120)를 포함한다.
센서(110)는 센싱 데이터(sensing data)를 생성할 수 있다. 예를 들어, 센서(110)는 위치를 추정하는데 사용되는 정보를 센싱함으로써, 센싱 데이터를 생성할 수 있다. 위치를 추정하는데 사용되는 정보는, GPS 신호, 가속도 신도, 속도 신호, 및 이미지 신호 등의 다양한 신호를 포함할 수 있다.
프로세서(120)는, 센싱 데이터로부터 대상의 위치를 추정할 수 있다. 프로세서(120)는 추정된 위치, 맵 데이터 및 이미지 데이터에 기초하여, 추정된 위치에 대한 오차를 산출할 수 있다. 프로세서(120)는 추정된 위치를 산출된 오차에 기초하여 보정할 수 있다. 예를 들어, 프로세서(120)는 센싱 데이터로부터 대상의 위치를 1차적으로 추정할 수 있다. 이후 프로세서(120)는 맵 데이터 및 이미지 데이터를 이용하여 1차적으로 추정된 위치에 대한 오차를 산출할 수 있다. 프로세서(120)는 비선형 필터링을 통해 1차적으로 추정된 위치, 산출된 오차, 및 동역학 모델에 기초하여, 대상의 위치를 2차적으로 재추정할 수 있다.
본 명세서에서 대상은, 위치 추정 장치(100)가 탑재된 기기를 나타낼 수 있다. 예를 들어, 위치 추정 장치(100)가 자동차(vehicle)에 탑재된 경우, 대상은 자동차를 나타낼 수 있다.
도 2 및 도 3은 일 실시예에 따른 위치 추정 장치의 세부적인 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 위치 추정 장치(200)의 세부적인 구성으로 도시한 블록도이다. 위치 추정 장치(200)는 센서(210) 및 프로세서(220)와 함께 메모리(230)를 더 포함할 수 있다.
센서(210)는 제1 센서(211) 및 제2 센서(212)를 포함할 수 있다.
제1 센서(211)는 제1 센싱 데이터를 생성할 수 있다. 예를 들어, 제1 센서(211)는 관성 센서 모듈 및 GPS 모듈을 포함할 수 있다. 관성 센서 모듈에 의해 센싱된 데이터는 관성 항법(inertial navigation)에 기초하여 업데이트될 수 있다. 제1 센서의 예시는 아래 도 3에서 보다 상세히 설명한다.
제2 센서(212)는 제2 센싱 데이터를 생성할 수 있다. 예를 들어, 제2 센서(212)는 카메라를 포함할 수 있다. 카메라는 1 내지 10Hz로 상대 경로를 측정하거나, 맵 매칭(map matching)을 통해 절대 위치를 측정할 수 있다. 카메라는 관성 센서 모듈에 비해 낮은 드리프트(drift)를 발생시킬 수 있다. 이미지 데이터는 다양한 이미지 프로세싱 기법을 통해 전처리될 수 있다.
상술한 제1 센서(211) 및 제2 센서(212)는 비동기적인 센싱 데이터를 수집할 수 있다.
프로세서(220)는 기본적으로 제1 센서(211)로부터 획득된 제1 센싱 데이터에 기초하여 대상의 위치를 추정할 수 있다. 프로세서(220)는 제2 센서(212)로부터 획득된 제2 센싱 데이터에 기초하여, 제1 센싱 데이터에 기초하여 추정된 위치에 대한 오차를 산출할 수 있다. 여기서, 프로세서(220)는 메모리(230)에 저장되거나 외부 장치(예를 들어, 서버)로부터 수신된 맵 데이터 및 제2 센싱 데이터에 기초하여 오차를 산출할 수 있다.
예를 들어, GPS 모듈을 포함하는 제1 센서(211)는 GPS 신호를 막는 장애물(obstacle)이 없는 넓은 공터에서만 잘 작동할 수 있고, 카메라를 포함하는 제2 센서(212)는 주위 빛의 세기와 사물의 특징에 따라 오작동할 가능성이 있을 수 있다. 프로세서(220)는 센서 오작동에 의한 오류를 방지하기 위하여, 각 센싱 데이터를 계층적으로 위치 추정에 반영할 수 있다. 제2 센싱 데이터 및 맵 데이터에 기초한 위치 추정은 아래에서 설명한다.
메모리(230)는 위치 추정 과정에서 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(230)는 제1 센서(211)로부터 획득된 제1 센싱 데이터 및 제2 센서(212)로부터 획득된 제2 센싱 데이터를 시계열적으로 저장할 수 있다. 또한, 메모리(230)는 대상이 위치하는 지역을 포함하는 영역에 대한 맵 및 맵의 각 지점에서 촬영된 장면 이미지(예를 들어, 360도 파노라마 이미지)를 저장할 수 있다.
일 실시예에 따른 위치 추정 장치(200)는 제1 센싱 데이터 및 제2 센싱 데이터를 융합함으로써, 차로 단위(lane unit)로 차량의 위치를 정밀하게 추정할 수 있다.
도 2에서는 센서를 2개만 도시하였으나, 이로 한정하는 것은 아니다. 위치 추정 장치(200)는 복수의 타입의 n개 센서들을 포함할 수도 있다. 여기서 n은 1이상의 정수일 수 있다.
도 3은 위치 추정 장치(300)에 포함되는 센서(310)를 상세히 도시한 도면이다.
센서(310)는 제1 센서(311) 및 제2 센서(312)를 포함한다.
제1 센서(311)는 제1 센싱 데이터를 생성할 수 있다. 예를 들어, 제1 센서(311)는 IMU(Inertial Measurement Unit)(301) 및 GPS(Global Positioning System) 모듈(302)을 포함할 수 있다. 제1 센서(311)는 대상의 가속도 및 각속도를 나타내는 IMU(inertial measurement unit) 신호 및 GPS(global positioning system) 신호를 제1 센싱 데이터로서 획득할 수 있다.
IMU(301)는 관성 센서 모듈(Inertial sensor module)라고도 나타낼 수 있다. IMU(301)는 자세 변환, 속도에 대한 변화속도, 및 변위량을 측정할 수 있고, 예를 들어, 병진운동(예를 들어, 가속도)을 감지하는 3축 가속도계와 회전운동(예를 들어, 각속도)을 감지하는 3축 자이로스코프로 구성될 수 있다. IMU(301)는 외부 정보에 의존하지 않기 때문에 가속도 신호 및 각속도 신호를 안정적으로 수집할 수 있다. 다만, IMU(301)의 센싱 시간이 누적될 수록, 계산된 위치가 발산할 수 있으므로, 프로세서(320)는 IMU 신호에 GPS 신호 및 이미지 데이터를 융합하여 위치를 안정적으로 추정할 수 있다. GPS 모듈(302)은 세 개 이상의 인공 위성(artificial satellite)으로부터 송신된 신호를 수신하여 위성과 위치 추정 장치(300)의 위치를 산출할 수 있으며, GNSS(Global Navigation Satellite System)라고 나타낼 수도 있다. GPS 모듈(302)은 낮은 샘플링 주기로 절대 위치를 측정할 수 있고, 오차가 누적되지 않으므로 안정적으로 동작할 수 있다. IMU(301)는 높은 샘플링 주기로 위치변화를 측정할 수 있고, 빠른 응답 속도를 지니고 있다.
제2 센서(312)는 제2 센싱 데이터를 생성할 수 있다. 예를 들어, 제2 센서(312)는 카메라(303)를 포함할 수 있다. 카메라(303)는 위치 추정 장치(300)의 외부(예를 들어, 위치 추정 장치(300)의 앞쪽 방향)를 촬영하여 이미지 데이터를 생성할 수 있다. 다만, 제2 센서(312)를 이로 한정하는 것은 아니고, 제1 센서(311)에 비해 신뢰도가 낮으면서 정밀도가 높은 센싱 모듈이 제2 센서(312)로서 구현될 수도 있다.
프로세서(320)는 도 1 및 도 2에서 상술한 바와 유사하게 동작할 수 있다. 예를 들어, 프로세서(320)는 IMU(301)로부터 IMU 신호를 수신하고, GPS 모듈(302)로부터 GPS 신호를 수신하여 대상의 위치를 추정할 수 있다. 프로세서(320)는 관성 항법을 통해 대상에 대해 업데이트된 위치, 속도, 및 자세를 GPS 정보와 융합함으로써, 대상의 움직임을 추정할 수 있다.
참고로, 프로세서(320)는 제2 센싱 데이터가 정확하고 신뢰성이 높은 경우에만 위치 추정에 사용할 수도 있다. 예를 들어, 프로세서(320)는 이미지 데이터의 상태에 따라, 이미지 데이터를 위치 추정에 활용할 지 여부를 결정할 수 있다. 예를 들어, 제2 센싱 데이터가 이미지 데이터이고 신뢰성이 높은 경우, 프로세서는 이미지 데이터를 이용하여 대상의 주위에 대한 시각적 정보를 수집할 수 있다.
일 실시예에 따르면, 프로세서(320)는 제1 센싱 데이터에 기초하여 대상의 위치 및 자세를 1차적으로 추정할 수 있다. 프로세서(320)는 1차적으로 추정된 위치 및 자세를 이용하여, 맵 데이터로부터 제2 센서에 의해 촬영될 수 있는 후보 랜드마크를 추출할 수 있다. 또한, 프로세서(320)는 GPS 신호 및 IMU 신호에 기초하여 추정된 대상의 위치 및 자세에 기초하여, 후보 랜드마크의 3차원 좌표를 2차원 좌표로 변환할 수 있다. 그리고 프로세서(320)는 후보 랜드마크로부터, 카메라(303)의 시야각에 나타날 수 있는 맵 랜드마크를 예측할 수 있다.
프로세서(320)는 제1 센싱 데이터에 기초하여 맵 데이터로부터 예측된 맵 랜드마크 및 카메라(303)로부터 획득된 이미지 데이터로부터 검출된 이미지 랜드마크에 기초하여, 제1 센싱 데이터에 대한 오차를 산출할 수 있다. 예를 들어, 프로세서(320)는, 맵 데이터로부터 예측된 맵 랜드마크의 2차원 좌표를 이용하여, 이미지 데이터에서 예측된 2차원 좌표의 주변 영역에 대해 객체 인식을 수행할 수 있다. 객체 인식은 종래의 영상 처리 기법 또는 딥 러닝에 기반한 인식 중 적어도 하나가 적용될 수 있다.
프로세서(320)는 1차적으로 추정된 위치, 그에 대한 오차, 동역학 모델에 칼만 필터링(Kalman filtering) 또는 비선형 필터링(non-linear filtering), 예를 들어, 파티클 필터링(Particle filtering)을 적용할 수 있다. 칼만 필터링은 대표적인 센서 퓨전 기법 중 하나로서, 추정하고자 하는 상태 변수(state variable)의 오차의 RMSE(Root Mean Square Error)를 최소화 하는 필터링 기법일 수 있다. 다만, 대상의 위치를 추정하기 위해 프로세서(320)가, 카메라와 같은 제2 센서로부터 획득되는 비선형성(non-linearity)을 가지는, 측정값(measured value)(예를 들어, 이미지 데이터)을 처리하는 과정에서, 비선형성에 의한 오차가 발생할 수 있다. 프로세서(320)는 이러한 이미지 데이터를 처리하기 위해 비선형 필터를 이용함으로써 비선형성에 의한 오차를 최소화할 수 있다.
프로세서(320)는 칼만 필터링 또는 비선형 필터링을 통해, 각 센싱 데이터로부터 추정 및 산출된 정보를 융합(fusion)하여 대상의 위치를 추정할 수 있다. 다만, 복수의 센서들 중 적어도 일부 센서가 외부의 환경 변화에 취약한 경우, 프로세서(320)는 잘못된 센싱 데이터를 수집할 수 있다. 만약 잘못된 센싱 데이터에 칼만 필터링을 적용하면 잘못된 측정치에 의한 오차가 발생하므로 위치 추정의 정확도가 저하될 수 있다. 정밀도를 높이고, 위치 추정의 신뢰성도 유지하기 위해, 위치 추정 장치(300)는 신뢰도에 따라 제2 센싱 데이터에 기초하여 산출된 오차를 선택적으로 이용할 수 있다.
일 실시예에 따른 프로세서(320)는, 단일 칼만 필터가 아닌, 두 개 이상의 필터링 기법을 이용할 수 있다. 프로세서(320)는 각 필터링 기법을 서로 다른 계층에서 독립적으로 적용함으로써, 제2 센서(312)의 고장이 제1 센서(311)에 기초한 위치 추정에 영향을 미치는 것(affect)을 최소화 할 수 있다. 예를 들어, 프로세서(320)는 제2 센서(312)가 신뢰성이 없는 경우, 제1 센싱 데이터에만 기초하여 위치를 추정할 수 있고, 신뢰성이 없는 제2 센싱 데이터는 현재 시간 구간 및 다음 시간 구간의 위치 추정으로부터 배제할 수 있다. 또한, 프로세서(320)는 제2 센서(312)가 신뢰성이 있는 경우 제1 센싱 데이터 및 제2 센싱 데이터를 둘 다 고려하여 위치를 재추정할 수 있다.
도 4는 일 실시예에 따른 위치 추정 방법을 설명하는 흐름도이다.
우선, 단계(410)에서 위치 추정 장치는 센서(sensor)로부터 획득된 센싱 데이터로부터 대상(target)의 위치를 추정할 수 있다. 예를 들어, 위치 추정 장치는 대상의 가속도 및 각속도를 나타내는 IMU(inertial measurement unit) 신호 및 GPS(global positioning system) 신호를 센싱 데이터로서 획득할 수 있다. 다만, 이로 한정하는 것은 아니고, 센서는 라이다 데이터 및 레이더 데이터 중 적어도 하나를 추가 데이터로서 센싱할 수 있다.
그리고 단계(420)에서 위치 추정 장치는 추정된 위치, 맵 데이터 및 이미지 데이터에 기초하여, 추정된 위치에 대한 오차를 산출할 수 있다. 위치 추정 장치는 맵 데이터로부터 추정된 위치에 대응하는 맵 랜드마크(map landmark)를 예측할 수 있다. 위치 추정 장치는 이미지 데이터로부터 이미지 랜드마크(image landmark)를 검출할 수 있다. 위치 추정 장치는 맵 랜드마크 및 이미지 랜드마크 간의 차이에 기초하여, 추정된 위치에 대한 오차를 산출할 수 있다. 다만, 이로 한정하는 것은 아니고, 위치 추정 장치는 맵 데이터에 대해 이미지 데이터와 함께 추가 데이터에 더 기초하여, 추정된 위치에 대한 오차를 산출할 수도 있다.
이미지 랜드마크는, 이미지에 나타난 랜드마크를 나타낼 수 있다. 맵 랜드마크는 맵 데이터에 나타난 랜드마크를 나타낼 수 있다. 랜드마크는 운전자에게 도로를 주행하는데 필요한 정보를 제공하기 위해 임의의 지리적 위치에 고정된 객체를 나타낼 수 있다. 예를 들어, 도로 표지판 및 신호등 등이 랜드마크에 속할 수 있다. 한국 도로 교통법에 따르면, 랜드마크는 총 6종의 클래스들로 분류될 수 있다. 예를 들어, 랜드마크는, 주의 표지, 규제 표지, 지시 표지, 보조 표지, 노면 표시, 신호기 등으로 분류될 수 있다. 다만, 랜드마크의 각 클래스 별 분류를 상술한 바로 한정하는 것은 아니다. 국가 별로 클래스의 종류가 달라질 수 있다.
이어서 단계(430)에서 위치 추정 장치는 추정된 위치를 산출된 오차에 기초하여 보정할 수 있다. 예를 들어, 위치 추정 장치는 산출된 오차에 기초한 비선형 필터링을 추정된 위치에 적용함으로써, 최종 위치를 결정할 수 있다.
도 5는 일 실시예에 따른 위치 추정 과정을 설명하는 도면이다.
도 5에 도시된 INS 연산부(520), 제1 센싱 처리부(531), 위치 추정부(540), 랜드마크 검출부(550), 맵 매칭부(560), 및 위치 보정부(570) 등은 프로세서에 의해 동작하는 소프트웨어 모듈일 수 있다. 예를 들어, 도 5에 도시된 소프트웨어 구조를 통해, 위치 추정 장치는 정확한 측위를 수행할 수 있다.
IMU(511)는 상술한 바와 같이, 자세 변환, 속도에 대한 변화속도, 및 변위량을 측정할 수 있다.
INS 연산부(520)(inertial navigation system calculator)는 INS 시간 전파(time propagation) 및 IMS에 의해 측정된 IMU(511) 신호에 기초하여 대상의 위치(position), 속도(velocity), 및 자세(attitude) 등을 연산할 수 있다. 예를 들어, INS 연산부(520)는 이전 시간 프레임(previous time frame)에서 결정된 최종 위치(590), 속도, 및 자세에 기초하여, 현재 시간 프레임에 대하여 대상의 위치, 속도, 및 자세를 결정할 수 있다.
GPS 모듈(512)은 상술한 바와 같이, GPS 신호를 센싱할 수 있다.
위치 추정부(540)는 센서로부터 획득된 센싱 데이터로부터 대상의 위치를 추정할 수 있다. 도 5에서, 센서는 IMU(511) 및 GPS 모듈(512)을 포함할 수 있고, 센싱 데이터는 IMU 신호 및 GPS 신호를 포함할 수 있다. 위치 추정부(540)는 INS 연산부(520)에 의해 연산된 INS 정보 및 GPS에 의해 센싱된 GPS 신호에 기초하여 대상의 위치를 1차적으로 추정할 수 있다.
카메라(513)는 이미지 데이터를 획득할 수 있다. 제1 센싱 처리부(531)는 카메라(513)로부터 이미지 데이터를 획득하고, 위치 측위에 이용가능하도록 획득된 이미지 데이터를 변환하는 전처리 동작(예를 들어, 색 보정 동작이나 밝기 보정 동작 등)을 수행할 수 있다.
랜드마크 검출부(550)는 이미지 랜드마크 및 맵 랜드마크를 검출할 수 있다. 예를 들어, 랜드마크 검출부(550)는 전처리된 이미지 데이터로부터 해당 이미지 데이터에 나타나는 랜드마크(이하, 이미지 랜드마크)를 검출할 수 있다. 또한, 랜드마크 검출부(550)는 맵 정보(509)로부터 위치 추정부(540)에 의해 추정된 위치 및 자세에 대응하는 랜드마크를 검출할 수 있다. 예들 들어, 랜드마크 검출부(550)는 맵 정보(509)에 포함된 복수의 랜드마크들 중 위치 추정부(540)에 의해 추정된 위치 및 자세에 대응하는 후보 랜드마크(예를 들어, 추정된 위치 주변의 랜드마크)를 추출할 수 있다. 랜드마크 검출부(550)는 후보 랜드마크 중 카메라(513)의 시야각에 따라 이미지 데이터에 캡쳐될 수 있는 랜드마크(이하, 맵 랜드마크)를 결정할 수 있다. 또한, 랜드마크 검출부(550)는 위치 추정부(540)에 의해 계산된 현재 위치와 자세로부터 추정된 후보 랜드마크를 이용하여 제한된 영역에서의 랜드마크 검출 계산만을 수행할 수 있다. 따라서 랜드마크 검출부(550)는 계산량이 감소된 알고리즘을 수행할 수 있다.
맵 매칭부(560)는 랜드마크 검출부(550)에 의해 검출된 이미지 랜드마크 및 맵 랜드마크를 매칭시킬 수 있다. 일 실시예에 따른 맵 매칭부(560)는 이미지 랜드마크 및 맵 랜드마크에 기초하여, 위치 추정부(540)에 의해 1차적으로 추정된 위치에 대한 오차를 산출할 수 있다. 예를 들어, 맵 매칭부(560)는 이미지 랜드마크 및 맵 랜드마크 간 좌표 차이에 따라, 위치 추정부(540)에 의해 추정된 위치에 대한 오차를 산출할 수 있다.
참고로, 설명의 편의를 위해 예측된 맵 랜드마크의 전부 및 검출된 이미지 랜드마크의 전부의 각각을 매칭시키는 것으로 설명하였으나, 이로 한정하는 것은 아니다. 예를 들어, 이미지 데이터에 의해 캡쳐될 것으로 예측된 맵 랜드마크 중 일부 랜드마크는, 방해물(예를 들어, 차량이나 가로수와 같은 랜드마크 이외의 객체)에 의해 가려질 수도 있다. 맵 데이터에 따르면 방해물에 의해 가려진 일부 랜드마크가 이미지 센서의 시야각에 포함될 것으로 예측되더라도, 실제 이미지 데이터에서는 해당 일부 랜드마크가 검출되지 않을 수 있다. 이 경우, 랜드마크 검출부(550)는 예측된 맵 랜드마크 중 방해물에 의해 가려진 일부 랜드마크를 배제할 수 있다. 맵 매칭부(560)는 예측된 맵 랜드마크 중 방해물에 의해 가려지지 않은 나머지 랜드마크 및 이미지 데이터로부터 인식된 이미지 랜드마크 사이의 좌표 차이(예를 들어, 맵 데이터 상에서의 좌표 차이)를 계산할 수 있다. 따라서, 맵 매칭부(560)는 이미지 데이터로부터 인식된 이미지 랜드마크 및 그에 대응하는 맵 랜드마크에 기초하여, 위치 오차 및 자세 오차를 계산할 수 있다. 맵 매칭부(560)는 위치 오차 및 자세 오차를 최종 센서 퓨전 필터(예를 들어, 위치 보정부(570))로 전달할 수 있다.
위치 보정부(570)는 위치 추정부(540)에 의해 추정된 위치, 맵 매칭부(560)에 의해 산출된 오차, 및 동역학 모델(580)에 기초하여 최종 위치(590)를 결정할 수 있다. 예를 들어, 위치 보정부(570)는 산출된 오차에 기초한 비선형 필터링을 추정된 위치에 적용함으로써, 최종 위치(590)를 결정할 수 있다. 여기서, 위치 보정부(570)는 대상에 대응하는 동역학 모델(580)(dynamic model)에 따른 제한조건(constraint) 하에 비선형 필터링을 추정된 위치에 적용할 수 있다. 따라서, 오차가 보정된 위치가 동역학 모델(580)에 의해 모델링된 움직임을 벗어난 경우, 위치 보정부(570)는 보정된 위치를 배제하고 최종 위치(590)를 산출할 수 있다. 예를 들어 차량이 직진 운동만 나타내는 경우, 해당 차량을 다른 자세(예를 들어, 직진 이외의 자세)로 보정시키는 센서 정보는 잘못된 계산의 결과일 수 있다. 위치 보정부(570)는, 상술한 경우와 같이 잘못된 계산의 결과라고 결정된, 보정된 위치를 배제할 수 있다. 또한, 위치 보정부(570)는 추정된 차량의 위치 보정치 뿐만 아니라 이미지에서의 랜드마크 픽셀 오차를 이용하여 보정을 수행할 수도 있다. 위치 보정부(570)는 최종 위치(590)와 함께, 대상의 최종 속도 및 최종 자세 등도 함께 산출할 수 있다.
예를 들어, 위치 보정부(570)는 GPS 모듈(512) 및 IMU(511)에 의해 센싱된 센싱 데이터가 퓨전된 결과, 맵 매칭으로부터 계산된 보정 값(correction value), 및 대상(예를 들어, 차량)의 동역학 모델에 기초하여 현재 시간 프레임에 대한 대상의 최종 위치, 속도, 및 자세를 추정할 수 있다. 이 때, 비선형 필터는 칼만 필터(Kalman filter), 확장된 칼만 필터(Extended Kalman filter), UKF(Unscented Kalman filter), CKF(Cabature Kalman filter), 또는 파티클 필터(Particle filter)등의 비선형 추정기를 포함할 수 있다.
도 6은 일 실시예에 따른 상세한 위치 추정 과정을 설명하는 도면이다.
위치 추정 장치는 라이다 센서(614), 레이더 센서(615), 제2 센싱 처리부(632), 및 제3 센싱 처리부(633)를 더 포함할 수 있다. 나머지 모듈은 도 5에서 상술한 바와 유사하게 동작할 수 있다.
라이다 센서(614)는 라이다 신호를 센싱할 수 있다. 라이다 센서(614)는 라이다 신호(예를 들어, 펄스 레이저 광(pulse laser light))을 방출하고, 반사된 펄스를 측정함으로써, 레이저 광이 반사된 지점까지의 거리를 측정할 수 있다. 라이다 센서(614)는 라이다 신호에 기초하여, 주변 깊이 맵을 생성할 수 있다. 주변 깊이 맵은, 센서를 기준으로 주변에 존재하는 물체들까지의 거리를 나타내는 맵을 나타낼 수 있다. 제2 센싱 처리부(632)는 라이더 센서에 의해 센싱된 라이더 신호를 위치 측위에 이용 가능한 정보로 변환하는 처리를 수행할 수 있다.
레이더 센서(615)는 레이더 신호를 센싱할 수 있다. 레이더 센서(615)는 레이더 신호를 방출하고, 반사된 레이더 신호를 측정함으로써, 레이더 신호가 반사된 지점까지의 거리를 측정할 수 있다. 레이더 센서(615)로 주변 깊이 맵을 생성할 수 있다. 제3 센싱 처리부(633)는 레이더 센서(615)에 의해 센싱된 레이더 신호를 위치 측위에 이용 가능한 정보로 변환하는 처리를 수행할 수 있다.
랜드마크 검출부(550)는 이미지 데이터 뿐만 아니라, 상술한 라이다 데이터 및 레이더 데이터로부터도 랜드마크를 검출할 수 있다.
맵 매칭부(560)는 맵 데이터에 대해 이미지 데이터와 함께 라이다(LiDAR, Light Detection and Ranging) 데이터 및 레이더(RADAR, Radio Detection and Ranging) 데이터에 더 기초하여, 추정된 위치에 대한 오차를 산출할 수 있다. 예를 들어, 맵 매칭부(560)는 맵 데이터에 기초한 맵 랜드마크, 이미지 데이터에 기초한 이미지 랜드마크, 라이다 데이터에 기초한 라이다 랜드마크, 및 레이더 데이터에 기초한 레이더 랜드마크 중 적어도 두 랜드마크들에 기초하여, 오차를 산출할 수 있다. 맵 매칭부(560)는 랜드마크들 간의 좌표 차이들을 산출하여, 산출된 좌표 차이들로부터 오차를 결정할 수 있다.
본 명세서에서 라이다 랜드마크는, 라이다 데이터에 나타난 랜드마크를 나타낼 수 있다. 레이더 랜드마크는, 레이더 데이터에 나타난 랜드마크를 나타낼 수 있다. 랜드마크는 상술한 바와 같이, 사용자에게 정보(예를 들어, 운행과 관련된 정보)를 제공하기 위해 임의의 위치에 고정된 객체를 나타낼 수 있다.
위치 보정부는 여러 데이터로부터 검출된 랜드마크들에 기초하여 산출된 오차를 이용하여 초기 위치(initial position)를 보정함으로써, 최종 위치(590)를 결정할 수 있다.
도 7은 일 실시예에 따른 위치 추정 방법을 구체적으로 설명하는 흐름도이다.
우선, 단계(711)에서 위치 추정 장치는 IMU 데이터를 획득할 수 있다. 예를 들어, 위치 추정 장치는 IMU 모듈을 통해 IMU 데이터를 생성할 수 있다.
그리고 단계(712)에서 위치 추정 장치는 IMU 데이터에 대해 관성 항법을 적용할 수 있다. 예를 들어, 가속도 및 각속도 신호에 관성 항법(inertial navigation)을 적용하여 대상의 위치를 산출할 수 있다. 관성 항법은 IMU 모듈로부터 얻어진 가속도 및 각속도 신호를 이용하여, 이전 시간의 위치, 속도, 및 자세로부터 다음 시간의 위치, 속도, 및 자세를 업데이트 하는 측위 기법을 나타낼 수 있다.
이어서 단계(713)에서 위치 추정 장치는 GPS 데이터를 획득할 수 있다. GPS 데이터는 GPS 모듈로부터 획득된 데이터로서, 예를 들어, GPS 신호일 수 있다.
그리고 단계(714)에서 위치 추정 장치는 관성 항법이 적용된 IMU 신호 및 가중치가 부여된 GPS 신호에 기초하여, 대상의 위치를 추정할 수 있다. 예를 들어, 위치 추정 장치는 IMU 신호 및 GPS 신호에 비선형 필터링을 적용하여 대상의 위치를 추정할 수 있다.
또한, 단계(721)에서 위치 추정 장치는 카메라 데이터를 획득할 수 있다. 예를 들어, 위치 추정 장치는 차량의 앞쪽 방향을 촬영함으로써, 이미지 데이터를 획득할 수 있다.
그리고 단계(722)에서 위치 추정 장치는 이미지를 전처리할 수 있다. 위치 추정 장치는 이미지 데이터에 대해 영상 처리를 수행함으로써, 측위에 적합한 형태로 이미지 데이터를 변환할 수 있다.
이어서 단계(723)에서 위치 추정 장치는 맵 데이터(729)의 좌표를 변환할 수 있다. 일 실시예에 따르면 위치 추정 장치는 맵 데이터(729)에 포함된 랜드마크의 3차원 좌표를 이미지 센서의 시야각에 기초하여 2차원 좌표로 변환함으로써, 맵 랜드마크를 획득할 수 있다. 예를 들어, 위치 추정 장치는 단계(714)에서 추정된 위치 주변의 후보 랜드마크들을 추출할 수 있다. 위치 추정 장치는 3차원 좌표를 가지는 후보 랜드마크를 현재 추정된 위치 및 자세에 기초하여 카메라 프레임에 대응하는 2차원 좌표로 변환할 수 있다. 위치 추정 장치는 맵 데이터(729)로부터 추출된 후보 랜드마크들 중 이미지 센서의 시야각에 나타날 맵 랜드마크를 예측할 수 있다. 따라서, 위치 추정 장치는 추정된 위치 및 대상의 자세에 기초하여, 맵 데이터(729)의 랜드마크들 중 이미지 데이터를 획득하는 이미지 센서의 시야각에 나타날 맵 랜드마크를 예측할 수 있다.
또한, 위치 추정 장치는 이미지 데이터로부터 이미지 랜드마크를 검출할 수 있다. 예를 들어, 위치 추정 장치는 객체 인식 기술을 이용해 이미지 데이터로부터 맵 랜드마크의 예측된 픽셀 좌표값 근처에서 실제 객체를 검출할 수 있다. 이미지 데이터로부터 검출된 랜드마크를 이미지 랜드마크라고 나타낼 수 있다.
그리고 단계(724)에서 위치 추정 장치는 랜드마크를 비교할 수 있다. 위치 추정 장치는 이미지 데이터로부터 검출된 이미지 랜드마크 및 맵 데이터(729)로부터 예측된 맵 랜드마크를 비교할 수 있다. 위치 추정 장치는 이미지 랜드마크의 2차원 좌표 및 맵 랜드마크의 2차원 좌표의 차이에 기초하여, 단계(714)에서 추정된 위치의 오차를 산출할 수 있다.
참고로, 위에서 맵 랜드마크 및 이미지 랜드마크는 서로 동일한 차원(예를 들어, 2차원) 및 스케일의 픽셀 좌표를 가지므로, 맵 랜드마크의 좌표 및 이미지 랜드마크 간의 차이는 단계(714)에서 추정된 위치 및 단계(721)에서 카메라 데이터를 획득한 이미지 센서의 실제 위치 간의 오차에 대응할 수 있다. 상술한 단계(724)와 같이 맵 매칭을 수행함으로써, 위치 추정 장치는 상대적으로 좁은 영역에 대한 위치 보정 동작을 통해 계산 성능 및 안정성을 개선할 수 있다.
이어서 단계(731)에서 위치 추정 장치는 단계(724)에서 산출된 오차를 이용하여 단계(714)에서 추정된 위치를 보정할 수 있다. 또한, 위치 추정 장치는 동역학 모델(739)을 고려하여, 위치를 보정할 수 있다. 예를 들어, 위치 추정 장치는 동역학 모델(739)을 충족하지 않게 보정된 위치를 배제하고, 동역학 모델(739)을 충족하도록 보정된 위치를 허용(accept)할 수 있다. 동역학 모델(739)은 기구학 모델(kinematics of machinery model)이라고 나타낼 수도 있다. 따라서, 위치 추정 장치는 상술한 단계(724)에서 순간적으로 잘못된 정합이 발생하더라도, 이러한 잘못된 정합을 고립(isolate)시킬 수 있다.
더 나아가 단계(714)에서 위치 추정 장치는 대상의 자세를 더 추정할 수 있다. 이 경우, 단계(724)에서 위치 추정 장치는 대상의 자세(pose) 및 위치에 기초하여, 상술한 오차로서 위치 오차 및 자세 오차를 산출할 수 있다.
일 실시예에 따른 위치 추정 장치는 정밀 측위를 위한 차량용 항법장치 또는 항공용 항법장치로서 구현될 수 있다. 또한, 위치 추정 장치는 측위가 필요한 로봇, 드론 등에 적용될 수도 있다. 그리고 위치 추정 장치는 자율 주행용 차량을 위한 측위 알고리즘을 수행할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 위치 추정 장치
110: 센서
120: 프로세서

Claims (20)

  1. 프로세서에 의해 수행되는 위치 추정 방법에 있어서,
    센서(sensor)로부터 획득된 센싱 데이터로부터 대상(target)의 위치를 추정하는 단계;
    상기 추정된 위치, 맵 데이터 및 이미지 데이터에 기초하여, 상기 추정된 위치에 대한 오차를 산출하는 단계; 및
    상기 추정된 위치를 상기 산출된 오차에 기초하여 보정하는 단계
    를 포함하는 위치 추정 방법.
  2. 제1항에 있어서,
    상기 오차를 산출하는 단계는,
    상기 맵 데이터로부터 상기 추정된 위치에 대응하는 맵 랜드마크(map landmark)를 예측하는 단계;
    상기 이미지 데이터로부터 이미지 랜드마크(image landmark)를 검출하는 단계; 및
    상기 맵 랜드마크 및 상기 이미지 랜드마크 간의 차이에 기초하여, 상기 추정된 위치에 대한 상기 오차를 산출하는 단계
    를 포함하는 위치 추정 방법.
  3. 제2항에 있어서,
    상기 오차를 산출하는 단계는,
    상기 대상의 위치 및 자세(pose)에 더 기초하여, 상기 오차로서 위치 오차 및 자세 오차를 산출하는 단계
    를 더 포함하는 위치 추정 방법.
  4. 제2항에 있어서,
    상기 맵 랜드마크를 예측하는 단계는,
    상기 추정된 위치 및 상기 대상의 자세에 기초하여, 상기 맵 데이터의 랜드마크들 중 상기 이미지 데이터를 획득하는 이미지 센서의 시야각에 나타날 맵 랜드마크를 예측하는 단계
    를 포함하는 위치 추정 방법.
  5. 제2항에 있어서,
    상기 맵 랜드마크를 예측하는 단계는,
    상기 맵 데이터에 포함된 랜드마크의 3차원 좌표를 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 맵 랜드마크를 획득하는 단계
    를 포함하는 위치 추정 방법.
  6. 제1항에 있어서,
    상기 오차를 산출하는 단계는,
    맵 데이터에 대해 상기 이미지 데이터와 함께 라이다(LiDAR, Light Detection and Ranging) 데이터 및 레이더(RADAR, Radio Detection and Ranging) 데이터에 더 기초하여, 상기 추정된 위치에 대한 상기 오차를 산출하는 단계
    를 포함하는 위치 추정 방법.
  7. 제6항에 있어서,
    상기 오차를 산출하는 단계는,
    상기 맵 데이터에 기초한 맵 랜드마크, 상기 이미지 데이터에 기초한 이미지 랜드마크, 상기 라이다 데이터에 기초한 라이다 랜드마크, 및 상기 레이더 데이터에 기초한 레이더 랜드마크 중 적어도 두 랜드마크들에 기초하여, 상기 오차를 산출하는 단계
    를 더 포함하는 위치 추정 방법.
  8. 제1항에 있어서,
    대상의 가속도 및 각속도를 나타내는 IMU(inertial measurement unit) 신호 및 GPS(global positioning system) 신호를 상기 센싱 데이터로서 획득하는 단계
    를 더 포함하는 위치 추정 방법.
  9. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 산출된 오차에 기초한 비선형 필터링을 상기 추정된 위치에 적용함으로써, 최종 위치를 결정하는 단계
    를 포함하는 위치 추정 방법.
  10. 제9항에 있어서,
    상기 최종 위치를 결정하는 단계는,
    상기 대상에 대응하는 동역학 모델(dynamic model)에 따른 제한조건(constraint) 하에 상기 비선형 필터링을 상기 추정된 위치에 적용하는 단계
    를 포함하는 위치 추정 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  12. 위치 추정 장치에 있어서,
    센싱 데이터를 획득하는 센서;
    상기 센싱 데이터로부터 대상의 위치를 추정하고, 상기 추정된 위치, 맵 데이터 및 이미지 데이터에 기초하여, 상기 추정된 위치에 대한 오차를 산출하며, 상기 추정된 위치를 상기 산출된 오차에 기초하여 보정하는 프로세서
    를 포함하는 위치 추정 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 맵 데이터로부터 상기 추정된 위치에 대응하는 맵 랜드마크(map landmark)를 예측하고, 상기 이미지 데이터로부터 이미지 랜드마크(image landmark)를 검출하며, 상기 맵 랜드마크 및 상기 이미지 랜드마크 간의 차이에 기초하여, 상기 추정된 위치에 대한 상기 오차를 산출하는,
    위치 추정 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 대상의 자세(pose)에 더 기초하여, 상기 오차로서 위치 오차 및 자세 오차를 산출하는,
    위치 추정 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 추정된 위치 및 상기 대상의 자세에 기초하여, 상기 맵 데이터의 랜드마크들 중 상기 이미지 데이터를 획득하는 이미지 센서의 시야각에 나타날 맵 랜드마크를 예측하는,
    위치 추정 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    상기 맵 데이터에 포함된 랜드마크의 3차원 좌표를 이미지 센서의 시야각에 기초하여 2차원 좌표로 변환함으로써, 맵 랜드마크를 획득하는,
    위치 추정 장치.
  17. 제12항에 있어서,
    상기 센서는,
    라이다 데이터 및 레이더 데이터 중 적어도 하나를 추가 데이터로서 센싱하고,
    상기 프로세서는,
    맵 데이터에 대해 상기 이미지 데이터와 함께 상기 추가 데이터에 더 기초하여, 상기 추정된 위치에 대한 상기 오차를 산출하는,
    위치 추정 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 맵 데이터에 기초한 맵 랜드마크, 상기 이미지 데이터에 기초한 이미지 랜드마크, 상기 라이다 데이터에 기초한 라이다 랜드마크, 및 상기 레이더 데이터에 기초한 레이더 랜드마크 중 적어도 두 랜드마크들로부터, 상기 오차를 산출하는,
    위치 추정 장치.
  19. 제12항에 있어서,
    상기 센서는,
    대상의 가속도 및 각속도를 나타내는 IMU(inertial measurement unit) 신호 및 GPS(global positioning system) 신호를 상기 센싱 데이터로서 획득하는,
    위치 추정 장치.
  20. 제12항에 있어서,
    상기 프로세서는,
    상기 산출된 오차에 기초한 비선형 필터링을 상기 추정된 위치에 적용함으로써, 최종 위치를 결정하는,
    위치 추정 장치.
KR1020180125159A 2018-10-19 2018-10-19 위치 추정 방법 및 장치 KR20200044420A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180125159A KR20200044420A (ko) 2018-10-19 2018-10-19 위치 추정 방법 및 장치
US16/357,794 US20200124421A1 (en) 2018-10-19 2019-03-19 Method and apparatus for estimating position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180125159A KR20200044420A (ko) 2018-10-19 2018-10-19 위치 추정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200044420A true KR20200044420A (ko) 2020-04-29

Family

ID=70280736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125159A KR20200044420A (ko) 2018-10-19 2018-10-19 위치 추정 방법 및 장치

Country Status (2)

Country Link
US (1) US20200124421A1 (ko)
KR (1) KR20200044420A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220028737A (ko) * 2020-08-31 2022-03-08 한성대학교 산학협력단 사용자 단말의 이동 경로 추적 방법 및 장치
CN114526741A (zh) * 2022-03-14 2022-05-24 桂林电子科技大学 对象定位方法、电子设备以及存储介质
WO2024035041A1 (ko) * 2022-08-08 2024-02-15 주식회사 아이나비시스템즈 위치 추정 장치 및 방법
US11983890B2 (en) 2019-12-10 2024-05-14 Samsung Electronics Co., Ltd. Method and apparatus with motion information estimation

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106291645B (zh) * 2016-07-19 2018-08-21 东南大学 适于高维gnss/ins深耦合的容积卡尔曼滤波方法
WO2018031678A1 (en) * 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
EP3767332B1 (en) * 2019-07-18 2023-12-13 Aptiv Technologies Limited Methods and systems for radar object detection
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
US20210278847A1 (en) * 2020-03-05 2021-09-09 Analog Devices, Inc. Trusted motion unit
JP2021148572A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 車載装置、車両、および制御方法
DE102020108907B4 (de) * 2020-03-31 2022-04-21 Daimler Ag Verfahren zur landmarkenbasierten Lokalisierung eines Fahrzeugs
DE102020115743A1 (de) 2020-06-15 2021-12-16 Man Truck & Bus Se Verfahren zum Bewerten einer digitalen Karte, sowie Bewertungssystem
US11875519B2 (en) * 2020-08-13 2024-01-16 Medhat Omr Method and system for positioning using optical sensor and motion sensors
KR20220029823A (ko) * 2020-08-28 2022-03-10 주식회사 만도모빌리티솔루션즈 자율 주행 시스템 및 자율 주행 방법
US11500086B2 (en) * 2020-09-28 2022-11-15 Mitsubishi Electric Research Laboratories, Inc. System and method for tracking a deformation
CN112665593B (zh) * 2020-12-17 2024-01-26 北京经纬恒润科技股份有限公司 一种车辆定位方法及装置
EP4020111B1 (en) * 2020-12-28 2023-11-15 Zenseact AB Vehicle localisation
US11703586B2 (en) * 2021-03-11 2023-07-18 Qualcomm Incorporated Position accuracy using sensor data
CN113295175A (zh) * 2021-04-30 2021-08-24 广州小鹏自动驾驶科技有限公司 一种地图数据修正的方法和装置
CN113483769B (zh) * 2021-08-17 2024-03-29 清华大学 基于粒子滤波器的车辆自定位方法、系统、设备和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983890B2 (en) 2019-12-10 2024-05-14 Samsung Electronics Co., Ltd. Method and apparatus with motion information estimation
KR20220028737A (ko) * 2020-08-31 2022-03-08 한성대학교 산학협력단 사용자 단말의 이동 경로 추적 방법 및 장치
CN114526741A (zh) * 2022-03-14 2022-05-24 桂林电子科技大学 对象定位方法、电子设备以及存储介质
CN114526741B (zh) * 2022-03-14 2024-05-24 桂林电子科技大学 对象定位方法、电子设备以及存储介质
WO2024035041A1 (ko) * 2022-08-08 2024-02-15 주식회사 아이나비시스템즈 위치 추정 장치 및 방법

Also Published As

Publication number Publication date
US20200124421A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
KR20200044420A (ko) 위치 추정 방법 및 장치
KR102463176B1 (ko) 위치 추정 장치 및 방법
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
US10788830B2 (en) Systems and methods for determining a vehicle position
KR102627453B1 (ko) 위치 추정 장치 및 방법
EP3343172B1 (en) Creation and use of enhanced maps
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
EP2133662B1 (en) Methods and system of navigation using terrain features
US7408629B2 (en) Passive measurement of terrain parameters
US7792330B1 (en) System and method for determining range in response to image data
WO2018089703A1 (en) Method and system for accurate long term simultaneous localization and mapping with absolute orientation sensing
CN104729506A (zh) 一种视觉信息辅助的无人机自主导航定位方法
US11866167B2 (en) Method and algorithm for flight, movement, autonomy, in GPS, communication, degraded, denied, obstructed non optimal environment
CN113710988A (zh) 用于识别环境传感器的功能能力的方法、控制仪和车辆
US20220178703A1 (en) Vehicle control device
Sabatini et al. Low-cost navigation and guidance systems for Unmanned Aerial Vehicles. Part 1: Vision-based and integrated sensors
US11983890B2 (en) Method and apparatus with motion information estimation
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
KR20210034253A (ko) 위치 추정 장치 및 방법
KR102660497B1 (ko) 차량의 위치 정보 측위 시스템
CN114248778A (zh) 移动设备的定位方法和定位装置
KR102288609B1 (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
KR20220025585A (ko) 위치 추정 방법 및 장치
KR20210057393A (ko) 정밀 항법 장치 및 그 장치의 동작 방법
Shin et al. Multi-matching-based vision navigation referencing map tile

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application