KR102428992B1 - Simultaneous localization and landmark detection apparatus and method using complementary relationship - Google Patents

Simultaneous localization and landmark detection apparatus and method using complementary relationship Download PDF

Info

Publication number
KR102428992B1
KR102428992B1 KR1020200127798A KR20200127798A KR102428992B1 KR 102428992 B1 KR102428992 B1 KR 102428992B1 KR 1020200127798 A KR1020200127798 A KR 1020200127798A KR 20200127798 A KR20200127798 A KR 20200127798A KR 102428992 B1 KR102428992 B1 KR 102428992B1
Authority
KR
South Korea
Prior art keywords
neural network
network model
landmark
landmarks
input image
Prior art date
Application number
KR1020200127798A
Other languages
Korean (ko)
Other versions
KR20220045281A (en
Inventor
서재규
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200127798A priority Critical patent/KR102428992B1/en
Publication of KR20220045281A publication Critical patent/KR20220045281A/en
Application granted granted Critical
Publication of KR102428992B1 publication Critical patent/KR102428992B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 이동체를 위한 상보적 관계 기반 동시적 정밀 측위 및 랜드마크 검출 장치 및 방법을 개시한다. 본 발명에 따르면, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 이동체에 설치된 카메라를 통해 획득된 입력 영상과 랜드마크를 포함하는 정밀 지도를 신경망 모델에 입력하여 상기 입력 영상과 정밀 지도를 저수준(low-level)에서 정합하여 상기 이동체의 위치 및 자세를 포함하는 대략적인 측위 결과를 추정하고, 상기 대략적인 측위 결과와 상기 정밀 지도에 저장된 랜드마크의 위치 및 종류를 기반으로 상기 입력 영상 내에서 하나 이상의 랜드마크를 정밀하게 검출하고, 상기 정밀하게 검출된 하나 이상의 랜드마크와 상기 정밀 지도에 저장된 랜드마크를 신경망 모델을 기반으로 정합하여 상기 이동체의 위치 및 자세를 포함하는 정밀한 측위 결과를 산출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 장치가 제공된다. The present invention discloses a complementary relationship-based simultaneous precise positioning and landmark detection apparatus and method for a moving object. According to the present invention, it includes a processor and a memory connected to the processor, wherein the memory inputs a precision map including an input image and landmarks acquired through a camera installed on a moving object into a neural network model to obtain the input image and precision A map is matched at a low-level to estimate a rough positioning result including the position and posture of the moving object, and the input based on the rough positioning result and the location and type of a landmark stored in the precise map One or more landmarks are precisely detected in an image, and the precisely detected one or more landmarks and the landmark stored in the precise map are matched based on a neural network model, and a precise positioning result including the position and posture of the moving object A complementary relationship-based precision positioning and landmark detection apparatus for storing program instructions executable by the processor is provided to calculate .

Description

이동체를 위한 상보적 관계 기반 동시적 정밀 측위 및 랜드마크 검출 장치 및 방법{Simultaneous localization and landmark detection apparatus and method using complementary relationship}Simultaneous localization and landmark detection apparatus and method using complementary relationship

본 발명은 이동체를 위한 상보적 관계 기반 동시적 정밀 측위 및 랜드마크 검출 장치에 관한 것으로서, 이동체의 위치 및 자세를 포함하는 측위 정보와 랜드마크 검출 사이의 상보적 관계를 이용한 정밀 측위 및 검출 장치 및 방법에 관한 것이다.The present invention relates to a complementary relationship-based simultaneous precise positioning and landmark detection device for a moving object, and a precise positioning and detecting device using a complementary relationship between positioning information including the position and posture of a moving object and landmark detection, and it's about how

정밀 측위는 이동체 응용에서 매우 중요한 기술이다. 이동체의 정확한 위치 및 자세(orientation)와 랜드마크를 포함하는 정밀 지도는 주변 상황에 대한 풍부한 사전 지식을 제공한다.Precision positioning is a very important technique in mobile applications. A precise map including the precise location and orientation of the moving object and landmarks provides a wealth of prior knowledge about the surrounding situation.

이를 활용하면 환경인식 성능을 개선할 수 있고, 지형을 고려한 최적의 제어를 구현할 수 있으며, 주변 이동체들과의 위치 공유를 통해 사고를 방지할 수 있다. By using this, environmental recognition performance can be improved, optimal control can be implemented considering the terrain, and accidents can be prevented by sharing the location with nearby moving objects.

하지만 기존에 사용되던 위성항법과 추측항법은 이러한 용도로 사용되기에 정확도 측면에서 한계가 있다. However, existing satellite navigation and dead reckoning have limitations in terms of accuracy because they are used for this purpose.

이러한 한계를 극복하기 위해 상기한 두 방법과 더불어 환경인식 센서와 정밀 지도를 융합하는 측위 방식이 널리 연구되고 있다. In order to overcome these limitations, a positioning method that fuses an environment recognition sensor and a precision map along with the above two methods has been widely studied.

실용성 측면에서는 저렴하며 널리 사용 중인 카메라를 환경인식 센서로 사용하는 것이 유리하며, 저장 용량과 갱신 용이성 측면에서는 랜드마크 형태의 지도를 사용하는 것이 유리하다. In terms of practicality, it is advantageous to use a camera that is inexpensive and widely used as an environmental awareness sensor, and in terms of storage capacity and updateability, it is advantageous to use a map in the form of a landmark.

랜드마크 검출과 이동체의 정밀 측위는 상보적 관계를 가진다. Landmark detection and precise positioning of a moving object have a complementary relationship.

먼저, 이동체가 촬영한 영상 내에서 랜드마크가 잘 검출되면, 검출된 랜드마크와 정밀 지도의 랜드마크가 정확하게 정합되어 측위 성능이 향상된다. First, when a landmark is well detected in an image taken by a moving object, the detected landmark and the landmark of the precision map are accurately matched, thereby improving positioning performance.

또한, 측위가 잘 되면, 정밀 지도와 측위 정보를 사용하여 영상의 랜드마크 위치를 정확하게 예측하게 되므로 랜드마크 검출이 효과적으로 수행될 수 있다. In addition, if the positioning is good, the landmark location of the image is accurately predicted using the precise map and positioning information, so that the landmark detection can be effectively performed.

도 1은 종래기술에 따른 이동체 측위 산출 과정을 나타낸 도면이다. 1 is a view showing a moving object positioning calculation process according to the prior art.

도 1을 참조하면, 종래에는 검출 모듈이 영상에서 랜드마크를 검출하면, 측위 모듈이 랜드마크 검출 결과와 정밀지도의 랜드마크 정보를 정합하여 측위 결과를 산출한다. 하지만 이러한 방식은 측위 결과가 랜드마크 검출 결과에 의존적이기 때문에 랜드마크 검출이 용이하지 않은 상황에서는 사용하기 어렵다는 한계를 갖는다. Referring to FIG. 1 , in the related art, when a detection module detects a landmark in an image, the positioning module calculates a positioning result by matching the landmark detection result with the landmark information of the precision map. However, this method has a limitation in that it is difficult to use in a situation where landmark detection is not easy because the positioning result is dependent on the landmark detection result.

KR 공개특허 제10-2019-0087266호KR Patent Publication No. 10-2019-0087266

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 랜드마크 검출과 정밀 측위의 상보적 관계를 활용하여 랜드마크 검출과 정밀 측위를 함께 수행하는 동시에 둘의 성능을 동시에 향상시킬 수 있는 이동체를 위한 상보적 관계 기반 동시적 정밀 측위 및 랜드마크 검출 장치 및 방법을 제안하고자 한다. In order to solve the above problems of the prior art, the present invention utilizes the complementary relationship between landmark detection and precise positioning to simultaneously perform landmark detection and precise positioning while simultaneously improving the performance of both. To propose an apparatus and method for simultaneous precise positioning and landmark detection based on a complementary relationship.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 이동체에 설치된 카메라를 통해 획득된 입력 영상과 랜드마크를 포함하는 정밀 지도를 신경망 모델에 입력하여 상기 입력 영상과 정밀 지도를 저수준(low-level)로 정합하여 상기 이동체의 위치 및 자세를 포함하는 대략적인 측위 결과를 추정하고, 상기 대략적인 측위 결과와 상기 정밀 지도에 저장된 랜드마크의 위치 및 종류를 기반으로 상기 입력 영상 내에서 하나 이상의 랜드마크를 정밀하게 검출하고, 상기 정밀하게 검출된 하나 이상의 랜드마크와 상기 정밀 지도에 저장된 랜드마크를 신경망 모델을 기반으로 정합하여 상기 이동체의 위치 및 자세를 포함하는 정밀한 측위 결과를 산출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 장치가 제공된다. In order to achieve the above object, according to an embodiment of the present invention, a processor; and a memory connected to the processor, wherein the memory inputs a precision map including an input image and landmarks acquired through a camera installed on a moving object into a neural network model, and outputs the input image and the precision map to a low-level (low-level) map. level) to estimate the approximate positioning result including the position and posture of the moving object, and based on the approximate positioning result and the position and type of the landmark stored in the precise map, one or more lands in the input image The processor precisely detects a mark, and calculates a precise positioning result including the position and posture of the moving object by matching the one or more precisely detected landmarks with the landmarks stored in the precision map based on a neural network model. A complementary relationship-based precision positioning and landmark detection apparatus for storing executable program instructions is provided.

상기 프로그램 명령어들은, 상기 입력 영상을 CNN(Convolution Neural Network) 기반 제1 신경망 모델에 입력하여 제1 특징을 추출하고, 상기 정밀 지도를 CNN 기반 제2 신경망 모델에 입력하여 제2 특징을 추출하며, 상기 제1 특징 및 제2 특징을 통합한 후 CNN 기반 제3 신경망 모델에 입력하여 상기 대략적인 측위 결과를 추정할 수 있다. The program instructions input the input image to a Convolution Neural Network (CNN)-based first neural network model to extract a first feature, and input the precision map to a CNN-based second neural network model to extract a second feature, After integrating the first and second features, it is possible to estimate the approximate localization result by inputting it into a CNN-based third neural network model.

상기 제1 신경망 모델 및 제2 신경망 모델은 서로 다른 레이어 구조 및 필터 사이즈를 가질 수 있다. The first neural network model and the second neural network model may have different layer structures and filter sizes.

상기 프로그램 명령어들은, 상기 정밀 지도와 상기 대략적인 측위 결과를 이용하여 상기 입력 영상에 포함되는 하나 이상의 랜드마크에 대한 관심영역을 설정하고, 상기 입력 영상에서 추출된 제1 특징과 상기 관심영역에 포함된 랜드마크의 종류마다 서로 다른 검출기를 이용하여 하나 이상의 랜드마크의 위치를 정밀하게 검출할 수 있다. The program instructions set a region of interest for one or more landmarks included in the input image using the precise map and the approximate positioning result, and include the first feature extracted from the input image and the region of interest. The positions of one or more landmarks can be precisely detected by using different detectors for each type of landmark.

상기 프로그램 명령어들은, CNN 기반 제4 신경망 모델에 상기 정밀하게 검출된 하나 이상의 랜드마크에 관한 정보를 입력하여 랜드마크 특징을 추출하고, 상기 추출된 랜드마크 특징과 상기 제2 특징을 통합하고, 상기 랜드마크 특징 및 제2 특징을 통합한 후 상기 제3 신경망 모델에 입력하여 상기 정밀한 측위 결과를 산출할 수 있다. The program instructions extract a landmark feature by inputting information about the precisely detected one or more landmarks to a CNN-based fourth neural network model, integrate the extracted landmark feature and the second feature, and After integrating the landmark feature and the second feature, it may be input to the third neural network model to calculate the precise positioning result.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 상보적 관계 기반으로 정밀 측위 및 랜드마크 검출을 수행하는 방법으로서, 이동체에 설치된 카메라를 통해 획득된 입력 영상과 랜드마크를 포함하는 정밀 지도를 신경망 모델에 입력하여 상기 입력 영상 및 정밀 지도를 저수준(low-level)에서 정합하여 상기 이동체의 위치 및 자세를 포함하는 대략적인 측위 결과를 추정하는 단계; 상기 대략적인 측위 결과와 상기 정밀 지도에 저장된 랜드마크의 위치 및 종류를 기반으로 상기 입력 영상 내에서 하나 이상의 랜드마크를 정밀하게 검출하는 단계; 및 상기 정밀하게 검출된 하나 이상의 랜드마크와 상기 정밀 지도에 저장된 랜드마크를 신경망 모델을 기반으로 정합하여 상기 이동체의 위치 및 자세를 포함하는 정밀한 측위 결과를 산출하는 단계를 포함하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 방법이 제공된다. According to another aspect of the present invention, there is provided a method for performing precise positioning and landmark detection based on a complementary relationship in a device including a processor and a memory, and a precision including an input image and a landmark obtained through a camera installed in a moving object. estimating a rough positioning result including the position and posture of the moving object by inputting a map into a neural network model and matching the input image and the precision map at a low-level; precisely detecting one or more landmarks in the input image based on the approximate positioning result and the location and type of the landmark stored in the precision map; And Complementary relationship-based precision comprising the step of matching the one or more precisely detected landmarks with the landmarks stored in the precision map based on a neural network model to calculate a precise positioning result including the position and posture of the moving object A method for positioning and detecting a landmark is provided.

본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 컴퓨터 판독 가능한 프로그램이 제공된다. According to another aspect of the present invention, there is provided a computer readable program for performing the above method.

본 발명에 따르면, 정밀 측위와 랜드마크 검출 사이의 상보적 관계를 활용하여 정밀 측위와 랜드마크 검출의 성능을 동시에 향상시킬 수 있는 장점이 있다. According to the present invention, there is an advantage in that the performance of the precise positioning and the landmark detection can be simultaneously improved by utilizing the complementary relationship between the precise positioning and the landmark detection.

도 1은 종래기술에 따른 이동체 측위 산출 과정을 나타낸 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 정밀 측위 및 랜드마크 검출 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 정밀 측위 및 랜드마크 검출 과정을 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 이동체의 대략적인 측위 결과를 추정하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 랜드마크의 정밀 검출 과정을 설명하기 위한 도면이다.
도 6은 본 실시예에 따른 이동체의 정밀한 측위 결과를 산출하는 과정을 설명하기 위한 도면이다.1 is a view showing a moving object positioning calculation process according to the prior art.
2 is a diagram showing the configuration of a precision positioning and landmark detection apparatus according to an embodiment of the present invention.
3 is a view for explaining the precision positioning and landmark detection process according to an embodiment of the present invention.
4 is a view for explaining a process of estimating the approximate positioning result of the moving object according to the present embodiment.
5 is a view for explaining a precision detection process of a landmark according to an embodiment of the present invention.
6 is a view for explaining a process of calculating a precise positioning result of a moving object according to the present embodiment.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

본 발명에 따른 정밀 측위 및 랜드마크 검출 장치는 이동체에 설치된 카메라에서 촬영된 입력 영상 및 랜드마크를 포함하는 정밀 지도를 이용하여 이동체의 위치 및 자세를 포함하는 측위 결과를 추정하고, 추정된 측위 결과와 정밀 지도를 이용하여 입력 영상 내에서 랜드마크를 정밀하게 검출하며, 정밀하게 검출된 랜드마크를 통해 다시 이동체의 위치 및 자세를 정밀하게 산출한다. The precision positioning and landmark detection apparatus according to the present invention estimates a positioning result including the position and posture of a moving object by using an input image captured by a camera installed on the moving object and a precision map including a landmark, and the estimated positioning result The landmark is precisely detected in the input image using the and precision map, and the position and posture of the moving object are precisely calculated again through the precisely detected landmark.

여기서, 이동체는 주변 환경을 촬영하는 카메라 및 상기한 정밀 측위 및 랜드마크 검출을 수행할 수 있는 컴퓨팅 장치를 포함하며, 자율주행 자동차, 또는 드론일 수 있다. Here, the moving object includes a camera for photographing a surrounding environment and a computing device capable of performing the above-described precise positioning and landmark detection, and may be an autonomous vehicle or a drone.

도 2는 본 발명의 바람직한 일 실시예에 따른 정밀 측위 및 랜드마크 검출 장치의 구성을 도시한 도면이다. 2 is a diagram showing the configuration of a precision positioning and landmark detection apparatus according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(200) 및 메모리(202)를 포함할 수 있다.As shown in FIG. 2 , the device according to the present embodiment may include a processor 200 and a memory 202 .

여기서, 프로세서(200)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다. Here, the processor 200 may include a central processing unit (CPU) capable of executing a computer program or other virtual machines.

메모리(202)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.Memory 202 may include a non-volatile storage device such as a fixed hard drive or a removable storage device. The removable storage device may include a compact flash unit, a USB memory stick, and the like. The memory may also include volatile memory, such as various random access memories.

이와 같은 메모리(202)에는 프로세서(200)에 의해 실행 가능한 프로그램 명령어들이 저장된다. The memory 202 stores program instructions executable by the processor 200 .

본 실시예에 따른 프로그램 명령어들은, 이동체에 설치된 카메라를 통해 획득된 입력 영상과 랜드마크를 포함하는 정밀 지도를 신경망 모델에 입력하여 저수준(low-level)에서 상기한 입력 영상 및 정밀 지도를 정합함으로써 이동체의 위치 및 자세를 포함하는 대략적인 측위 결과를 추정하고, 대략적인 측위 결과와 상기한 정밀 지도에 저장된 랜드마크의 위치 및 종류를 기반으로 상기 획득된 영상 내에서 하나 이상의 랜드마크를 정밀하게 검출하며, 정밀하게 검출된 하나 이상의 랜드마크와 상기한 정밀 지도에 저장된 랜드마크를 신경망 모델 기반으로 정합하여 이동체에 대한 위치 및 자세를 포함하는 정밀한 측위 결과를 산출한다. The program instructions according to this embodiment input a precision map including an input image and landmarks acquired through a camera installed on a moving object into a neural network model, and match the input image and the precision map at a low-level. Estimate the approximate positioning result including the position and posture of the moving object, and precisely detect one or more landmarks in the acquired image based on the approximate positioning result and the location and type of the landmark stored in the precise map And, by matching one or more precisely detected landmarks with the landmarks stored in the precision map based on a neural network model, precise positioning results including the position and posture of the moving object are calculated.

이후, 정밀한 측위 결과를 기반으로 랜드마크의 위치를 정밀하게 검출하는 과정이 반복 수행될 수 있다. Thereafter, the process of precisely detecting the position of the landmark based on the precise positioning result may be repeatedly performed.

이하에서는 도면을 참조하여, 본 실시예에 따른 정밀 측위 및 랜드마크 검출 과정을 상세하게 설명한다. Hereinafter, with reference to the drawings, the precise positioning and landmark detection process according to the present embodiment will be described in detail.

도 3은 본 발명의 바람직한 일 실시예에 따른 정밀 측위 및 랜드마크 검출 과정을 설명하기 위한 도면이다. 3 is a view for explaining the precision positioning and landmark detection process according to a preferred embodiment of the present invention.

도 3에 도시된 측위 모듈(300) 및 검출 모듈(302)은 메모리(202)에 저장된 프로그램 명령어들이 수행하는 과정을 기능적으로 구분한 어플리케이션으로 정의할 수 있다. The positioning module 300 and the detection module 302 shown in FIG. 3 may define an application in which a process performed by the program instructions stored in the memory 202 is functionally divided.

도 3을 참조하면, 측위 모듈(300)은 이동체에 설치된 카메라에서 촬영된 입력 영상과 랜드마크에 관한 정보를 포함하는 정밀 지도를 저수준(low-level)에서 통합하여 대략적인 측위 결과를 추정한다. Referring to FIG. 3 , the positioning module 300 estimates an approximate positioning result by integrating an input image captured by a camera installed on a moving object and a precision map including information on landmarks at a low-level.

여기서, 측위 결과는 이동체의 위치 및 자세(방향)에 관한 정보이다. Here, the positioning result is information about the position and posture (direction) of the moving object.

도 4는 본 실시예에 따른 이동체의 대략적인 측위 결과를 추정하는 과정을 설명하기 위한 도면이다. 4 is a view for explaining a process of estimating the approximate positioning result of the moving object according to the present embodiment.

도 4를 참조하면, 입력 영상을 제1 신경망 모델에 입력하고, 랜드마크에 관한 정밀 지도를 제2 신경망 모델에 입력하여 각각 제1 특징 및 제2 특징을 추출한다. Referring to FIG. 4 , an input image is input to a first neural network model, and a precision map regarding landmarks is input to a second neural network model to extract first and second features, respectively.

여기서, 제1 신경망 모델 및 제2 신경망 모델은 CNN(Convolutional Neural Network)일 수 있다. Here, the first neural network model and the second neural network model may be a Convolutional Neural Network (CNN).

제1 신경망 모델은 영상에서 특징을 추출하기 위한 것으로서, VGGNet 및 ResNet일 수 있다. The first neural network model is for extracting features from an image, and may be VGGNet and ResNet.

제2 신경망 모델은 점 기반으로 이루어진 정밀 지도의 특징을 추출하기 위한 것으로 PointNet일 수 있다. The second neural network model is for extracting features of a point-based precision map, and may be a PointNet.

입력 영상과 정밀 지도에서 특징 추출을 위해 서로 다른 구조의 신경망 모델을 사용하는 것은 이들이 서로 이질적인 정보를 포함하기 때문이다. The reason why neural network models with different structures are used for feature extraction from input images and precision maps is because they contain heterogeneous information.

여기서, 서로 다른 구조는 레이어의 배치, 수 및 합성곱 연산을 위한 필터 사이즈가 다른 것으로 정의될 수 있다. Here, different structures may be defined as having different filter sizes for the arrangement and number of layers and the convolution operation.

측위 모듈(300)은 서로 다른 신경망 모델을 추출된 입력 영상과 정밀 지도의 특징을 통합하고, 이를 제3 신경망 모델에 입력하여 이동체의 위치 및 자세를 포함하는 측위 결과를 추정한다. The positioning module 300 integrates different neural network models with the extracted input images and features of the precision map, and inputs them into the third neural network model to estimate positioning results including the position and posture of the moving object.

특징 통합은 입력 영상과 정밀 지도 각각에서 추출된 특징맵(featur map)을 더하거나 이어 붙이는 연산을 수행하는 방식으로 이루어지며, 통합된 특징맵을 제3 신경망 모델이 입력하여 이동체의 대략적인 측위 결과를 추정한다. Feature integration is performed by adding or concatenating feature maps extracted from each of the input image and the precision map. estimate

다시 도 3을 참조하면, 검출 모듈(302)은 측위 모듈(300)에서 추정된 측위 결과와 카메라를 통해 획득된 입력 영상 및 정밀 지도를 이용하여 입력 영상 내에서 랜드마크를 정밀하게 검출한다. Referring back to FIG. 3 , the detection module 302 precisely detects a landmark in the input image using the positioning result estimated by the positioning module 300 and the input image and precision map acquired through the camera.

도 5는 본 발명의 일 실시예에 따른 랜드마크의 정밀 검출 과정을 설명하기 위한 도면이다. 5 is a view for explaining a precision detection process of a landmark according to an embodiment of the present invention.

도 5를 참조하면, 검출 모듈(302)은 이동체로부터 획득된 입력 영상을 신경망 모델에 입력하여 특징을 추출한다. Referring to FIG. 5 , the detection module 302 extracts features by inputting an input image obtained from a moving object into a neural network model.

상기한 특징 추출은 제1 신경망 모델을 이용한 특징 추출과 동일한 과정이거나, 제1 신경망 모델을 통해 추출된 특징이 그대로 이용될 수도 있다. The above-described feature extraction may be the same process as the feature extraction using the first neural network model, or the features extracted through the first neural network model may be used as it is.

또한, 검출 모듈(302)은 랜드마크를 포함하는 정밀 지도와 상기한 측위 모듈(300)에서 대략적으로 추정된 저수준의 이동체 측위 결과를 이용하여 하나 이상의 랜드마크에 관한 관심영역을 설정한다. In addition, the detection module 302 sets a region of interest with respect to one or more landmarks using the precision map including the landmark and the low-level mobile positioning result roughly estimated by the positioning module 300 .

이동체의 대략적인 측위 결과가 추정되는 경우, 정밀 지도 상에서 랜드마크의 위치 및 종류를 대략적으로 추정할 수 있으므로 랜드마크에 관한 관심영역을 설정할 수 있다. When the approximate positioning result of the moving object is estimated, the location and type of the landmark can be roughly estimated on the precise map, so that the ROI for the landmark can be set.

다음으로, 검출 모듈(302)은 입력 영상에서 추출된 특징 정보와 관심영역에 포함된 랜드마크의 종류마다 서로 다른 검출기를 적용하여 랜드마크를 정밀하게 검출한다. Next, the detection module 302 precisely detects the landmark by applying different detectors for each type of landmark included in the ROI and feature information extracted from the input image.

예를 들어, 신호등, 표지판, 횡단보도와 같은 서로 다른 랜드마크마다 레이어의 배치 및 수, 필터 사이즈가 다른 CNN 기반 검출기가 적용될 수 있으며, 검출 모듈(302)은 서로 다른 검출기를 이용하여 입력 영상 내에서 각 랜드마크의 위치를 정밀하게 검출한다. For example, CNN-based detectors with different arrangement and number of layers and filter sizes for different landmarks, such as traffic lights, signs, and crosswalks, may be applied, and the detection module 302 uses different detectors in the input image. precisely detects the position of each landmark in

도 5와 같은 과정을 통해 랜드마크가 정밀하게 검출되는 경우, 측위 모듈(300)을 통해 이동체의 위치 및 자세를 정밀하게 측위하는 과정이 다시 수행된다. When the landmark is precisely detected through the process shown in FIG. 5 , the process of accurately positioning the position and posture of the moving object through the positioning module 300 is performed again.

도 6은 본 실시예에 따른 이동체의 정밀한 측위 결과를 산출하는 과정을 설명하기 위한 도면이다. 6 is a view for explaining a process of calculating a precise positioning result of a moving object according to the present embodiment.

도 6을 참조하면, 측위 모듈(300)은 도 5의 과정을 통해 얻어진 랜드마크 검출 결과를 랜드마크 특징 추출을 위한 신경망 모델(제4 신경망 모델)에 입력하여 특징을 추출하고, 또한, 정밀 지도를 신경망 모델에 입력하여 특징을 추출한다. Referring to FIG. 6 , the positioning module 300 inputs the landmark detection result obtained through the process of FIG. 5 into a neural network model for landmark feature extraction (a fourth neural network model) to extract features, and also provides a precise map is input to the neural network model to extract features.

여기서, 정밀 지도의 특징 추출을 위한 신경망 모델은 도 4의 제2 신경망 모델과 동일한 모델일 수 있다. Here, the neural network model for feature extraction of the precision map may be the same model as the second neural network model of FIG. 4 .

서로 다른 신경망 모델에서 출력되는 특징들을 통합하고, 이들을 이동체 측위를 위한 신경망 모델에 입력하여 이동체의 위치 및 자세를 정밀하게 산출한다.The features output from different neural network models are integrated, and the position and posture of the moving object are precisely calculated by inputting them into the neural network model for positioning the moving object.

여기서, 이동체의 위치 및 자세를 정밀하게 산출하기 위한 신경망 모델은 도 4의 제3 신경망 모델과 동일한 모델일 수 있다. Here, the neural network model for precisely calculating the position and posture of the moving object may be the same model as the third neural network model of FIG. 4 .

본 발명에 따르면, 저수준으로 이동체의 측위 결과를 추정하고, 추정된 측위 결과를 통해 랜드마크를 정밀하게 검출하며, 정밀하게 검출된 랜드마크를 통해 이동체에 대한 정밀한 위치 및 자세를 산출한다. According to the present invention, the positioning result of the moving object is estimated at a low level, the landmark is precisely detected through the estimated positioning result, and the precise position and posture of the moving object are calculated through the precisely detected landmark.

본 실시예에 따르면, 정밀 측위와 랜드마크 검출의 상보적 관계를 이용하여 측위 결과 및 랜드마크 검출의 정확도를 높일 수 있는 장점이 있다. According to this embodiment, there is an advantage in that the accuracy of the positioning result and the landmark detection can be increased by using the complementary relationship between the precise positioning and the landmark detection.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for the purpose of illustration, and various modifications, changes, and additions will be possible within the spirit and scope of the present invention by those skilled in the art having ordinary knowledge of the present invention, and such modifications, changes and additions should be regarded as belonging to the following claims.

Claims (7)

프로세서; 및
상기 프로세서에 연결되는 메모리를 포함하되,
상기 메모리는,
이동체에 설치된 카메라를 통해 획득된 입력 영상과 랜드마크를 포함하는 정밀 지도를 신경망 모델에 입력하여 상기 입력 영상과 정밀 지도를 저수준(low-level)에서 정합하여 상기 이동체의 위치 및 자세를 포함하는 대략적인 측위 결과를 추정하고,
상기 대략적인 측위 결과와 상기 정밀 지도에 저장된 랜드마크의 위치 및 종류를 기반으로 상기 입력 영상 내에서 하나 이상의 랜드마크를 정밀하게 검출하고,
상기 정밀하게 검출된 하나 이상의 랜드마크와 상기 정밀 지도에 저장된 랜드마크를 신경망 모델을 기반으로 정합하여 상기 이동체의 위치 및 자세를 포함하는 정밀한 측위 결과를 산출하도록,
상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
상기 프로그램 명령어들은,
상기 입력 영상을 CNN(Convolution Neural Network) 기반 제1 신경망 모델에 입력하여 제1 특징을 추출하고,
상기 정밀 지도를 CNN 기반 제2 신경망 모델에 입력하여 제2 특징을 추출하며,
상기 제1 특징 및 제2 특징을 통합한 후 CNN 기반 제3 신경망 모델에 입력하여 상기 대략적인 측위 결과를 추정하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 장치.processor; and
a memory coupled to the processor;
The memory is
A precision map including an input image and landmarks acquired through a camera installed on a moving object is input into a neural network model, and the input image and the precise map are matched at a low-level, approximately including the position and posture of the moving object. estimating the results of the local positioning,
Precisely detect one or more landmarks in the input image based on the approximate positioning result and the location and type of landmarks stored in the precision map,
To calculate a precise positioning result including the position and posture of the moving object by matching the one or more precisely detected landmarks with the landmarks stored in the precise map based on a neural network model,
Stores program instructions executable by the processor,
The program instructions are
The input image is input to a Convolution Neural Network (CNN)-based first neural network model to extract a first feature,
The second feature is extracted by inputting the precision map into a CNN-based second neural network model,
Complementary relationship-based precise positioning and landmark detection apparatus for estimating the approximate positioning result by inputting the first and second features into a CNN-based third neural network model after integrating the first and second features. 삭제delete 제1항에 있어서,
상기 제1 신경망 모델 및 제2 신경망 모델은 서로 다른 레이어 구조 및 필터 사이즈를 갖는 신경망 모델인 상보적 관계 기반 정밀 측위 및 랜드마크 검출 장치. According to claim 1,
The first neural network model and the second neural network model are neural network models having different layer structures and filter sizes. Complementary relation-based precision positioning and landmark detection apparatus. 제1항에 있어서,
상기 프로그램 명령어들은,
상기 정밀 지도와 상기 대략적인 측위 결과를 이용하여 상기 입력 영상에 포함되는 하나 이상의 랜드마크에 대한 관심영역을 설정하고,
상기 입력 영상에서 추출된 제1 특징과 상기 관심영역에 포함된 랜드마크의 종류마다 서로 다른 검출기를 이용하여 하나 이상의 랜드마크의 위치를 정밀하게 검출하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 장치. According to claim 1,
The program instructions are
setting a region of interest for one or more landmarks included in the input image using the precise map and the approximate positioning result,
Complementary relationship-based precision positioning and landmark detection apparatus for precisely detecting the position of one or more landmarks using different detectors for each type of landmark included in the first feature extracted from the input image and the ROI. 제1항에 있어서,
상기 프로그램 명령어들은,
CNN 기반 제4 신경망 모델에 상기 정밀하게 검출된 하나 이상의 랜드마크에 관한 정보를 입력하여 랜드마크 특징을 추출하고,
상기 추출된 랜드마크 특징과 상기 제2 특징을 통합하고,
상기 랜드마크 특징 및 제2 특징을 통합한 후 상기 제3 신경망 모델에 입력하여 상기 정밀한 측위 결과를 산출하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 장치. According to claim 1,
The program instructions are
Extracting landmark features by inputting information about the precisely detected one or more landmarks to the CNN-based fourth neural network model,
Integrating the extracted landmark feature and the second feature,
Complementary relationship-based precision positioning and landmark detection apparatus for calculating the precise positioning result by inputting the third neural network model after integrating the landmark feature and the second feature. 프로세서 및 메모리를 포함하는 장치에서 상보적 관계 기반으로 정밀 측위 및 랜드마크 검출을 수행하는 방법으로서,
이동체에 설치된 카메라를 통해 획득된 입력 영상과 랜드마크를 포함하는 정밀 지도를 신경망 모델에 입력하여 상기 입력 영상과 정밀 지도를 저수준(low-level)에서 정합하여 상기 이동체의 위치 및 자세를 포함하는 대략적인 측위 결과를 추정하는 단계;
상기 대략적인 측위 결과와 상기 정밀 지도에 저장된 랜드마크의 위치 및 종류를 기반으로 상기 입력 영상 내에서 하나 이상의 랜드마크를 정밀하게 검출하는 단계; 및
상기 정밀하게 검출된 하나 이상의 랜드마크와 상기 정밀 지도에 저장된 랜드마크를 신경망 모델을 기반으로 정합하여 상기 이동체의 위치 및 자세를 포함하는 정밀한 측위 결과를 산출하는 단계를 포함하되,
상기 대략적인 측위 결과를 추정하는 단계는,
상기 입력 영상을 CNN(Convolution Neural Network) 기반 제1 신경망 모델에 입력하여 제1 특징을 추출하는 단계;
상기 정밀 지도를 CNN 기반 제2 신경망 모델에 입력하여 제2 특징을 추출하는 단계; 및
상기 제1 특징 및 제2 특징을 통합한 후 CNN 기반 제3 신경망 모델에 입력하여 상기 대략적인 측위 결과를 추정하는 단계를 포함하는 상보적 관계 기반 정밀 측위 및 랜드마크 검출 방법.A method for performing precision positioning and landmark detection based on a complementary relationship in a device including a processor and a memory, the method comprising:
A precision map including an input image and landmarks acquired through a camera installed on a moving object is input into a neural network model, and the input image and the precise map are matched at a low-level, approximately including the position and posture of the moving object. estimating a local positioning result;
precisely detecting one or more landmarks in the input image based on the approximate positioning result and the location and type of the landmark stored in the precision map; and
Comprising the step of matching the one or more precisely detected landmarks with the landmarks stored in the precise map based on a neural network model to calculate a precise positioning result including the position and posture of the moving object,
The step of estimating the approximate positioning result is,
extracting a first feature by inputting the input image into a Convolution Neural Network (CNN)-based first neural network model;
extracting a second feature by inputting the precision map into a CNN-based second neural network model; and
Complementary relationship-based precise positioning and landmark detection method comprising the step of estimating the approximate positioning result by inputting the first and second features into a CNN-based third neural network model after integrating the first and second features. 제6항에 따른 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 저장매체.
A computer-readable storage medium in which a program for performing the method according to claim 6 is stored.
KR1020200127798A 2020-10-05 2020-10-05 Simultaneous localization and landmark detection apparatus and method using complementary relationship KR102428992B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200127798A KR102428992B1 (en) 2020-10-05 2020-10-05 Simultaneous localization and landmark detection apparatus and method using complementary relationship

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200127798A KR102428992B1 (en) 2020-10-05 2020-10-05 Simultaneous localization and landmark detection apparatus and method using complementary relationship

Publications (2)

Publication Number Publication Date
KR20220045281A KR20220045281A (en) 2022-04-12
KR102428992B1 true KR102428992B1 (en) 2022-08-03

Family

ID=81188063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200127798A KR102428992B1 (en) 2020-10-05 2020-10-05 Simultaneous localization and landmark detection apparatus and method using complementary relationship

Country Status (1)

Country Link
KR (1) KR102428992B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133658A (en) * 2018-01-31 2019-08-08 株式会社リコー Positioning method, positioning device and readable storage medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221695B1 (en) 2018-01-15 2021-03-02 에스케이텔레콤 주식회사 Apparatus and method for updating high definition map for autonomous driving

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133658A (en) * 2018-01-31 2019-08-08 株式会社リコー Positioning method, positioning device and readable storage medium

Also Published As

Publication number Publication date
KR20220045281A (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN104833370B (en) System and method for mapping, positioning and pose correction
JP4632987B2 (en) Road image analysis apparatus and road image analysis method
KR20200044420A (en) Method and device to estimate position
KR102168753B1 (en) Electronic device for obtaining three-dimension object based on camera and radar sensor fusion, and operaing method thereof
US10872246B2 (en) Vehicle lane detection system
US20190226851A1 (en) Driver assistance system for determining a position of a vehicle
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
WO2012086821A1 (en) Positioning apparatus and positioning method
CN111986261B (en) Vehicle positioning method and device, electronic equipment and storage medium
CN111508258A (en) Positioning method and device
US20230108621A1 (en) Method and system for generating visual feature map
US9443349B2 (en) Electronic apparatus and method for incremental pose estimation and photographing thereof
EP4105829A1 (en) Lane line determination method and system, vehicle, and storage medium
CN113580134B (en) Visual positioning method, device, robot, storage medium and program product
JP6905390B2 (en) Own vehicle position estimation environment map generator, own vehicle position estimation device, own vehicle position estimation environment map generation program, and own vehicle position estimation program
CN111159459B (en) Landmark positioning method, landmark positioning device, computer equipment and storage medium
KR102463698B1 (en) System and method for building a location information database of road sign, apparatus and method for estimating location of vehicle using the same
KR102133876B1 (en) Apparatus and method for detecting object
US20210190509A1 (en) Position estimating apparatus and position estimating method
JP2016148956A (en) Positioning device, positioning method and positioning computer program
KR102428992B1 (en) Simultaneous localization and landmark detection apparatus and method using complementary relationship
CN113011517A (en) Positioning result detection method and device, electronic equipment and storage medium
KR20190110259A (en) Apparatus and method for object detecting using object tracking
KR102425346B1 (en) Apparatus for determining position of vehicle and method thereof
JP2020076714A (en) Position attitude estimation device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant