KR20200084615A - Apparatus and Method for Estimating Initial Position of Mobile Robot - Google Patents
Apparatus and Method for Estimating Initial Position of Mobile Robot Download PDFInfo
- Publication number
- KR20200084615A KR20200084615A KR1020190000713A KR20190000713A KR20200084615A KR 20200084615 A KR20200084615 A KR 20200084615A KR 1020190000713 A KR1020190000713 A KR 1020190000713A KR 20190000713 A KR20190000713 A KR 20190000713A KR 20200084615 A KR20200084615 A KR 20200084615A
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- matching
- image
- group
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000000605 extraction Methods 0.000 claims abstract description 74
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 210000004185 liver Anatomy 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 모바일 로봇 위치 추정에 관한 것으로, 구체적으로 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법에 관한 것이다.The present invention relates to a mobile robot position estimation, specifically, an apparatus for estimating the initial position of a mobile robot that enables more accurate estimation of the initial position of the robot using geometric information of 3D feature points in an image obtained through a stereo camera And methods.
모바일 로봇은 실용 방안의 지속적인 연구로 인하여 산업용뿐만 아니라 청소 로봇, 경비 로봇, 안내 로봇과 같은 일상 생활용으로도 사용되며 실생활에서도 차지하는 비중이 점점 커지고 있다.Mobile robots are used not only for industrial use, but also for daily life such as cleaning robots, security robots, and guide robots, and their share in real life is gradually increasing.
이와 같은 모바일 로봇이 자율 주행을 하기 위해서는 모바일 로봇의 위치를 파악하는 위치 추정이 필수적으로 요구된다. 모바일 로봇의 위치 추정은 환경에 대한 정보와 센서로 측정한 정보를 이용하여 모바일 로봇의 위치를 추정하는 기술로써, 모바일 로봇의 주행을 위한 핵심 기술이다.In order for such a mobile robot to autonomously drive, it is essential to estimate the location of the mobile robot. The mobile robot position estimation is a technology for estimating the location of the mobile robot using information about the environment and information measured by a sensor, and is a core technology for driving the mobile robot.
일반적으로 모바일 로봇의 위치 추정은 모바일 로봇이 스스로 획득하는 오도메트리 정보와, 외부 환경을 통해 획득하는 센서 정보를 바탕으로 이루어진다.In general, the position estimation of the mobile robot is made based on the odometry information acquired by the mobile robot itself and the sensor information acquired through the external environment.
모바일 로봇의 오도메트리 정보는 휠 직경 오차와 휠 간격 오차를 포함하는 기구학적 모델링 오차와, 불규칙한 주행 환경으로 인해 발생하는 오차에 의해 주행 과정에서 지속적으로 누적되어 모바일 로봇의 위치 추정의 불확실성을 가중시킨다.Odometry information of the mobile robot is continuously accumulated in the driving process due to kinematic modeling errors including wheel diameter error and wheel spacing error, and errors caused by irregular driving environments, thereby increasing the uncertainty of the position estimation of the mobile robot. Order.
이와 같은 오도메트리 정보의 한계로 인해 외부 환경을 통해 얻는 센서 정보를 위치 추정에 반영함으로써, 모바일 로봇의 위치 추정의 정확성을 높이고 있다.Due to the limitation of such odometry information, the sensor information obtained through the external environment is reflected in the location estimation, thereby increasing the accuracy of the mobile robot's location estimation.
센서 정보를 획득하는 방법으로 모바일 로봇의 주행 경로에 설치되는 인공 표식들을 감지하여 모바일 로봇의 전역좌표계 상의 위치를 추정하는 방법들이 제안되고 있다.As a method of acquiring sensor information, methods for estimating the position on the global coordinate system of the mobile robot by detecting artificial markers installed in the driving path of the mobile robot have been proposed.
모바일 로봇이 자신의 초기 위치를 기억하고 현재까지의 이동 정보 및 이전의 위치 정보로부터 현재의 위치를 알아낼 수 있다고 하더라도 모바일 로봇이 외력에 의해 이동된 경우에는 그 전 위치까지 이동해 오면서 저장해 둔 이동 정보 및 위치 정보를 전혀 사용할 수 없는 문제에 직면하게 된다.Even if the mobile robot remembers its initial position and can find the current position from the current position information and the previous position information, when the mobile robot is moved by external force, the stored movement information is stored while moving to the previous position and You are faced with the problem that location information is not available at all.
즉, 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우, 그리고 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에 초기 위치 추정 기술이 필요하다.That is, in the industrial site such as a factory or a logistic, an initial position estimation technique is required when a mobile robot suddenly stops during operation, moves to another location, and restarts, and fails to estimate a location due to a matching error during driving.
위치 추정을 위해서는 미리 생성한 글로벌 특징맵 데이터를 이용하며, 현재 위치에서 얻은 환경 정보와의 매칭을 통해 현재 위치를 추정하는 방식이다.For the location estimation, the global feature map data generated in advance is used, and the current location is estimated by matching the environment information obtained from the current location.
정확한 위치 추정을 위해서는 정확한 특징점 매칭 기술이 필요한데, 종래 기술에서는 특징점 매칭 기술이 부정확하여 정확한 위치 추정에 한계가 있다.An accurate feature point matching technique is required for accurate location estimation. In the prior art, the feature point matching technique is inaccurate, so there is a limit to accurate location estimation.
따라서, 보다 정확하게 로봇의 초기 위치를 추정할 수 있는 새로운 위치 추정 기술의 개발이 요구되고 있다.Therefore, there is a need to develop a new position estimation technology that can more accurately estimate the initial position of the robot.
본 발명은 종래 기술의 모바일 로봇 위치 추정 기술의 문제점을 해결하기 위한 것으로, 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prior art mobile robot position estimation technology, the mobile robot that can more accurately estimate the initial position of the robot by using the geometric information of the three-dimensional feature points in the image obtained through the stereo camera It is an object to provide an apparatus and method for initial position estimation.
본 발명은 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is based on the stereo camera sensor based on the geometric information of the 3D feature points from the image information obtained by matching the feature points with the matched global image data to reduce the mismatch rate and to estimate the correct position more quickly It is an object to provide an apparatus and method for initial position estimation.
본 발명은 정확하게 로봇의 초기 위치를 추정할 수 있도록 하여 현재 로봇의 위치를 기반으로 목적지까지 유도하는 시스템에 적용하여 시스템의 효율적인 운용이 가능하도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention provides an apparatus and method for estimating the initial position of a mobile robot that enables accurate operation of the system by accurately applying the initial position of the robot to a system that leads to a destination based on the current position of the robot There is a purpose.
본 발명은 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하고, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화를 수행 후 이미지 내 특징을 추출하는 것에 의해 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention performs camera calibration for extracting internal and external parameters of a stereo camera sensor, and performs rectification and grayscale of an image obtained at a current position using the extracted camera internal and external parameters. It is an object of the present invention to provide an apparatus and method for estimating an initial position of a mobile robot that can accurately estimate an initial position of a robot by extracting features in an image.
본 발명은 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하고, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화 하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭을 수행하여 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention extracts the global image in which the most feature data matching occurs through the feature point matching between the extracted feature and the global image data, and 3D coordinates the feature data of the global image and the image data obtained from the current location to base the geometric structure. An object of the present invention is to provide an apparatus and method for estimating an initial position of a mobile robot that can accurately estimate an initial position of a robot by performing matching using a feature point matching method.
본 발명은 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우 또는 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에도 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention accurately estimates the initial position of the robot even when the mobile robot suddenly stops during operation in a factory or logistics or other industrial site, moves to another location, and restarts, or fails to estimate the location due to a matching error during driving. An object of the present invention is to provide an apparatus and method for estimating an initial position of a mobile robot.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to those mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치는 글로벌 이미지 집합 생성부에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하는 제 1 최적 매칭쌍 추출부;매칭 쌍 간의 최대 오차가 문턱값(threshold) 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부;제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 한다.An apparatus for estimating an initial position of a mobile robot according to the present invention for achieving the above object includes a similar global image search unit performing the most similar global image search in the global image set constructed by the global image set generation unit; A first optimal matching pair extracting unit that extracts feature information of the global image that is most similar to the feature information of the local image, matches feature information, and then extracts pairs that match each other to calculate a distance between feature points; the maximum error between matching pairs is thresholded When the value is within a threshold, a second optimal matching pair extracting unit that combines the two groups into one to determine similarity and stores the combined results of the support groups in COMB_SET; the most matching among COMB_SET stored in the second optimal matching pair extracting unit And a third optimal matching pair extracting unit storing the group to which the pair belongs to the winner group and merging with the winner group by determining similarity.
여기서, 상기 글로벌 이미지 집합 생성부는, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부와,좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부와,추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부와,이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장부를 포함하는 것을 특징으로 한다.Here, the global image set generating unit, the image pre-processing unit to retrieve the i-th picture from the photographed stereo image set H, divides it into left and right images, and performs a pre-processing process for feature information extraction, and from the left and right images A feature extraction and matching unit that extracts features and performs matching of the extracted features, a feature point 3D transformation unit that converts the extracted feature points into 3D coordinates (x,y,z), and at the time the image was taken. Comprising a mobile robot position calculation, and stores the mobile robot location information, feature point feature information, feature point coordinate information in the global image set W i , and includes a feature point information storage unit that processes this process over the entire captured stereo image. Is done.
그리고 상기 유사 글로벌 이미지 검색부는, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부와,추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부와,상기 특징 매칭 수행부에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부를 포함하는 것을 특징으로 한다.In addition, the similar global image search unit includes an image pre-processing unit that performs image pre-processing and feature extraction on one local image and M global images in the global image set, and a global image based on the extracted features. A feature matching performer performing feature matching of M and local images, and when feature extraction is completed for M global images in the feature matching performer, the index N of the global image matching the most current feature with the current local image is checked. It characterized in that it comprises a similar global image verification unit.
그리고 상기 제 1 최적 매칭쌍 추출부는, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부와,C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부와,상기 특징 매칭부에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부와,로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부를 포함하는 것을 특징으로 한다.In addition, the first optimal matching pair extracting unit, a feature extracting unit for extracting each of the D feature information of the Nth global image most similar to the C feature information of the local image, the C local image feature information and the D most similar global After matching the image feature information, a feature matching unit that extracts the matched pairs (K), and a comparison operation determination unit that checks whether all comparison operations between the matching pairs extracted from the feature matching unit are over, and the P of the local image. 1, and the i-th feature point coordinates and the P 2, a similar global image of the i-th (a), P 2, second i + j of the local image P 1, i + j-th feature point coordinates and the most likely global image (B) It characterized in that it comprises a distance calculating unit between the feature points to obtain the difference.
그리고 상기 제 2 최적 매칭쌍 추출부는, 제 1 최적 매칭쌍 추출부에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹을 하나의 그룹으로 만든 후, SVD(Singular Value Decomposition)를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산하는 그룹간 회전 및 이동량 산출부와,회전량 R과 이동량 T를 이용하여, P1와 P2 간의 매칭 쌍 간의 최대 오차가 문턱값 이내인 경우, 두 그룹을 하나로 합치는 유사도 판정부와,그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부를 포함하는 것을 특징으로 한다.In addition, after the calculation of the K matching pairs is completed in the first optimal matching pair extracting unit, the second optimal matching pair extracting unit creates two groups in which the support group is generated as a single group, and then a SVD (Singular Value Decomposition) ) To calculate the amount of rotation between G i and G i+j , the amount of rotation and movement between groups to calculate the amount of movement T, and the maximum error between matching pairs between P 1 and P 2 using the amount of rotation R and amount of movement T. When is within a threshold, a similarity determination unit that combines two groups into one, and a group merging unit that repeatedly calculates rotation and movement amounts between groups and similarity determination between groups to store the combined results of the support groups in COMB_SET. do.
그리고 상기 제 3 최적 매칭쌍 추출부는, 상기 제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출부와,지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정부와,최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합부를 포함하는 것을 특징으로 한다.In addition, the third optimal matching pair extracting unit, a winner group extracting unit storing the group to which the largest matching pair among COMB_SET stored in the second optimal matching pair extracting unit belongs, in the winner group, and the support group G i is the winner group A similarity determination unit that determines whether a matching pair does not belong to and determines the similarity by calculating the rotation amount R and the moving amount T with the winner group through SVD, and G i if the maximum error is within a threshold group WINNER).
다른 목적을 달성하기 위한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 방법은 글로벌 이미지 집합 생성 단계에 의해 구축된 글로벌 이미지 집합 내에서 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색 단계;로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하는 제 1 최적 매칭쌍 추출 단계;매칭 쌍 간의 최대 오차가 문턱값(threshold) 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출 단계;제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출 단계;를 포함하는 것을 특징으로 한다.A method for estimating the initial position of a mobile robot according to the present invention for achieving another object is a similar global image search step of performing the most similar global image search within a global image set constructed by the global image set generation step; The first optimal matching pair extraction step of extracting the feature information of the global image most similar to the feature information of each and matching the feature information and then extracting the matched pairs to calculate the distance between the feature points; the maximum error between matching pairs is the threshold value ( threshold), a second optimal matching pair extraction step of combining the two groups into one to determine similarity and storing the combined results of the support groups in COMB_SET; the largest matching pair of COMB_SET stored in the second optimal matching pair extraction step And a third optimal matching pair extraction step of storing the group in the winner group and merging with the winner group by determining similarity.
여기서, 상기 글로벌 이미지 집합 생성 단계는, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리 단계와,좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭 단계와,추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환 단계와,이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장 단계를 포함하는 것을 특징으로 한다.Here, the global image set generation step includes: an image pre-processing step of fetching the i-th picture from the photographed stereo image set H, dividing it into a left and right image, and performing a pre-processing process for extracting feature information, and a left and right image A feature extraction and matching step of extracting features from and matching the extracted features, and a three-dimensional feature point transformation step of converting the extracted feature points into three-dimensional coordinates (x,y,z), and at the time the image was taken. Comprising the step of storing the mobile robot position information, feature information of the feature point, coordinate information of the feature point in the global image set W i by calculating the location of the mobile robot, and storing the feature point information proceeding through the entire stereo image taken It is characterized by.
그리고 상기 유사 글로벌 이미지 검색 단계는, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리 단계와,추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행 단계와,상기 특징 매칭 수행 단계에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인 단계를 포함하는 것을 특징으로 한다.In addition, the similar global image search step includes an image pre-processing step of performing image pre-processing and feature extraction on one local image taken at the current location and M global images in the global image set, and based on the extracted features. A feature matching step of performing feature matching of M images and a local image, and when feature extraction is completed for M global images in the feature matching step, index N of a global image matching the most current feature with the current local image It characterized in that it comprises a step of verifying a similar global image.
그리고 상기 제 1 최적 매칭쌍 추출 단계는, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출 단계와,C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭 단계와,i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과인 경우에 매칭쌍 간의 비교 연산이 모두 끝났는지(i < K?) 확인하는 단계와,로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점간 거리 산출 단계를 포함하는 것을 특징으로 한다.And the first optimal matching pair extraction step, the feature extraction step of extracting each of the D feature information of the Nth global image most similar to the C feature information of the local image, and the C local image feature information and D most similar After matching the global image feature information, the feature matching step of extracting matched pairs (K), i = 1 to K-1, j = 1 to Ki, P is the matched feature point pair result The step of checking whether all comparison operations between matching pairs have been completed (i <K?) , and the P 2,i th (A) of the global image most similar to the P 1,i th feature point coordinates of the local image, and And a step of calculating a distance between feature points to obtain a difference between the P 2,i+j th (B) of the global image most similar to the P 1,i+j th feature point coordinates.
그리고 특징점간 거리 산출 단계는 And the step of calculating the distance between feature points
그리고 상기 제 2 최적 매칭쌍 추출 단계는, 제 1 최적 매칭쌍 추출 단계에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹을 하나의 그룹으로 만든 후, SVD(Singular Value Decomposition)를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산하는 그룹간 회전 및 이동량 산출 단계와,회전량 R과 이동량 T를 이용하여, P1와 P2 간의 매칭 쌍 간의 최대 오차가 문턱값 이내인 경우, 두 그룹을 하나로 합치는 유사도 판정 단계와,그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합 단계를 포함하는 것을 특징으로 한다.In the second optimal matching pair extraction step, after the calculation of the K matching pairs is completed in the first optimal matching pair extraction step, the two groups in which the support group is generated are formed into one group, and then the SVD (singular value) is generated. Decomposition) to calculate the amount of rotation R and the amount of rotation T between G i and G i+j , and the steps of calculating the amount of rotation and the maximum amount between matching pairs between P 1 and P 2 using the amount of rotation R and the amount of movement T. If the error is within a threshold, a similarity determination step of merging the two groups into one, and a group merging step of repeating the rotation and movement amount calculation between groups and the similarity determination between groups to store the combined results of the support groups in COMB_SET. It is characterized by.
그리고 상기 제 3 최적 매칭쌍 추출 단계는, 상기 제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출 단계와,지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정 단계와,최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합 단계를 포함하는 것을 특징으로 한다.In the third optimal matching pair extraction step, the winner group extraction step of storing the group to which the largest matching pair belongs among the COMB_SET stored in the second optimal matching pair extraction step in the winner group, and the support group G i are winners A similarity determination step of determining the similarity by determining whether the matching pair does not belong to the group and calculating the rotation amount R and the moving amount T with the winner group through SVD, and G i if the maximum error is within a threshold value. And a group merging step to merge with (WINNER).
이상에서 설명한 바와 같은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 다음과 같은 효과가 있다.The apparatus and method for estimating the initial position of the mobile robot according to the present invention as described above has the following effects.
첫째, 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한다.First, it is possible to more accurately estimate the initial position of the robot using geometric information of 3D feature points in the image obtained through the stereo camera.
둘째, 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있다.Second, among the image information obtained based on the stereo camera sensor, it is possible to lower the mismatch rate and to estimate the accurate position more quickly through feature point matching with matched global image data using geometric information of 3D feature points.
셋째, 정확하게 로봇의 초기 위치를 추정할 수 있도록 하여 현재 로봇의 위치를 기반으로 목적지까지 유도하는 시스템에 적용하여 시스템의 효율적인 운용이 가능하도록 한다.Third, it is possible to accurately estimate the initial position of the robot and apply it to a system that leads to a destination based on the current position of the robot, thereby enabling efficient operation of the system.
넷째, 공장 또는 물류 등 산업현장에서 모바일 로봇이 운행 중에 갑작스럽게 정지가 되어 다른 위치로 옮겨가 재가동 되는 경우 또는 주행 중 매칭 오류로 인해 위치 추정에 실패할 경우에도 정확하게 로봇의 초기 위치를 추정할 수 있도록 한다.Fourth, it is possible to accurately estimate the initial position of the robot even if the mobile robot is suddenly stopped during operation in a factory or logistics, etc., and then moves to another location and restarts, or if the location estimation fails due to a matching error while driving. To make.
도 1은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치의 구성도
도 2는 글로벌 이미지 집합 생성부의 상세 구성도
도 3은 유사 글로벌 이미지 검색부의 상세 구성도
도 4는 제 1 최적 매칭쌍 추출부의 상세 구성도
도 5는 제 2 최적 매칭쌍 추출부의 상세 구성도
도 6은 제 3 최적 매칭쌍 추출부의 상세 구성도
도 7은 이미지 전처리 과정을 나타낸 플로우 차트
도 8은 글로벌 이미지 집합 생성 과정을 나타낸 플로우 차트
도 9는 유사한 글로벌 이미지 서칭 방법을 나타낸 플로우 차트
도 10은 추출된 특징의 3D 좌표변환 방법을 나타낸 구성도
도 11은 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
도 12는 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트
도 13은 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트1 is a block diagram of an apparatus for estimating an initial position of a mobile robot according to the present invention
2 is a detailed configuration diagram of a global image set generation unit
3 is a detailed configuration diagram of a similar global image search unit
4 is a detailed configuration diagram of the first optimal matching pair extraction unit
5 is a detailed configuration diagram of the second optimal matching pair extraction unit
6 is a detailed configuration diagram of a third optimal matching pair extraction unit
7 is a flow chart showing an image pre-processing process
8 is a flow chart showing the process of generating a global image set
9 is a flow chart showing a similar global image search method
10 is a configuration diagram showing a 3D coordinate transformation method of the extracted features
11 is a flow chart showing a first-order optimal matching pair extraction method using a geometric structure
12 is a flow chart showing a method of extracting a second optimal matching pair using a geometric structure
13 is a flow chart showing a third-order optimal matching pair extraction method using a geometric structure
이하, 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an apparatus and method for estimating an initial position of a mobile robot according to the present invention will be described in detail.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of an apparatus and method for initial position estimation of a mobile robot according to the present invention will become apparent through detailed description of each embodiment below.
도 1은 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치의 구성도이다.1 is a configuration diagram of an apparatus for initial position estimation of a mobile robot according to the present invention.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 것이다.An apparatus and method for estimating an initial position of a mobile robot according to the present invention is to enable more accurate estimation of an initial position of a robot using geometric information of 3D feature points in an image obtained through a stereo camera.
이를 위하여 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하고, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화를 수행 후 이미지 내 특징을 추출하는 구성을 포함할 수 있다.To this end, an apparatus and method for initial position estimation of a mobile robot according to the present invention perform camera calibration to extract internal and external parameters of a stereo camera sensor, and obtain the current position using the extracted camera internal and external parameters It may include a configuration for extracting features in the image after performing the rectification and grayscale the image.
본 발명은 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하고, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화 하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭을 수행하는 구성을 포함할 수 있다.The present invention extracts the global image in which the most feature data matching occurs through the feature point matching between the extracted feature and the global image data, and 3D coordinates the feature data of the global image and the image data obtained from the current location to base the geometric structure. It may include a configuration for performing the matching using the feature point matching method.
또한, 본 발명은 매칭된 3D 특징점들을 SVD(Singular Value Decomposition) 방식을 이용하여 이동량 및 회전량을 계산하여 초기 위치 추정하는 구성을 포함할 수 있다.In addition, the present invention may include a configuration for estimating the initial position by calculating the amount of movement and the amount of rotation of the matched 3D feature points using a SVD (Singular Value Decomposition) method.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치는 도 1에서와 같이, 특징 정보 추출을 위한 전처리 과정을 수행하고 좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하고, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하여 특징점 정보를 저장하는 글로벌 이미지 집합 생성부(10)와, 글로벌 이미지 집합 생성부(10)에 의해 구축된 글로벌 이미지 집합 내에서 현재 위치와 유사한 지점을 1차로 추출하기 위해 가장 유사한 글로벌 이미지 서칭을 수행하는 유사 글로벌 이미지 검색부(20)와, 기하학적 구조를 이용하여 오매칭을 걸러내기 위하여 로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하고, 서로 매칭된 쌍들의 특징점 간 거리 산출하는 제 1 최적 매칭쌍 추출부(30)와, 지원 그룹이 생성된 두 개의 그룹을 하나의 그룹으로 만든 후, SVD를 이용해 회전량 및 이동량을 계산하고, 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부(40)와, 제 2 최적 매칭쌍 추출부(40)에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장하고, 유사도 판정을 하여 최대 오차가 threshold 이내인 경우 WINNER와 병합하는 제 3 최적 매칭쌍 추출부(50)를 포함한다.The apparatus for estimating the initial position of the mobile robot according to the present invention performs a pre-processing process for extracting feature information, extracts features from left and right images, performs matching of extracted features, and extracts as shown in FIG. 1. The global
글로벌 이미지 집합 생성부(10)의 상세 구성은 다음과 같다.The detailed configuration of the global image set
도 2는 글로벌 이미지 집합 생성부의 상세 구성도이다.2 is a detailed configuration diagram of a global image set generation unit.
글로벌 이미지 집합 생성부(10)는 도 2에서와 같이, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부(11)와, 좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부(12)와, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부(13)와, 이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체(i=1~Q, Q는 맵 생성을 위해 촬영된 이미지 수)에 걸쳐서 진행하는 특징점 정보 저장부(14)를 포함한다.The global image set
유사 글로벌 이미지 검색부(20)의 상세 구성은 다음과 같다.The detailed configuration of the similar global
도 3은 유사 글로벌 이미지 검색부의 상세 구성도이다.3 is a detailed configuration diagram of a similar global image search unit.
유사 글로벌 이미지 검색부(20)는 도 3에서와 같이, 현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부(21)와, 추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부(22)와, 특징 매칭 수행부(22)에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부(23)를 포함한다.The similar global
제 1 최적 매칭쌍 추출부(30)의 상세 구성은 다음과 같다.The detailed configuration of the first optimal matching
도 4는 제 1 최적 매칭쌍 추출부의 상세 구성도이다.4 is a detailed configuration diagram of the first optimal matching pair extraction unit.
제 1 최적 매칭쌍 추출부(30)는 도 4에서와 같이, 로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부(31)와, C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부(32)와, 특징 매칭부(32)에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부(33)와, 로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부(34)를 포함한다.As shown in FIG. 4, the first optimal matching
제 2 최적 매칭쌍 추출부(40)의 상세 구성은 다음과 같다.The detailed configuration of the second optimal matching
도 5는 제 2 최적 매칭쌍 추출부의 상세 구성도이다.5 is a detailed configuration diagram of a second optimal matching pair extraction unit.
제 2 최적 매칭쌍 추출부(40)는 도 5에서와 같이, 제 1 최적 매칭쌍 추출부(30)에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹을 하나의 그룹으로 만든 후, SVD를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산하는 그룹간 회전 및 이동량 산출부(41)와, 회전량 R과 이동량 T를 이용하여, P1와 P2 간의 매칭 쌍 간의 최대 오차가 threshold 이내인 경우, 두 그룹을 하나로 합치는 유사도 판정부(42)와, 그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부(43)를 포함한다.As shown in FIG. 5, after the calculation of the K matching pairs is completed in the first optimal matching
제 3 최적 매칭쌍 추출부(50)의 상세 구성은 다음과 같다.The detailed configuration of the third optimal matching
도 6은 제 3 최적 매칭쌍 추출부의 상세 구성도이다.6 is a detailed configuration diagram of a third optimal matching pair extraction unit.
제 3 최적 매칭쌍 추출부(50)는 도 6에서와 같이, 제 2 최적 매칭쌍 추출부(40)에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장하는 승자 그룹 추출부(51)와, 지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 WINNER와의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정부(52)와, 최대 오차가 threshold 이내인 경우 Gi를 WINNER와 병합하는 그룹 병합부(53)를 포함한다.As shown in FIG. 6, the third optimal matching
이와 같은 구성을 갖는 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치에서의 모바일 로봇의 초기 위치 추정 방법을 구체적으로 설명하면 다음과 같다.The method for estimating the initial position of the mobile robot in the apparatus for estimating the initial position of the mobile robot according to the present invention having such a configuration will be described in detail as follows.
본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 방법은 크게 스테레오 카메라 센서의 내,외부 파라미터를 추출하기 위한 카메라 캘리브레이션을 수행하는 단계와, 추출된 카메라 내,외부 파라미터를 이용하여 현재 위치에서 얻은 이미지를 조정(rectification) 및 그레이스케일(grayscale)화 수행 후 이미지 내 특징 추출을 하는 단계와, 추출된 특징과 글로벌 이미지 데이터와의 특징점 매칭을 통해 최다 특징 데이터 매칭이 발생한 글로벌 이미지 추출을 하는 단계와, 글로벌 이미지의 특징 데이터와 현재 위치에서 얻은 이미지의 특징 데이터를 3D 좌표화하여 기하학적 구조기반 특징점 매칭법을 이용하여 매칭 수행을 하는 단계와, 매칭된 3D 특징점들을 SVD 방식을 이용하여 이동량 및 회전량을 계산하여 초기 위치 추정을 하는 단계를 포함한다.The method for estimating the initial position of the mobile robot according to the present invention is largely performed by performing camera calibration to extract internal and external parameters of the stereo camera sensor, and images obtained at the current position using the extracted camera internal and external parameters. And extracting features in the image after performing rectification and grayscale, and extracting a global image in which the most feature data matching occurs by matching feature points between the extracted feature and global image data. Performing 3D coordinates of the feature data of the global image and the feature data of the image obtained from the current location to perform matching using a geometric-based feature point matching method, and the amount of movement and rotation amount of the matched 3D feature points using the SVD method And calculating an initial position estimation.
먼저, 이미지 전처리 과정을 설명하면 다음과 같다.First, the image preprocessing process will be described as follows.
도 7은 이미지 전처리 과정을 나타낸 플로우 차트이다.7 is a flow chart showing an image pre-processing process.
스테레오 카메라로 얻은 이미지 정보로부터 거리 정보를 측정하기 위해서는 카메라의 내/외부 파라미터가 필요하다.In order to measure the distance information from the image information obtained by the stereo camera, internal/external parameters of the camera are required.
카메라 내/외부 파라미터를 얻기 위해 캘리브레이션(Calibration)을 수행한다.Calibration is performed to obtain internal/external camera parameters.
캘리브레이션을 수행하기 위해 체커보드를 카메라 앵글 범위 내에서 다각도로 촬영을 수행한다.In order to perform calibration, the checkerboard is photographed at various angles within the camera angle range.
캘리브레이션 과정은 카메라 내/외부 파라미터를 얻기 위하여 체커보드 촬영을 수행하고, 촬영된 체커보드 사진을 분석하여 카메라 내/외부 파라미터를 추출한다.In the calibration process, checkerboard photographing is performed to obtain the inside/outside parameters of the camera, and the inside/outside parameters of the camera are extracted by analyzing the photographed checkerboard photos.
이어, 이미지 거리 정보 획득을 위하여, 스테레오 이미지를 획득하고 해당 이미지에 캘리브레이션으로 얻어진 카메라 내/외부 파라미터를 이용하여 스테레오 매칭을 위한 조정(Rectification)을 한다.Subsequently, in order to acquire the image distance information, a stereo image is acquired and adjustment for stereo matching is performed using internal/external parameters obtained by calibration of the corresponding image.
그리고 특징 정보 추출을 위한 전처리 과정으로, 스테레오 매칭을 위한 조정(Rectification)이 행해진 이미지에 그레이스케일 처리를 수행한다.In addition, as a pre-processing process for extracting feature information, grayscale processing is performed on an image on which rectification for stereo matching has been performed.
그리고 글로벌 이미지 집합 생성 과정을 설명하면 다음과 같다.And the process of creating a global image set is as follows.
도 8은 글로벌 이미지 집합 생성 과정을 나타낸 플로우 차트이다.8 is a flow chart showing the process of generating a global image set.
글로벌 이미지 집합 생성 과정은 모바일 로봇의 초기 위치 추정을 위한 데이터베이스 구축 과정으로 다음과 같은 과정을 포함한다.The global image set creation process is a database construction process for estimating the initial position of the mobile robot and includes the following process.
먼저, 이미지 전처리 과정으로, 촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌,우측 이미지로 분할하고 이후 특징 정보 추출을 위한 전처리 과정을 수행한다.(S801)First, as an image pre-processing process, the i-th picture is taken from the photographed stereo image set H, divided into left and right images, and then pre-processed for feature information extraction (S801).
그리고 특징 추출 및 매칭 과정으로, 좌,우측 이미지에서 특징을 추출하고(S802) 추출된 특징들의 매칭을 수행한다.(S803)Then, as a feature extraction and matching process, features are extracted from the left and right images (S802) and matching of the extracted features is performed (S803).
이어, 추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환과정을 수행한다.(S804)Subsequently, a feature point three-dimensional transformation process of converting the extracted feature points into three-dimensional coordinates (x,y,z) is performed (S804).
그리고 이미지가 촬영된 시점에서의 AGV 위치를 연산하여(S805) AGV 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를(S806) 글로벌 이미지 집합 Wi에 저장한다.(S807)Then, the AGV position at the time the image was taken is calculated (S805), and the AGV position information, feature information of the feature point, and coordinate information of the feature point (S806) are stored in the global image set W i (S807).
이 과정을 촬영된 스테레오 이미지 전체(i=1~Q, Q는 맵 생성을 위해 촬영된 이미지 수)에 걸쳐서 진행한다.This process is carried out over the entire stereo image (i=1 to Q, Q is the number of images taken to generate the map).
그리고 유사 글로벌 이미지 서칭 방법을 설명하면 다음과 같다.And the similar global image searching method is as follows.
도 9는 유사한 글로벌 이미지 서칭 방법을 나타낸 플로우 차트이다.9 is a flow chart showing a similar global image searching method.
유사 글로벌 이미지 서칭 과정은 미리 촬영한 데이터베이스 W(글로벌 이미지 집합) 내에서 현재 위치와 유사한 지점을 1차로 추출하기 위해 가장 유사한 글로벌 이미지 서칭을 수행하는 것이다.The similar global image searching process is to perform the most similar global image searching in order to first extract a point similar to the current location in the database W (global image set) previously taken.
먼저, 이미지 전처리 과정으로, 현재 위치에서 촬영한 로컬 이미지(1개)와 글로벌 이미지 집합 내 글로벌 이미지들(M개)에 대해 모두 도 8에서와 같은 이미지 전처리를 하고(S901) 특징 추출을 수행한다.(S902)First, as an image pre-processing process, both the local image (1) captured at the current location and the global images (M) in the global image set are pre-processed as shown in FIG. 8 (S901) and feature extraction is performed. .(S902)
그리고 N번째 글로벌 이미지 특징을 로드하여(S903), 추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행한다.(S904)Then, the Nth global image feature is loaded (S903), and feature matching of M global images and local images is performed based on the extracted features (S904).
이어, 글로벌 이미지 M개에 대해 특징 추출이 완료한 후, 매칭쌍 개수를 확인하면서(S905), 최적 글로벌 이미지 인덱스 N(N은 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스)을 확인한다.(S906)Subsequently, after the feature extraction is completed for the M global images, while checking the number of matching pairs (S905), the optimal global image index N (N is the index of the current local image and the global image where the most features are matched) is checked. (S906)
그리고 추출된 특징의 3D 좌표변환 방법을 설명하면 다음과 같다.And the 3D coordinate transformation method of the extracted feature is as follows.
도 10은 추출된 특징의 3D 좌표변환 방법을 나타낸 구성도이다.10 is a configuration diagram showing a 3D coordinate transformation method of the extracted feature.
스테레오 카메라는 획득한 영상 정보를 통해 거리 정보를 측정할 수 있다는 장점이 있는데, 스테레오 영상(좌, 우 렌즈를 통해 얻은 2장의 영상)을 통해 거리 정보를 구하는 방법은 도 10에서와 같다.The stereo camera has an advantage in that distance information can be measured through the acquired image information. The method of obtaining the distance information through the stereo image (two images obtained through the left and right lenses) is as shown in FIG. 10.
그리고 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.And the first optimal matching pair extraction method using a geometric structure will be described as follows.
도 11은 기하학적 구조를 이용한 1차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.11 is a flow chart showing a first-order optimal matching pair extraction method using a geometric structure.
도 9에서의 유사 글로벌 이미지 서칭 방법을 통한 특징 매칭 결과를 이용할 수도 있으나, 이 경우 오매칭이 발생한다는 단점이 있다.The feature matching result through the similar global image searching method in FIG. 9 may be used, but in this case, there is a disadvantage that mismatching occurs.
따라서, 본 발명에서는 기하학적 구조를 이용하여 오매칭을 걸러낼 수 있도록 한다.Therefore, in the present invention, mismatching can be filtered out using a geometric structure.
먼저, 특징 추출 단계로, 로컬 이미지(S1101)와 가장 유사한 글로벌 이미지(도면 8의 N번째 이미지)의 특징을 각각 추출한다.(S1102)First, in the feature extraction step, features of the global image (the Nth image in FIG. 8) most similar to the local image S1101 are respectively extracted (S1102).
로컬 이미지의 특징 정보는 C개이며, 매칭된 글로벌 이미지의 특징 정보는 D개이다.There are C characteristic information of the local image, and D characteristic information of the matched global image.
이어, 특징 매칭 단계로, C개의 특징 정보(로컬 이미지)와 D개의 특징 정보(가장 유사한 글로벌 이미지)를 매칭 후 서로 매칭된 쌍(K개)을 추출한다.(S1103)Subsequently, as a feature matching step, after matching C feature information (local image) and D feature information (most similar global image), matching pairs (K) are extracted. (S1103)
그리고 매칭쌍 간의 비교 연산이 모두 끝났는지 확인(i < K?)한다. 매칭쌍이 K개이므로 K-1번째까지 연산이 이루어져야 한다.Then, it is checked whether all comparison operations between matching pairs have been completed (i <K?). Since there are K matching pairs, calculation must be performed until the K-1th.
i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과이고, i < K (i < K?가 Y일 경우)는 아직 모든 매칭쌍에 대해 연산이 이루어지지 않은 상태이다.i = 1 to K-1, j = 1 to Ki, P is the result of the matched feature point pair, and i <K (if i <K? is Y) is still calculated for all matching pairs It has not been lost.
이어, 로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 수학식 1을 통하여 구한다.(S1104)(S1105)Subsequently, the P 2,i th (A) of the global image most similar to the P 1,i th feature point coordinates of the local image and the P 2,i of the global image most similar to the P 1,i+j th feature point coordinates of the local image The difference between the +j- th (B) is obtained through Equation (S1104) (S1105).
j를 i부터 K-i까지 하나씩 증가하면서 위 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 그룹으로 묶고, 일정 값 이상일 경우는 그룹으로 생성하지 않고 넘어가고, 이후 i를 K-1까지 증가시키며 위 과정을 반복한다.(S1106)As j increases from i to Ki one by one, if the value obtained through the above formula is less than a certain value, it is preferentially grouped, and if it is more than a certain value, it is skipped without being created as a group, and then i is increased to K-1. Repeat the process. (S1106)
i > K (i < K?가 N일 경우) K개의 매칭쌍에 대한 계산이 완료된 것으로 판단한다.i> K (when i <K? is N) It is determined that calculation of K matching pairs is completed.
그리고 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.And the second optimal matching pair extraction method using a geometric structure will be described as follows.
도 12는 기하학적 구조를 이용한 2차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.12 is a flow chart showing a method of extracting a second optimal matching pair using a geometric structure.
K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹 G에 대해 2차 알고리즘을 수행하다. Gi에서 i는 지원 그룹이 생성된 쌍의 개수이므로 K보다 작거나 같다.After the calculation of the K matching pairs is completed, a quadratic algorithm is performed on the support group G. In G i , i is less than or equal to K because the number of pairs in which the support group was created.
먼저, 두 개의 그룹을 하나의 그룹으로 만든 후, SVD를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산한다.(S1201)First, two groups are made into one group, and then the amount of rotation R and the amount of movement T between G i and G i+j are calculated using SVD (S1201).
이어, 구해진 회전량 R, 이동량 T를 이용하여 구룹 간 유사도 판정을 하여 P1와 P2 간의 매칭 쌍 간의 최대 오차가 threshold 이내인 경우(S1202), 두 그룹을 하나로 병합한다.(S1203)Subsequently, by determining the similarity between groups using the obtained rotation amount R and the movement amount T, when the maximum error between matching pairs between P 1 and P 2 is within a threshold (S1202), the two groups are merged into one (S1203).
더 이상 병합이 일어나지 않을 때까지 상기 단계를 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장한다.The above steps are repeated until no further merging occurs, and the result of combining the support groups is stored in COMB_SET.
그리고 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 설명하면 다음과 같다.And the third-order optimal matching pair extraction method using a geometric structure is as follows.
도 13은 기하학적 구조를 이용한 3차 최적 매칭쌍 추출 방법을 나타낸 플로우 차트이다.13 is a flow chart showing a method of extracting a third-order optimal matching pair using a geometric structure.
먼저, 승자 그룹 추출 단계로, COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 WINNER(승자 그룹)에 저장한다.(S1301)First, as a winner group extraction step, a group to which the most matching pairs of COMB_SET belongs is stored in WINNER (S1301).
이어, 승자 그룹과의 유사도 판정 단계로, 지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 WINNER와의 회전량 R, 이동량 T를 계산한다.(S1302)Subsequently, in a similarity determination step with the winner group, it is determined whether the support group G i is a matching pair that does not belong to the winner group, and the rotation amount R and the movement amount T with the WINNER are calculated through SVD (S1302).
그리고 최대 오차가 threshold 이내인 경우(S1303) Gi를 WINNER와 병합한다.(S1304)And when the maximum error is within the threshold (S1303), G i is merged with WINNER. (S1304)
이후 i를 N(지원 그룹의 수-승자 그룹에 속한 지원 그룹 수)까지 증가시키면서 유사도 판정 및 병합을 진행한다.Thereafter, i is increased to N (the number of support groups-the number of support groups belonging to the winner group), and similarity determination and merging are performed.
i > N이면, 승자 그룹에 속하지 않은 모든 지원 그룹에 대해 유사도 판정 및 병합이 이루어진 것으로 판단한다.If i> N, it is determined that similarity determination and merging have been performed for all support groups not belonging to the winner group.
이상에서 설명한 본 발명에 따른 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법은 스테레오 카메라를 통해 얻은 이미지 내의 3차원 특징점의 기하학적 정보를 이용하여 보다 정확하게 로봇의 초기 위치를 추정할 수 있도록 한 것이다.The apparatus and method for estimating the initial position of the mobile robot according to the present invention described above is to make it possible to more accurately estimate the initial position of the robot using the geometric information of the 3D feature points in the image obtained through the stereo camera.
본 발명은 스테레오 카메라 센서를 기반으로 얻은 이미지 정보 중에서 3D 특징점의 기하학적 정보를 이용하여 매칭된 글로벌 이미지 데이터와의 특징점 매칭을 통해 오매칭률을 낮추고 보다 빠르게 정확한 위치를 추정할 수 있도록 한 것이다.The present invention is to make it possible to lower the mismatch rate and estimate an accurate position more quickly through feature point matching with matched global image data using geometric information of 3D feature points among image information obtained based on a stereo camera sensor.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.It will be appreciated that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention as described above.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments are to be considered in terms of explanation rather than limitation, and the scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range are included in the present invention. Should be interpreted.
10. 글로벌 이미지 집합 생성부 20. 유사 글로벌 이미지 검색부
30. 제 1 최적 매칭쌍 추출부 40. 제 2 최적 매칭쌍 추출부
50. 제 3 최적 매칭쌍 추출부10. Global image set
30. First optimal matching
50. Third optimal matching pair extraction unit
Claims (13)
로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하는 제 1 최적 매칭쌍 추출부;
매칭 쌍 간의 최대 오차가 문턱값(threshold) 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출부;
제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출부;를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.A similar global image search unit performing the most similar global image search within the global image set constructed by the global image set generation unit;
A first optimal matching pair extracting unit for extracting feature information of the global image most similar to the feature information of the local image, matching the feature information, and then extracting pairs matched with each other to calculate a distance between feature points;
A second optimal matching pair extracting unit that, when the maximum error between matching pairs is within a threshold, combines two groups into one to determine similarity, and stores the combined results of the support groups in COMB_SET;
And a third optimal matching pair extracting unit that stores the group to which the most matching pairs belong to among the COMB_SET stored in the second optimal matching pair extraction unit, and merges it with the winner group by determining similarity. A device for estimating the initial position of a device.
촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리부와,
좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭부와,
추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환부와,
이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the global image set generation unit,
An image pre-processing unit to load the i-th photo from the set stereo image set H, divide it into left and right images, and perform a pre-processing process for feature information extraction;
A feature extraction and matching unit that extracts features from the left and right images and performs matching of the extracted features;
A feature point 3D conversion unit for converting the extracted feature points into 3D coordinates (x,y,z);
A feature point that stores mobile robot location information, feature point feature information, and feature point coordinate information in a global image set W i by calculating the location of the mobile robot at the time the image was taken, and proceeds this process over the entire recorded stereo image. Apparatus for estimating the initial position of the mobile robot, characterized in that it comprises an information storage.
현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리부와,
추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행부와,
상기 특징 매칭 수행부에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the similar global image search unit,
An image pre-processing unit that performs image pre-processing and feature extraction on all 1 local images and M global images in the global image set,
A feature matching performer performing feature matching of M global images and local images based on the extracted features;
When feature extraction is completed for the M global images in the feature matching performing unit, an initial of the mobile robot characterized by including a similar global image confirmation unit that checks the index N of the global image matching the most current feature with the current local image. Device for location estimation.
로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출부와,
C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭부와,
상기 특징 매칭부에서 추출된 매칭쌍 간의 비교 연산이 모두 끝났는지 확인하는 비교 연산 판단부와,
로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점 간 거리 산출부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the first optimal matching pair extraction unit,
A feature extracting unit that extracts D feature information of the Nth global image most similar to the C feature information of the local image, and
A feature matching unit that matches C local image feature information and D most similar global image feature information and extracts pairs (K) matched to each other;
A comparison operation determination unit that checks whether all comparison operations between the matching pairs extracted from the feature matching unit have been completed;
The P 2,i th (A) of the global image most similar to the P 1,i th feature point coordinates of the local image , and the P 2,i+j of the global image most similar to the P 1,i+j th feature point coordinates of the local image. Apparatus for estimating the initial position of the mobile robot, characterized in that it comprises a distance calculating unit between the feature points to obtain the difference of the (B).
제 1 최적 매칭쌍 추출부에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹을 하나의 그룹으로 만든 후, SVD(Singular Value Decomposition)를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산하는 그룹간 회전 및 이동량 산출부와,
회전량 R과 이동량 T를 이용하여, P1와 P2 간의 매칭 쌍 간의 최대 오차가 문턱값 이내인 경우, 두 그룹을 하나로 합치는 유사도 판정부와,
그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the second optimal matching pair extraction unit,
After calculation of the K matching pairs is completed in the first optimal matching pair extracting unit, the two groups in which the support group is generated are made into one group, and then G i and G i+j using Singular Value Decomposition (SVD). A rotation and movement amount calculation unit between groups for calculating the rotation amount R and the movement amount T of the liver;
When the maximum error between matching pairs between P 1 and P 2 is within a threshold value using the rotation amount R and the movement amount T, a similarity determination unit that combines the two groups into one,
Device for estimating the initial position of the mobile robot, characterized in that it comprises a group merging unit for storing the combined results of the support groups in the COMB_SET by repeatedly calculating rotation and movement amounts between groups and determining similarity between groups.
상기 제 2 최적 매칭쌍 추출부에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출부와,
지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정부와,
최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합부를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 장치.The method of claim 1, wherein the third optimal matching pair extraction unit,
A winner group extracting unit for storing the group to which the most matching pairs belong to the COMB_SET stored in the second optimal matching pair extracting unit in a winner group (WINNER);
A similarity determination unit that determines whether the support group G i is a matching pair that does not belong to the winner group and determines the similarity by calculating the rotation amount R and the movement amount T with the winner group through the SVD,
Device for estimating the initial position of the mobile robot, characterized in that it comprises a group merger for merging G i with a winner group (WINNER) when the maximum error is within a threshold.
로컬 이미지의 특징 정보와 가장 유사한 글로벌 이미지의 특징 정보를 각각 추출하여 특징 정보를 매칭 후 서로 매칭된 쌍을 추출하여 특징점 간 거리를 산출하는 제 1 최적 매칭쌍 추출 단계;
매칭 쌍 간의 최대 오차가 문턱값(threshold) 이내인 경우, 두 그룹을 하나로 합쳐 유사도 판정을 하고, 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 제 2 최적 매칭쌍 추출 단계;
제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹에 저장하고, 유사도 판정을 하여 승자 그룹과 병합하는 제 3 최적 매칭쌍 추출 단계;를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.A similar global image search step of performing the most similar global image search within the global image set built by the global image set creation step;
A first optimal matching pair extraction step of extracting feature information of the global image most similar to the feature information of the local image, matching the feature information, and then extracting pairs matched with each other to calculate a distance between feature points;
A second optimal matching pair extraction step of combining two groups into one to determine similarity when the maximum error between matching pairs is within a threshold, and storing the combined results of the support groups in COMB_SET;
And a third optimal matching pair extraction step of storing the group to which the largest matching pair belongs among the COMB_SET stored in the second optimal matching pair extraction step in the winner group, and merging with the winner group by determining similarity. Method for initial position estimation of.
촬영된 스테레오 이미지 세트 H에서 i번째 사진을 불러와서 좌, 우측 이미지로 분할하고, 특징 정보 추출을 위한 전처리 과정을 수행하는 이미지 전처리 단계와,
좌,우측 이미지에서 특징을 추출하고 추출된 특징들의 매칭을 수행하는 특징 추출 및 매칭 단계와,
추출된 특징점들을 3차원 좌표(x,y,z)로 변환하는 특징점 3차원 변환 단계와,
이미지가 촬영된 시점에서의 모바일 로봇 위치를 연산하여 모바일 로봇 위치 정보, 특징점의 특징 정보, 특징점의 좌표 정보를 글로벌 이미지 집합 Wi에 저장하고, 이 과정을 촬영된 스테레오 이미지 전체에 걸쳐서 진행하는 특징점 정보 저장 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein the generating of the global image set comprises:
An image pre-processing step of retrieving the i-th photo from the photographed stereo image set H, dividing it into left and right images, and performing a pre-processing process for feature information extraction;
A feature extraction and matching step of extracting features from the left and right images and performing matching of the extracted features;
3D transforming the feature points to convert the extracted feature points into 3D coordinates (x,y,z),
A feature point that stores mobile robot location information, feature point feature information, and feature point coordinate information in a global image set W i by calculating the location of the mobile robot at the time the image was taken, and processes this process across the entire captured stereo image. Method for estimating the initial position of the mobile robot, characterized in that it comprises a step of storing information.
현재 위치에서 촬영한 로컬 이미지 1개와 글로벌 이미지 집합 내 M개 글로벌 이미지들에 대해 모두 이미지 전처리와 특징 추출을 수행하는 이미지 전처리 단계와,
추출된 특징을 기반으로 글로벌 이미지 M개와 로컬 이미지의 특징 매칭을 수행하는 특징 매칭 수행 단계와,
상기 특징 매칭 수행 단계에서 글로벌 이미지 M개에 대해 특징 추출이 완료되면 현재 로컬 이미지와 가장 많은 특징이 매칭된 글로벌 이미지의 인덱스 N을 확인하는 유사 글로벌 이미지 확인 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein the similar global image search step,
An image pre-processing step of performing image pre-processing and feature extraction for all one local image taken at the current location and M global images in the global image set;
A feature matching step of performing feature matching of M global images and local images based on the extracted features;
When the feature extraction is completed for the M global images in the feature matching step, a similar global image confirmation step of checking the index N of the global image matching the most current feature with the current local image is included. Method for initial position estimation.
로컬 이미지의 C개의 특징 정보와 가장 유사한 N번째 글로벌 이미지의 D개의 특징 정보를 각각 추출하는 특징 추출 단계와,
C개의 로컬 이미지 특징 정보와 D개의 가장 유사한 글로벌 이미지 특징 정보를 매칭 후 서로 매칭된 쌍(K개)을 추출하는 특징 매칭 단계와,
i = 1~K-1까지 증가, j=1부터 K-i까지 증가, P는 매칭된 특징점쌍 결과인 경우에 매칭쌍 간의 비교 연산이 모두 끝났는지(i < K?) 확인하는 단계와,
로컬 이미지의 P1,i번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i번째(A)와, 로컬 이미지의 P1,i+j번째 특징점 좌표와 가장 유사한 글로벌 이미지의 P2,i+j번째(B)의 차이를 구하는 특징점간 거리 산출 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein the first optimal matching pair extraction step,
A feature extraction step of extracting each of the D feature information of the Nth global image most similar to the C feature information of the local image;
A feature matching step of matching C local image feature information and D most similar global image feature information and extracting matched pairs (K);
i = 1 to K-1 increase, j = 1 to Ki increase, P is a matching feature point pair, in the case of the result of the comparison operation between the matching pair is all done (i <K?), and the step of checking,
The P 2,i th (A) of the global image most similar to the P 1,i th feature point coordinates of the local image , and the P 2,i+j of the global image most similar to the P 1,i+j th feature point coordinates of the local image. Method for estimating the initial position of the mobile robot, characterized in that it comprises the step of calculating the distance between the feature points to obtain the difference of the (B).
j를 i부터 K-i까지 하나씩 증가하면서 수식을 통해 구한 값이 일정 값보다 작을 경우 우선적으로 그룹으로 묶고, 일정 값 이상일 경우는 그룹으로 생성하지 않고, 이후 i를 K-1까지 증가시키며 특징점간 거리 산출 과정을 반복하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 10, wherein the step of calculating the distance between the feature points
When j is increased from i to Ki one by one and the value obtained through the formula is less than a certain value, it is preferentially grouped, and if it is higher than a certain value, it is not created as a group, and then i is increased to K-1 and distance between feature points is calculated. Method for estimating initial position of mobile robot, characterized by repeating the process.
제 1 최적 매칭쌍 추출 단계에서 K개의 매칭쌍에 대한 계산이 완료된 이후, 지원 그룹이 생성된 두 개의 그룹을 하나의 그룹으로 만든 후, SVD(Singular Value Decomposition)를 이용해 Gi와 Gi+j 간의 회전량 R, 이동량 T를 계산하는 그룹간 회전 및 이동량 산출 단계와,
회전량 R과 이동량 T를 이용하여, P1와 P2 간의 매칭 쌍 간의 최대 오차가 문턱값 이내인 경우, 두 그룹을 하나로 합치는 유사도 판정 단계와,
그룹 간 회전 및 이동량 계산, 그룹 간 유사도 판정을 반복하여 지원 그룹들의 결합 결과를 COMB_SET에 저장하는 그룹 병합 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.The method of claim 7, wherein the second optimal matching pair extraction step,
After the calculation of the K matching pairs is completed in the first optimal matching pair extraction step, the two groups in which the support group is created are formed into one group, and then G i and G i+j using Singular Value Decomposition (SVD). Between the group calculating the rotation amount R, the movement amount T between the rotation and the movement amount,
When the maximum error between matching pairs between P 1 and P 2 is within a threshold value using the rotation amount R and the movement amount T, a similarity determination step of combining the two groups into one,
Method for estimating the initial position of the mobile robot, characterized in that it comprises a group merging step of storing the combined results of the support groups in the COMB_SET by repeatedly calculating rotation and movement amounts between groups and determining similarity between groups.
상기 제 2 최적 매칭쌍 추출 단계에서 저장된 COMB_SET 중 제일 많은 매칭 쌍이 속한 그룹을 승자그룹(WINNER)에 저장하는 승자 그룹 추출 단계와,
지원 그룹 Gi가 승자 그룹에 속하지 않은 매칭 쌍인지 확인하고 SVD를 통해 승자그룹(WINNER)과의 회전량 R, 이동량 T를 계산하여 유사도 판정을 하는 유사도 판정 단계와,
최대 오차가 문턱값 이내인 경우 Gi를 승자그룹(WINNER)과 병합하는 그룹 병합 단계를 포함하는 것을 특징으로 하는 모바일 로봇의 초기 위치 추정을 위한 방법.
The method of claim 7, wherein the third optimal matching pair extraction step,
A winner group extraction step of storing the group to which the most matching pairs belong to the COMB_SET stored in the second optimal matching pair extraction step in the winner group (WINNER);
A similarity determination step of determining whether the support group G i is a matching pair that does not belong to the winner group, and determining the similarity by calculating the rotation amount R and the movement amount T with the winner group through the SVD;
A method for estimating an initial position of a mobile robot, comprising a group merging step of merging G i with a winner group (WINNER) when the maximum error is within a threshold.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190000713A KR102187311B1 (en) | 2019-01-03 | 2019-01-03 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190000713A KR102187311B1 (en) | 2019-01-03 | 2019-01-03 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200084615A true KR20200084615A (en) | 2020-07-13 |
| KR102187311B1 KR102187311B1 (en) | 2020-12-07 |
Family
ID=71570955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190000713A KR102187311B1 (en) | 2019-01-03 | 2019-01-03 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102187311B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116956960A (en) * | 2023-07-28 | 2023-10-27 | 武汉市万睿数字运营有限公司 | Community visitor visit path restoration method and system based on cloud edge end collaboration |
| CN117647253A (en) * | 2023-11-21 | 2024-03-05 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | Vehicle high-precision positioning method based on V2V communication technology and high-precision map matching |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404640B1 (en) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | Method and system for image registration |
| KR101460313B1 (en) | 2013-05-24 | 2014-11-14 | 중앙대학교 산학협력단 | Apparatus and method for robot localization using visual feature and geometric constraints |
| KR20150067483A (en) | 2013-12-10 | 2015-06-18 | 고려대학교 산학협력단 | Method for localization of mobile robot using artificial landmark |
| KR20160002510A (en) * | 2014-06-30 | 2016-01-08 | 건국대학교 산학협력단 | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof |
| KR20180015961A (en) * | 2016-08-04 | 2018-02-14 | 영남대학교 산학협력단 | Method of estimating the location of object image-based and apparatus therefor |
-
2019
- 2019-01-03 KR KR1020190000713A patent/KR102187311B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404640B1 (en) * | 2012-12-11 | 2014-06-20 | 한국항공우주연구원 | Method and system for image registration |
| KR101460313B1 (en) | 2013-05-24 | 2014-11-14 | 중앙대학교 산학협력단 | Apparatus and method for robot localization using visual feature and geometric constraints |
| KR20150067483A (en) | 2013-12-10 | 2015-06-18 | 고려대학교 산학협력단 | Method for localization of mobile robot using artificial landmark |
| KR20160002510A (en) * | 2014-06-30 | 2016-01-08 | 건국대학교 산학협력단 | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof |
| KR20180015961A (en) * | 2016-08-04 | 2018-02-14 | 영남대학교 산학협력단 | Method of estimating the location of object image-based and apparatus therefor |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116956960A (en) * | 2023-07-28 | 2023-10-27 | 武汉市万睿数字运营有限公司 | Community visitor visit path restoration method and system based on cloud edge end collaboration |
| CN117647253A (en) * | 2023-11-21 | 2024-03-05 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | Vehicle high-precision positioning method based on V2V communication technology and high-precision map matching |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102187311B1 (en) | 2020-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199564B (en) | Indoor positioning method and device of intelligent mobile terminal and electronic equipment | |
| CN106780631B (en) | Robot closed-loop detection method based on deep learning | |
| Cieslewski et al. | Point cloud descriptors for place recognition using sparse visual information | |
| JP4985516B2 (en) | Information processing apparatus, information processing method, and computer program | |
| Miettinen et al. | Simultaneous localization and mapping for forest harvesters | |
| CN110717927A (en) | Indoor robot motion estimation method based on deep learning and visual inertial fusion | |
| JP6782903B2 (en) | Self-motion estimation system, control method and program of self-motion estimation system | |
| JP7131994B2 (en) | Self-position estimation device, self-position estimation method, self-position estimation program, learning device, learning method and learning program | |
| KR101715780B1 (en) | Voxel Map generator And Method Thereof | |
| KR20200063368A (en) | Unsupervised stereo matching apparatus and method using confidential correspondence consistency | |
| CN113008195B (en) | Three-dimensional curved surface distance measuring method and system based on space point cloud | |
| CN116222577B (en) | Closed loop detection method, training method, system, electronic equipment and storage medium | |
| KR102187311B1 (en) | Apparatus and Method for Estimating Initial Position of Mobile Robot | |
| CN116242374A (en) | Direct method-based multi-sensor fusion SLAM positioning method | |
| EP3970115A1 (en) | Method for determining depth from images and relative system | |
| CN112132950B (en) | Three-dimensional point cloud scene updating method based on crowdsourcing image | |
| Li et al. | UAV-based SLAM and 3D reconstruction system | |
| CN112129282B (en) | Method and device for converting positioning results among different navigation modes | |
| WO2021167910A1 (en) | A method for generating a dataset, a method for generating a neural network, and a method for constructing a model of a scene | |
| CN112487234A (en) | Track analysis method, equipment and storage medium based on split type hierarchical clustering | |
| Harisankar et al. | Unsupervised depth estimation from monocular images for autonomous vehicles | |
| CN115962773A (en) | Method, device and equipment for synchronous positioning and map construction of mobile robot | |
| Pop et al. | Next best view estimation for volumetric information gain | |
| CN115420276A (en) | Outdoor scene-oriented multi-robot cooperative positioning and mapping method | |
| KR101961687B1 (en) | Scene flow learning method for scene flow estimation and scene flow estimation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |