KR20110060315A - A method of recognizing self-localization for a road-driving robot - Google Patents

A method of recognizing self-localization for a road-driving robot Download PDF

Info

Publication number
KR20110060315A
KR20110060315A KR1020090116861A KR20090116861A KR20110060315A KR 20110060315 A KR20110060315 A KR 20110060315A KR 1020090116861 A KR1020090116861 A KR 1020090116861A KR 20090116861 A KR20090116861 A KR 20090116861A KR 20110060315 A KR20110060315 A KR 20110060315A
Authority
KR
South Korea
Prior art keywords
road
landmark
image
virtual
moving
Prior art date
Application number
KR1020090116861A
Other languages
Korean (ko)
Other versions
KR101100827B1 (en
Inventor
이동훈
손수경
양광웅
박종환
이호길
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020090116861A priority Critical patent/KR101100827B1/en
Publication of KR20110060315A publication Critical patent/KR20110060315A/en
Application granted granted Critical
Publication of KR101100827B1 publication Critical patent/KR101100827B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Abstract

PURPOSE: A self-positioning method of a road-driving robot is provided to stably recognize the accurate position by calculating a virtual position according to a driving distance measured by an odometer and increasing the accuracy of the position using landmarks in a road image. CONSTITUTION: A self-positioning method of a road-driving robot(10) is as follows. A driving distance from the previous position to a moved position is measured through an odometer(12). The positions of road landmarks are extracted from a road image captured by a camera(11) at the moved position. A plurality of virtual positions moved from the previous position by the driving distance are created. The moved position is estimated from the average of virtual positions, wherein the weighted values are calculated as the accuracy of the landmark positions on the image, the virtual images are weighted and sampled again. The position of the robot is calculated through repetition of the above steps.

Description

도로주행 로봇의 자기 위치 인식방법 { A method of recognizing self-localization for a road-driving robot }A method of recognizing self-localization for a road-driving robot}

본 발명은 카메라에서 촬상한 도로 이미지와 주행계로 측정한 주행거리를 이용하여, 도로를 주행하면서 자신의 위치를 파악하는 도로주행 로봇의 자기 위치 인식방법에 관한 것이다.The present invention relates to a magnetic position recognition method of a road driving robot that detects its own position while driving on a road using a road image captured by a camera and a travel distance measured by a travel system.

특히, 본 발명은 주행계에 의해 측정한 주행거리로부터 이동위치의 가상위치들을 구하고 평균하여 이동위치를 추정하되, 도로 이미지를 이용하여 가상위치들을 다시 샘플링하는 도로주행 로봇의 자기 위치 인식방법에 관한 것이다.In particular, the present invention relates to a method for recognizing a magnetic position of a road driving robot that obtains and averages virtual positions of a moving position from a driving distance measured by a traveling system, and estimates the moving position by resampling the virtual positions using a road image. will be.

또한, 본 발명은 촬상한 도로 이미지에서 꼭지점을 구하여 삼각법(Delaunary Triangulation)으로 영역을 분할하고, 대표 색들이 다른 영역들에 접하는 점을 랜드마크로 추출하는 도로주행 로봇의 자기 위치 인식방법에 관한 것이다.The present invention also relates to a method for recognizing a magnetic position of a road driving robot that obtains a vertex from an image of a road image and divides the area by a triangulation method and extracts a point where representative colors contact other areas as a landmark.

일반적으로 탑승형 이동로봇은 사람이나 물건을 원하는 목적지까지 이동시키는 기능이 있다. 즉, 탑승형 이동로봇은 목적지 버튼을 누르기만 하면 더 이상의 조작이 필요 없이 최적의 경로를 찾아 이동하기 때문에 누구나 쉽게 사용할 수 있으며, 주행 중에 예상치 못한 장애물이 나타난 경우에는 이를 감지하여 안전하게 정지한다.In general, a riding robot has a function of moving a person or object to a desired destination. That is, the riding-type mobile robot can be easily used by anyone by simply pressing the destination button without moving any further to find the optimum route. When an unexpected obstacle appears while driving, the robot stops safely.

이를 위해, 탑승형 이동로봇은 다음과 같은 기능을 갖추고 있어야 한다.For this purpose, the mobile robot should have the following functions.

먼저, 탑승형 이동로봇은 벽 및 연석, 장애물, 차선, 표지판, 현 위치 등을 인식하기 위한 기술로서, 레이저 거리 측정기, 카메라, GPS, 엔코더 등을 사용한다. 또, 인식된 신호를 통합 분석하여 로봇의 위치와 지형지물 및 인접 장애물의 상대 움직임을 판단하고, 목적지를 향한 적절한 이동경로 및 동작패턴을 생성하는 기술로서, 확률판단 및 학습, 최적화 알고리즘 등을 사용한다.First, as a technology for recognizing walls and curbs, obstacles, lanes, signs, current positions, and the like, the boarding mobile robot uses a laser range finder, a camera, a GPS, an encoder, and the like. In addition, by using the integrated analysis of the recognized signal to determine the position of the robot, the relative movement of the feature and the adjacent obstacle, and to generate the appropriate movement path and motion pattern toward the destination, it uses probability judgment, learning, optimization algorithm, etc. do.

특히, 자신의 위치를 정확히 파악하는 기술, 즉 정밀한 로컬라이제이션(localization)이 필수적이다.In particular, a technique for accurately identifying its own location, that is, precise localization is essential.

이동 로봇이 자기 위치를 인식하는 기술의 일례가 [한국공개특허 2005-0020614 (2005.03.04 공개), "인공마크를 이용한 지능형 시스템의 자기위치인식장치 및방법과 이를 이용한 지능형 시스템"](이하 선행기술 1)에 제시되고 있다. 상기 선행기술 1은 카메라에 의해 촬상된 화상으로부터 카메라가 마크를 바라보는 위치에 상관없이 검출가능한 인공마크를 구성하여, 인공마크를 주위환경에 부착하고 이 인공마크를 검출함으로써 자기 위치를 인식하는 기술에 관한 것이다.An example of a technology for recognizing a magnetic position of a mobile robot is [Korean Patent Laid-Open Publication 2005-0020614 (2005.03.04 publication), "Self-Location Recognition Apparatus and Method of Intelligent System Using Artificial Mark and Its Intelligent System"] The technique is presented in 1). The prior art 1 constitutes a detectable artificial mark from an image captured by the camera regardless of the position where the camera looks at the mark, attaches the artificial mark to the surrounding environment, and detects the artificial mark by detecting the artificial mark. It is about.

상기 선행기술 1은 인공마크에 의하여 자기 위치를 인식할 수 있으나, 모든 도로에 상기와 같은 인공마크를 설치하는 것은 현실적으로 불가능하다.The prior art 1 can recognize its position by an artificial mark, but it is practically impossible to install such an artificial mark on all roads.

상기와 같은 문제점을 해결하고자, 주변 환경을 카메라로 인식하여 자기위치를 결정하는 기술이 제시되고 있고, 그 일례가 [한국공개특허 2009-0088516 (2009.08.20 공개), "물체인식 및 인식된 물체를 포함하는 주변 환경 정보를 바탕으로 한 로봇의 자기 위치 추정 방법"](이하 선행기술 2)에 제시되고 있다. 상기 선행기술 2는 이동 로봇이 환경내의 개별 물체들을 비전 센서에 의해 인식을 하고, 인식된 물체와 인식된 물체를 포함하는 주변 환경(의 3차원) 정보를 주어진 지도(맵)를 기반으로 분석하여 자기의 위치를 추정(estimation)하는 기술을 제시하고 있다. 이때 카메라로 카메라부가 획득한 영상 내의 개별 물체를 인식하고, 개별 물체의 국소 특징점과 개별 물체를 포함하는 주변 환경의 국소 특징점의 카메라 좌표계 위치값을 생성하고, 그 위치값을 지도에 비교하여 로봇의 위치를 추정하는 기술이다.In order to solve the above problems, a technique for determining a magnetic position by recognizing a surrounding environment with a camera has been proposed. Method for estimating the magnetic position of the robot based on the surrounding environment information including the "" (hereinafter referred to as prior art 2). In the prior art 2, the mobile robot recognizes individual objects in the environment by using a vision sensor, and analyzes the surrounding environment (three-dimensional) information including the recognized object and the recognized object based on a given map (map). A technique for estimating one's position is proposed. At this time, the camera recognizes the individual objects in the image obtained by the camera unit, generates the camera coordinate system position values of the local feature points of the individual objects and the local feature points of the surrounding environment including the individual objects, and compares the position values with the map to A technique for estimating location.

상기 선행기술 2는 카메라의 비전만으로 자기 위치를 추정하므로, 개별 물체를 인식하는 정도에 전적으로 의존할 수밖에 없다. 그러나 카메라의 비전은 주변 환경(햇빛이 매우 밝거나 밤이라 어둡거나, 그늘이 지는 등)에 따라 인식의 정확도가 차이가 많이 난다. 고속으로 주행하는 도로 상에서 자기 위치 인식에 적용하기에는 현실적이지 못하다.Since the prior art 2 estimates the magnetic position only by the vision of the camera, it has no choice but to rely solely on the degree of recognition of the individual object. However, the camera's vision differs in accuracy depending on the surrounding environment (such as very bright sunlight, dark at night, or shade). It is not practical to apply magnetic location recognition on a road running at high speed.

상기와 같은 문제점을 해결하여 데드 레코닝(dead-reckining)과 거리 센싱(range sensing)를 이용하여 이동로봇의 위치를 인식하는 기술이 제시되고 있고, 그 기술의 일례가 [한국공개특허 2007-0054557(2007.05.29공개), "이동 로봇의 자 기 위치 인식 방법 및 장치"](이하 선행기술 3)에 제시되고 있다. 상기 선행기술 3은 자이로스코프(gyroscope) 등을 이용하여 이동 로봇의 운동에 따라서 변화되는 상태량을 감지하는 데드 레코닝(dead-reckining) 단계와, 악세서리 형태 또는 충전 스테이션 등을 이용하여 이동 로봇과 적어도 하나 이상의 고정 위치와의 거리를 센싱하고 이동 로봇의 절대 위치를 계산하는 단계와, 변화되는 상태량 및 계산된 절대 위치를 칼만 필터(Kalman filter)를 적용하여, 현재 상기 이동 로봇의 최적 위치를 추정하는 단계와, 결정된 현재 최적 위치가 소정의 유효 영역 내에 속하는가를 판단하고 교정하는 단계로 구분되는 방법을 제시하고 있다.In order to solve the above problems, a technique for recognizing the position of a mobile robot using dead-reckining and range sensing has been proposed, and an example of the technique is disclosed in Korea Patent Laid-Open Publication No. 2007-0054557. (Published May 29, 2007), "Method and Apparatus for Recognizing a Magnetic Position of a Mobile Robot"]. The prior art 3 is a dead-reckining step of detecting a state amount changed according to the movement of the mobile robot by using a gyroscope and the like, and an accessory form or a charging station or the like to at least Sensing a distance from at least one fixed position and calculating an absolute position of the mobile robot, and applying a Kalman filter to the changed amount of state and the calculated absolute position to estimate an optimal position of the mobile robot at present. The method is divided into a step and a step of determining and correcting whether the determined current optimum position falls within a predetermined effective area.

또, 주행거리와 카메라로 촬영한 영상을 이용하여 자기위치를 추정하는 기술의 일례가 [한국공개특허 2007-0113939(2007.11.29공개), "이동 로봇, 그 제어 방법 및 프로그램을 기록한 컴퓨터로판독 가능한 기록 매체"](이하 선행기술 4)에 제시되고 있다. 상기 선행기술 4는 추정된 현재의 주행 위치에 차륜 회전각 센서에 의해 검출한 주행 거리를 누적하여 현재의 주행 위치를 예측하고, 예측된 현재의 주행 위치 및 그 주변의 후보 위치에 카메라를 가상적으로 배치하여 촬상되는 에지 정보로 이루어지는 예측 에지 화상을 환경 레이아웃 정보에 기초하여 복수개 생성하고, 카메라로 촬영한 실제 화상으로부터 실제 에지 화상을 생성한다. 에지 화상과 복수의 예측 에지 화상을 비교하여 유사도가 최대가 되는 예측 에지 화상의 후보 위치를 주행 위치로 추정하여 주행 위치를 갱신한다.In addition, an example of a technique for estimating a magnetic position using a mileage and an image taken by a camera is disclosed in Korean Patent Laid-Open Publication No. 2007-0113939 (Nov. 29, 2007), "Mobile robot, a control method and a program recorded with a computer. Possible recording medium "] (hereinafter, referred to as prior art 4). The prior art 4 accumulates the driving distance detected by the wheel rotation angle sensor at the estimated current driving position to predict the current driving position, and virtually mounts the camera at the estimated current driving position and the candidate position around the estimated driving position. A plurality of predicted edge images composed of the edge information to be arranged and imaged are generated based on the environment layout information, and an actual edge image is generated from the actual images photographed by the camera. The running position is updated by comparing the edge image with the plurality of predictive edge images, estimating the candidate position of the predicted edge image having the maximum similarity as the traveling position.

상기 선행기술 3은 자이로스코프 등을 이용하는 데드 레코닝이나 거리 센싱을 위한 충전 스테이션 이용 등은 도로 주행시 위치를 인식하는 기술에 적용하기 어렵다는 문제점이 있다.The prior art 3 has a problem in that dead recording using a gyroscope or a charging station for distance sensing is difficult to apply to a technology for recognizing a position when driving on a road.

또, 상기 선행기술 4는 주변의 환경 이미지를 생성할 수 있을 정도로 정확한 환경정보를 가지고 있어야 하는 문제점이 있다. 즉, 미리 기억하고 있는 기둥이나 벽의 위치, 높이 등 환경 레이아웃 정보에 기초하여 예측된 현재의 주행 위치 및 그 주변의 후보 위치에 카메라를 가상적으로 배치하여 촬상되는 에지 정보로 이루어지는 예측 에지 화상을 복수개 생성해야 한다. 즉, 상기 선행기술 4는 집 내부처럼 제한된 공간에서 적용할 수 있으나, 도로주변의 환경 이미지를 모두 저장할 수 없기 때문에, 도로주행을 하는 로봇에는 적용하기 어렵다.In addition, the prior art 4 has a problem that must have accurate environmental information enough to generate a surrounding environment image. That is, a plurality of predicted edge images including edge information captured by virtually arranging a camera at a current driving position predicted based on the environmental layout information such as the position and height of a column or a wall stored in advance, and a candidate position in the vicinity thereof are obtained. Should be created. That is, the prior art 4 can be applied in a limited space, such as inside the house, but because it is not possible to store all the environment image around the road, it is difficult to apply to a robot driving on the road.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 카메라에서 촬상한 도로 이미지와 주행계로 측정한 주행거리를 이용하여, 도로를 주행하면서 자신의 위치를 파악하는 도로주행 로봇의 자기 위치 인식방법을 제공하는 것이다.An object of the present invention is to solve the problems described above, using the road image captured by the camera and the driving distance measured by the odometer, the magnetic position recognition of the road driving robot to determine its position while driving the road To provide a way.

또, 본 발명의 목적은 주행거리로부터 이동위치의 가상위치들을 구하고, 도로 이미지로부터 구한 랜드마크의 위치와 매치되는 정확도에 따라 가상위치를 가중평균하여 이동위치를 추정하는 도로주행 로봇의 자기 위치 인식방법을 제공하는 것이다.In addition, an object of the present invention is to obtain the virtual position of the moving position from the mileage, weighted average of the virtual position according to the accuracy matched with the position of the landmark obtained from the road image to recognize the magnetic position of the road running robot To provide a way.

또, 본 발명의 목적은 촬상한 도로 이미지에서 꼭지점을 구하여 삼각 법(Delaunary Triangulation)으로 영역을 분할하고, 대표 색들이 다른 영역들에 접하는 점을 랜드마크로 추출하는 도로주행 로봇의 자기 위치 인식방법을 제공하는 것이다.In addition, an object of the present invention is to obtain a vertex in the road image captured by the method to segment the area by a triangulation (Delaunary Triangulation), and to extract the point where the representative color is in contact with the other areas as a landmark as a self-recognition method of the road driving robot To provide.

상기 목적을 달성하기 위해 본 발명은 주행거리를 측정하는 주행계(odometer)와 주행 전면을 촬상하는 카메라를 장착한 도로주행 로봇의 자기 위치 인식방법에 관한 것으로서, (a) 상기 주행계를 통해 이전위치에서 이동위치까지 주행한 주행거리를 측정하는 단계; (b) 상기 카메라에 의해 촬상된 이동위치에서의 도로 이미지로부터 도로상의 랜드마크의 위치(이하 이미지상 랜드마크 위치)를 추출하는 단계; (c) 이전위치에서 주행거리만큼 이동했을 다수의 가상위치를 발생시키고 상기 가상위치의 평균으로 이동위치를 추정하되, 상기 이미지상 랜드마크 위치의 정확도로 상기 가중치를 구하여 가상위치를 가중하여 다시 샘플링하는 단계; 및 (d) 상기 (a) 내지 (c)단계를 반복하여 주행하는 자기 위치(또는 이동위치)를 구하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention relates to a method for recognizing a magnetic position of a road driving robot equipped with a odometer for measuring a mileage and a camera for photographing a front surface of the vehicle. Measuring the distance traveled from the position to the movement position; (b) extracting a position of a landmark on a road (hereinafter referred to as a landmark position on an image) from a road image at a moving position captured by the camera; (c) generate a plurality of virtual positions that would have moved by the distance from the previous position and estimate the movement position by the average of the virtual positions, obtain the weight with the accuracy of the landmark position on the image, weight the virtual position and sample again Making; And (d) obtaining a magnetic position (or a moving position) of the driving by repeating the steps (a) to (c).

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (b)단계는, (b1) 상기 카메라를 통해 이동위치의 도로 이미지를 촬상하는 단계; (b2) 상기 도로 이미지로부터 차로를 인식하는 단계; (b3) 상기 도로 이미지로부터 랜드마크를 추출하는 단계; (b4) 추출된 랜드마크를 평면상에 투영하는 단계; 및 (b5) 투영된 랜드마크와 지도상의 랜드마크를 매치하여 랜드마크의 위치를 추출하는 단계를 포함하는 것을 특징으로 한다.In another aspect, the present invention provides a method for recognizing a magnetic position of a road driving robot, wherein step (b) includes: (b1) photographing a road image of a moving position through the camera; (b2) recognizing a lane from the road image; (b3) extracting a landmark from the road image; (b4) projecting the extracted landmark onto a plane; And (b5) extracting the location of the landmark by matching the projected landmark with the landmark on the map.

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (b2)단계는 한쌍의 쌍곡선 차로검출 알고리즘(Hyperbola-pair lane detection algorithm)을 이용하여 차로를 인식하는 것을 특징으로 한다.In addition, the present invention is a method for recognizing a magnetic position of a road driving robot, step (b2) is characterized in that the lane is recognized using a pair of hyperbola-pair lane detection algorithm (Hyperbola-pair lane detection algorithm).

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (b3)단계는, (b31) 상기 도로 이미지로부터 에지를 검출하는 단계; (b32) 검출된 에지로부터 꼭지점(corner) 이미지를 추출하는 단계; (b33) 꼭지점 이미지로부터 삼각법(Delaunary Triangulation)을 적용하여 영역을 분할하는 단계; (b34) 각 영역에서 지배적인 색으로 영역의 대표 색을 정하는 단계; 및 (b35) 각 영역의 대표 색을 비교하여 변화가 있는 영역에 접하는 점을 랜드마크의 점들로 추출하는 단계를 포함하는 것을 특징으로 한다.In another aspect, the present invention provides a method for recognizing a magnetic position of a road driving robot, wherein step (b3) includes: (b31) detecting an edge from the road image; (b32) extracting a corner image from the detected edges; (b33) dividing the region by applying Delaunary Triangulation from the vertex image; (b34) determining a representative color of the region as the dominant color in each region; And (b35) comparing the representative colors of the respective areas and extracting the points in contact with the changed areas as the points of the landmark.

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (b4)단계에서, 상기 추출된 랜드마크의 평면상 위치를 [수식 1]에 의하여 구하는 것을 특징으로 한다.In addition, the present invention is characterized in that in the step (b4) in the method for recognizing the magnetic position of the road running robot, the planar position of the extracted landmark is obtained by [Equation 1].

[수식 1][Equation 1]

Figure 112009073725333-PAT00001
Figure 112009073725333-PAT00001

단, hc 와 β는 각각 카메라의 높이와 경사각이고, αh 와 αv 는 각각 카메라의 수평각 및 수직각임.Where h c and β are the camera's height and tilt angle, respectively, and α h and α v are the camera's horizontal and vertical angles, respectively.

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (c)단계는, (c1) 이전위치의 가상위치(이하 이전 가상위치)들로부터 이동위치의 가상위치(이하 이동 가상위치)들을 오차에 의해 랜덤하게 발생시키는 단계; (c2) 상기 이동 가상위치를 평균하여 이동위치를 추정하는 단계; (c3) 이동 가상위치에서의 랜드마크 위치와 이미지상의 랜드마크 위치가 매치되는 확률을 이용하여 이동 가상위치들에 대한 가중치를 구하는 단계; 및 (c4) 상기 가중치에 의하여, 이동 가상위치를 다시 샘플링하는 단계를 포함하는 것을 특징으로 한다.In addition, the present invention is a magnetic position recognition method of the road running robot, the step (c), (c1) the virtual position of the moving position from the virtual position of the previous position (hereinafter referred to as the virtual position) (hereinafter referred to as the virtual position) Randomly generating them by an error; (c2) estimating a moving position by averaging the moving virtual position; (c3) calculating weights for the moving virtual positions using a probability that the landmark position in the moving virtual position matches the landmark position on the image; And (c4) sampling the moving virtual position again by the weight.

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (c1)단계는 [수식 2]에 의하여 이동 가상위치를 발생시키는 것을 특징으로 한다.In addition, the present invention is a magnetic position recognition method of the road running robot, the step (c1) is characterized in that to generate a moving virtual position by the formula (2).

[수식 2][Equation 2]

Figure 112009073725333-PAT00002
Figure 112009073725333-PAT00002

단, Pt-1 [m]은 시간 t-1에서의 m번째 가상위치, △l 은 주행거리, V는 오차 공분산 상수, gauss_rand()는 정규분포를 갖는 랜덤변수임.Where P t-1 [m] is the mth virtual position at time t-1, Δl is the travel distance, V is the error covariance constant, and gauss_rand () is a random variable with normal distribution.

또, 본 발명은 도로주행 로봇의 자기 위치 인식방법에 있어서, 상기 (c3)단계는 [수식 3]에 의하여 가중치를 구하는 것을 특징으로 한다.In addition, the present invention is a method for recognizing a magnetic position of a road driving robot, the step (c3) is characterized in that to obtain a weight by [Equation 3].

[수식 3][Equation 3]

Figure 112009073725333-PAT00003
Figure 112009073725333-PAT00003

단, N은 이미지상 랜드마크의 수, Where N is the number of landmarks in the image,

상술한 바와 같이, 본 발명에 따른 도로주행 로봇의 자기 위치 인식방법에 의하면, 카메라로 촬상한 도로 이미지와 주행계로 측정한 주행거리를 이용하여 자신의 위치를 파악함으로써, 위치 추정의 정밀도를 높이는 한편 설치비용을 낮출 수 있는 효과가 얻어진다.As described above, according to the magnetic position recognition method of the road driving robot according to the present invention, by using the road image captured by the camera and the traveling distance measured by the odometer, the position of the self is detected, thereby increasing the accuracy of the position estimation. The effect of lowering the installation cost is obtained.

또한, 본 발명에 따른 도로주행 로봇의 자기 위치 인식방법에 의하면, 1차적으로 주행계의 주행거리에 따라 가상위치를 구하고 도로 이미지의 랜드마크로 위치의 정확도를 높임으로써, 이미지 센싱의 큰 편차를 보완하여 보다 안정적이고 정확 한 위치를 파악할 수 있는 효과가 얻어진다.In addition, according to the magnetic position recognition method of the road driving robot according to the present invention, the virtual position is first obtained according to the traveling distance of the driving system, and the accuracy of the position is improved by using the landmark of the road image to compensate for the large deviation of the image sensing. The more stable and accurate position can be obtained.

즉, 주행계에 의한 주행거리의 측정은 오차범위가 일정 범위에 있으나, 카메라에 의한 랜드마크 인식은 환경(강한 햇볕, 짙은 그늘 등)에 따라 오차가 매우 커질 수 있다. 1차적으로 주행거리에 의해 가상거리를 구한 후, 이미지 센싱에 의한 기술을 단지 정확도 증강을 위해 적용함으로써, 카메라의 오차가 큰 경우라도 주행계의 오차범위 내에서 자기 위치를 인식할 수 있고, 카메라의 오차가 매우 작은 경우 주행계만의 위치 인식에 비해 보다 정확한 자기 위치를 인식할 수 있다. 따라서 보다 안정적이면서 정확한 자기 위치 인식이 가능하다.That is, the measurement of the mileage by the odometer has an error range in a certain range, the landmark recognition by the camera may be very large according to the environment (strong sunlight, dark shade, etc.). By first calculating the virtual distance based on the driving distance, and applying the technique of image sensing only for accuracy, the magnetic position can be recognized within the error range of the odometer even when the camera error is large. If the error is very small, it can recognize the more accurate magnetic position than the position recognition of the odometer only. Therefore, more stable and accurate magnetic position recognition is possible.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.

먼저, 본 발명의 일실시예에 따른 도로주행 로봇의 구성에 대하여 도 1과 도 2를 참조하여 설명한다.First, a configuration of a road driving robot according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.

도 1에서 보는 바와 같이, 도로주행 로봇(10)은 카메라(11) 및 주행계(12)를 장착하고 있다.As shown in FIG. 1, the road running robot 10 is equipped with a camera 11 and a traveling system 12.

바람직하게는, 카메라(11)는 도로주행 로봇(10)의 지붕에 설치된다. 카메라(11)는 도로의 표면을 촬상할 수 있도록 아래로 약간 기울게 설치됨이 바람직하 다. 그러나 설치되는 위치는 어느 곳이 무방하다. 단, 카메라(11)를 통해, 도로주행 로봇(10)의 전면 또는 주행방향 전면을 촬상할 수 있는 위치이면 어느 곳에 설치돼도 무방하다. 카메라(11)는 초당 30프레임(30fps) 및 320*240의 해상도로 촬상할 수 있는 것이 바람직하다.Preferably, the camera 11 is installed on the roof of the road driving robot 10. Camera 11 is preferably installed slightly inclined downward so as to photograph the surface of the road. However, the installation location may be anywhere. However, the camera 11 may be installed at any position as long as it can capture the front surface of the road driving robot 10 or the front of the driving direction. The camera 11 is preferably capable of imaging at a resolution of 30 frames per second (30 fps) and 320 * 240.

한편, 주행계(odometer, 12)는 도로주행 로봇(10)의 구동바퀴에 설치되는 것이 바람직하다. 설치된 주행계(12)는 미터당 100,000 펄스를 측정할 수 있는 정확도를 갖는 것이 바람직하다.On the other hand, odometer (12) is preferably installed on the drive wheel of the road running robot (10). The installed odometer 12 preferably has an accuracy capable of measuring 100,000 pulses per meter.

또한, 도 2에서 보는 바와 같이, 연산장치(20)는 도로주행 로봇(10)의 주행 위치를 파악하기 위한 처리장치이다. 연산장치(20)는 카메라(11)로부터 촬상된 도로 이미지를 입력받고, 주행계(12)로부터 측정되는 주행거리를 입력받는다. 또, 연산장치(20)는 입력된 도로 이미지 및 주행거리를 이용하여 도로주행 로봇(10)의 현재 위치를 계산하는 장치이다.2, the arithmetic unit 20 is a processing apparatus for grasping the traveling position of the road running robot 10. As shown in FIG. The computing device 20 receives a road image captured by the camera 11, and receives a driving distance measured from the odometer 12. In addition, the calculation device 20 is a device for calculating the current position of the road running robot 10 by using the input road image and the travel distance.

연산장치(20)는 마이크로프로세서 또는 소형 컴퓨터로 구현될 수 있다. 이 경우, CPU 등 처리장치에서 처리되는 프로그램에 의해 연산장치(20)의 연산작업이 작성된다. 또, 연산장치(20)는 연산작업이 회로로 구성되어 주문형 반도체(ASIC) 등으로 구현될 수도 있다.The computing device 20 may be implemented as a microprocessor or a small computer. In this case, an arithmetic operation of the arithmetic unit 20 is created by a program processed by a processing unit such as a CPU. In addition, the arithmetic operation 20 may be implemented as a circuit by an application-specific semiconductor (ASIC).

메모리(30)는 상기 연산장치(20)가 연산시 처리한 데이터 등을 저장하기 위한 저장공간이다. 메모리(30)에는 현재 위치를 계산하는 프로그램이 저장될 수 있다.The memory 30 is a storage space for storing the data processed by the arithmetic unit 20 during operation. The memory 30 may store a program for calculating a current position.

또, 메모리(30)는 주행하는 도로에 대한 지도 정보를 저장한다. 지도정보는 도로 위치, 도로 상에 있는 랜드마크(landmark) 등이 표시되는 정보이다. 도로 위치 정보는 차선에 대한 정보로서, 차선 안쪽과 바깥쪽이 구분되는 정도의 정확성을 가지는 지도 정보를 구비하는 것이 바람직하다.The memory 30 also stores map information on roads that drive. The map information is information in which a road location, a landmark on the road, and the like are displayed. The road location information is information on a lane, and preferably includes map information having an accuracy of distinguishing the inside and the outside of the lane.

랜드마크(landmark)는 주행방향을 표시하는 화살표, 횡단보도, 정지선 등 도로 상에 표시되는 표식을 말한다. 즉, 지도상에 랜드마크의 종류와 그 위치에 대한 정보를 포함한다.A landmark is an indicator displayed on a road such as an arrow indicating a driving direction, a crosswalk, a stop line, and the like. That is, information about the type of landmark and its location is included on the map.

다음으로, 본 발명의 일실시예에 따른 도로주행 로봇의 자기 위치 인식방법을 도 3을 참조하여 설명한다.Next, the magnetic position recognition method of the road running robot according to an embodiment of the present invention will be described with reference to FIG.

도 3a에서 보는 바와 같이, 도로주행 로봇(10)의 자기 위치 인식방법은 (a) 주행계(12)를 통해 이전위치에서 이동위치까지 주행한 주행거리를 측정하는 단계(S10); (b) 카메라(11)에 의해 촬상된 이동위치에서의 도로 이미지로부터 도로상의 랜드마크의 위치(이하 이미지상 랜드마크 위치)를 추출하는 단계(S20); (c) 이전위치에서 주행거리만큼 이동했을 다수의 가상위치를 발생시키고 상기 가상위치의 평균으로 이동위치를 추정하되, 상기 이미지상 랜드마크 위치의 정확도로 상기 가중치를 구하여 가상위치를 가중하여 다시 샘플링하는 단계(S30); 및 (d) 상기 (a) 내지 (c)단계를 반복하여 주행하는 자기 위치(또는 이동위치)를 구하는 단계(S40)로 구분된다.As shown in Figure 3a, the magnetic position recognition method of the road running robot 10 (a) measuring the traveling distance traveled from the previous position to the moving position through the odometer 12 (S10); (b) extracting a position of a landmark on the road (hereinafter referred to as a landmark position on the image) from the road image at the moving position captured by the camera 11 (S20); (c) generate a plurality of virtual positions that would have moved by the distance from the previous position and estimate the movement position by the average of the virtual positions, obtain the weight with the accuracy of the landmark position on the image, weight the virtual position and sample again Step S30; And (d) obtaining a magnetic position (or a moving position) by repeating steps (a) to (c) (S40).

먼저, 주행계(12)를 통해 이전위치에서 이동위치까지 주행한 주행거리를 측정한다(S10). 주행계(12)는 도로주행 로봇(10)의 구동바퀴 회전각을 이용하여 주행 거리를 측정하는 측정기구이다. 예를 들어, 이전위치에서 이동위치까지 주행한 거리가 △l 로 측정될 수 있다. △l 은 실제 주행거리에 대해 오차를 가지고 있다. 즉, 주행계(12)의 자체 오차나 구동바퀴가 미끄러져 발생되는 오차, 도로주행 로봇(10)이 정확한 주행경로로 주행하지 않아 발생하는 오차 등이 발생하고, 상기 오차들이 누적되어, 더 많은 거리를 주행할수록 오차가 더 커지게 된다. 따라서 중간 중간이라도 상기의 누적 오차를 보정해주어야 정확한 이동위치를 파악할 수 있다.First, the distance traveled from the previous position to the movement position through the odometer 12 is measured (S10). The traveling system 12 is a measuring mechanism which measures a traveling distance using the rotation angle of the drive wheel of the road running robot 10. For example, the distance traveled from the previous position to the movement position can be measured as Δl. Δl has an error with respect to the actual mileage. That is, an error generated by the driving system 12 itself or an error caused by slipping of the driving wheel, an error caused by the road driving robot 10 not traveling in the correct driving path, and the like are accumulated. The more distance you travel, the greater the error. Therefore, it is necessary to correct the cumulative error even in the middle to determine the exact moving position.

다음으로, 연산장치(20)는 카메라(11)에 의해 촬상된 이동위치에서의 도로 이미지로부터 도로상의 랜드마크의 위치(이하 이미지상 랜드마크 위치)를 추출한다(S20).Next, the arithmetic unit 20 extracts the position of the landmark on the road (the landmark position on the image hereinafter) from the road image at the moving position picked up by the camera 11 (S20).

도 4a에서 보는 바와 같이, 랜드마크는 차선, 화살표, 횡단보도, 과속방지턱 등 도로상의 표시를 말한다. 상기 랜드마크는 도로 환경에서 위치를 파악하는데 매우 중요한 정보들이다.As shown in FIG. 4A, a landmark refers to a road marking such as a lane, an arrow, a pedestrian crossing, a speed bump, and the like. The landmarks are very important information for locating the location in the road environment.

이미지상 랜드마크 위치를 추출하는 방법을 도 2를 참조하여 보다 구체적으로 설명한다. 도 3b에서 보는 바와 같이, 이미지상 랜드마크 위치를 추출하는 방법은 (b1) 카메라(11)를 통해 이동위치의 도로 이미지를 촬상하는 단계(S21); (b2) 상기 도로 이미지로부터 차로를 인식하는 단계(S22); (b3) 상기 도로 이미지로부터 랜드마크를 추출하는 단계(S23); (b4) 추출된 랜드마크를 평면상에 투영하는 단계(S24); 및 (b5) 투영된 랜드마크와 지도상의 랜드마크를 매치하여 랜드마크의 위치를 추출하는 단계(S25)로 구분된다.A method of extracting a landmark position on an image will be described in more detail with reference to FIG. 2. As shown in FIG. 3B, a method of extracting a landmark position on an image includes (b1) photographing a road image of a moving position through a camera 11 (S21); (b2) recognizing a lane from the road image (S22); (b3) extracting a landmark from the road image (S23); (b4) projecting the extracted landmark on a plane (S24); And (b5) extracting the location of the landmark by matching the projected landmark with the landmark on the map (S25).

주행계(12)가 이전위치에서 이동위치까지 주행거리를 측정하면, 이동위치에 서의 도로 이미지를 카메라(11)로 촬상한다(S21). 즉, 촬상된 도로 이미지는 이동위치에서 촬상된 이미지이다.When the odometer 12 measures the travel distance from the previous position to the movement position, the road image at the movement position is captured by the camera 11 (S21). That is, the captured road image is an image captured at the moving position.

상기 도로 이미지로부터 차로를 인식한다(S22). 이때, 도로 이미지에 한쌍의 쌍곡선 차로검출 알고리즘(Hyperbola-pair lane detection algorithm)([문헌 1] 참조)을 적용하여 차로를 추출한다. 상기 차로검출 알고리즘은 빠른 속도로 계산하여, 실시간으로 계산할 수 있다는 장점이 있다. 또, 상기 알고리즘은 차선의 일부분이 가려지는 경우에도 제대로 구할 수 있을 정도로 노이즈에 강하다.The lane is recognized from the road image (S22). At this time, a lane is extracted by applying a pair of hyperbola-pair lane detection algorithms (see Document 1) to the road image. The lane detection algorithm has an advantage that it can be calculated in real time by calculating at a high speed. In addition, the algorithm is resistant to noise so that even when a part of the lane is obscured, it can be properly obtained.

[문헌 1] Qiang Chen and Hong Wang, "A Real-time Lane Detection Algorithm Based on a Hyperbola-Pair Model", Intelligent Vehicles Symposium, pp. 510-515, 2006[1] Qiang Chen and Hong Wang, "A Real-time Lane Detection Algorithm Based on a Hyperbola-Pair Model", Intelligent Vehicles Symposium, pp. 510-515, 2006

다음으로, 상기 도로 이미지로부터 랜드마크를 추출한다(S23). 대부분의 랜트마크는 흰색과 노랑색 등으로 검출된다. 모든 도로 공간을 스캐닝하는 것은 불충분할 수 있기 때문에, 삼각법(Delaunary Triangulation)에 의해 랜드마크의 점을 추출하는 알고리즘을 이용한다.Next, a landmark is extracted from the road image (S23). Most landmarks are detected in white and yellow. Since scanning all road spaces may be insufficient, an algorithm is used to extract the points of the landmark by Delaunary Triangulation.

즉, 도 4c에서 보는 바와 같이, (b31) 도로 이미지로부터 에지를 검출하는 단계(S23a); (b32) 검출된 에지로부터 꼭지점(corner) 이미지를 추출하는 단계(S23b); (b33) 꼭지점 이미지로부터 삼각법(Delaunary Triangulation)을 적용하여 영역을 분할하는 단계(S23c); (b34) 각 영역에서 지배적인 색으로 영역의 대표 색을 정하는 단계(S23d); 및 (b35) 각 영역의 대표 색을 비교하여 변화가 있는 영 역에 접하는 점을 랜드마크로 추출하는 단계(S23e)로 구분된다.That is, as shown in Figure 4c, (b31) detecting the edge from the road image (S23a); (b32) extracting a corner image from the detected edge (S23b); (b33) dividing the region by applying a triangle method from a vertex image (S23c); (b34) determining a representative color of the region as the dominant color in each region (S23d); And (b35) comparing the representative colors of the respective areas to extract a point in contact with the changed area as a landmark (S23e).

도 4b에서 (b)와 같이, 도로 이미지로부터 에지를 검출한다(S23a).As shown in (b) of FIG. 4B, an edge is detected from the road image (S23a).

그리고 도 4b에서 (c)와 같이, 검출된 에지로부터 꼭지점(corner) 이미지를 추출한다(S23b).4B, a corner image is extracted from the detected edge (S23b).

또, 도 4b에서 (d)와 같이, 꼭지점 이미지로부터 삼각법(Delaunary Triangulation, [문헌 2] 참조)을 적용하여 영역을 분할한다(S23c). In addition, as shown in (d) of FIG. 4B, a region is divided by applying a triangulation method (see [2]) from the vertex image (S23c).

[문헌 2] Dominique Attali and Jean-Daniel Boissonnat, "A Linear Bound on the Complexity of the Delaunay Triangulation of Points on Polyhedral Surfaces", Discrete and Computational Geometry, Vol. 31, No. 3, pp. 369-384, 2004[2] Dominique Attali and Jean-Daniel Boissonnat, "A Linear Bound on the Complexity of the Delaunay Triangulation of Points on Polyhedral Surfaces", Discrete and Computational Geometry, Vol. 31, No. 3, pp. 369-384, 2004

다음으로, 도 4b에서 (e)와 같이, 각 영역에서 지배적인 색으로 영역의 대표 색을 정한다. 도로는 주로 흰색, 노란색, 검정색으로 구분되므로, 하나의 영역에서 이중 가장 많이 분포되는 색을 그 영역의 대표색으로 정한다.Next, as shown in (e) of FIG. 4B, the representative color of the region is determined as the dominant color in each region. Since roads are mainly divided into white, yellow and black, the color most widely distributed in one area is defined as the representative color of the area.

그리고 각 영역의 대표 색을 비교하여 변화가 있는 영역에 접하는 점을 랜드마크의 점들로 추출한다. 그 결과의 일례가 도 4b에서 (f)에 보여주고 있다.The representative color of each area is compared to extract points that are in contact with the change area as the points of the landmark. An example of the result is shown in (f) in FIG. 4B.

도로 이미지로부터 랜드마크가 추출되면, 추출된 랜드마크를 평면상에 투영한다(S24). 도로 이미지에서 추출한 이미지를 바로 지도상에 표시되는 랜드마크와 비교할 수는 없다. 촬상된 도로 이미지는 카메라의 시각에서 바라본 이미지이므로, 이 이미지를 하늘에서 바라본 관점의 이미지로 변환해야 한다. 그래서 하늘에서 바라본 관점에서의 이미지상 랜드마크를 지도상의 랜드마크로 비교하여 로봇(10)의 이동위치를 파악한다.When the landmark is extracted from the road image, the extracted landmark is projected on the plane (S24). The image extracted from the road image cannot be directly compared with the landmark displayed on the map. Since the captured road image is from the camera's perspective, it must be converted into an image from the sky. Therefore, by comparing the landmarks on the image from the perspective of the sky with the landmarks on the map to determine the moving position of the robot (10).

도로 이미지로부터 추출된 랜드마크의 평면상 위치를 [수학식 1]에 의하여 구한다.The planar position of the landmark extracted from the road image is obtained by [Equation 1].

[수학식 1][Equation 1]

Figure 112009073725333-PAT00004
Figure 112009073725333-PAT00004

단, hc 와 β는 각각 카메라의 높이와 경사각이고, αh 와 αv 는 각각 카메라의 수평각 및 수직각이다.Where h c and β are the height and tilt angle of the camera, respectively, and α h and α v are the horizontal and vertical angles of the camera, respectively.

dv(k)와 wv(k)는 랜드마크의 점들의 평면상 좌표이다.d v (k) and w v (k) are in-plane coordinates of the points of the landmark.

도 5는 카메라의 시점에서 하늘에서 바라본 시점으로 변환하는 예를 보여주고 있다.5 shows an example of converting the view of the camera from the view of the sky.

그리고 하늘에서 바라본 시점의 랜드마크 위치를 구하고 나면, 투영된 랜드마크와 지도상의 랜드마크를 매치하여 랜드마크의 위치를 추출한다(S25).After obtaining the landmark position from the point of view of the sky, the position of the landmark is extracted by matching the projected landmark with the landmark on the map (S25).

다음으로, 이전위치에서 주행거리만큼 이동했을 다수의 가상위치를 발생시키고 상기 가상위치의 평균으로 이동위치를 추정하되, 상기 이미지상 랜드마크 위치 의 정확도로 상기 가중치를 구하여 가상위치를 가중하여 다시 샘플링한다(S30).Next, generate a plurality of virtual positions that would have moved by the distance from the previous position and estimate the moving position by the average of the virtual positions, obtain the weight with the accuracy of the landmark position on the image, weight the virtual position and sample again (S30).

구체적으로, 도 3d에서 보는 바와 같이, 이동위치를 추정하는 방법은 (c1) 이전위치의 가상위치(이하 이전 가상위치)들로부터 이동위치의 가상위치(이하 이동 가상위치)들을 랜덤하게 발생시키는 단계(S31); (c2) 상기 이동 가상위치를 평균하여 이동위치를 추정하는 단계; (c2) 이동 가상위치에서의 랜드마크 위치와 이미지상의 랜드마크 위치가 매치되는 확률을 이동 가상위치들에 대한 가중치로 정하는 단계(S32); 및 (c3) 상기 가중치에 의하여, 이동 가상위치를 다시 샘플링하는 단계(S33)로 구분된다.Specifically, as shown in FIG. 3D, the method for estimating the moving position includes: (c1) randomly generating virtual positions of the moving position (hereinafter, referred to as virtual positions) from the virtual positions of the previous position (hereinafter, referred to as virtual positions). (S31); (c2) estimating a moving position by averaging the moving virtual position; (c2) determining a probability that the landmark position in the moving virtual position matches the landmark position on the image as a weight for the moving virtual positions (S32); And (c3) step S33 of sampling the moving virtual position again based on the weight.

도 6a에서 보는 바와 같이, 위치 P1에서 P2, P2에서 P3로 주행하는 경우를 예로 설명한다. 이때, 이전위치에 대하여, 도 6b와 같이, 이전위치의 가상위치(이전 가상위치)가 P1 1, P1 2, ..., P1 5이 있다고 가정한다.As shown in FIG. 6A, the case of traveling from position P1 to P2 and from P2 to P3 will be described as an example. In this case, it is assumed that the virtual position (previous virtual position) of the previous position is P 1 1 , P 1 2 ,..., P 1 5 with respect to the previous position.

도 6c에서 보는 바와 같이, 이전 가상위치들로부터 이동 가상위치들을 랜덤하게 발생시킨다(S31). 예를 들어, P1위치(이전위치)에서 P2로 이동하는 경우를 본다. 이때, P1위치에서의 가상위치(이전 가상위치)들은 P1 1, P1 2, ..., P1 5이다. 이들 이전 가상위치로부터 이동 가상위치인 P2 1, P2 2, ..., P2 5를 구한다.As shown in FIG. 6C, moving virtual positions are randomly generated from previous virtual positions (S31). For example, suppose you move from P1 (previous position) to P2. At this time, the virtual positions (previous virtual positions) at the P1 position are P 1 1 , P 1 2 , ..., P 1 5 . From these previous virtual positions, the moving virtual positions P 2 1 , P 2 2 , ..., P 2 5 are obtained.

이때, 다음 [수학식 2]에 의하여 이동 가상위치를 발생시킨다.At this time, the moving virtual position is generated by the following [Equation 2].

[수학식 2][Equation 2]

Figure 112009073725333-PAT00005
Figure 112009073725333-PAT00005

단, Pt-1 [m]은 시간 t-1에서의 m번째 가상위치, △l 은 주행거리, V는 오차 공분산 상수, gauss_rand()는 정규분포를 갖는 랜덤변수이다.Where P t-1 [m] is the mth virtual position at time t-1, Δl is the travel distance, V is an error covariance constant, and gauss_rand () is a random variable with normal distribution.

따라서 도로주행 로봇(10)이 주행할 때의 주행거리 오차는 정규분포를 갖는 랜덤변수에 공분산 상수를 곱한값으로 표시됨을 알 수 있다.Therefore, it can be seen that the mileage error when the road driving robot 10 travels is expressed by multiplying a covariance constant with a random variable having a normal distribution.

이동위치 추정은 다음 [수학식 3]과 같이, 이동 가상위치들을 추정하고, [수학식 4]와 같이 상기 이동 가상위치들을 평균하여 이동위치를 추정한다(S32).The moving position estimation estimates the moving virtual positions as shown in Equation 3 below, and estimates the moving positions by averaging the moving virtual positions as shown in Equation 4 (S32).

[수학식 3]&Quot; (3) "

for m = 1 to Mfor m = 1 to M

Figure 112009073725333-PAT00006
Figure 112009073725333-PAT00006

endend

[수학식 4]&Quot; (4) "

Figure 112009073725333-PAT00007
Figure 112009073725333-PAT00007

즉, M개의 가상위치들을 주행계(12)로부터 측정한 주행거리만큼 이동시킨다. 도 6c와 같이, P1 1, P1 2, ..., P1 5들을 P2 1, P2 2, ..., P2 5으로 이동시킨다. 이때 이동되는 가상위치들은 [수학식 2]에 의해 구해진다. 또, P2 1, P2 2, ..., P2 5 를 평균하여 이동위치를 추정한다.That is, the M virtual positions are moved by the traveling distance measured from the traveling system 12. As shown in FIG. 6C, P 1 1 , P 1 2 ,..., P 1 5 are moved to P 2 1 , P 2 2 , ..., P 2 5 . The virtual positions moved at this time are obtained by Equation 2. Also, the moving position is estimated by averaging P 2 1 , P 2 2 ,..., P 2 5 .

다음으로, 이동 가상위치에서의 랜드마크 위치와 이미지상의 랜드마크 위치가 매치되는 확률을 이동 가상위치들에 대한 가중치로 정한다(S32).Next, the probability that the landmark position in the moving virtual position matches the landmark position on the image is determined as a weight for the moving virtual positions (S32).

즉, 다음 [수학식 5]에 의해 이동 가상위치들에 대한 가중치를 구한다(S33).That is, the weights for the moving virtual positions are obtained by the following [Equation 5] (S33).

[수학식 5][Equation 5]

for m = 1 to Mfor m = 1 to M

Figure 112009073725333-PAT00008
Figure 112009073725333-PAT00008

endend

Figure 112009073725333-PAT00009
는 확률밀도함수(PDF, Probability Density Function)를 나타낸다. N개의 이미지상 랜드마크가 M개의 이동 가상위치와 매치된다.
Figure 112009073725333-PAT00009
Denotes the probability density function (PDF). The landmarks on the N images match the M moving virtual positions.

그래서 맵상의 위치와 각 가상위치의 랜드마크 상의 위치를 비교하여 가중치 Wt [m]를 구한다. 그리고 가중치들은 전체 가중치의 합이 1이 되도록 정규화시킨다. 이로써, 각 단계에 따라 가상위치의 개수가 M으로 유지할 수 있게 된다.Thus, the weight W t [m] is obtained by comparing the position on the map with the position on the landmark of each virtual position. The weights are then normalized so that the sum of the total weights is one. Thus, the number of virtual positions can be maintained at M according to each step.

다음으로, 상기 가중치에 의하여, 이동 가상위치를 다시 샘플링한다(S34).Next, the moving virtual position is sampled again by the weight (S34).

도 6c의 이동 가상위치 P2 1, P2 2, ..., P2 5 에서 도 6d의 이동가상위치들 P'2 1, P'2 2, ..., P'2 5 로 다시 샘플링한다. 이때, 가중치가 높은 이동 가상위치는 더 많은 이동 가상위치로 샘플링되고, 가중치가 낮은 이동 가상위치는 사라질 수 있다. 예를 들어, 도 6c에서 P2 5는 가중치가 가장 높고, P2 4는 가중치가 가장 낮다. 특히, P2 4는 0.1 (기준치) 이하이므로, 샘플링되지 않고 사라진다. 대신, P2 5는 2번 샘플링된다. 결과적으로 P'2 4와 P'2 5는 P2 5로부터 샘플링된다.Sampling again from the moving virtual positions P 2 1 , P 2 2 , ..., P 2 5 of FIG. 6C to the moving virtual positions P ' 2 1 , P' 2 2 , ..., P ' 2 5 of FIG. 6D. do. In this case, the moving virtual location having a higher weight may be sampled into more moving virtual locations, and the moving virtual location having a lower weight may disappear. For example, in FIG. 6C, P 2 5 has the highest weight and P 2 4 has the lowest weight. In particular, since P 2 4 is 0.1 or less (reference value), it disappears without being sampled. Instead, P 2 5 is sampled twice. As a result, P ' 2 4 and P' 2 5 are sampled from P 2 5 .

다시 P2에서 P3로 도로주행 로봇(10)이 이동하면, P3 지점에서 다시 이동위치를 추정한다. 이때, P2는 이전위치가 되고, P3은 이동위치가 된다. (a)단계에서 (c)단계를 반복하는 과정에서 상기 (c1)단계에서 (c4)단계가 반복된다.When the road driving robot 10 moves from P2 to P3 again, the moving position is estimated again at the point P3. At this time, P2 becomes the previous position and P3 becomes the movement position. Step (c1) to (c4) is repeated in the process of repeating step (a) to (c).

따라서 상기와 같은 반복에 의하여, 가중치가 큰 가상위치들의 평균에 의해 도로주행 로봇(10)의 이동위치가 구해지므로, 점차 수렴하여 오차가 적어질 수 있다.Therefore, by the repetition as described above, since the moving position of the road driving robot 10 is obtained by the average of the virtual positions having a large weight, the error may be gradually converged to decrease.

다음으로, 본 발명의 일실시예에 따른 자기 위치 인식방법에 의한 실험결과를 도 7을 참조하여 설명한다.Next, the experimental results by the magnetic position recognition method according to an embodiment of the present invention will be described with reference to FIG.

도 7은 100m의 원형 트랙에서 30번의 이동위치를 추정한 결과와 실제 이동위 치를 비교하여 오차를 구한 값들을 표시한 것으로서, 도 7a는 추정한 이동위치의 평균 오차이고, 도 7b는 트랙 주행을 한 각 경우의 오차를 도표로 표시한 것이다.FIG. 7 shows the results obtained by comparing the results of the estimation of the 30th movement position on the circular track of 100m and the actual movement position. FIG. 7A shows the average error of the estimated movement position, and FIG. 7B shows the track driving. The error of each case is plotted.

도 7b에서 보는 바와 같이, x축보다 y축의 위치가 더 정확하게 추정됨을 알 수 있다. 이것은 가장 중요한 특성인 도로의 차선 랜드마크가 로보의 양측으로 존재하기 때문이다.As shown in FIG. 7B, it can be seen that the position of the y-axis is more accurately estimated than the x-axis. This is because the lane landmark of the road, the most important characteristic, exists on both sides of Robo.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, although the invention made by this inventor was demonstrated concretely according to the said Example, this invention is not limited to the said Example, Of course, a various change is possible in the range which does not deviate from the summary.

본 발명은 카메라에서 촬상한 도로 이미지와 주행계로 측정한 주행거리를 이용하여, 도로를 주행하면서 자신의 위치를 파악할 수 있는 도로주행 로봇을 개발하는데 적용이 가능하다. 특히, 본 발명은 주행거리로부터 이동위치의 가상위치들을 구하고, 도로 이미지로부터 구한 랜드마크의 위치와 매치되는 정확도에 따라 가상위치를 가중평균하여 이동위치를 추정하는 도로주행 로봇을 개발하는데 적용이 가능하다.The present invention is applicable to the development of a road running robot that can grasp its position while driving on the road by using the road image captured by the camera and the mileage measured by the odometer. In particular, the present invention is applicable to the development of a road driving robot that obtains the virtual positions of the moving position from the driving distance and estimates the moving position by weighting the virtual positions according to the accuracy matched with the position of the landmark obtained from the road image. Do.

도 1은 본 발명의 일실시예에 따른 도로주행 로봇의 사시도이다.1 is a perspective view of a road driving robot according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 도로주행 로봇의 구성에 대한 블록도이다.2 is a block diagram of a configuration of a road driving robot according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 도로주행 로봇의 자기 위치 인식방법을 설명하는 흐름도이다.3 is a flow chart illustrating a magnetic position recognition method of a road driving robot according to an embodiment of the present invention.

도 4는 본 발명에 따른 도로 이미지로부터 랜드마크를 추출하는 일례를 도시한 도면이다.4 is a diagram illustrating an example of extracting a landmark from a road image according to the present invention.

도 5는 본 발명에 따른 도로 이미지를 평면상에 투영하는 예시도이다.5 is an exemplary view of projecting a road image according to the present invention on a plane.

도 6은 본 발명에 따른 가상위치로부터 이동위치를 추정하는 일례를 예시한 도면이다.6 is a diagram illustrating an example of estimating a moving position from a virtual position according to the present invention.

도 7은 본 발명의 일실시예에 따른 자기 위치 인식방법에 의한 실험결과를 도시한 표 및 도면이다.7 is a table and a diagram showing the experimental results by the magnetic position recognition method according to an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10 : 도로주행 로봇 11 : 카메라10: road driving robot 11: camera

12 : 주행계 20 : 연산장치12: odometer 20: computing device

30 : 메모리30: memory

Claims (8)

주행거리를 측정하는 주행계(odometer)와 주행 전면을 촬상하는 카메라를 장착한 도로주행 로봇의 자기 위치 인식방법에 있어서,In a magnetic position recognition method of a road running robot equipped with a odometer for measuring the mileage and a camera for imaging the front surface of the driving, (a) 상기 주행계를 통해 이전위치에서 이동위치까지 주행한 주행거리를 측정하는 단계;(a) measuring the distance traveled from the previous position to the movement position through the odometer; (b) 상기 카메라에 의해 촬상된 이동위치에서의 도로 이미지로부터 도로상의 랜드마크의 위치(이하 이미지상 랜드마크 위치)를 추출하는 단계;(b) extracting a position of a landmark on a road (hereinafter referred to as a landmark position on an image) from a road image at a moving position captured by the camera; (c) 이전위치에서 주행거리만큼 이동했을 다수의 가상위치를 발생시키고 상기 가상위치의 평균으로 이동위치를 추정하되, 상기 이미지상 랜드마크 위치의 정확도로 상기 가중치를 구하여 가상위치를 가중하여 다시 샘플링하는 단계; 및(c) generate a plurality of virtual positions that would have moved by the distance from the previous position and estimate the movement position by the average of the virtual positions, obtain the weight with the accuracy of the landmark position on the image, weight the virtual position and sample again Making; And (d) 상기 (a) 내지 (c)단계를 반복하여 주행하는 자기 위치(또는 이동위치)를 구하는 단계를 포함하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.and (d) obtaining a magnetic position (or a moving position) of the traveling by repeating steps (a) to (c). 제1항에 있어서, 상기 (b)단계는,According to claim 1, wherein step (b), (b1) 상기 카메라를 통해 이동위치의 도로 이미지를 촬상하는 단계;(b1) photographing a road image of a moving position through the camera; (b2) 상기 도로 이미지로부터 차로를 인식하는 단계;(b2) recognizing a lane from the road image; (b3) 상기 도로 이미지로부터 랜드마크를 추출하는 단계;(b3) extracting a landmark from the road image; (b4) 추출된 랜드마크를 평면상에 투영하는 단계; 및(b4) projecting the extracted landmark onto a plane; And (b5) 투영된 랜드마크와 지도상의 랜드마크를 매치하여 랜드마크의 위치를 추출하는 단계를 포함하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.and (b5) extracting the location of the landmark by matching the projected landmark with the landmark on the map. 제2항에 있어서,The method of claim 2, 상기 (b2)단계는 한쌍의 쌍곡선 차로검출 알고리즘(Hyperbola-pair lane detection algorithm)을 이용하여 차로를 인식하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.The step (b2) is a magnetic position recognition method of a road running robot, characterized in that for detecting the lane using a pair of hyperbola-pair lane detection algorithm (Hyperbola-pair lane detection algorithm). 제2항에 있어서, 상기 (b3)단계는,The method of claim 2, wherein step (b3), (b31) 상기 도로 이미지로부터 에지를 검출하는 단계;(b31) detecting an edge from the road image; (b32) 검출된 에지로부터 꼭지점(corner) 이미지를 추출하는 단계;(b32) extracting a corner image from the detected edges; (b33) 꼭지점 이미지로부터 삼각법(Delaunary Triangulation)을 적용하여 영역을 분할하는 단계;(b33) dividing the region by applying Delaunary Triangulation from the vertex image; (b34) 각 영역에서 지배적인 색으로 영역의 대표 색을 정하는 단계; 및(b34) determining a representative color of the region as the dominant color in each region; And (b35) 각 영역의 대표 색을 비교하여 변화가 있는 영역에 접하는 점을 랜드마크의 점들로 추출하는 단계를 포함하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.(b35) comparing the representative color of each area, and extracting the points in contact with the change area as the points of the landmark, the magnetic position recognition method of the road robot. 제2항에 있어서,The method of claim 2, 상기 (b4)단계에서, 상기 추출된 랜드마크의 평면상 위치를 [수식 1]에 의하여 구하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.In the step (b4), the magnetic position recognition method of the road driving robot, characterized in that to obtain the planar position of the extracted landmark by [Equation 1]. [수식 1][Equation 1]
Figure 112009073725333-PAT00010
Figure 112009073725333-PAT00010
단, hc 와 β는 각각 카메라의 높이와 경사각이고, αh 와 αv 는 각각 카메라의 수평각 및 수직각임.Where h c and β are the camera's height and tilt angle, respectively, and α h and α v are the camera's horizontal and vertical angles, respectively.
제2항에 있어서, 상기 (c)단계는,The method of claim 2, wherein step (c) comprises: (c1) 이전위치의 가상위치(이하 이전 가상위치)들로부터 이동위치의 가상위치(이하 이동 가상위치)들을 오차에 의해 랜덤하게 발생시키는 단계;(c1) randomly generating virtual positions (hereinafter referred to as moving virtual positions) of the moving position from the virtual positions of the previous position (hereinafter referred to as virtual positions) by an error; (c2) 상기 이동 가상위치를 평균하여 이동위치를 추정하는 단계;(c2) estimating a moving position by averaging the moving virtual position; (c3) 이동 가상위치에서의 랜드마크 위치와 이미지상의 랜드마크 위치가 매 치되는 확률을 이용하여 이동 가상위치들에 대한 가중치를 구하는 단계; 및(c3) obtaining weights for the moving virtual positions using the probability that the landmark position in the moving virtual position and the landmark position on the image are matched; And (c4) 상기 가중치에 의하여, 이동 가상위치를 다시 샘플링하는 단계를 포함하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.and (c4) re-sampling the moving virtual position by the weight. 제6항에 있어서,The method of claim 6, 상기 (c1)단계는 [수식 2]에 의하여 이동 가상위치를 발생시키는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.The step (c1) is a magnetic position recognition method of the road running robot, characterized in that for generating a moving virtual position by [Equation 2]. [수식 2][Equation 2]
Figure 112009073725333-PAT00011
Figure 112009073725333-PAT00011
단, Pt-1 [m]은 시간 t-1에서의 m번째 가상위치, △l 은 주행거리, V는 오차 공분산 상수, gauss_rand()는 정규분포를 갖는 랜덤변수임.Where P t-1 [m] is the mth virtual position at time t-1, Δl is the travel distance, V is the error covariance constant, and gauss_rand () is a random variable with normal distribution.
제6항에 있어서,The method of claim 6, 상기 (c3)단계는 [수식 3]에 의하여 가중치를 구하는 것을 특징으로 하는 도로주행 로봇의 자기 위치 인식방법.The step (c3) is a method for recognizing the magnetic position of the road running robot, characterized in that to obtain a weight according to [Equation 3]. [수식 3][Equation 3]
Figure 112009073725333-PAT00012
Figure 112009073725333-PAT00012
단, N은 이미지상 랜드마크의 수, Where N is the number of landmarks in the image,
KR1020090116861A 2009-11-30 2009-11-30 A method of recognizing self-localization for a road-driving robot KR101100827B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090116861A KR101100827B1 (en) 2009-11-30 2009-11-30 A method of recognizing self-localization for a road-driving robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090116861A KR101100827B1 (en) 2009-11-30 2009-11-30 A method of recognizing self-localization for a road-driving robot

Publications (2)

Publication Number Publication Date
KR20110060315A true KR20110060315A (en) 2011-06-08
KR101100827B1 KR101100827B1 (en) 2012-01-02

Family

ID=44395102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090116861A KR101100827B1 (en) 2009-11-30 2009-11-30 A method of recognizing self-localization for a road-driving robot

Country Status (1)

Country Link
KR (1) KR101100827B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438377B1 (en) * 2012-08-24 2014-09-05 전자부품연구원 Apparatus and method for detecting position of moving unit
KR20170046902A (en) * 2015-10-22 2017-05-04 현대자동차주식회사 A vehicle and a method for controlling the same
WO2019225817A1 (en) * 2018-05-25 2019-11-28 에스케이텔레콤 주식회사 Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method
WO2020180076A1 (en) * 2019-03-07 2020-09-10 에스케이텔레콤 주식회사 Apparatus and method for acquisition of correction information of vehicle sensor
US20220120843A1 (en) * 2020-10-16 2022-04-21 Landor Architecture, Inc. Location measuring system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101379211B1 (en) * 2012-09-28 2014-04-10 전자부품연구원 Apparatus and method for detecting position of moving unit
KR101480836B1 (en) * 2014-03-04 2015-01-13 국방과학연구소 Method for Deciding a Target Location based on Line of Bearing using a Pluarity of Robot and a Pluarity of Robot Deployment method for thereof
KR102372669B1 (en) 2016-06-08 2022-03-10 삼성전자주식회사 Electronic device, external server and controlling method thereof
US11761790B2 (en) * 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05189033A (en) * 1992-01-13 1993-07-30 Tatsumi Denshi Kogyo Kk Method for measuring position of robot
JP4277717B2 (en) 2004-03-17 2009-06-10 株式会社日立製作所 Vehicle position estimation device and driving support device using the same
KR100834761B1 (en) * 2005-11-23 2008-06-05 삼성전자주식회사 Method and apparatus for reckoning position of moving robot
JP2007316966A (en) * 2006-05-26 2007-12-06 Fujitsu Ltd Mobile robot, control method thereof and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438377B1 (en) * 2012-08-24 2014-09-05 전자부품연구원 Apparatus and method for detecting position of moving unit
KR20170046902A (en) * 2015-10-22 2017-05-04 현대자동차주식회사 A vehicle and a method for controlling the same
US9969399B2 (en) 2015-10-22 2018-05-15 Hyundai Motor Company Vehicle and method of controlling the vehicle
WO2019225817A1 (en) * 2018-05-25 2019-11-28 에스케이텔레콤 주식회사 Vehicle position estimation device, vehicle position estimation method, and computer-readable recording medium for storing computer program programmed to perform said method
CN112166059A (en) * 2018-05-25 2021-01-01 Sk电信有限公司 Position estimation device for vehicle, position estimation method for vehicle, and computer-readable recording medium storing computer program programmed to execute the method
WO2020180076A1 (en) * 2019-03-07 2020-09-10 에스케이텔레콤 주식회사 Apparatus and method for acquisition of correction information of vehicle sensor
KR20200107382A (en) * 2019-03-07 2020-09-16 에스케이텔레콤 주식회사 Apparatus and method for determining correction information of vehicle-sensor
CN113544034A (en) * 2019-03-07 2021-10-22 Sk电信有限公司 Device and method for acquiring correction information of vehicle sensor
US20220120843A1 (en) * 2020-10-16 2022-04-21 Landor Architecture, Inc. Location measuring system
US11846718B2 (en) * 2020-10-16 2023-12-19 Landor Architecture, Inc. Location measuring system

Also Published As

Publication number Publication date
KR101100827B1 (en) 2012-01-02

Similar Documents

Publication Publication Date Title
KR101100827B1 (en) A method of recognizing self-localization for a road-driving robot
RU2668459C1 (en) Position evaluation device and method
JP6445995B2 (en) Adaptive mapping using spatial aggregation of sensor data
KR101782057B1 (en) Apparatus for building map and method thereof
Wijesoma et al. Road-boundary detection and tracking using ladar sensing
US6535114B1 (en) Method and apparatus for environment recognition
JP5966747B2 (en) Vehicle travel control apparatus and method
JP6301828B2 (en) Apparatus for measuring the speed and position of a vehicle moving along a guiding track, and corresponding method and computer program product
US20220012509A1 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
JP5023186B2 (en) Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection
JP5075672B2 (en) Object detection apparatus and method
EP2052208B1 (en) Determining the location of a vehicle on a map
KR102305328B1 (en) System and method of Automatically Generating High Definition Map Based on Camera Images
WO2018061084A1 (en) Self-position estimation method and self-position estimation device
US11143511B2 (en) On-vehicle processing device
JP5834933B2 (en) Vehicle position calculation device
CN111164648B (en) Position estimating device and position estimating method for mobile body
CN208289901U (en) A kind of positioning device and robot enhancing vision
JP6834401B2 (en) Self-position estimation method and self-position estimation device
JP2021120255A (en) Distance estimation device and computer program for distance estimation
US20090226094A1 (en) Image correcting device and method, and computer program
JP2018084960A (en) Self-position estimation method and self-position estimation device
JP4116116B2 (en) Ranging origin recognition device for moving objects
JP5981284B2 (en) Object detection device and object detection method
JP5891802B2 (en) Vehicle position calculation device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151113

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 9