KR20140034996A - Mobile robot and method for teaching a moving path of mobile robot - Google Patents
Mobile robot and method for teaching a moving path of mobile robot Download PDFInfo
- Publication number
- KR20140034996A KR20140034996A KR1020120100685A KR20120100685A KR20140034996A KR 20140034996 A KR20140034996 A KR 20140034996A KR 1020120100685 A KR1020120100685 A KR 1020120100685A KR 20120100685 A KR20120100685 A KR 20120100685A KR 20140034996 A KR20140034996 A KR 20140034996A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile robot
- feature point
- path
- feature
- surrounding image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000009795 derivation Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 230000002093 peripheral effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 이동로봇 및 상기 이동로봇에 대한 경로학습방법에 관한 것으로서, 보다 상세하게는 직접교시방법으로 주행경로를 학습할 수 있는 이동로봇 및 이에 대한 경로학습방법에 관한 것이다.
The present invention relates to a mobile robot and a path learning method for the mobile robot, and more particularly, to a mobile robot and a path learning method for learning the driving path by the direct teaching method.
자율이동로봇의 가장 기본적인 기능은 원하는 목표지점까지 충돌없이 이동하는 것이다. 이를 위해서는 먼저 자율이동로봇이 자기위치를 인식하기 위한 지도작성이 선행이 되어야 한다. 주위환경에 대한 지도정보가 필요한 이유는 주위환경의 전체적인 위치와 윤곽을 파악하여 최적의 이동 경로를 생성하고, 원하는 목적지까지 충돌 없이 이동하기 위함이다. The most basic function of autonomous mobile robot is to move to the desired target point without collision. In order to do this, the map preparation for autonomous mobile robot to recognize its position should be preceded. The reason why the map information about the surrounding environment is necessary is to grasp the overall location and outline of the surrounding environment, to create the optimal movement route, and to move to the desired destination without collision.
자율이동로봇이 직관적으로 물체의 유무를 알 수 있는 지도로는 격자지도(Metric grid)를 활용할 수 있다. 상기 격자지도는 바둑판과 같이 작은 격자들로 공간을 나누어, 각 격자가 속한 위치에 물체가 존재할 가능성을 수치적으로 표현한 것이다. 그러나, 상기 격자지도는 이동로봇의 주행 지역이 넓어지면 모든 지역을 커버할 수 있는 지도를 생성하도록 프로그램화 하는 것이 불가능하다는 문제점이 있다. 따라서, 위상지도 생성방식(Topological map)으로 지도작성을 하고 있으나, 이 경우 위치 정밀도에서 많은 오차가 발생하여 실제 사용에는 많은 어려움이 있다.
As a map that the autonomous mobile robot can intuitively know the existence of an object, a grid can be used. The grid map divides the space into smaller grids, such as a checkerboard, and numerically expresses the possibility that an object exists at a location to which each grid belongs. However, the grid map has a problem in that it is impossible to program the grid map to generate a map that can cover all areas when the driving area of the mobile robot becomes wider. Therefore, the map is generated by the topological map generation method, but in this case, a lot of errors occur in the position accuracy, so there are many difficulties in actual use.
본 발명은 직접교시방법으로 주행경로를 학습할 수 있는 이동로봇 및 상기 이동로봇에 대한 경로학습방법을 제공하고자 한다.
The present invention is to provide a mobile robot that can learn the driving route by a direct teaching method and a path learning method for the mobile robot.
본 발명의 일 실시예에 의한 경로학습방법은, 기 설정된 경로를 자율주행하는 이동로봇에 대한 경로학습방법에 관한 것으로서, 교시되는 경로를 따라 상기 이동로봇이 이동하면서, 상기 이동로봇에 구비된 카메라를 이용하여 주변영상을 실시간으로 획득하는 영상획득단계; 기 설정된 특징점 도출 알고리즘을 이용하여, 상기 주변영상에 포함된 특징점을 추출하는 특징점추출단계; 상기 주변영상의 연속되는 프레임으로부터 상기 특징점의 위치변화를 감지하고, 상기 특징점의 위치변화를 이용하여 상기 이동로봇의 위치 및 방위각을 계산하는 위치판별단계; 및 상기 경로의 교시가 끝나면, 상기 특징점과 상기 특징점 변화에 따른 상기 이동로봇의 위치 및 방위각을 이용하여 상기 교시된 경로를 정의하고 저장하는 경로저장단계를 포함할 수 있다. The path learning method according to an embodiment of the present invention relates to a path learning method for a mobile robot that autonomously runs a predetermined path, wherein the mobile robot moves along a taught path, and includes a camera provided in the mobile robot. An image acquisition step of acquiring a surrounding image in real time using a; A feature point extraction step of extracting feature points included in the surrounding image by using a predetermined feature point derivation algorithm; A position discrimination step of detecting a position change of the feature point from a continuous frame of the surrounding image, and calculating a position and azimuth angle of the mobile robot using the position change of the feature point; And a path storing step of defining and storing the taught path by using the feature point and the position and azimuth of the mobile robot according to the change of the feature point after teaching of the path.
여기서 상기 영상획득단계는, 4개의 스트레오 카메라를 이용하여 획득되는 영상을 360도 서라운드 화면으로 합성하여 상기 주변영상을 생성할 수 있다. Here, in the image acquisition step, the surrounding image may be generated by synthesizing the image acquired using the four stereo cameras into a 360 degree surround screen.
여기서 상기 특징점추출단계는, SIFT, Harris Corner 및 edge orientation 중 적어도 어느 하나의 알고리즘을 이용하여, 상기 특징점을 추출할 수 있다. In the extracting of the feature point, the feature point may be extracted using at least one algorithm of SIFT, Harris Corner, and edge orientation.
여기서 상기 위치판별단계는, 상기 주변영상의 연속되는 프레임으로부터 상기 특징점을 추출한 후, 상기 특징점간의 대응관계도(correlation)를 계산하여 상기 프레임 간에 대응되는 특징점을 찾는 특징점 매칭과정; 및 상기 매칭된 특징점이 각각의 프레임에서 존재하는 위치를 이용하여 상기 이동로봇의 회전 및 이동량을 계산하는 위치계산과정을 포함할 수 있다.
The location discriminating step may include: a feature point matching process of finding feature points corresponding to the frames by extracting the feature points from successive frames of the surrounding image and calculating a correlation between the feature points; And a position calculation process of calculating a rotation and movement amount of the mobile robot using the positions of the matched feature points in each frame.
본 발명의 일 실시예에 의한 이동로봇은, 교시되는 경로를 저장하고, 상기 저장된 경로를 따라 자율주행하는 이동로봇에 관한 것으로서, 주변영상을 실시간으로 획득하는 카메라; 기 설정된 특징점 도출 알고리즘을 이용하여 상기 주변영상에 포함된 특징점을 추출하고, 상기 주변영상의 연속되는 프레임으로부터 상기 특징점의 위치변화를 감지하여 상기 이동로봇의 위치 및 방위각을 계산하는 경로인식부; 및 상기 특징점과 상기 특징점 변화에 따른 상기 이동로봇의 위치 및 방위각을 저장하는 경로저장부를 포함할 수 있다. A mobile robot according to an embodiment of the present invention relates to a mobile robot that stores a path to be taught and autonomously runs along the stored path, wherein the camera acquires a surrounding image in real time; A path recognition unit extracting a feature point included in the surrounding image by using a predetermined feature point derivation algorithm, and detecting a position change of the feature point from a continuous frame of the surrounding image to calculate a position and azimuth of the mobile robot; And a path storage unit for storing a position and an azimuth angle of the mobile robot according to the feature point and the feature point change.
여기서 상기 경로인식부는, 상기 특징점간의 대응관계도(correlation)을 계산하여 상기 연속되는 프레임 간에 대응되는 특징점을 찾고, 상기 매칭된 특징점이 각각의 프레임에서 존재하는 위치를 이용하여 상기 이동로봇의 회전 및 이동량을 계산할 수 있다.
Here, the path recognition unit calculates a correlation between the feature points, finds a feature point corresponding to the consecutive frames, and rotates the mobile robot by using a position where the matched feature points exist in each frame. The amount of movement can be calculated.
본 발명의 일 실시예에 의한 이동로봇 및 상기 이동로봇에 대한 경로학습방법에 의하면, 별도의 인식마크 등이 없이도 기 설정된 경로를 따라 자율주행이 가능하다. 따라서, 공장의 레이아웃이나 설비 변경으로 인하여 작업환경이 변화된 경우에도 용이하게 이동로봇의 주행경로를 재설정할 수 있다. According to the mobile robot and the path learning method for the mobile robot according to an embodiment of the present invention, autonomous driving is possible along a preset path without a separate recognition mark. Therefore, even when the working environment is changed due to the layout or facility change of the factory, it is possible to easily reset the driving path of the mobile robot.
또한, 사용자가 이동로봇의 주행경로를 직접 교시하여 경로를 학습시킬 수 있으므로, 상기 이동로봇의 주행경로 변경을 용이하게 수행할 수 있다. 따라서, 상기 이동로봇의 생산성 및 활용성을 증대시킬 수 있다.
In addition, since the user can directly teach the driving path of the mobile robot to learn the path, the driving path of the mobile robot can be easily changed. Therefore, productivity and utility of the mobile robot can be increased.
도1은 본 발명의 일 실시예에 의한 이동로봇의 경로학습방법을 나타내는 순서도이다.
도2는 본 발명의 일 실시예에 의한 이동로봇을 나타내는 블록도이다. 1 is a flow chart showing a path learning method of a mobile robot according to an embodiment of the present invention.
Figure 2 is a block diagram showing a mobile robot according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
본 발명의 일 실시예에 의한 이동로봇의 경로학습방법은 직접교시방법을 이용하여 상기 이동로봇에 주행경로를 학습시킬 수 있다. 상기 직접교시는, 사용자가 상기 이동로봇에게 상기 주행경로를 직접 알려주는 것으로서, 사용자는 상기 이동로봇을 조정하여 상기 주행경로를 따라 이동하도록 할 수 있다. 이때, 상기 이동로봇은 사용자가 알려주는 주행경로를 따라 이동하면서 상기 주행경로를 학습할 수 있다. 이후, 상기 주행경로에 대한 학습이 완료되면 상기 이동로봇은 상기 학습된 주행경로를 자율주행하여 이동할 수 있다. 따라서, 종래와 같이 천장, 바닥, 기둥 등에 인식마크를 부착하지 않아도 기 설정된 경로를 따라 자율주행이 가능하며, 공장의 레이아웃이나 설비 변경으로 인하여 작업환경이 변화된 경우에도 용이하게 상기 이동로봇의 주행경로를 재설정할 수 있다.
The path learning method of the mobile robot according to an embodiment of the present invention can learn the driving route to the mobile robot using a direct teaching method. In the direct teaching, the user directly informs the driving route of the mobile robot, and the user may adjust the mobile robot to move along the driving route. In this case, the mobile robot can learn the driving route while moving along the driving route informed by the user. Thereafter, when the learning of the driving route is completed, the mobile robot may move by moving the learned driving route autonomously. Therefore, autonomous driving can be performed along a preset path without attaching a recognition mark to a ceiling, a floor, or a pillar as in the prior art, and the driving path of the mobile robot can be easily changed even when the working environment is changed due to the layout or facility change of a factory. Can be reset.
도1은 본 발명의 일 실시예에 의한 이동로봇의 경로학습방법을 나타내는 순서도이다. 1 is a flow chart showing a path learning method of a mobile robot according to an embodiment of the present invention.
도1을 참조하면, 본 발명의 일 실시예에 의한 이동로봇의 경로학습방법은, 영상획득단계(S10), 특징점추출단계(S20), 위치판별단계(S30) 및 경로저장단계(S40)를 포함할 수 있다. Referring to Figure 1, the path learning method of the mobile robot according to an embodiment of the present invention, image acquisition step (S10), feature point extraction step (S20), location discrimination step (S30) and path storage step (S40) It may include.
이하, 도1을 참조하여 본 발명의 일 실시예에 의한 이동로봇의 경로학습방법을 설명한다.
Hereinafter, a path learning method of a mobile robot according to an embodiment of the present invention will be described with reference to FIG. 1.
영상획득단계(S10)는, 교시되는 경로에 따라 상기 이동로봇을 이동하고, 상기 이동로봇에 구비된 카메라를 이용하여 주변영상을 실시간으로 획득할 수 있다. 여기서, 상기 카메라는 복수개 구비될 수 있다. 예를들어 4개의 스테레오 카메라를 이용하여 영상을 획득하는 것이 가능하며, 상기 4개의 스테레오 카메라는 서로 다른 방향으로 설치될 수 있다. 따라서, 상기 4개의 스테레오 카메라를 이용하여 획득한 영상을 합성하면 상기 이동로봇의 전방위 즉, 360도 서라운드 화면을 얻는 것이 가능하다. 상기 주변영상은 사용자가 교시하는 경로에 따라 달라질 수 있다.In the image acquisition step S10, the mobile robot may be moved according to the taught path, and the surrounding image may be acquired in real time using a camera provided in the mobile robot. Here, the camera may be provided in plurality. For example, it is possible to acquire an image using four stereo cameras, and the four stereo cameras may be installed in different directions. Therefore, by synthesizing the images acquired using the four stereo cameras, it is possible to obtain a 360-degree surround screen of the mobile robot. The surrounding image may vary depending on a path taught by the user.
특징점추출단계(S20)는, 기 설정된 특징점 도출 알고리즘을 이용하여, 상기 주변영상에 포함된 특징점을 추출할 수 있다. 상기 특징점 도출 알고리즘에는 SIFT(Scale Invariant Feature Transform), 해리스 코너 검출기(Harris corner detector), 에지방향성(edge orientation) 등이 있을 수 있다. 따라서, 상기 특징점추출단계(S20)에서는 상기 특징점 도출 알고리즘 중 어느 하나의 알고리즘을 이용하여 상기 특징점을 추출할 수 있다. 이때, 상기 주변영상의 프레임 별로 상기 특징점을 추출할 수 있다. In the feature point extraction step S20, a feature point included in the surrounding image may be extracted using a predetermined feature point derivation algorithm. The feature point derivation algorithm may include a scale invariant feature transform (SIFT), a Harris corner detector, an edge orientation, and the like. Therefore, in the feature point extraction step (S20), the feature point may be extracted using any one of the feature point derivation algorithms. In this case, the feature point may be extracted for each frame of the surrounding image.
여기서, 상기 특징점은 상기 이동로봇의 위치를 특정할 수 있는 주변지형지물로부터 추출할 수 있다. 상기 특징점을 이용하면, 프레임에 포함된 주변지형지물의 크기(scale), 밝기(illumination) 등이 변화하거나, 프레임 내에 포함된 주변지형지물이 평행이동, 회전(rotation) 등이 된 경우에도, 상기 주변지형지물을 구별할 수 있다. 상기 특징점에는 상기 지형지물의 에지(edge) 정보, 거리 정보 등이 포함될 수 있으며, 상기 지형지물로부터 추출한 특징점들을 벡터화하여 각각의 프레임에 대한 특징점 집합을 구성할 수도 있다. 이후, 각 프레임별 특징점 집합을 이용하여 상기 이동로봇의 회전이나 이동 등의 움직임을 판별할 수 있다. Here, the feature point may be extracted from the peripheral feature that can specify the position of the mobile robot. When the feature point is used, even when the scale, brightness, and the like of the peripheral features included in the frame are changed or the peripheral features included in the frame are moved or rotated, the peripheral features are included. Feature can be distinguished. The feature point may include edge information, distance information, and the like of the feature, and a feature point set for each frame may be configured by vectorizing feature points extracted from the feature. Thereafter, the movement of the mobile robot, such as rotation or movement, may be determined using a set of feature points for each frame.
위치판별단계(S30)는, 상기 주변영상의 연속되는 프레임으로부터 상기 특징점의 위치변화를 감지하고, 상기 특징점의 위치변화를 이용하여 상기 이동로봇의 위치 및 방위각을 계산할 수 있다. 앞서 살핀바와 같이, 상기 프레임에 포함된 주변지형지물의 크기, 밝기 등이 변화하거나, 상기 주변지형지물의 위치가 상기 프레임 내에서 평행이동, 회전 등이 되더라도, 상기 특징점을 이용하여 검출하는 것이 가능하다. 따라서, 상기 특징점을 이용하면, 연속되는 프레임내에서 동일한 주변지형지물의 크기변화나 위치변화를 파악하는 것이 가능하다. 여기서, 상기 연속하는 프레임내에 포함되는 주변지형지물의 크기가 변화하거나 위치가 변화하는 것은, 상기 이동로봇의 움직임에 의한 것으로 볼 수 있다. 따라서, 상기 연속하는 프레임내에 포함되는 주변지형지물의 크기 변화 및 위치변화를 이용하여 상기 이동로봇의 위치 및 방위각을 계산하는 것이 가능하다. In the position discriminating step S30, the position change of the feature point may be detected from a continuous frame of the surrounding image, and the position and azimuth angle of the mobile robot may be calculated using the change of the position of the feature point. As described above, even if the size, brightness, etc. of the peripheral features included in the frame change, or the position of the peripheral features is parallel movement, rotation, etc. within the frame, it is possible to detect using the feature points. Therefore, by using the feature point, it is possible to grasp the size change or the position change of the same peripheral feature in successive frames. Here, the change in the size or the position of the peripheral features included in the continuous frame may be regarded as the movement of the mobile robot. Therefore, it is possible to calculate the position and azimuth angle of the mobile robot by using the size change and the position change of the peripheral feature included in the continuous frame.
구체적으로, 상기 위치판별단계(S30)는, 특징점 매칭과정과 위치계산과정으로 나눌 수 있다. Specifically, the position discriminating step S30 may be divided into a feature point matching process and a position calculation process.
상기 특징점 매칭과정에서는 상기 주변영상의 연속되는 프레임에 포함된 특징점 중에서 서로 매칭되는 특징점을 찾을 수 있다. 즉, 상기 연속되는 프레임에서 특징점을 추출한 후, 상기 각각의 프레임이 가지는 특징점 사이의 대응관계도(correspondence)를 계산하고, 상기 대응관계도가 가장 큰 특징점들을 서로 매칭되는 특징점으로 할 수 있다. In the feature point matching process, feature points matching each other may be found among feature points included in consecutive frames of the surrounding image. That is, after extracting feature points from the consecutive frames, a correlation between the feature points of each frame may be calculated, and feature points having the largest correspondence degree may be matched with each other.
위치계산과정은, 상기 매칭된 특징점이 각각의 프레임에서 존재하는 위치를 이용하여 상기 이동로봇의 회전 및 이동량을 계산할 수 있다. 상기 연속된 프레임에서 서로 매칭되는 특징점의 위치변화 또는 크기변화는 상기 이동로봇의 움직임에 기인하는 것일 수 있다. 예를들어, 10프레임동안 동일한 특징점 A가 검출되고, 프레임이 진행할수록 상기 특징점 A의 크기가 점차 커지면 상기 이동로봇은 상기 특징점 A를 향하여 가까워지고 있는 것으로 판별할 수 있다. 또한, 10프레임동안 동일한 특징점 B가 검출되고, 상기 특정점 B의 크기는 일정하지만 상기 특징점 B가 오른 쪽으로 점차 멀어지면, 상기 이동로봇은 왼쪽으로 회전하는 것으로 판별할 수 있다. 따라서, 연속하는 프레임에 포함된 특징점을 추적하여 상기 이동로봇의 움직임을 파악하는 것이 가능하다. 나아가, 상기 이동로봇의 위치 및 방위각을 계산하는 것도 가능하다. In the position calculation process, the rotation and movement amount of the mobile robot can be calculated using the positions of the matched feature points in each frame. The position change or the size change of the feature points matched with each other in the continuous frame may be due to the movement of the mobile robot. For example, when the same feature point A is detected for 10 frames, and the size of the feature point A gradually increases as the frame progresses, the mobile robot can determine that the mobile robot is approaching the feature point A. In addition, if the same feature point B is detected for 10 frames and the size of the specific point B is constant but the feature point B gradually moves away to the right, the mobile robot can be determined to rotate to the left. Therefore, it is possible to determine the movement of the mobile robot by tracking the feature points included in the successive frames. Furthermore, it is also possible to calculate the position and azimuth of the mobile robot.
경로저장단계(S40)는, 상기 경로의 교시가 끝나면, 상기 특징점과 상기 특징점 변화에 따른 상기 이동로봇의 위치 및 방위각을 이용하여 상기 교시된 경로를 정의하고 저장할 수 있다. 사용자가 직접 경로를 안내하였으므로, 상기 경로는 주행가능한 안전경로로 볼 수 있다. 따라서, 상기 특징점과, 상기 특징점을 이용하여 파악한 상기 이동로봇의 이동거리 및 회전정도 등을 이용하여 상기 이동로봇의 경로를 정의하고 저장할 수 있다. 이후, 상기 이동로봇은 상기 저장된 경로를 따라 자율주행할 수 있다. 이때, 상기 이동로봇은, 상기 카메라로 상기 저장된 특징점들을 파악하면서 상기 저장된 경로를 따라 이동할 수 있다. In the path storing step (S40), after the teaching of the path is completed, the taught path may be defined and stored using the location and azimuth angle of the feature point and the change of the feature point. Since the user directly guided the route, the route can be viewed as a driving safety route. Therefore, the path of the mobile robot can be defined and stored using the feature point and the moving distance and the degree of rotation of the mobile robot determined using the feature point. Thereafter, the mobile robot may autonomously drive along the stored path. In this case, the mobile robot may move along the stored path while identifying the stored feature points with the camera.
추가적으로, 상기 이동로봇은 상기 주행가능한 안전경로로 인식되는 특징점 이외에, 상기 주행가능하지 않은 영역에 대한 네거티브 샘플을 확보하여 비주행영역에 대하여 학습하는 것도 가능하다. 즉, 주행하지 않는 영역에 대한 특징점을 생성하여 상기 네거티브 샘플을 확보할 수 있으며, 상기 네거티브 샘플을 이용하여 상기 주행가능하지 않는 영역으로의 진입을 방지할 수 있다. 또한 상기 네거티브 샘플을 주행경로의 특징점과 비교하여, 상기 주행경로를 파악하도록 하는 것도 가능하다. In addition, the mobile robot may learn a non-driving area by obtaining a negative sample for the non-driving area, in addition to the feature point recognized as the driving safety path. That is, the negative sample may be secured by generating a feature point for the non-driving region, and the entry into the non-driving region may be prevented by using the negative sample. In addition, the negative sample may be compared with a feature point of the driving route to determine the driving route.
또한, 상기 특징점과 상기 특징점을 이용하여 파악한 상기 이동로봇의 이동거리 및 회전정도 등을 이용하여 격자지도(metric grid)를 생성할 수 있다. 상기 격자지도는 작은 격자들로 공간을 나누어, 각 격자가 속하는 위치에 물체가 존재할 가능성을 수치적으로 표현한 것으로서, 상기 이동로봇은 상기 격자지도를 이용하여 최적의 주행경로를 설정할 수 있다.
In addition, a metric grid may be generated using the moving distance and the degree of rotation of the mobile robot determined using the feature point and the feature point. The grid map divides a space into small grids and numerically expresses the possibility that an object exists at a location to which each grid belongs, and the mobile robot can set an optimal driving path using the grid map.
도2는, 본 발명의 일 실시예에 의한 이동로봇을 나타내는 블록도이다. Figure 2 is a block diagram showing a mobile robot according to an embodiment of the present invention.
도2를 참조하면, 본 발명의 일 실시예에 의한 이동로봇은, 카메라(10), 경로인식부(20) 및 경로저장부(30)를 포함할 수 있다. Referring to FIG. 2, the mobile robot according to an embodiment of the present invention may include a
이하, 도2를 참조하여 본 발명의 일 실시예에 의한 이동로봇을 설명한다.
Hereinafter, a mobile robot according to an embodiment of the present invention will be described with reference to FIG. 2.
카메라(10)는, 주변영상을 실시간으로 획득할 수 있다. 상기 이동로봇에는 카메라(10)가 적어도 하나 이상 구비될 수 있으며, 예를들어, 4개의 스테레오 카메라가 구비되는 것도 가능하다. 상기 4개의 스테레오 카메라는 서로 다른 방향으로 설치될 수 있으므로, 상기 이동로봇의 전방위에 대한 주변영상을 얻는 것도 가능하다. 즉, 상기 4개의 스테레오 카메라를 이용하여 획득한 영상을 합성하여 360도 서라운드 화면을 얻을 수 있다.
The
경로인식부(20)는, 기 설정된 특징점 알고리즘을 이용하여 상기 주변영상에 포함된 특징점을 추출하고, 상기 주변영상의 연속되는 프레임으로부터 상기 특징점의 위치변화를 감지하여 상기 이동로봇의 위치 및 방위각을 계산할 수 있다. The
상기 주변영상은 복수개의 프레임을 포함할 수 있으며, 상기 주변영상의 프레임에 대하여, SIFT(Scale Invariant Feature Transform), 해리스 코너 검출기(Harris corner detector), 에지방향성(edge orientation) 등의 알고리즘을 적용하여 특징점을 추출할 수 있다. 상기 특징점은, 상기 프레임에 포함된 주변지형지물을 특정하여 다른 주변지형지물과 구별하기 위한 것일 수 있다. 상기 특징점을 이용하면, 상기 프레임에 포함된 주변지형지물의 크기, 밝기 등이 변화하거나, 평행이동, 회전 등이 된 경우에도 상기 주변지형지물을 구별할 수 있다. 상기 주변지형지물의 위치는 고정되어 있는 것이므로, 연속된 프레임에서 감지되는 상기 특징점의 위치나 형태의 변형은, 상기 이동로봇의 움직임에 기인한 것으로 볼 수 있다. 즉, 상기 연속된 프레임에서 감지되는 특징점의 위치나 형태의 변형으로부터 상기 이동로봇의 움직임을 파악하는 것이 가능하다. The peripheral image may include a plurality of frames, and by applying algorithms such as Scale Invariant Feature Transform (SIFT), Harris corner detector, edge orientation, etc. to the frame of the peripheral image Feature points can be extracted. The feature point may be to distinguish the peripheral features included in the frame to distinguish them from other peripheral features. Using the feature point, the peripheral features can be distinguished even when the size, brightness, etc. of the peripheral features included in the frame are changed, or when the peripheral features are parallel moved or rotated. Since the position of the peripheral feature is fixed, deformation of the position or shape of the feature point detected in the continuous frame may be attributed to the movement of the mobile robot. That is, it is possible to grasp the movement of the mobile robot from the deformation of the position or shape of the feature point detected in the continuous frame.
구체적으로, 연속하는 프레임의 각각에 대하여 특징점을 추출하고, 특징점들 사이의 대응 관계도(correspondence)를 계산하여 특징점들간의 관계를 파악할 수 있다. 즉, 연속하는 프레임에 포함된 특징점 중에서 상기 대응관계도가 가장 큰 특징점은 서로 매칭되는 것으로서, 동일한 지형지물을 나타내는 것으로 볼 수 있다. 이후, 상기 특징점의 크기나 위치가 상기 프레임 내에서 어떻게 변화하는 지 여부를 판별하여 상기 이동로봇의 움직을 파악할 수 있다. 예를들어, 10프레임동안 동일한 특징점 A가 검출되고, 프레임이 진행할수록 상기 특징점 A의 크기가 점차 커지면 상기 이동로봇은 상기 특징점 A를 향하여 가까워지고 있는 것으로 판별할 수 있다. 또한, 10프레임동안 동일한 특징점 B가 검출되고, 상기 특정점 B의 크기는 일정하지만 상기 특징점 B가 오른 쪽으로 점차 멀어지면, 상기 이동로봇은 왼쪽으로 회전하는 것으로 판별할 수 있다. 따라서, 연속하는 프레임에 포함된 특징점을 이용하여 상기 이동로봇의 움직임을 파악하는 것이 가능하다. 나아가, 상기 이동로봇의 위치 및 방위각을 계산하는 것도 가능하다.
In detail, the feature points may be extracted for each consecutive frame, and the relationship between the feature points may be determined by calculating a correspondence between the feature points. That is, the feature points having the largest correspondence degree among the feature points included in the continuous frames are matched with each other, and may represent the same feature. Thereafter, the movement of the mobile robot can be grasped by determining how the size or position of the feature point changes within the frame. For example, when the same feature point A is detected for 10 frames, and the size of the feature point A gradually increases as the frame progresses, the mobile robot can determine that the mobile robot is approaching the feature point A. In addition, if the same feature point B is detected for 10 frames and the size of the specific point B is constant but the feature point B gradually moves away to the right, the mobile robot can be determined to rotate to the left. Therefore, it is possible to grasp the movement of the mobile robot using the feature points included in the continuous frames. Furthermore, it is also possible to calculate the position and azimuth of the mobile robot.
경로저장부(30)는, 상기 특징점과 상기 특징점 변화에 따른 상기 이동로봇의 위치 및 방위각을 저장할 수 있다. 사용자가 직접 경로를 안내하였으므로, 상기 경로는 주행가능한 안전경로로 볼 수 있다. 따라서, 상기 특징점과, 상기 특징점을 이용하여 파악한 상기 이동로봇의 이동거리 및 회전정도 등을 이용하여 상기 이동로봇의 경로를 정의하고 저장할 수 있다. 이후, 상기 이동로봇은 상기 저장된 경로를 따라 자율주행할 수 있다. The
추가적으로, 상기 이동로봇은 상기 주행가능한 안전경로로 인식되는 특징점 이외에, 상기 주행가능하지 않은 영역에 대한 네거티브 샘플을 확보하여 비주행영역에 대하여 학습하는 것도 가능하다. 즉, 주행하지 않는 영역에 대한 특징점을 생성하여 상기 네거티브 샘플을 확보할 수 있으며, 상기 네거티브 샘플을 이용하여 상기 주행가능하지 않는 영역으로의 진입을 방지할 수 있다. 또한 상기 네거티브 샘플을 주행경로의 특징점과 비교하여, 상기 주행경로를 파악하도록 하는 것도 가능하다. In addition, the mobile robot may learn a non-driving area by obtaining a negative sample for the non-driving area, in addition to the feature point recognized as the driving safety path. That is, the negative sample may be secured by generating a feature point for the non-driving region, and the entry into the non-driving region may be prevented by using the negative sample. In addition, the negative sample may be compared with a feature point of the driving route to determine the driving route.
나아가, 상기 특징점과 상기 특징점을 이용하여 파악한 상기 이동로봇의 이동거리 및 회전정도 등을 이용하여 격자지도(metric grid)를 생성하는 것도 가능하다. 상기 격자지도는 작은 격자들로 공간을 나누어, 각 격자가 속하는 위치에 물체가 존재할 가능성을 수치적으로 표현한 것으로서, 상기 이동로봇은 상기 격자지도를 이용하여 최적의 주행경로를 설정할 수 있다.
Furthermore, it is also possible to generate a metric grid using the moving point and the degree of rotation of the mobile robot determined using the feature point and the feature point. The grid map divides a space into small grids and numerically expresses the possibility that an object exists at a location to which each grid belongs, and the mobile robot can set an optimal driving path using the grid map.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
The present invention is not limited by the above-described embodiment and the accompanying drawings. It is intended that the scope of the invention be defined by the appended claims, and that various forms of substitution, modification, and alteration are possible without departing from the spirit of the invention as set forth in the claims. Will be self-explanatory.
10: 카메라 20: 경로인식부
30: 경로저장부
S10: 영상획득단계 S20: 특징점추출단계
S30: 위치판별단계 S40: 경로저장단계10: camera 20: path recognition unit
30: path storage unit
S10: image acquisition step S20: feature point extraction step
S30: location determination step S40: path storage step
Claims (6)
교시되는 경로를 따라 상기 이동로봇이 이동하면서, 상기 이동로봇에 구비된 카메라를 이용하여 주변영상을 실시간으로 획득하는 영상획득단계;
기 설정된 특징점 도출 알고리즘을 이용하여, 상기 주변영상에 포함된 특징점을 추출하는 특징점추출단계;
상기 주변영상의 연속되는 프레임으로부터 상기 특징점의 위치변화를 감지하고, 상기 특징점의 위치변화를 이용하여 상기 이동로봇의 위치 및 방위각을 계산하는 위치판별단계; 및
상기 경로의 교시가 끝나면, 상기 특징점과 상기 특징점 변화에 따른 상기 이동로봇의 위치 및 방위각을 이용하여 상기 교시된 경로를 정의하고 저장하는 경로저장단계를 포함하는 경로학습방법.
In the path learning method for a mobile robot that autonomously runs a learned path,
An image acquisition step of acquiring a surrounding image in real time using a camera provided in the mobile robot while the mobile robot moves along a taught path;
A feature point extraction step of extracting feature points included in the surrounding image by using a predetermined feature point derivation algorithm;
A position discrimination step of detecting a position change of the feature point from a continuous frame of the surrounding image, and calculating a position and azimuth angle of the mobile robot using the position change of the feature point; And
After the teaching of the path is finished, a path learning method including a path storing step of defining and storing the taught path using the location and azimuth of the mobile point according to the feature point and the feature point change.
4개의 스트레오 카메라를 이용하여 획득되는 영상을 360도 서라운드 화면으로 합성하여 상기 주변영상을 생성하는 경로학습방법.
The method of claim 1, wherein the image acquisition step
Path learning method for generating the surrounding image by synthesizing the image obtained by using four stereo cameras to the 360-degree surround screen.
SIFT, Harris Corner 및 edge orientation 중 적어도 어느 하나의 알고리즘을 이용하여, 상기 특징점을 추출하는 경로학습방법.
The method of claim 1, wherein the feature point extraction step
Path learning method for extracting the feature point using at least one algorithm of SIFT, Harris Corner and edge orientation.
상기 주변영상의 연속되는 프레임으로부터 상기 특징점을 추출한 후, 상기 특징점간의 대응관계도(correlation)를 계산하여 상기 프레임 간에 대응되는 특징점을 찾는 특징점 매칭과정; 및
상기 매칭된 특징점이 각각의 프레임에서 존재하는 위치를 이용하여 상기 이동로봇의 회전 및 이동량을 계산하는 위치계산과정을 포함하는 경로학습방법.
The method of claim 1, wherein the location discriminating step
A feature point matching process of finding feature points corresponding to the frames by extracting the feature points from successive frames of the surrounding image and calculating a correlation between the feature points; And
And a position calculation process of calculating a rotation and movement amount of the mobile robot using the positions of the matched feature points in each frame.
기 설정된 특징점 도출 알고리즘을 이용하여 상기 주변영상에 포함된 특징점을 추출하고, 상기 주변영상의 연속되는 프레임으로부터 상기 특징점의 위치변화를 감지하여 상기 이동로봇의 위치 및 방위각을 계산하는 경로인식부; 및
상기 특징점과 상기 특징점 변화에 따른 상기 이동로봇의 위치 및 방위각을 저장하는 경로저장부를 포함하는 학습된 경로를 따라 자율주행하는 이동로봇.
A camera for acquiring a surrounding image in real time;
A path recognition unit extracting a feature point included in the surrounding image by using a predetermined feature point derivation algorithm, and detecting a position change of the feature point from a continuous frame of the surrounding image to calculate a position and azimuth of the mobile robot; And
A mobile robot that autonomously runs along a learned path including a path storage unit for storing the feature point and the position and azimuth of the mobile robot according to the feature point change.
상기 특징점간의 대응관계도(correlation)을 계산하여 상기 연속되는 프레임 간에 대응되는 특징점을 찾고, 상기 매칭된 특징점이 각각의 프레임에서 존재하는 위치를 이용하여 상기 이동로봇의 회전 및 이동량을 계산하는 학습된 경로를 따라 자율주행하는 이동로봇.The method of claim 5, wherein the path recognition unit
Learned to find the corresponding feature points between the consecutive frames by calculating the correlation between the feature points, and to calculate the rotation and movement amount of the mobile robot using the position of the matched feature points in each frame A mobile robot that runs autonomously along a path.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120100685A KR20140034996A (en) | 2012-09-11 | 2012-09-11 | Mobile robot and method for teaching a moving path of mobile robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120100685A KR20140034996A (en) | 2012-09-11 | 2012-09-11 | Mobile robot and method for teaching a moving path of mobile robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140034996A true KR20140034996A (en) | 2014-03-21 |
Family
ID=50645116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120100685A KR20140034996A (en) | 2012-09-11 | 2012-09-11 | Mobile robot and method for teaching a moving path of mobile robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140034996A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105807760A (en) * | 2014-12-30 | 2016-07-27 | Tcl集团股份有限公司 | Intelligent robot, method of intelligent robot of automatically planning paths, and device |
| KR20190123403A (en) * | 2018-04-24 | 2019-11-01 | 현대자동차주식회사 | Apparatus, vehicle comprising the same, and control method of the vehicle |
| CN110652256A (en) * | 2018-06-28 | 2020-01-07 | 松下知识产权经营株式会社 | Mobile robot and control method |
| US10671865B2 (en) | 2017-02-16 | 2020-06-02 | Samsung Electronics Co., Ltd. | Autonomous vehicle control method and apparatus |
| US11442455B2 (en) | 2018-12-24 | 2022-09-13 | Samsung Electronics Co., Ltd. | Method and apparatus for generating local motion based on machine learning |
| CN115519542A (en) * | 2022-09-23 | 2022-12-27 | 五邑大学 | Multi-machine cooperation welding track planning method and device based on Harris eagle algorithm |
-
2012
- 2012-09-11 KR KR1020120100685A patent/KR20140034996A/en not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105807760A (en) * | 2014-12-30 | 2016-07-27 | Tcl集团股份有限公司 | Intelligent robot, method of intelligent robot of automatically planning paths, and device |
| US10671865B2 (en) | 2017-02-16 | 2020-06-02 | Samsung Electronics Co., Ltd. | Autonomous vehicle control method and apparatus |
| KR20190123403A (en) * | 2018-04-24 | 2019-11-01 | 현대자동차주식회사 | Apparatus, vehicle comprising the same, and control method of the vehicle |
| US10515280B2 (en) | 2018-04-24 | 2019-12-24 | Hyundai Motor Company | Apparatus, vehicle including the same, and control method for the same |
| CN110652256A (en) * | 2018-06-28 | 2020-01-07 | 松下知识产权经营株式会社 | Mobile robot and control method |
| US11442455B2 (en) | 2018-12-24 | 2022-09-13 | Samsung Electronics Co., Ltd. | Method and apparatus for generating local motion based on machine learning |
| CN115519542A (en) * | 2022-09-23 | 2022-12-27 | 五邑大学 | Multi-machine cooperation welding track planning method and device based on Harris eagle algorithm |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11511421B2 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
| US11361469B2 (en) | Method and system for calibrating multiple cameras | |
| US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
| CN109901590B (en) | Recharging control method of desktop robot | |
| Zhang et al. | Localization and navigation using QR code for mobile robot in indoor environment | |
| KR20140034996A (en) | Mobile robot and method for teaching a moving path of mobile robot | |
| KR101686170B1 (en) | Apparatus for planning traveling path and method thereof | |
| CN107687855B (en) | Robot positioning method and device and robot | |
| KR20110011424A (en) | Method for recognizing position and controlling movement of a mobile robot, and the mobile robot using the same | |
| KR101679741B1 (en) | Method for extracting outter static structure of space from geometric data of space | |
| CN110134117B (en) | Mobile robot repositioning method, mobile robot and electronic equipment | |
| KR20190099537A (en) | Motion learning device, function determining device and function determining system | |
| KR20110009547A (en) | Apparatus and method for detecting rotation-invariant features for localization of a mobile robot | |
| KR20090061355A (en) | Method for controlling driving of moving robot and moving robot using the same | |
| JP2016148956A (en) | Positioning device, positioning method and positioning computer program | |
| KR20170142379A (en) | Apparatus for detect dimensional welding line of welding robot using image processing | |
| KR20130132128A (en) | Mobile robot and method for controlling the same | |
| KR20140053712A (en) | The localization method for indoor mobile robots by sensor fusion | |
| Mutka et al. | A low cost vision based localization system using fiducial markers | |
| KR20120108277A (en) | Method for localizing intelligent mobile robot by using both natural landmark and artificial landmark | |
| KR101784584B1 (en) | Apparatus and method for determing 3d object using rotation of laser | |
| JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
| KR20140032113A (en) | Method for localizing intelligent mobile robot by using natural landmark, artificial landmark and encoder | |
| KR20120108276A (en) | Method for localizing intelligent mobile robot by using a lateral landmark | |
| KR101979003B1 (en) | Method for Localizing Intelligent Mobile Robot by Using Natural Landmark, Artificial Landmark and Inertial Sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |