KR102414004B1 - Path search method of the automatic guided vehicle robot for entering the working path - Google Patents
Path search method of the automatic guided vehicle robot for entering the working path Download PDFInfo
- Publication number
- KR102414004B1 KR102414004B1 KR1020200049797A KR20200049797A KR102414004B1 KR 102414004 B1 KR102414004 B1 KR 102414004B1 KR 1020200049797 A KR1020200049797 A KR 1020200049797A KR 20200049797 A KR20200049797 A KR 20200049797A KR 102414004 B1 KR102414004 B1 KR 102414004B1
- Authority
- KR
- South Korea
- Prior art keywords
- path
- entry
- center
- agv robot
- entering
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000005484 gravity Effects 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
Abstract
본 발명은 농장과 같은 곳에서 일정단위의 구역 섹터별로 구분되는 작업 공간 및 작업 경로 상에서 파이프라인 기반으로 이루어진 작업 진입 경로를 탐색하고, 상기 작업 진입 경로의 무게 중심점을 찾아 AGV 로봇이 효과적으로 작업 경로 진입을 위한 경로탐색 방법을 제공하기 위하여, AGV 로봇이 시작지점으로 이동하는 단계, 작업 경로 진입 알고리즘에 의한 진입 경로를 검출하는 단계, 진입 경로의 오차 범위를 판단하는 단계, 진입 오차를 보정하여 이동하는 단계 및 작업 경로로 진입하여 이동하는 단계로 이루어진 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법에 관한 것이다.In the present invention, the AGV robot effectively enters the work path by searching for a pipeline-based work entry path on the work space and work path divided by area sector of a certain unit in a place such as a farm, and finding the center of gravity of the work entry path. In order to provide a path search method for It relates to a path search method for entering a work path of an AGV robot, comprising steps and steps to enter and move to a work path.
Description
본 발명은 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법에 관한 것으로서, 더욱 상세하게는 AGV 로봇이 스마트 농장의 작업 시, 파이프라인으로 이루어진 작업 진입 경로를 탐색하고, 상기 작업 진입 경로의 중심부로 이동하여 진입을 할 수 있도록 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법에 관한 것이다.The present invention relates to a path search method for entering a work path of an AGV robot, and more particularly, when the AGV robot works in a smart farm, searches for a work entry path made of a pipeline, and moves to the center of the work entry path It relates to a path search method for entering the working path of an AGV robot that allows the user to enter the AGV robot.
최근 다양한 자동 가이드 차량이라 불리는 AGV(Automatic Guided Vehicle)가 자동화 및 무인화를 위해 산업 현장에서 활용되고 있다. 그 중에서 설정된 일정 경로, 즉 유도라인을 따라 반복적으로 주행하는 유도라인 추적 AGV는 생산 공정에서 정해진 위치로 부품을 운반하기 위한 용도로 유용하게 사용되고 있으며, 그 수요도 계속 증가하고 있는 추세이다.Recently, an AGV (Automatic Guided Vehicle), which is called various automatic guided vehicles, is being used in industrial fields for automation and unmanned operation. Among them, the guide line tracking AGV that repeatedly travels along a set route, that is, the guide line, is usefully used for transporting parts to a fixed location in the production process, and the demand for it is continuously increasing.
이때 기존 현장에서 사용되고 있는 유도라인 추적 AGV는 주로 마그네틱 센서를 통한 1차원 스캔 방식을 사용하게 되는데, 이러한 마그네틱 센서 기반의 유도라인 추적 방식에서는 1차원의 좁은 탐색 및 감지 영역을 사용함에 따라 유도라인의 분기나 합류 지점과 같은 복합구조의 유도 라인을 분석하는데 어려움이 많으며, 마그네틱 유도라인의 훼손에도 취약하다는 단점이 있다.At this time, the guidance line tracking AGV used in the existing field mainly uses a one-dimensional scan method through a magnetic sensor. It is difficult to analyze guide lines of complex structures such as branching or junctions, and there are disadvantages in that they are vulnerable to damage to magnetic guide lines.
따라서, 이러한 단점을 해결하기 위해 마그네틱 유도라인을 작업장 바닥에 매립하여 훼손을 최소로 줄이는 한편, 유도라인의 분기 및 병합 지점에 별도의 표식(마그네틱 마커, RFID 태그 등)을 작업장 바닥에 매립 설치하고, AGV에는 매립된 표식을 인식하기 위한 별도의 센서를 장착하여 활용함으로써 복합구조 유도라인 분석의 애로사항을 극복하는 방식을 사용하고 있다.Therefore, in order to solve this drawback, the magnetic guide line is buried in the floor of the workshop to minimize damage, while separate marks (magnetic markers, RFID tags, etc.) are embedded in the floor of the workshop at the branching and merging points of the guide line , the AGV is equipped with a separate sensor for recognizing buried marks and used to overcome the difficulties of complex structure induction line analysis.
그러나 이러한 마그네틱 유도라인과 별도 표식의 매립을 통한 극복 방식을 이용한다 하여도 근래의 다품종 소량생산 방식의 산업현장에서 요구하는 생산 유연성의 확보에 매우 큰 부담이 되고 있다. 즉, 생산품목에 따라 생산라인의 변경과 재설계가 수시로 이루어져야 하는데, 마그네틱 유도라인 및 별도 표식의 매립 방법은 이러한 변경에 경제적으로나 시간적으로 매우 부담스러운 방식일 수 밖에 없다.However, even if such a magnetic induction line and a method of overcoming through landfill of a separate mark are used, it is a very heavy burden to secure the production flexibility required in the recent multi-variety small-volume production method. That is, changes and redesigns of production lines have to be made frequently depending on the production items, and the method of embedding magnetic guide lines and separate markers is inevitably burdensome in terms of economy and time for such changes.
한편, 작업장 현장의 바닥이 철재로 구성되어 있는 경우에는 자기장 간섭으로 인해 마그네틱 센서 기반 유도방식의 활용이 원천적으로 불가능하다는 한계도 있다.On the other hand, there is a limit in that the use of magnetic sensor-based induction method is fundamentally impossible due to magnetic field interference when the floor of the workplace is made of steel.
이에 상기와 같은 문제점을 해결하기 위하여 대한민국 등록특허 제10-1318560호(2013.10.16.)에서 유도라인 추적 AGV의 유연한 주행 제어를 위한 영상 기반 유도라인 해석 방법에 관한 기술이 공지되어 있다.Accordingly, in order to solve the above problems, a technique related to an image-based guidance line analysis method for flexible driving control of a guidance line tracking AGV is known in Korean Patent Registration No. 10-1318560 (October 16, 2013).
그러나 상기 특허 기술은 카메라 모듈로부터 입력받은 영상을 역원근 변환하여 원근요소를 제거한 후 색상기반으로 유도라인 픽셀 영역의 추출 및 훼손 보정 처리를 하여 유도라인 구조분석에 필요한 유도라인 선분을 구하는 영상 전처리 과정과, 입력된 유도라인 선분 정보를 분석하여 현재 지점의 유도라인 구조를 외길구조, 분기구조, 합류구조, 선분기구조 및 후합류구조의 5가지 중의 하나로 결정하는 유도라인 구조해석 과정을 거친 후 AGV의 유연한 유도라인 추적이 가능하도록 유도라인 구조에 따라 적합한 진행 방향을 결정하고, 결정된 진행방향 정보에 따라 AGV 주행을 제어하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법에 관한 것으로서, 본 발명에서 제안하고자 하는 농장과 같은 곳에서 일정단위의 구역 섹터별로 구분되는 작업 공간 및 작업 경로 상에서 파이프라인 기반으로 이루어진 작업 진입 경로를 탐색하고, 상기 작업 진입 경로의 중심점을 찾아 AGV 로봇이 효과적으로 작업 경로 진입을 위한 경로탐색 방법을 제공하는 것과는 차이가 있다.However, in the patented technology, the image received from the camera module is converted into inverse perspective to remove the perspective element, and then the guide line pixel area is extracted and damaged based on color to obtain the guide line segment necessary for the guide line structure analysis. After going through the guidance line structural analysis process that analyzes the input guidance line segment information and determines the guidance line structure at the current point as one of five types: single road structure, branch structure, merging structure, line branch structure, and post merging structure, AGV To enable flexible guidance line tracking of In a place such as a farm to be proposed, the AGV robot can effectively enter the work path by searching for the pipeline-based work entry path on the work space and work path divided by area and sector of a certain unit, and finding the central point of the work entry path. It is different from providing a route search method for
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 도출된 것으로, 본 발명의 목적은, 일정 넓이와 일정 공간을 가지며 농작물의 생육 환경을 최적으로 유지하는 농업 시설로서의 농장(Farm)에서, 파이프라인 기반으로 일정단위의 구역 섹터별로 구분되는 작업 공간 및 작업 경로를 따라 이동하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법을 제공하고자 하는 것이다.The present invention has been derived to solve the problems of the prior art, and an object of the present invention is to have a certain area and a certain space, and in a farm as an agricultural facility that optimally maintains the growth environment of crops, a pipeline Based on this, it is intended to provide a path search method for entering the work path of the AGV robot moving along the work path and the work space divided by area and sector of a certain unit.
또한, 본 발명은 AGV 로봇의 제어부를 통하여 수행되는 오픈 소스 컴퓨터 비전 라이브러리(OpenCV, Open Source Computer Vision)를 사용하여 구현되는 작업 경로 진입 알고리즘을 구현하고 이를 통한 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법을 제공하고자 하는 목적이 있다.In addition, the present invention implements a work path entry algorithm implemented using an open source computer vision library (OpenCV, Open Source Computer Vision) performed through the control unit of the AGV robot, and path search for entering the work path of the AGV robot through this The purpose is to provide a method.
상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 AGV 로봇의 제어부를 통하여 수행되는 작업 경로 진입을 위한 경로탐색 방법은 파이프라인 기반으로 이루어진 작업 경로의 진입을 위하여 어느 하나의 경로 전단 상에 위치한 시작지점으로 이동하는 제1단계, 상기 시작지점에서 작업 경로 진입 알고리즘에 의한 진입 경로를 검출하는 제2단계, 상기 제2단계에서 검출된 무게 중심점 좌표와 AGV 로봇의 현재 위치 및 진입 중심 방향을 탐색하여 상기 파이프라인 기반 진입 경로의 오차 범위를 판단하는 제3단계, 적어도 한번 이상의 위치 보정을 수행하여 진입 오차를 보정하고 AGV 로봇의 위치를 이동하는 제4단계 및 AGV 로봇이 파인프라인 기반 작업 경로로 진입하여 이동하는 제5단계를 포함하여 이루어지는 것을 특징으로 할 수 있다.In order to solve the above technical problem, the path search method for entering the work path performed through the control unit of the AGV robot according to an aspect of the present invention is located on the front end of any one path for entering the work path made on a pipeline basis. The first step of moving to the starting point, the second step of detecting the entry path by the work path entry algorithm at the starting point, the coordinates of the center of gravity detected in the second step, and the current position and the direction of the entry center of the AGV robot. The third step of determining the error range of the pipeline-based entry path, the fourth step of correcting the entry error by performing at least one position correction and moving the position of the AGV robot, and the AGV robot pipeline-based work path It may be characterized in that it comprises a fifth step of entering and moving.
또한, 본 발명의 상기 제2단계에서 수행되는 작업 경로 진입 알고리즘은 AGV 로봇의 카메라를 통하여 파이프라인 기반으로 이루어진 작업 경로상의 RGB 이미지가 입력되는 이미지 입력 단계, 상기 입력 이미지에 포함되어 있는 객체에서 파이프라인의 윤곽선을 추출하는 에지 검출 단계, 상기 검출된 에지 이미지에 대한 영역을 관심 영역(ROI, Region of Interest)으로 설정하는 관심 영역 설정 단계, 상기 관심 영역 내에서 허프 변환(Hough Transform) 기법을 통하여 필요한 직선들만 검출하는 허프 변환 단계, 허프 변환에 의해 검출된 파이프라인 직선에 대하여 이미지 화면상의 끝까지 연장시키는 직선 연장 단계, 상기 직선 연장된 내부 영역에 대해 진입을 위한 경로 검출 영역의 설정을 위한 어느 하나의 일정 단색을 채우는 색 채우기 단계, 상기 색이 채워진 연장된 직선상에서 일정 면적 만큼만의 범위를 지정하고, 다른 부분들은 제거를 하는 검출 영역 설정 단계, 상기 검출 영역 설정 단계에서 지정된 일정 면적범위를 백색 영역으로 그 외의 이미지 픽셀에 대하여 흑색 영역으로 구분하여 지정된 검출 영역을 도형화하는 1채널 변환 단계, 상기 1채널로 변환 단계에서 백색 영역으로 지정된 검출 영역의 무게 중심점을 산출하는 무게 중심 계산 단계 및 상기 무게 중심 계산 단계에서 계산되어진 무게 중심점에 대하여 이미지 상에서의 무게 중심점 좌표를 산출하는 무게 중심점 좌표 출력 단계로 이루어지는 것을 특징으로 할 수 있다.In addition, the work path entry algorithm performed in the second step of the present invention includes an image input step in which an RGB image on a pipeline-based work path is input through the camera of the AGV robot, and a pipe from an object included in the input image. Through an edge detection step of extracting the outline of a line, a region of interest setting step of setting a region for the detected edge image as a region of interest (ROI), a Hough transform technique within the region of interest A Hough transform step of detecting only necessary straight lines, a straight line extension step of extending the pipeline straight line detected by the Hough transform to the end on the image screen, any one for setting a path detection area for entry to the linearly extended inner area A color filling step of filling a certain solid color of A one-channel conversion step of dividing the image pixels into black areas for other image pixels to visualize the designated detection area, a center of gravity calculation step of calculating the center of gravity of the detection area designated as a white area in the 1-channel conversion step, and the weight It may be characterized in that it comprises a center of gravity coordinate output step of calculating the center of gravity coordinates on an image with respect to the center of gravity calculated in the center of gravity calculation step.
이때 본 발명의 상기 에지 검출 단계는 캐니 에지 검출 기법(Canny Edge Detector)을 사용하는 특징이 있다.In this case, the edge detection step of the present invention is characterized by using a Canny Edge Detector.
또한, 본 발명의 상기 허프 변환 단계는 무작위 직선과 관련된 화소들에 대한 기울기 영역을 제한하고 주성분에 대해서만 허프변환을 수행하여 필요한 직선과 관련된 정보만을 추출하는 특징이 있다.In addition, the Hough transform step of the present invention is characterized in that only the necessary straight line information is extracted by limiting the gradient region for the pixels related to the random straight line and performing the Hough transform only on the main component.
또한, 본 발명의 상기 검출 영역 설정 단계는 이미지 화면 하부로부터 65 내지 70% 사이에 위치되는 면적 범위를 선택하는 특징이 있다.In addition, the detection area setting step of the present invention is characterized in that the area range located between 65 and 70% from the lower part of the image screen is selected.
또한, 본 발명은 상기 제4단계에서 1차 보정 오차 범위 이내의 위치를 판단하고, 1차 보정 단계 시작 시간으로부터 경과 시간이 5초를 초과하면, 파이프라인 진입 경로의 무게 중심 좌표를 검출하는 과정을 재 수행하는 특징이 있다.In addition, the present invention determines the position within the first correction error range in the fourth step, and when the elapsed time from the start time of the first correction step exceeds 5 seconds, the process of detecting the coordinates of the center of gravity of the pipeline entry path It has the characteristic of re-performing
또한, 본 발명은 상기 제4단계에서 2차 보정 오차 범위 이내의 위치를 판단하고, 2차 보정 단계 시작 시간으로부터 2초를 초과하면, 파이프라인 기반 경로 진입을 위한 1차 보정 단계를 수행하는 특징이 있다.In addition, the present invention is characterized in that the position within the secondary correction error range is determined in the fourth step, and when it exceeds 2 seconds from the start time of the secondary correction stage, the primary correction step for entering the pipeline-based path is performed. There is this.
또한, 본 발명의 상기 제1단계 내지 제5단계의 어느 하나의 단계에서 AGV 로봇이 이동한다는 것은 홀로노믹 드라이빙(Holonomic Driving) 방식의 이동을 의미하는 것을 특징으로 할 수 있다.In addition, the movement of the AGV robot in any one of the first to fifth steps of the present invention may be characterized in that it means the movement of the holonomic driving method.
전술한 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법에 의한 본 발명은 AGV 로봇이 농장과 같은 곳에서 일정단위의 구역 섹터별로 구분되는 작업 경로 상에서 파이프라인 기반으로 이루어진 작업 진입 경로를 탐색함으로서, AGV 로봇의 이동을 위하여 별도의 유도 라인이나 별도의 센서를 장착하지 않아도 효과적으로 작업 경로 진입을 할 수 있는 장점이 있다.The present invention according to the path search method for entering the work path of the AGV robot described above is the AGV robot searching for the work entry path made on the basis of a pipeline on the work path divided by area and sector of a certain unit in a place such as a farm. It has the advantage of effectively entering the work path without installing a separate guide line or a separate sensor for the movement of the robot.
또한, 본 발명은 계산 효율성과 실시간 프로세싱이 가능한 응용 프로그램에 중점을 두고 설계된 OpenCV 기반 작업 경로 진입 알고리즘을 구현하여 이를 AGV 로봇의 제어부에 적용함으로서, 저렴한 비용으로 AGV 로봇의 이미지 처리와 이동 제어를 최적화하고 향상시킬 수 있는 효과가 있다.In addition, the present invention implements an OpenCV-based work path entry algorithm designed with an emphasis on computational efficiency and applications capable of real-time processing and applies it to the control unit of the AGV robot, thereby optimizing image processing and movement control of the AGV robot at low cost. and can be improved.
도 1은 본 발명에 따른 AGV 로봇의 경로탐색을 위한 파이프라인 기반 작업경로를 구비하는 스마트 농장의 예시도이다.
도 2는 본 발명의 일실시예에 따른 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일실시예에 따른 작업 경로 진입 알고리즘의 흐름도이다.
도 4a는 본 발명의 작업 경로 진입 알고리즘에 따른 Canny 알고리즘을 통한 에지 검출 이미지의 예시도.
도 4b는 본 발명의 작업 경로 진입 알고리즘에 따른 관심영역 설정 이미지의 예시도.
도 4c는 본 발명의 작업 경로 진입 알고리즘에 따른 허프변환을 통해 검출된 직선들의 이미지 예시도.
도 4d는 본 발명의 작업 경로 진입 알고리즘에 따른 필요 직선을 화면 끝까지 연장한 이미지의 예시도.
도 4e는 본 발명의 작업 경로 진입 알고리즘에 따른 영역을 나타내기 위해 안쪽 색이 채워진 이미지의 예시도.
도 4f는 본 발명의 작업 경로 진입 알고리즘에 따른 무게 중심을 구하기 위해 검출할 영역 선택 이미지의 예시도.
도 4g는 본 발명의 작업 경로 진입 알고리즘에 따른 1채널로 만들기 위해 blue만 검출한 이미지의 예시도.
도 4h는 본 발명의 작업 경로 진입 알고리즘에 따른 무게 중심을 찾아 시각화한 이미지의 예시도이다.
도 5는 본 발명의 실시예에 따른 AGV 로봇의 진입 오차를 보정하여 이동하는 단계의 세부 흐름도이다.1 is an exemplary diagram of a smart farm having a pipeline-based work path for path search of an AGV robot according to the present invention.
2 is a flowchart illustrating a path search method for entering a work path of an AGV robot according to an embodiment of the present invention.
3 is a flowchart of a working path entry algorithm according to an embodiment of the present invention.
4A is an exemplary diagram of an edge detection image through the Canny algorithm according to the working path entry algorithm of the present invention.
Figure 4b is an exemplary view of an image of setting a region of interest according to the working path entry algorithm of the present invention.
4c is an example image of straight lines detected through Hough transform according to the working path entry algorithm of the present invention.
Figure 4d is an example of an image extending the necessary straight line according to the work path entry algorithm of the present invention to the end of the screen.
4E is an exemplary view of an image filled with an inner color to indicate a region according to the working path entry algorithm of the present invention.
4F is an exemplary diagram of an image for selecting a region to be detected in order to obtain a center of gravity according to the working path entry algorithm of the present invention.
4G is an exemplary view of an image in which only blue is detected to make one channel according to the working path entry algorithm of the present invention.
4H is an exemplary diagram of an image visualized by finding a center of gravity according to the algorithm for entering a working path of the present invention.
5 is a detailed flowchart of the step of moving by correcting the entry error of the AGV robot according to an embodiment of the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical idea of the present invention.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the configuration shown in the embodiments and drawings described in this specification is only the most preferred embodiment of the present invention and does not represent all of the technical idea of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be water and variations.
이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
먼저 본 발명은 AGV 로봇의 경로탐색에 있어서, 농장(Farm)과 같은 곳에서 일정단위의 구역 섹터별로 구분되는 작업 공간 및 작업 경로가 파이프라인 기반으로 이루어진 경로를 탐색하기 위한 것이다.First, in the path search of an AGV robot, the present invention is to search for a path in which a work space and work path divided by a certain unit of area and sector in a place such as a farm are based on a pipeline.
이에 도 1은 본 발명에 따른 AGV 로봇의 경로탐색을 위한 파이프라인 기반 작업 경로를 구비하는 스마트 농장의 예시를 보여주고 있으며, 각각의 파이프라인이 구분되는 작업 공간으로 이루어짐을 알 수 있다.Accordingly, FIG. 1 shows an example of a smart farm having a pipeline-based work path for path search of an AGV robot according to the present invention, and it can be seen that each pipeline is composed of a separate work space.
도 2는 본 발명의 일실시예에 따른 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법을 설명하기 위한 순서도이다.2 is a flowchart for explaining a path search method for entering a work path of an AGV robot according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 AGV 로봇은 파이프라인 기반으로 이루어진 작업 경로의 진입을 위하여, 시작지점으로의 이동하는 제1단계(S100), 진입 경로를 검출하는 제2단계(S200), 진입 경로의 오차 범위를 판단하는 제3단계(S300), 진입 오차를 보정하여 이동하는 제4단계(S400) 및 작업 경로로 진입하여 이동하는 제5단계(S500)로 이루어진다.Referring to FIG. 2 , the AGV robot of the present invention includes a first step (S100) of moving to a starting point, a second step (S200) of detecting an entry path, and an entry in order to enter a pipeline-based work path. It consists of a third step (S300) of determining the error range of the path, a fourth step (S400) of moving by correcting an entry error, and a fifth step (S500) of moving into and moving to a work path.
이에 상기 제1단계(S100)는 AGV 로봇이 파이프라인 기반으로 일정단위의 구역 섹터별로 구분되는 작업 공간 또는 작업 경로로의 진입을 위하여 어느 하나의 경로 전단 상에 위치한 초기 시작지점으로의 이동하는 단계이다.Accordingly, the first step (S100) is a step in which the AGV robot moves to an initial starting point located on the front end of any one path in order to enter a work space or work path divided by a predetermined unit and sector based on a pipeline. to be.
이후 제2단계(S200)는 AGV 로봇의 제어부를 통하여 상기 시작지점에서 작업 경로 진입 알고리즘에 의한 어느 하나의 진입 경로를 검출하는 과정을 수행한다.After that, the second step (S200) performs a process of detecting any one entry path by the work path entry algorithm at the starting point through the control unit of the AGV robot.
도 3은 본 발명의 일실시예에 따른 작업 경로 진입 알고리즘의 흐름도이고, 또한, 도 4a 내지 도 4h는 본 발명의 상기 작업 경로 진입 알고리즘에 따른 구현에 의하여 생성되는 이미지를 보여주는 예시도이다.3 is a flowchart of a working path entry algorithm according to an embodiment of the present invention, and FIGS. 4A to 4H are exemplary views showing images generated by the implementation according to the working path entry algorithm of the present invention.
이에 도 3 및 도 4a 내지 4h를 참조하여 작업 경로 진입 알고리즘을 설명하면 다음과 같다.Accordingly, the work path entry algorithm will be described with reference to FIGS. 3 and 4A to 4H .
도 3에서와 같이 본 발명의 작업 경로 진입 알고리즘은 이미지 입력 단계(S201), 에지(Edge) 검출 단계(S202), 관심 영역 설정 단계(S203), 허프 변환 단계(S204), 직선 연장 단계(S205), 색 채우기 단계(S206), 검출 영역 설정 단계(S207), 1채널 변환 단계(S208), 무게 중심 계산 단계(S209) 및 중심점 좌표 출력 단계(S210)로 이루어진다.As shown in FIG. 3, the working path entry algorithm of the present invention includes an image input step (S201), an edge detection step (S202), a region of interest setting step (S203), a Hough transform step (S204), and a straight line extension step (S205). ), a color filling step (S206), a detection area setting step (S207), a one-channel conversion step (S208), a center of gravity calculation step (S209), and a center point coordinate output step (S210).
본 발명의 상기 작업 경로 진입 알고리즘은 AGV 로봇의 제어부를 통하여 수행되며, 컴퓨터 비전, 알고리즘, 수학 연산, 비디오 캡처, 이미지 처리 등과 같은 다양한 목적을 위해 제작되어진 오픈 소스 컴퓨터 비전 라이브러리(OpenCV, Open Source Computer Vision)를 사용하여 구현될 수 있다.The work path entry algorithm of the present invention is performed through the control unit of the AGV robot, and an open source computer vision library (OpenCV, Open Source Computer) produced for various purposes such as computer vision, algorithm, mathematical operation, video capture, image processing, etc. Vision) can be implemented using
이에 상기 제2단계(S200)에서 AGV 로봇의 제어부를 통하여 수행되는 작업 경로 진입 검출을 위한 상기 이미지 입력 단계(S201)는 AGV 로봇이 작업 경로의 진입을 위하여 시작지점으로 이동하였을 시, 카메라를 통하여 파이프라인 기반으로 이루어진 작업 경로상의 RGB 이미지가 입력되는 단계이다.Accordingly, in the second step (S200), the image input step (S201) for detecting entry into the working path performed through the control unit of the AGV robot is performed through the camera when the AGV robot moves to the starting point to enter the working path. This is the stage where the RGB image on the pipeline-based work path is input.
이때 카메라로부터 입력되는 이미지에는 다수의 진입 경로에 대하여 다수의 파이프라인이 이미지 상에서 나타날 수 있다.In this case, in the image input from the camera, a plurality of pipelines for a plurality of entry paths may appear on the image.
상기 에지(Edge) 검출 단계(S202)는 입력된 이미지에 포함되어 있는 객체 즉, 파이프라인의 경계선 또는 윤곽선을 추출하는 단계이다.The edge detection step S202 is a step of extracting an object included in the input image, that is, a boundary or outline of a pipeline.
이때 본 발명에서는 노이즈로 인한 잘못된 에지를 계산하는 것을 방지하고 명확한 경계 값을 얻기 위하여 개발된 캐니 에지 검출 기법(Canny Edge Detector)을 사용한다.At this time, in the present invention, a Canny Edge Detector developed to prevent incorrect edge calculation due to noise and to obtain a clear boundary value is used.
상기 관심 영역 설정 단계(S203)는 검출된 에지-여기에서는 하나 이상의 에지가 검출될 수 있음- 이미지에 대한 영역을 관심 영역(ROI, Region of Interest)으로 설정하는 단계이다.The step of setting the region of interest ( S203 ) is a step of setting a region for an image of a detected edge, in which one or more edges may be detected, as a region of interest (ROI).
그러므로 상기 관심 영역에는 다수의 검출된 에지가 포함되어 있을 수 있다.Therefore, the region of interest may include a plurality of detected edges.
상기 허프 변환 단계(S204)는 상기 관심 영역 내에서 기울기 제한과 허프 변환(Hough Transform) 기법을 통하여 필요한 선들만 검출하는 단계이다.The Hough transform step S204 is a step of detecting only necessary lines in the region of interest through gradient limitation and Hough transform techniques.
허프 변환이란 이미지 속에서 직선 검출을 위한 대표적인 알고리즘의 하나이며, 실시간으로 사용할 수 있을 정도로 빠른 직선 처리와 간단한 알고리즘으로 이미지 처리를 위한 OpenCV 라이브러리에 내장되어 있을 수 있다.The Hough transform is one of the representative algorithms for detecting a straight line in an image, and it may be built into the OpenCV library for image processing as a simple algorithm and a fast straight line processing that can be used in real time.
이때 잡음이 있거나 복잡한 영상에서 생성되는 방대한 에지 화소들은 상당한 계산량과 무작위(Random) 직선들이 포함될 수 있기 때문에, 본 발명의 허프 변환에서는 상기 설정된 관심 영역 내의 에지 화소들에서 필요한 직선과 관련된 정보만을 검출하는 방법을 사용하기 위하여, 무작위 직선과 관련된 화소들에 기울기 영역을 제한하고 주성분에 대해서만 허프변환을 수행함으로서 필요한 직선만을 검출하도록 구현되어진다. 즉 관심 영역 내 직선과 관련된 화소들에서 기울기 영역을 제한함으로서, 무작위 직선의 검출을 방지하고, 필요한 직선만을 검출할 수 있게 되는 것이다.At this time, since massive edge pixels generated from noisy or complex images may include a considerable amount of computation and random straight lines, the Hough transform of the present invention detects only information related to straight lines required from edge pixels within the set ROI. In order to use the method, it is implemented to detect only necessary straight lines by limiting the gradient region to pixels related to random straight lines and performing Hough transform on only the principal components. That is, by limiting the gradient region in pixels related to the straight line in the region of interest, detection of a random straight line is prevented and only a necessary straight line can be detected.
상기 직선 연장 단계(S205)는 허프 변환에 의해 검출된 파이프라인 직선에 대하여 이미지 화면상의 끝까지 연장시키는 단계이다.The straight line extension step S205 is a step of extending the pipeline straight line detected by the Hough transform to the end on the image screen.
상기 영역 표시를 위한 색 채우기 단계(S206)는 연장된 직선상에서 사다리꼴로 이루어진 내부 영역에 대해 진입을 위한 경로 검출 영역의 설정을 위한 일정 단색을 채우는 단계이다. 이는 연장된 직선상 내의 사다리꼴 영역(Zone)을 구분하기 위한 것으로, R, G, B 중의 어느 하나의 색으로 표현하는 과정이다. The step of filling the color for displaying the area ( S206 ) is a step of filling an internal area formed of a trapezoid on an extended straight line with a predetermined solid color for setting a path detection area for entry. This is to distinguish a trapezoidal zone within an extended straight line, and is a process of expressing with any one of R, G, and B colors.
상기 검출 영역 설정 단계(S207)는 색이 채워진 연장된 직선상에서 일정 면적 만큼만의 범위를 지정하고, 다른 부분들은 제거를 하는 단계이다.The detection area setting step S207 is a step of designating a range of only a certain area on an extended straight line filled with color, and removing other parts.
상기 일정 면적은 연장된 직선상에 채워진 색의 범위에서 이미지 화면 하부로부터 65 내지 70% 사이에 위치되는 면적 범위를 선택하는 것을 의미한다. 즉, 색이 채워져 연장된 사다리꼴의 이미지 상에서 하부로부터 중간보다 위쪽 부분의 일정 영역을 선택 지정하기 위한 것이라 할 수 있다. 이는 입력된 카메라 영상에서 중앙부에 초점이 맞추어졌을 때, 약간 위쪽 부분이 파이프라인으로 이루어진 진입경로라는 것을 예상할 수 있기 때문이다.The predetermined area means selecting an area range located between 65 and 70% from the lower part of the image screen in the range of colors filled on the extended straight line. That is, it can be said that it is for selecting and designating a certain area above the middle from the bottom on the extended trapezoidal image filled with color. This is because, when the central part of the input camera image is focused, it can be expected that the slightly upper part is an entry path consisting of a pipeline.
상기 1채널로 변환 단계(S208)는 상기 검출 영역 설정 단계(S207)에서 색으로 지정된 일정 면적범위와 그 외의 이미지 픽셀에 대하여 흑백 이미지 처리를 함으로서, 1채널 이미지로의 변환을 하는 단계이다. 즉, 지정된 일정 면적은 백색으로 그 외의 영역은 검정색으로 변환함으로서 이후 계산의 편의를 위한 도형화를 도모할 수 있게 된다. 도 4g는 1채널로 만들기 위해 blue만 검출한 이미지라 할 수 있다.The step of converting to one channel (S208) is a step of converting into a one-channel image by performing black-and-white image processing on the image pixels other than the predetermined area range designated as a color in the step of setting the detection area (S207). That is, by converting the specified area to white and the other areas to black, it is possible to achieve graphic design for convenience of subsequent calculations. 4G can be said to be an image in which only blue is detected in order to make one channel.
상기 무게 중심 계산 단계(S209)는 백색으로 변환되어진 지정된 일정 면적을 일개 도형으로 가정하였을 시의 무게 중심점, 즉 상기 도형이 질량 균형을 이루기 위한 중심점을 산출하는 단계라 할 수 있다.The step of calculating the center of gravity ( S209 ) may be a step of calculating a center of gravity point when a specified predetermined area converted to white is assumed as one figure, that is, a center point for achieving mass balance of the figure.
통상적으로 사각형에 대한 무게중심은 한 개의 사각형을 1차로 두개의 삼각형으로 나누어 각 삼각형의 무게중심을 찾아 선분을 연결하고, 또한, 2차로 다른 두 개의 삼각형을 나누고 이에 대한 삼각형의 무게중심을 표시하고 서로 선분을 연결하게 되면, 상기 두 개의 선분이 이루는 교점이 구해지고 이것이 바로 사각형의 무게 중심점이 되는 것이라 할 수 있다.In general, the center of gravity for a rectangle is to divide a rectangle into two triangles first, find the center of gravity of each triangle, and connect the line segments, and secondarily divide the other two triangles and mark the center of gravity of the triangle When the line segments are connected to each other, the intersection between the two line segments is obtained, and this is the center of gravity of the quadrangle.
상기 무게 중심점 좌표 출력 단계(S210)는 상기 무게 중심 계산 단계(S209)에서 계산되어진 무게 중심점에 대하여 이미지 상에서의 무게 중심점 좌표를 산출하는 단계이다.The step of outputting the center of gravity coordinates ( S210 ) is a step of calculating the coordinates of the center of gravity on the image with respect to the center of gravity calculated in the step of calculating the center of gravity ( S209 ).
도 4h는 상기 무게 중심점 좌표 출력 단계에서 산출된 무게 중심점을 시각적으로 표출하여 보여주는 예시도라 할 수 있다. 즉 이미지 상에서 시각적으로 표출되어진 무게 중심점은 곧, 파이프라인 기반의 작업경로를 진입하기 위한 중앙 지점으로 볼 수 있으며, AGV 로봇이 이를 인지하고 작업을 위한 진입 경로로서 진입을 시도할 수 있게 되는 것이다.4H is an exemplary diagram showing the center of gravity calculated in the step of outputting the center of gravity coordinates visually. That is, the center of gravity expressed visually on the image can be viewed as a central point for entering the pipeline-based work path, and the AGV robot recognizes this and can try to enter as an entry path for work.
전술한 바와 같이 AGV 로봇의 제어부를 통하여 이루어진 작업 경로 진입 알고리즘에 의한 중심점 좌표가 인지되고 이를 통하여 어느 하나의 진입 경로가 검출되어졌다.As described above, the center point coordinates were recognized by the work path entry algorithm made through the control unit of the AGV robot, and any one entry path was detected through this.
이에 따라 상기 제3단계(S300)는 AGV 로봇이 어느 하나의 진입 경로를 검출하였을 시, 이때 진입을 위한 무게 중심점 좌표가 AGV 로봇의 현재 위치 및 진입 중심 방향과 일치하는지의 여부를 판단하는 단계이다.Accordingly, in the third step (S300), when the AGV robot detects any one entry path, it is determined whether the coordinates of the center of gravity for the entry coincide with the current position and the entry center direction of the AGV robot. .
이때 AGV 로봇의 방향이 작업 경로 진입 알고리즘에 의한 어느 하나의 진입 경로로 검출된 진입 경로의 중심점 좌표가 AGV 로봇의 현재 위치 및 진입 중심 방향과 일치한다면, AGV 로봇은 상기 제5단계(S500)의 파인프라인 기반 작업 경로로 진입하여 이동할 수 있게 된다.At this time, if the direction of the AGV robot is the coordinates of the center point of the entry path detected as any one entry path by the work path entry algorithm coincides with the current position of the AGV robot and the direction of the entry center, the AGV robot performs the fifth step (S500) You will be able to enter and move into a pipeline-based work path.
그러나 상기 제3단계(S300)에서 무게 중심점 좌표가 AGV 로봇의 현재 위치 및 진입 중심 방향과 일치하는지의 여부를 판단하는 단계에서, 검출된 진입 경로의 중심점 좌표가 AGV 로봇의 현재 위치 및 진입 중심 방향과 일치하지 않는다면, 경로 보정을 위해 시작지점을 변경하기 위해 진입 오차를 보정하여 이동하는 제4단계(S400)를 수행한다.However, in the third step (S300), in the step of determining whether the coordinates of the center of gravity coincide with the current position and the direction of the center of entry of the AGV robot, the coordinates of the center point of the detected entry path are the current position of the AGV robot and the direction of the center of entry. If it does not match, a fourth step (S400) of moving by correcting the entry error to change the starting point for path correction is performed.
도 5는 본 발명의 실시예에 따른 AGV 로봇의 진입 오차를 보정하여 이동하는 단계의 세부 흐름을 함께 보여주는 순서도이다.5 is a flowchart showing the detailed flow of the step of moving by correcting the entry error of the AGV robot according to an embodiment of the present invention.
도시에서와 같이 진입 오차를 보정하여 이동하는 제4단계(S400)에서는 적어도 1회 이상의 진입 오차를 보정할 수 있으며, 이를 위한 경로 탐색 방법은 다음과 같다.In the fourth step (S400) of moving by correcting the entry error as shown in the figure, the entry error may be corrected at least once or more, and a path search method for this is as follows.
상기 제3단계(S300)에서 검출된 진입 경로의 중심점 좌표가 AGV 로봇의 현재 위치 및 진입 중심 방향과 일치하지 않는다면, 파이프라인 기반 경로 진입을 위한 1차 보정 단계(S401)를 수행한다.If the coordinates of the center point of the entry path detected in the third step S300 do not match the current position and the entry center direction of the AGV robot, the first correction step S401 for entering the pipeline-based path is performed.
이는 AGV 로봇이 검출된 진입 경로의 중심점 좌표가 AGV 로봇의 위치와 진입 중심 방향이 일치하도록 홀로노믹 기반으로 위치를 보정하기 위하여 이동하는 것을 의미한다.This means that the AGV robot moves to correct the position based on the holonomics so that the coordinates of the center point of the detected entry path coincide with the position of the AGV robot and the direction of the entry center.
이어 AGV 로봇의 이동 위치상에서 1차 보정 단계(S401)에 의한 일정 거리 오차 범위 이내에 위치하고 있는지를 판단하고, 일정 거리 오차 범위 이내에 위치하고 있으면 다시 파이프라인 기반 경로 진입을 위한 2차 보정 단계(S404)를 한 번 더 수행한다. 이는 AGV 로봇이 확실하고 효과적으로 파이프라인 경로에 진입을 시키기 위하여 적어도 2차의 오차 수정을 시행하는 것이라 할 수 있다.Next, on the moving position of the AGV robot, it is determined whether it is located within a certain distance error range by the first correction step (S401), and if it is located within a certain distance error range, the second correction step (S404) for entering the pipeline-based path is performed again. Do it one more time. This can be said to perform at least the second error correction in order for the AGV robot to enter the pipeline path reliably and effectively.
이때, 상기 1차 보정 단계(S401) 이후 1차 보정 오차 범위 이내의 위치를 판단하고(S402), 일정 거리 오차 범위가 발생하였을 시, 1차 보정 단계 시작 시간으로부터 일정 경과 시간을 체크한다(S403). 상기 일정 경과 시간이 5초를 초과하면, AGV 로봇의 제어부는 경로 보정을 위해 시작지점을 재 변경하기 위해 이동하고, 다시 상기 제2단계(S200)의 작업 경로 진입 알고리즘에 의한 파이프라인 진입 경로의 무게 중심 좌표를 검출하는 과정을 재 수행하게 된다.At this time, after the first correction step (S401), the position within the primary correction error range is determined (S402), and when a predetermined distance error range occurs, a predetermined elapsed time is checked from the start time of the primary correction stage (S403) ). When the predetermined elapsed time exceeds 5 seconds, the control unit of the AGV robot moves to re-change the starting point for path correction, and again the pipeline entry path by the work path entry algorithm of the second step (S200). The process of detecting the center of gravity coordinates is performed again.
또한, 2차 보정 단계(S404)를 수행 시에도 2차 보정 오차 범위 이내의 위치를 판단하고(S405), 일정 거리 오차 범위가 발생하였을 시, 2차 보정 단계 시작 시간으로부터 일정 경과 시간을 체크하게 된다(S406). 그리고 상기 일정 경과 시간이 2초를 초과하면, AGV 로봇의 제어부는 경로 보정을 위해, 다시 파이프라인 기반 경로 진입을 위한 1차 보정 단계(S401)를 수행하는 과정을 반복하게 할 수 있다.In addition, when performing the secondary correction step (S404), the position within the secondary correction error range is determined (S405), and when a predetermined distance error range occurs, a predetermined elapsed time from the start time of the secondary correction stage is checked. becomes (S406). And when the elapsed time exceeds 2 seconds, the control unit of the AGV robot may repeat the process of performing the first correction step (S401) for entering the pipeline-based path again for path correction.
전술한 바와 같이 상기 진입 오차를 보정하여 이동하는 제4단계(S400)에서는 1차 보정과 2차 보정을 수행하게 하고, 1차 보정 후 5초 이상의 시간이 경과되어지면, 시작지점을 재 변경하기 위해 이동하고, 다시 상기 제2단계(S200)의 작업 경로 진입 알고리즘에 의한 파이프라인 진입 경로의 무게 중심 좌표를 검출하는 과정을 재 수행하여 중심점 좌표가 AGV 로봇의 진입 중심 방향과 일치하는지 상기 제3단계(S300)의 과정을 반복하게 할 수 있는 것이다.As described above, in the fourth step (S400) of moving by correcting the entry error, the primary and secondary corrections are performed, and when more than 5 seconds have elapsed after the primary correction, the starting point is changed again and then re-performs the process of detecting the coordinates of the center of gravity of the pipeline entry path by the work path entry algorithm of the second step (S200) to determine whether the coordinates of the central point coincide with the direction of the entry center of the AGV robot. It is possible to repeat the process of step (S300).
그러나 본 발명의 상기 제3단계(S300)에 따른 검출된 중심점 좌표가 AGV 로봇의 진입 중심 방향과 일치하는지의 여부를 판단하고, 검출된 진입 경로의 중앙부가 AGV 로봇의 진입 중심 방향과 일치한다면, AGV 로봇은 상기 제5단계(S500)의 파인프라인 기반 작업 경로로 진입하여 이동할 수 있게 되는 것이다.However, if it is determined whether the detected center point coordinates according to the third step (S300) of the present invention coincide with the direction of the center of entry of the AGV robot, and the central portion of the detected entry path coincides with the direction of the center of entry of the AGV robot, The AGV robot will be able to move by entering the pipeline-based work path of the fifth step (S500).
본 발명에서 AGV 로봇이 시작지점으로의 이동, 시작지점의 변경을 위한 위치 이동 및 오차 수정을 위하여 이동한다는 것의 모든 이동 방법으로는 홀로노믹 드라이빙(Holonomic Driving) 방식의 이동을 의미한다. 이에 따라 본 발명의 AGV 로봇은 이동 제어를 위하여 메카넘휠과 같은 특수한 바퀴를 사용하여 어느 방향이든 이동할 수 있도록 하는 홀로노믹 시스템으로 구성되는 특징이 있다.In the present invention, all movement methods that the AGV robot moves to the start point, moves to change the start point, and moves for error correction refer to the movement of the holonomic driving method. Accordingly, the AGV robot of the present invention is characterized in that it is composed of a holonomic system that allows movement in any direction by using a special wheel such as a Mecanum wheel for movement control.
전술한 바와 같이 본 발명의 상세한 설명에서는 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.As described above, in the detailed description of the present invention, preferred embodiments have been described, but those of ordinary skill in the art will not depart from the spirit and scope of the present invention as set forth in the following claims. It will be understood that various modifications and variations of the present invention may be made.
Claims (8)
파이프라인 기반으로 이루어진 작업 경로의 진입을 위하여 어느 하나의 경로 전단 상에 위치한 시작지점으로 이동하는 제1단계;
상기 시작지점에서 작업 경로 진입 알고리즘에 의한 진입 경로를 검출하는 제2단계;
상기 제2단계에서 검출된 무게 중심점 좌표와 AGV 로봇의 현재 위치 및 진입 중심 방향을 탐색하여 상기 파이프라인 기반 진입 경로의 오차 범위를 판단하는 제3단계;
적어도 한번 이상의 위치 보정을 수행하여 진입 오차를 보정하고 AGV 로봇의 위치를 이동하는 제4단계; 및
AGV 로봇이 파인프라인 기반 작업 경로로 진입하여 이동하는 제5단계;를 포함하며,
상기 제4단계에서 1차 보정 오차 범위 이내의 위치를 판단하고, 상기 적어도 한번 이상의 위치 보정 중 1차 보정 단계의 시작 시간으로부터의 경과 시간에 기초하여, 상기 파리프라인의 진입 경로의 무게 중심점 좌표를 검출하는 과정을 재수행하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
In the path search method for entering the work path performed through the control unit of the AGV robot,
A first step of moving to a starting point located on the front end of any one path to enter the pipeline-based work path;
a second step of detecting an entry path by a working path entry algorithm at the starting point;
a third step of determining the error range of the pipeline-based entry path by searching for the coordinates of the center of gravity detected in the second step, the current position of the AGV robot, and the direction of the entry center;
a fourth step of correcting the entry error by performing at least one position correction and moving the position of the AGV robot; and
A fifth step in which the AGV robot enters and moves into a pipeline-based work path; includes,
In the fourth step, the position within the primary correction error range is determined, and based on the elapsed time from the start time of the primary correction stage among the at least one or more position corrections, the coordinates of the center of gravity of the entry path of the flyline are determined. A path search method for entering the working path of the AGV robot, characterized in that the detecting process is performed again.
상기 제2단계에서 수행되는 작업 경로 진입 알고리즘은
AGV 로봇의 카메라를 통하여 파이프라인 기반으로 이루어진 작업 경로상의 RGB 이미지가 입력되는 이미지 입력 단계,
상기 입력 이미지에 포함되어 있는 객체에서 파이프라인의 윤곽선을 추출하는 에지 검출 단계,
상기 검출된 에지 이미지에 대한 영역을 관심 영역(ROI, Region of Interest)으로 설정하는 관심 영역 설정 단계,
상기 관심 영역 내에서 허프 변환(Hough Transform) 기법을 통하여 필요한 직선들만 검출하는 허프 변환 단계,
허프 변환에 의해 검출된 파이프라인 직선에 대하여 이미지 화면상의 끝까지 연장시키는 직선 연장 단계,
상기 직선 연장된 내부 영역에 대해 진입을 위한 경로 검출 영역의 설정을 위한 어느 하나의 일정 단색을 채우는 색 채우기 단계,
상기 색이 채워진 연장된 직선상에서 일정 면적 만큼만의 범위를 지정하고, 다른 부분들은 제거를 하는 검출 영역 설정 단계,
상기 검출 영역 설정 단계에서 지정된 일정 면적범위를 백색 영역으로 그 외의 이미지 픽셀에 대하여 흑색 영역으로 구분하여 지정된 검출 영역을 도형화하는 1채널 변환 단계,
상기 1채널로 변환 단계에서 백색 영역으로 지정된 검출 영역의 무게 중심점을 산출하는 무게 중심 계산 단계 및
상기 무게 중심 계산 단계에서 계산되어진 무게 중심점에 대하여 이미지 상에서의 무게 중심점 좌표를 산출하는 무게 중심점 좌표 출력 단계로 이루어지는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
The method according to claim 1,
The work path entry algorithm performed in the second step is
An image input step in which the RGB image on the pipeline-based work path is input through the camera of the AGV robot;
an edge detection step of extracting an outline of a pipeline from an object included in the input image;
a region of interest setting step of setting a region for the detected edge image as a region of interest (ROI);
A Hough transform step of detecting only necessary straight lines through a Hough transform technique within the region of interest;
A straight line extension step of extending the pipeline straight line detected by the Hough transform to the end on the image screen;
A color filling step of filling any one predetermined solid color for setting a path detection area for entry to the linearly extended inner area;
A detection area setting step of designating a range of only a certain area on the extended straight line filled with the color and removing other parts;
A one-channel conversion step of dividing the predetermined area designated in the detection area setting step into a white area and a black area for other image pixels to form a graphic designation of the detection area;
a center of gravity calculation step of calculating the center of gravity of the detection area designated as a white area in the step of converting to one channel; and
Path search method for entering a working path of an AGV robot, comprising the step of outputting the center of gravity coordinates of calculating the center of gravity coordinates on the image with respect to the center of gravity calculated in the center of gravity calculation step.
상기 에지 검출 단계는 캐니 에지 검출 기법(Canny Edge Detector)을 사용하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
3. The method according to claim 2,
The edge detection step is a path search method for entering the working path of the AGV robot, characterized in that using a Canny edge detection technique (Canny Edge Detector).
상기 허프 변환 단계는 무작위 직선과 관련된 화소들에 대한 기울기 영역을 제한하고 주성분에 대해서만 허프변환을 수행하여 필요한 직선과 관련된 정보만을 추출하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
3. The method according to claim 2,
The Hough transform step limits the gradient region for pixels related to a random straight line, and performs Hough transform only on the main component to extract only the necessary straight line information.
상기 검출 영역 설정 단계는 이미지 화면 하부로부터 65 내지 70% 사이에 위치되는 면적 범위를 지정 선택하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
3. The method according to claim 2,
The detection area setting step is a path search method for entering a working path of an AGV robot, characterized in that the area range located between 65 and 70% from the lower part of the image screen is designated and selected.
상기 1차 보정 단계의 시작 시간으로부터 경과 시간이 5초를 초과하면, 상기 파이프라인의 진입 경로의 무게 중심점 좌표를 검출하는 과정을 재 수행하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
The method according to claim 1,
When the elapsed time from the start time of the first correction step exceeds 5 seconds, the process of detecting the coordinates of the center of gravity of the entry path of the pipeline is re-performed. Way.
상기 제4단계에서 2차 보정 오차 범위 이내의 위치를 판단하고, 상기 적어도 한번 이상의 위치 보정 중 2차 보정 단계의 시작 시간으로부터 2초를 초과하면, 상기 파이프라인 기반 경로 진입을 위한 상기 1차 보정 단계를 수행하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
The method according to claim 1,
In the fourth step, the position is determined within the secondary correction error range, and when it exceeds 2 seconds from the start time of the secondary correction step among the at least one or more position corrections, the primary correction for entering the pipeline-based path Path search method for entering the working path of the AGV robot, characterized in that performing the steps.
상기 제1단계 내지 제5단계의 어느 하나의 단계에서 AGV 로봇이 이동한다는 것은 홀로노믹 드라이빙(Holonomic Driving) 방식의 이동을 의미하는 것을 특징으로 하는 AGV 로봇의 작업 경로 진입을 위한 경로탐색 방법.
The method according to claim 1,
A path search method for entering a working path of an AGV robot, characterized in that when the AGV robot moves in any one of the first to fifth steps, it means the movement of the holonomic driving method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200049797A KR102414004B1 (en) | 2020-04-24 | 2020-04-24 | Path search method of the automatic guided vehicle robot for entering the working path |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200049797A KR102414004B1 (en) | 2020-04-24 | 2020-04-24 | Path search method of the automatic guided vehicle robot for entering the working path |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210131567A KR20210131567A (en) | 2021-11-03 |
| KR102414004B1 true KR102414004B1 (en) | 2022-06-28 |
Family
ID=78505247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200049797A KR102414004B1 (en) | 2020-04-24 | 2020-04-24 | Path search method of the automatic guided vehicle robot for entering the working path |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102414004B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115755900B (en) * | 2022-11-14 | 2023-04-21 | 国网浙江省电力有限公司宁海县供电公司 | AGV trolley speed control method and device, electronic equipment and storage medium |
| CN117311368B (en) * | 2023-11-23 | 2024-04-09 | 武汉光昱明晟智能科技有限公司 | Automatic pre-marking robot system and operation method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102062874B1 (en) * | 2017-07-14 | 2020-01-06 | 주식회사 더원 | Automated Guided Vehicle |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013207895A1 (en) * | 2013-04-30 | 2014-10-30 | Kuka Laboratories Gmbh | Driverless transport vehicle, system with a computer and a driverless transport vehicle, method for operating a driverless transport vehicle |
-
2020
- 2020-04-24 KR KR1020200049797A patent/KR102414004B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102062874B1 (en) * | 2017-07-14 | 2020-01-06 | 주식회사 더원 | Automated Guided Vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210131567A (en) | 2021-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9635346B2 (en) | Autonomous vehicle, and object recognizing method in autonomous vehicle | |
| Kenue | Lanelok: Detection of lane boundaries and vehicle tracking using image-processing techniques-part i: Hough-transform, region-tracing and correlation algorithms | |
| Wang et al. | Lane detection and tracking using B-Snake | |
| EP1143396B1 (en) | Lane detection sensor and navigation system employing the same | |
| US6845172B2 (en) | Road lane marker recognition | |
| US20090290758A1 (en) | Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors | |
| US20110205338A1 (en) | Apparatus for estimating position of mobile robot and method thereof | |
| US20100070078A1 (en) | Apparatus and method for building map | |
| KR20110011424A (en) | Method for recognizing position and controlling movement of a mobile robot, and the mobile robot using the same | |
| KR102414004B1 (en) | Path search method of the automatic guided vehicle robot for entering the working path | |
| WO2020189154A1 (en) | Item detection device, item detection method, and industrial vehicle | |
| CN110262487B (en) | Obstacle detection method, terminal and computer readable storage medium | |
| Tiar et al. | Fast ICP-SLAM for a bi-steerable mobile robot in large environments | |
| CN107895344B (en) | Video splicing device and method | |
| Truong et al. | New lane detection algorithm for autonomous vehicles using computer vision | |
| Tu et al. | An efficient crop row detection method for agriculture robots | |
| CN113538620A (en) | SLAM mapping result evaluation method oriented to two-dimensional grid map | |
| JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
| Truong et al. | Lane boundaries detection algorithm using vector lane concept | |
| Suh et al. | Vision-based race track slam based only on lane curvature | |
| Lin et al. | Vision-based mobile robot localization and mapping using the PLOT features | |
| Cucchiara et al. | Efficient Stereo Vision for Obstacle Detection and AGV Navigation. | |
| Yu et al. | Distance estimation method with snapshot landmark images in the robotic homing navigation | |
| Forkel et al. | Combined Road Tracking for Paved Roads and Dirt Roads: Framework and Image Measurements | |
| Lee et al. | Autonomous selection, registration, and recognition of objects for visual SLAM in indoor environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |