KR101318560B1

KR101318560B1 - 유도라인 추적 ａｇｖ의 유연한 주행 제어를 위한 영상 기반 유도라인 해석 방법

Info

Publication number: KR101318560B1
Application number: KR1020120021374A
Authority: KR
Inventors: 김민환; 변성민
Original assignee: 부산대학교 산학협력단
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2013-10-16
Also published as: KR20130099683A

Abstract

본 발명의 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석방법은, 카메라 모듈로부터 입력받은 영상을 역원근 변환하여 원근요소를 제거한 후 색상기반으로 유도라인 픽셀 영역의 추출 및 훼손 보정 처리를 하여 유도라인 구조분석에 필요한 유도라인 선분을 구하는 영상 전처리 과정과, 입력된 유도라인 선분 정보를 분석하여 현재 지점의 유도라인 구조를 외길구조, 분기구조, 합류구조, 선분기구조 및 후합류구조의 5가지 중의 하나로 결정하는 유도라인 구조해석 과정을 거친 후 AGV의 유연한 유도라인 추적이 가능하도록 유도라인 구조에 따라 적합한 진행방향을 결정하고, 결정된 진행방향 정보에 따라 AGV 주행을 제어하는 것을 특징으로 한다.

Description

유도라인 추적 ＡＧＶ의 유연한 주행 제어를 위한 영상 기반 유도라인 해석 방법{Vision based guideline interpretation method for stable driving control of guideline tracing AGVs}

본 발명은 자동화 및 무인화를 위해 산업 현장에서 활용되고 있는 AGV에 관한 것으로서, 특히 촬영된 영상을 기반으로 분기나 합류지점과 같은 복합구조의 유도라인을 정확히 파악하고 이를 따라 유연하게 운행할 수 있는 유도라인 추적 AGV에 관한 것이다.

최근 다양한 AGV(Automatic Guided Vehicle, 무인 운반대차)가 자동화 및 무인화를 위해 산업 현장에서 활용되고 있다. 그 중에서 설정된 일정 경로, 즉 유도라인을 따라 반복적으로 주행하는 유도라인 추적 AGV는 생산 공정에서 정해진 위치로 부품을 운반하기 위한 용도로 유용하게 사용되고 있으며, 그 수요도 계속 증가하고 있는 추세이다.

기존 현장에서 사용되고 있는 유도라인 추적 AGV는 주로 마그네틱 센서를 통한 1차원 스캔 방식을 사용한다. 이러한 마그네틱 센서 기반의 유도라인 추적 방식에서는 1차원의 좁은 탐색 및 감지 영역을 사용함에 따라 유도라인의 분기나 합류 지점과 같은 복합구조의 유도라인을 분석하는데 어려움이 많으며, 마그네틱 유도라인의 훼손에도 취약하다는 단점이 있다.

따라서, 이러한 단점을 해결하기 위해 마그네틱 유도라인을 작업장 바닥에 매립하여 훼손을 최소로 줄이는 한편, 유도라인의 분기 및 병합 지점에 별도의 표식(마그네틱 마커, RFID 태그 등)을 작업장 바닥에 매립 설치하고, AGV에는 매립된 표식을 인식하기 위한 별도의 센서를 장착하여 활용함으로써 복합구조 유도라인 분석의 애로사항을 극복하는 방식을 사용하고 있다.

그러나, 이러한 마그네틱 유도라인과 별도 표식의 매립을 통한 극복 방식은 근래의 다품종 소량생산 방식의 산업현장에서 요구하는 생산 유연성의 확보에 매우 큰 부담이 되고 있다. 즉, 생산품목에 따라 생산라인의 변경과 재설계가 수시로 이루어져야 하는데, 마그네틱 유도라인 및 별도 표식의 매립 방법은 이러한 변경에 경제적으로나 시간적으로 매우 부담스러운 방식이다. 한편, 작업장 현장의 바닥이 철재로 구성되어 있는 경우에는 자기장 간섭으로 인해 마그네틱 센서 기반 유도방식의 활용이 원천적으로 불가능하다는 한계도 있다.

이에 대한 대안으로 카메라 센서(촬상소자)를 이용한 영상 기반 유도라인 추적 기술이 개발되고 있는데, 영상 기반 유도라인 추적 기술은 마그네틱 센서 기반 유도라인 추적 방식의 약점을 극복하는데 매우 유용하다.

먼저, 영상 기반 추적 방법에서는 유도라인 재료로서 마그네틱 소자 대신에 상대적으로 저렴한 페인트나 컬러 테이프를 매립하지 않고 표면에 도색, 부착하여 이용할 수 있기 때문에, 마그네틱 추적 방식에 비해 경제적이면서도 경로변경의 유연성이 매우 높다.

또한 유도라인이 설치된 바닥에 대한 영상처리를 통해 복합구조 유도라인의 자동 분석이 가능하여 별도의 표식이 필요 없을 뿐만 아니라 소프트웨어적인 주행경로 설정이 가능하며, 훼손되거나 부분 절단된 유도라인에 대해서도 영상처리를 통해 추적이 가능하다. 한편, 작업장 바닥 재질에 거의 구애받지 않는 것도 큰 장점이다.

이에 본 발명자는 영상 기반 유도라인 추적 기술을 개발하였는데, 특히 유도라인 구조의 변화가 일어나는 지점(외길구조분기구조, 합류구조외길구조) 부근에서의 진로변경이 급격하게 이루어져 AGV의 주행궤도가 진동 또는 이탈하는 이상 현상이 발생하기도 하여 이에 대한 보완이 요구되었다.

본 발명은 기존의 마그네틱 추적 방식에 비해 경제적이면서도 경로변경의 유연성이 매우 높은 영상 기반 유도라인 추적 기술의 신뢰성을 더욱 높여 산업 현장에서의 AGV 활용성을 제고하는 것을 그 목적으로 한다.

또한, 본 발명은 다양한 형태의 분기, 합류지점이 포함된 복합구조의 유도라인에서도 AGV의 주행궤도가 진동 또는 이탈하는 이상 현상 없이 유연하게 주행할 수 있도록 하는 것을 또 하나의 목적으로 한다.

그리고, 부적합한 유도라인에서의 비정상분기 현상 또는 적합한 유도라인이더라도 영상 스캔시 발생할 수 있는 비정상분기 현상 아래에서도 신뢰성 있게 정해진 경로를 찾아갈 수 있도록 하는 것도 본 발명의 목적 중 하나이다.

본 발명에 따른 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석방법은, 카메라 센서의 시야 내에 들어오는 바닥 평면의 영역에 대해 역원근 변환 수행 후 색상기반으로 유도라인 픽셀을 추출하고, 경로탐색 라인, 전방해석 라인 및 후방해석 라인의 세 개의 스캔라인이 상기 유도라인 픽셀과 교차되는 교차선분을 추출하는 영상 전처리 과정;과, 상기 영상 전처리 과정에서 추출된 상기 경로탐색 라인의 교차선분 개수, 상기 유도라인의 기본 폭 대비 상기 경로탐색 라인의 교차선분 폭의 대소, 상태 플래그, 상기 경로탐색 라인의 교차선분 개수와 상기 전방해석 라인의 교차선분 개수의 일치 여부, 상기 후방해석 라인의 교차선분 개수 및 상기 전방해석 라인의 교차선분의 간격과 상기 후방해석 라인의 교차선분의 간격 등의 비교를 통해 외길구조, 분기구조, 합류구조, 선분기구조, 후합류구조 등의 5개 유형 중 어느 하나의 유형으로 유도라인의 구조를 결정하는 유도라인 구조해석 과정; 및 상기 유도라인 구조해석 과정에서 결정된 유도라인의 구조에 따라 AGV 진행방향의 목표지점을 설정하고, 상기 조향륜의 조향 방향을 조향륜 회전중심점 위치로부터 상기 목표지점으로 향하는 방향으로 정하는 진행방향 결정 과정;을 포함한다.

여기서, 상기 영상 전처리 과정은 상기 유도라인 교차선분을 추출할 때 원형 마스크를 이용한 모폴로지 증식(growing) 연산을 통해 상기 유도라인의 훼손 복구를 수행한 후에 교차선분을 추출하도록 구성될 수 있다.

그리고, 상기 유도라인 구조해석 과정에서, 상기 경로탐색 라인의 교차선분 개수가 하나인 동시에 상기 경로탐색 라인의 교차선분의 폭이 상기 유도라인의 기본 폭에 비하여 넓지 않은 경우에 상기 외길구조로 판단한다.

그리고, 상기 유도라인 구조해석 과정에서, 상기 경로탐색 라인의 교차선분 개수가 하나인 동시에 상기 경로탐색 라인의 교차선분의 폭이 상기 유도라인의 기본 폭에 비하여 넓을 경우, 상기 상태 플래그가 Multiple일 경우에는 상기 후합류구조로 판단하고 상기 상태 플래그가 그 외의 값일 경우에는 상기 선분기구조로 판단한다.

또한, 상기 유도라인 구조해석 과정에서, 상기 경로탐색 라인의 교차선분 개수가 다수이고, 상기 경로탐색 라인 교차선분의 개수와 상기 전방해석 라인 교차선분의 개수가 같은 가운데 상기 후방해석 라인 교차선분의 개수가 하나이거나 또는 상기 전방해석 라인 교차선분의 간격이 상기 후방해석 라인 교차선분의 간격보다 클 경우에 상기 분기구조로 판단한다.

그리고, 상기 경로탐색 라인의 교차선분 개수가 다수이고, 상기 분기구조를 만족시키는 조건 이외의 모든 조건에 대해서는 상기 합류구조 또는 비정상분기인 것으로 판단한다.

한편, 상기 유도라인 구조가 상기 외길구조로 판단된 경우, 상기 진행방향 결정 과정은 현재의 경로탐색 라인 교차선분의 중앙점을 상기 목표지점으로 설정한다.

그리고, 상기 유도라인 구조가 상기 선분기구조로 판단된 경우, 상기 진행방향 결정 과정은 사전에 설정된 주행경로 정보에 따라 상기 경로탐색 라인의 단일 교차선분 상에 분기 가지 수만큼의 후보 분기점을 생성하고, 상기 후보 분기점 중에서 상기 주행경로 정보에서의 진행분기 번호에 해당하는 것을 상기 목표지점으로 설정한다.

이때, 상기 경로탐색 라인의 단일 교차선분의 제일 왼쪽 및 오른쪽 끝점으로부터 상기 유도라인 기본 폭의 1/2 만큼 안쪽으로 들어온 위치에 두 개의 후보 분기점을 설정하고, 상기 주행경로 정보에 설정된 분기 가지의 수가 세 개 이상인 경우에는 상기 두 개의 후보 분기점 사이를 균등하게 분할하여 상기 분기 가지 개수만큼의 후보 분기점을 추가로 설정할 수 있다.

그리고, 상기 유도라인 구조가 상기 후합류구조로 판단된 경우, 상기 진행방향 결정 과정은 상기 경로탐색 라인의 단일 교차선분 상에 제일 왼쪽 및 오른쪽에 두 개의 후보점을 생성하고, 이전 프레임 영상에서의 목표지점과 제일 근접한 거리에 있는 최근접점을 현재의 목표지점으로 설정한다.

이때, 상기 경로탐색 라인의 단일 교차선분 폭이 상기 유도라인의 폭보다 두 배 이상인 경우에는 상기 경로탐색 라인의 단일 교차선분의 중앙점을 세 번째 후보점으로 생성할 수 있다.

그리고, 상기 유도라인 구조가 상기 분기구조로 판단된 경우, 상기 진행방향 결정 과정은 사전에 설정된 주행경로 정보에 포함된 진행분기 번호에 대응하는 경로탐색 라인 교차선분의 중앙점을 상기 목표지점으로 설정한다.

그리고, 상기 유도라인 구조가 상기 합류구조 또는 비정상분기인 것으로 판단된 경우, 상기 진행방향 결정 과정은 이전 프레임 영상에서의 목표지점과 현재 프레임 영상에서의 다수의 경로탐색 라인의 교차선분 중에서 그 중앙점이 제일 가까운 최근접 교차선분의 중앙점을 상기 목표지점으로 설정한다.

본 발명에 따른 영상 기반 유도라인 해석방법은 다양한 형태의 분기, 합류지점이 포함된 복합구조의 유도라인에서도 AGV의 주행궤도가 진동 또는 이탈하는 이상 현상 없이 유연하게 주행할 수 있다는 신뢰성이 확보됨에 따라 산업 현장에서의 AGV 활용성이 크게 향상된다는 장점을 가진다.

또한, 유도라인의 분기, 합류지점의 형태에 따른 이상 인식 가능성이 거의 없어 유도라인의 설치 자유도가 높기 때문에, 다종다양한 산업 현장의 요구 사항을 매우 넓게 수용할 수 있다는 이점을 가진다.

도 1은 역원근 변환 전후의 영상을 보여주는 사진.
도 2는 유도라인 교차선분 추출 과정에서 사용되는 3개의 스캔라인과 추출된 유도라인 교차선분을 보여주는 도면.
도 3은 경로탐색 라인에 대하여 원형 마스크를 이용한 유도라인 훼손 복구 전후의 교차선분 추출을 비교한 도면.
도 4는 AGV의 진행방향을 결정하는 원리를 보여주는 도면.
도 5는 본 발명에서 정의한 5가지 유형의 유도라인 구조를 보여주는 도면.
도 6은 선분기구조 및 후합류구조의 개념 도입에 따른 진행방향 변화를 보여주는 도면.
도 7은 비정상분기의 예를 보여주는 도면.
도 8은 분기구조에서의 진행방향 설정을 보여주는 도면.
도 9는 합류구조에서의 진행방향 설정을 보여주는 도면.
도 10은 선분기구조에서의 진행방향 설정을 보여주는 도면.
도 11은 후합류구조에서의 진행방향 설정을 보여주는 도면.
도 12는 본 발명에 따른 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석방법의 전체적인 구성을 보여주는 도면.
도 13은 본 발명에 포함된 유도라인 구조해석 및 진행방향 결정의 상세한 알고리즘을 보여주는 순서도.

이하, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

우선 본 발명이 용이하게 이해될 수 있도록 영상 전처리 과정, 진행방향 결정 과정, 유도라인 구조의 분류 및 그 해석 등에 대해 각각 설명한 후 전체적인 알고리즘을 종합하여 설명하기로 한다.

영상 전처리 과정

탐색영역은 카메라 센서(촬상소자)의 시야 내에 들어오는 바닥 평면의 영역을 말한다. 영상 전처리 과정에서 수행되는 역원근 변환은 입력영상의 원근요소를 제거하고 바닥평면과의 스케일 정보도 일치시킴으로써 변환된 영상을 바닥의 탐색영역과 동일하게 취급할 수 있게 해 준다.

도 1은 역원근 변환의 예를 보여주고 있다. 왼쪽 사진은 카메라에 입력된 영상이고, 오른쪽 사진은 역원근 변환을 통해 원근요소가 제거된 바닥평면 영상이다.

역원근 변환을 통해 원근요소가 제거되면 카메라로부터 먼 위치와 가까운 위치를 다르게 취급할 필요 없이 2차원 평면처럼 해석할 수 있으며, 아울러 영상과 실제 공간의 스케일 변환도 함께 고려할 수 있어 매우 편리하다.

역원근 변환 수행 후 색상기반으로 유도라인 픽셀을 추출하고, 도 2에서와 같이 세 개의 스캔라인(경로탐색 라인, 전방해석 라인, 후방해석 라인)이 유도라인 픽셀과 교차되는 선분을 추출한다. 추출된 선분 정보는 후술할 유도라인 구조해석 과정에서 사용된다.

유도라인 선분을 추출할 때 유도라인의 훼손에 강인할 수 있도록 원형 마스크를 이용한 모폴로지 증식(growing) 연산을 통해 훼손 복구를 수행한 후에 선분을 추출하는 것이 바람직하다. 도 3의 상단은 훼손 복구하기 전의 선분 추출의 예제이며, 하단은 훼손 복구 후에 유도라인 선분을 추출한 결과로서 추출된 선분은 적색으로 표시되어 있다. 훼손 복구 후에 추출된 유도라인 선분이 본래의 유도라인에 대응하는 길이를 가지게 되었음을 명확하게 알 수 있으며, 이는 유도라인 구조해석 과정에서 진행방향을 결정하기에 보다 적합한 선분이 구해졌음을 의미한다.

진행방향 결정의 기본원리

위와 같은 영상 전처리 과정에 의하면, 도 4에서의 스캔라인, 조향륜 선회중심점, AGV의 제어 기준 방향축(AGV를 좌우로 양분하는 중심 직선) 등을 영상 내에서 결정할 수 있게 된다.

그리고, 최종적으로는 후술할 유도라인 구조해석 과정으로부터 입력받은 목표지점(도시된 예에서는 유도라인 선분의 중심점) 좌표를 이용하여 진행방향을 계산할 수 있다. 진행방향은 조향륜 선회중심점의 위치로부터 목표지점을 향하는 벡터이고, 조향륜은 이 진행방향 벡터에 맞춰 조향된다. 따라서, 목표지점만 결정되면 진행방향 벡터가 구해지며, 목표지점은 후술할 유도라인의 구조에 근거하여 정해진다.

본 실시예에서의 AGV는 조향 제어의 편의성을 위해 조향륜(전륜)이 1개이고 구동륜(후륜)이 2개인 3륜식을 채택하였다.

유도라인 구조의 해석

본 발명의 유도라인 구조해석 과정은 복합적인 유도라인 구조를 외길구조, 분기구조, 합류구조, 선분기구조, 후합류구조의 5개 유형으로 분류한 후 이를 기반으로 수행된다.

도 5의 왼쪽 그림에서 붉은 선으로 둘러싸인 영역이 AGV의 진행방향에 따라 선분기구조(좌측 전진방향인 경우)나 후합류구조(우측 후진방향인 경우)로 해석되는 영역이며, 외길은 말 그대로 분기나 합류가 없는 하나의 길을, 분기는 외길이 다수의 길로 나누어지는 영역(분기 후에는 외길처럼 주행됨), 합류는 다수의 길이 외길로 합쳐지는 영역을 말한다.

도 5의 오른쪽 그림은 선분기 및 후합류 구조의 개념 없이 유도라인을 외길구조, 분기구조 및 합류구조의 3개 유형으로 분류한 비교예를 보여주는데, 붉은 선을 기준으로 외길구조, 분기구조, 합류구조로 분류된다.

여기서 선분기 및 후합류 구조 개념의 도입이 중요한 이유에 대해 도 6을 참조하여 설명하면 다음과 같다.

도 6의 왼쪽 그림에서와 같이 유도라인의 구조를 외길구조, 분기구조 및 합류구조의 3개 유형으로만 분류한다면, 외길구조→분기구조 또는 합류구조→외길구조로 유도라인의 구조가 바뀔 때 AGV 진행방향에 급격한 변화가 발생하고, 이에 따라 조향륜의 목표방향과 조향륜의 실제방향의 차이가 커진다. 이러한 경우에는 유도라인 추적의 안정성이 떨어져 AGV의 이동궤적이 유도라인을 중심으로 진동하거나 최악의 경우에는 유도라인으로부터 이탈하게 되는 현상이 발생하기도 한다.

이와 같은 유도라인 구조의 변동에 수반되는 AGV 이동의 불안정 현상을 방지하기 위해서 조향륜의 제어 속도와 유도라인 인식 루틴의 속도를 높여 AGV의 전진거리를 매우 짧게 하는 방법을 생각할 수 있지만, 근본적인 해결책이 될 수는 없다.

이에 비해, 선분기/후합류 구조 개념을 도입하게 되며, 도 6의 오른쪽 그림에서와 같이 진행방향의 급격한 변화가 발생하지 않아 이러한 불안정 현상을 근원적으로 해결하는 것이 가능해진다. 이를 다시 말한다면, 서로 다른 유도라인의 연결영역에 해석상의 중간(천이) 영역을 설정하여 유연한 제어를 가능하게 만드는 것이라 표현할 수 있다.

한편, 유도라인을 설치하는 과정에서 세 갈래 분기구조를 만들 때, 도 7의 왼쪽 그림에서와 같이 분기하는 가지의 시작점이 일치하지 않아 붉은 색의 두 스캔라인 사이 영역에서는 비정상적인 분기 현상이 발생한다. 즉, 세 갈래 대신에 두 갈래 분기로 인식되는 영역이 생기는 현상이 나타나 의도하지 않은 결과를 초래할 수 있다. 반면에, 이러한 현상은 도 7의 오른쪽 그림에서와 같이 적합하게 설치된 유도라인에서도 스캔 라인과 유도라인 사이의 각도에 의해 발생하기도 한다. 따라서 이러한 비정상분기 현상을 해결할 수 있는 방안도 마련되어야 하는데, 이는 비정상분기 영역을 분기구조가 아닌 합류구조로 처리하여 진행방향을 결정함으로써 가능해진다.

유도라인 구조에 따른 진행방향의 결정

본 발명에서의 5개 유형의 유도라인 구조에 따라 AGV의 진행방향이 결정되는데, 이는 "진행방향 결정의 기본원리" 부분에서 전술한 목표지점의 설정과 관련되어 있다.

먼저 외길구조에서는 현재 경로탐색 라인 선분(이하에서는, 별도의 언급이 없는한 간단히 "선분"이라고 기재함)의 중앙점을 목표지점으로 설정하고, 도 4에서와 같이 조향륜 선회중심점과 연계된 진행방향 각도(θ)를 계산하여 AGV 진행방향으로 결정한다.

분기구조 지점에서 최초 분기를 하는 경우에는 미리 설정된 주행경로 정보를 이용하여 적합한 분기 가지를 선정하여야 한다. 주행경로 정보는 AGV 공정 설계자에 의해 사전에 결정되는 것으로서, 본 발명에서는 도 8 윗부분의 표에서와 같이 분기지점을 순서대로 나열하여 주행경로를 나타낼 수 있다. 예를 들어, 도 8의 표에서 첫 번째 분기지점은 두 개의 가지로 분기하는데 진행해야 할 가지는 왼쪽에서 두 번째 가지(진행분기번호 2)임을 나타내므로, 아래 그림에서와 같이 두 개 가지의 분기에 의해 만들어진 두 개의 선분 중 올바른 선분을 선정할 수 있다. 선정된 분기 선분에 대해서는 외길구조에서와 마찬가지로 선분 중앙점을 목표지점으로 정하여 AGV 진행방향을 결정할 수 있다.

한편, 합류구조 또는 비정상분기 지점에서는 다수의 선분 중에서 현재 추적하고 있는 유도라인에 해당하는 적합한 선분을 선정하여야 한다. 먼저 합류구조 지점에서는 도 9에서와 같이, 이전 프레임 영상에서의 목표지점과 현재 프레임 영상에서의 다수의 경로탐색 라인의 선분 중에서 중앙점이 제일 가까운 선분 즉, 최근접 선분을 선정하도록 한다. 연속된 분기나 비정상분기가 일어나는 지점에서도 마찬가지로 현재 진행방향에 적합한 최근접 선분을 선정하도록 한다. 이러한 최근접 선분의 중앙점을 외길구조에서와 같이 처리하여 AGV 진행방향을 결정하도록 한다.

후술할 전체 알고리즘에서 설명하겠지만, 본 발명에서 분기 구조로 판단하는 경우는 경로탐색 라인의 개수와 전방해석 라인의 개수가 같은 가운데 후방해석 라인의 개수가 하나이거나 또는 전방해석 라인의 선분 간격이 후방해석 라인의 선분 간격보다 클 경우로 한정된다. 즉, 본 발명에서는 경로탐색 라인의 개수와 전방해석 라인의 개수가 동일할 정도로 분기구조에 충분히 진입한 경우만을 분기구조로 처리하고, 그 외의 합류구조나 연속 분기 또는 비정상분기 지점은 동일하게 처리함으로써 제어 알고리즘을 간단히 하였다.

본 발명에서 선분기구조는, 도 10에 도시된 바와 같이, 미리 설정된 주행경로 정보와 연계되어 결정된다. 먼저 경로탐색 라인에서의 단일 선분(도 5 참조, 선분기 및 후합류 영역에서의 선분은 1개임) 상에 분기 가지 수만큼의 후보 분기점을 생성한다. 여기서 제일 왼쪽 및 오른쪽의 후보 분기점은 이 선분의 끝점으로부터 유도라인 기본 폭의 1/2 만큼 안쪽으로 들어온 위치에 설정한다. 세 갈래 분기를 하는 경우에는 단일 선분의 중앙점을 추가로 구해 후보 분기점으로 설정하며, 네 갈래 이상으로 분기하는 경우에는 제일 왼쪽 및 오른쪽의 후보 분기점 사이를 균등하게 분할하여 분기 가지 개수만큼의 후보 분기점을 설정한다. 이러한 후보 분기점 중에서 AGV가 진행하여야 할 진행분기점은 주행경로 정보에서의 진행분기 번호에 해당하는 것으로 선정한다. 이렇게 후보 분기점으로부터 선정된 진행분기점과 조향륜 선회중심점을 이용하여 AGV 진행방향을 결정하면 유연한 경로 변경이 가능해진다.

또한, 후합류구조 지점에서는 AGV의 유연한 추적을 위해 진행방향 변화가 제일 작게 일어나는 목표지점을 선정할 필요가 있다. 먼저, 도 11에서와 같이, 경로탐색 라인에서의 단일 선분 상에 선분기구조 지점에서와 유사하게 제일 왼쪽 및 오른쪽에 두 개의 후보점을 생성한다. 만약 선분 폭이 기본 유도라인 폭보다 두 배 이상이면 선분 중앙점을 세 번째 후보점으로 설정한다. 이러한 후보점 중에서 이전 프레임 영상에서의 목표지점과 제일 근접한 거리에 있는 점, 즉 최근접점을 현재의 목표지점으로 정한 후, 조향륜 선회중심점을 목표지점(최근접점)에 연계하여 AGV 진행방향을 결정하면 진행방향 변화를 매우 작은 수준으로 만들 수 있다.

전체 알고리즘

도 12는 본 발명에 따른 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석방법의 기본적인 구성을 개략적으로 보여주는 도면이다.

영상 전처리 과정에서는 카메라 모듈로부터 입력받은 영상을 역원근 변환하여 원근요소를 제거한 후 색상기반으로 유도라인 픽셀 영역의 추출 및 훼손 보정 처리를 하여 유도라인 구조분석에 필요한 유도라인 선분을 구한다.

그 다음의 유도라인 구조해석 과정에서는 입력된 유도라인 선분 정보를 분석하여 현재 지점의 유도라인 구조를 앞에서 정의한 5가지 중의 하나로 결정한다.

진행방향 결정 과정에서는 AGV의 유연한 유도라인 추적이 가능하도록 유도라인 구조에 따라 적합한 진행방향을 결정하며, 결정된 진행방향 정보는 조향제어 모듈에 전달되어 AGV 주행이 제어되도록 한다. 이러한 일련의 과정은 사전에 설정된 입력영상 획득 주기마다 반복 수행된다.

도 13은 위의 영상 기반 유도라인 해석방법의 각 과정 중 가장 중요한 유도라인 구조해석 과정 및 진행방향 결정 과정을 보다 상세히 설명하는 순서도인데, 해석된 유도라인의 구조에 따르는 진행방향 결정 과정은 앞선 "유도라인 구조에 따른 진행방향의 결정" 부분에서 설명한 바와 같으므로, 이하에서는 유도라인 구조해석 과정에 대해서만 상술하기로 한다.

도 13의 위쪽 부분이 본 발명의 유도라인 구조해석 알고리즘을 표현한 것이며, 이 알고리즘에서 사용하는 축약 기호에 대한 설명은 아래의 [표 1]과 같다.

축약기호	설 명
#P	경로탐색 라인의 선분 개수
#F	전방해석 라인의 선분 개수
#R	후방해석 라인의 선분 개수
WC	경로탐색 라인의 현재 선분 폭
W	유도라인의 기본 폭
IF	전방해석 라인의 선분 간격
IR	후방해석 라인의 선분 간격
STATE	상태(Single, Multiple, Branch) 플래그

유도라인 구조해석 과정에서는 영상 전처리 과정으로부터 전달받은 경로탐색, 전방해석, 후방해석 라인에서의 선분 정보를 바탕으로 상태 플래그(STATE)를 갱신하면서 현재 AGV가 진행해야 할 유도라인 지점이 앞에서 정의한 5가지 구조 중 어느 것에 해당하는지를 판단한다. 상태 플래그는 외길 주행 상태를 의미하는 Single, 분기 상태를 나타내는 Branch, 그 밖의 합류나 비정상분기, 연속 분기 상태를 나타내는 Multiple로 구성되며, 상태 플래그의 초기값은 Single로 정한다.

먼저 AGV의 진행방향을 판단하는 기준이 되는 경로탐색 라인에서의 선분 개수를 이용하여 단일 선분의 경우와 다수 선분의 경우로 구분한다. 즉, 경로탐색 라인에서의 선분 개수가 하나일 때에만 외길구조로 처리한다.

단일 선분의 경우에는 그 선분의 폭이 유도라인의 기본 폭에 비하여 넓은지 여부를 판정한다. 넓지 않은 경우는 외길구조 지점을 의미하며, 상태 플래그는 Single로 유지 또는 변경된다. 반대로 넓은 경우는 그때의 상태 플래그의 값에 따라 선분기구조 또는 후합류구조로 분류하여 해석할 수 있다. 즉, 상태 플래그가 Multiple이라면 가지길에서 외길로 바뀌는 지점, 즉 합류 지점에 접근한 것이기 때문에 후합류구조인 것이며, 그 외의 경우(Single 또는 Branch)는 분기 지점(연속 분기지점 포함)으로 접근하는 것이기 때문에 선분기구조인 것이다.

다수 선분의 경우에는 전방해석 라인과 후방해석 라인의 선분 정보를 추가로 활용하여 분기 상황인지 또는 그 외의 상황(합류구조 또는 비정상분기)인지를 판단한다. 전술한 것처럼 비정상적인 분기가 발생하는 경우는 합류구조에서와 동일한 처리가 가능하므로 별도로 구분할 필요가 없다. 분기 상황은 경로탐색 라인의 개수와 전방해석 라인의 개수가 같은 가운데 후방해석 라인의 개수가 하나(후방해석 라인이 아직 외길에 위치하는 경우)이거나, 또는 전방해석 라인의 선분 간격이 후방해석 라인의 선분 간격보다 클 경우(전방해석 라인과 후방해석 라인이 모두 분기 가지에 위치하는 경우)에 해당되며, 이 조건을 만족시키지 않는다면 합류구조 또는 비정상분기로 처리된다.

이러한 유도라인 구조해석 과정을 거친 후에는, 5가지의 유도라인 구조에 따른 적절한 진행방향이 결정되며, 최종적으로는 진행 방향 벡터에 따라 조향륜이 조정되는 것으로 1회의 제어과정이 완료되며, 이 제어과정이 다시 반복된다.

이와 같이, 본 발명의 유도라인 구조해석 방법은 도 2에 도시된 것처럼 세 개의 스캔라인 데이터만을 이용하여 간단하면서도 명확하게 여러 구조를 분석할 수 있어 AGV가 추적할 때 오류나 예외적인 상황이 발생할 확률이 매우 낮고, 이에 따라 안정적인 AGV 추적이 가능해지며, 생산 현장에서의 실제 활용도 가능한 것이다.

< 도면의 주요부분에 대한 부호의 설명 >
#P: 경로탐색 라인의 선분 개수
#F: 전방해석 라인의 선분 개수
#R: 후방해석 라인의 선분 개수
WC: 경로탐색 라인의 현재 선분 폭
W: 유도라인의 기본 폭
IF: 전방해석 라인의 선분 간격
IR: 후방해석 라인의 선분 간격
STATE: 상태(Single, Multiple, Branch) 플래그

Claims

카메라 센서의 시야 내에 들어오는 바닥 평면의 영역에 대해 역원근 변환 수행 후 색상기반으로 유도라인 픽셀을 추출하고, 경로탐색 라인, 전방해석 라인 및 후방해석 라인의 세 개의 스캔라인이 상기 유도라인 픽셀과 교차되는 선분들을 추출하는 영상 전처리 과정;
상기 영상 전처리 과정에서 추출된 상기 경로탐색 라인의 교차선분 개수, 상기 유도라인의 기본 폭 대비 상기 경로탐색 라인의 교차선분 폭의 대소, 상태 플래그, 상기 경로탐색 라인의 교차선분 개수와 상기 전방해석 라인의 교차선분 개수의 일치 여부, 상기 후방해석 라인의 교차선분 개수 및 상기 전방해석 라인의 교차선분의 간격과 상기 후방해석 라인의 교차선분의 간격 등의 비교를 통해 외길구조, 분기구조, 합류구조, 선분기구조, 후합류구조의 5개 유형 중 어느 하나의 유형으로 유도라인의 구조를 결정하는 유도라인 구조해석 과정; 및
상기 유도라인 구조해석 과정에서 결정된 유도라인의 구조에 따라 AGV 진행방향의 목표지점을 설정하고, 조향륜의 조향 방향을 조향륜 회전중심점 위치로부터 상기 목표지점으로 향하는 방향으로 정하는 진행방향 결정 과정;을 포함하고,
상기 유도라인 구조해석 과정에서, 상기 경로탐색 라인의 교차선분 개수가 하나인 동시에 상기 경로탐색 라인의 교차선분의 폭이 상기 유도라인의 기본 폭에 비하여 넓을 경우, 상기 상태 플래그가 Multiple일 경우에는 상기 후합류구조로 판단하고 상기 상태 플래그가 그 외의 값일 경우에는 상기 선분기구조로 판단하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항에 있어서,
상기 영상 전처리 과정에서, 상기 유도라인 교차선분을 추출할 때 원형 마스크를 이용한 모폴로지 증식(growing) 연산을 통해 상기 유도라인의 훼손 복구를 수행한 후에 교차선분을 추출하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항에 있어서,
상기 유도라인 구조해석 과정에서, 상기 경로탐색 라인의 교차선분 개수가 하나인 동시에 상기 경로탐색 라인의 교차선분의 폭이 상기 유도라인의 기본 폭에 비하여 넓지 않은 경우에 상기 외길구조로 판단하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
삭제
제1항에 있어서,
상기 유도라인 구조해석 과정에서, 상기 경로탐색 라인의 교차선분 개수가 다수이고, 상기 경로탐색 라인 교차선분의 개수와 상기 전방해석 라인 교차선분의 개수가 같은 가운데 상기 후방해석 라인 교차선분의 개수가 하나이거나 또는 상기 전방해석 라인 교차선분의 간격이 상기 후방해석 라인 교차선분의 간격보다 클 경우에 상기 분기구조로 판단하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제5항에 있어서,
상기 경로탐색 라인의 교차선분 개수가 다수이고, 상기 분기구조를 만족시키는 조건 이외의 모든 조건에 대해서는 상기 합류구조 또는 비정상분기인 것으로 판단하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항 또는 제3항에 있어서,
상기 유도라인 구조가 상기 외길구조로 판단된 경우, 상기 진행방향 결정 과정은 현재의 경로탐색 라인 교차선분의 중앙점을 상기 목표지점으로 설정하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항에 있어서,
상기 유도라인 구조가 상기 선분기구조로 판단된 경우, 상기 진행방향 결정 과정은 사전에 설정된 주행경로 정보에 따라 상기 경로탐색 라인의 단일 교차선분 상에 분기 가지 수만큼의 후보 분기점을 생성하고, 상기 후보 분기점 중에서 상기 주행경로 정보에서의 진행분기 번호에 해당하는 것을 상기 목표지점으로 설정하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제8항에 있어서,
상기 경로탐색 라인의 단일 교차선분의 제일 왼쪽 및 오른쪽 끝점으로부터 상기 유도라인 기본 폭의 1/2 만큼 안쪽으로 들어온 위치에 두 개의 후보 분기점을 설정하고, 상기 주행경로 정보에 설정된 분기 가지의 수가 세 개 이상인 경우에는 상기 두 개의 후보 분기점 사이를 균등하게 분할하여 상기 분기 가지 개수만큼의 후보 분기점을 추가로 설정하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항에 있어서,
상기 유도라인 구조가 상기 후합류구조로 판단된 경우, 상기 진행방향 결정 과정은 상기 경로탐색 라인의 단일 교차선분 상에 제일 왼쪽 및 오른쪽에 두 개의 후보점을 생성하고, 이전 프레임 영상에서의 목표지점과 제일 근접한 거리에 있는 최근접점을 현재의 목표지점으로 설정하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제10항에 있어서,
상기 경로탐색 라인의 단일 교차선분 폭이 상기 유도라인의 폭보다 두 배 이상인 경우, 상기 경로탐색 라인의 단일 교차선분의 중앙점을 세 번째 후보점으로 생성하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항 또는 제5항에 있어서,
상기 유도라인 구조가 상기 분기구조로 판단된 경우, 상기 진행방향 결정 과정은 사전에 설정된 주행경로 정보에 포함된 진행분기 번호에 대응하는 경로탐색 라인 교차선분의 중앙점을 상기 목표지점으로 설정하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.
제1항 또는 제6항에 있어서,
상기 유도라인 구조가 상기 합류구조 또는 비정상분기인 것으로 판단된 경우, 상기 진행방향 결정 과정은 이전 프레임 영상에서의 목표지점과 현재 프레임 영상에서의 다수의 경로탐색 라인의 교차선분 중에서 중앙점이 제일 가까운 최근접 교차선분의 중앙점을 상기 목표지점으로 설정하는 것을 특징으로 하는 유도라인 추적 AGV를 위한 영상 기반 유도라인 해석 방법.