KR102555707B1

KR102555707B1 - 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법

Info

Publication number: KR102555707B1
Application number: KR1020220048446A
Authority: KR
Inventors: 김정주
Original assignee: 호서대학교 산학협력단
Priority date: 2022-04-19
Filing date: 2022-04-19
Publication date: 2023-07-14
Also published as: KR102555707B9

Abstract

이 발명에서는 바닥에 설치된 타일의 격자무늬를 추적하여 위치 인식 및 주행 제어를 수행하도록 설계된 로봇에 탑재된 문자인식용 카메라를 통해 획득한 이미지 내에서 문자영역을 검출하고 테서렉트 OCR 엔진을 이용해 문자를 인식함으로써 목적지까지의 경로를 계획하고 정해진 경로로 주행할 수 있도록 하는 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법을 개시한다. 이 발명은 타일 격자무늬 추적 자율주행 로봇에 탑재된 문자인식용 카메라로부터 문자 안내가 포함된 안내표시판의 안내표시판 원본 이미지를 획득하는 단계; 안내표시판 원본 이미지의 노이즈를 제거하고 원근 변환을 적용하고 그레이 스케일로 변환하는 단계; 적응형 이진화 알고리즘을 이용하여 변환 이미지를 이진화하는 단계; 이진화된 이미지로부터 엣지 검출 알고리즘을 이용해 이미지의 모든 가장자리를 검출하고, 안내 표지판으로 예측되는 굵은 테두리 선의 사각형 영역을 검출하는 단계; 테서렉트 OCR 엔진의 입력 데이터로 검출된 사각형 영역 내의 이미지를 사용하여 테서렉트 OCR의 결과 값을 추출하는 단계; 및 테서렉트 OCR의 결과 값을 문자로 인식하는 단계; 를 포함하여 이루어질 수 있다.

Description

문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법{Method for control autonomous mobile robot that tracks tile grid pattern based on character recognition}

이 발명은 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법에 관한 것으로, 보다 상세하게는 바닥에 설치된 타일의 격자무늬를 추적하여 위치 인식 및 주행 제어를 수행하도록 설계된 로봇에 탑재된 문자인식용 카메라를 통해 획득한 이미지 내에서 문자영역을 검출하고 테서렉트 OCR 엔진을 이용해 문자를 인식함으로써 목적지까지의 경로를 계획하고 정해진 경로로 주행할 수 있도록 하는 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법에 관한 것이다.

정보통신 기술, 로봇 기술, 자율주행 기술, 컴퓨터 기술 등이 발달하게 되면서, 가정에서 사용되는 청소 로봇, 식당이나 병원 등에서 사용되는 서비스 로봇, 산업 현장 등에서 물류의 이송을 위해 사용되는 이동로봇 등 다양한 자율주행 로봇이 개발되고 상용화되고 있다. 또한, 자동차 분야에서는 머지않은 시간 내에 완전 자율주행 자동차가 등장할 것으로 예상되고 있을 정도이고, 항공 분야에서도 무인 드론의 개발이 매우 활발하게 이루어지고 있는 실정이다.

이와 같은 다양한 형태의 자율주행 로봇에는 자율주행 로봇의 위치를 인식하거나 주변 장애물을 인식하고 회피하기 위한 최적의 이동경로를 설정하기 위해 각종의 센서들이 탑재된다. 이를 위해, 자율주행 로봇에 탑재되는 센서로는 GPS 센서, 초음파 센서, 적외선 센서, 레이저 센서, LiDAR 센서, 카메라 센서 등이 있다. 이와 같이 로봇의 이동 환경에 대한 정보는 주로 로봇에 부착된 거리 센서(LiDAR, laser, 초음파, 적외선 등)를 이용하여 획득하는 방법과 카메라 등의 비전 센서를 이용하여 영상 처리 과정을 통하여 정보를 획득하는 방법이 적용되고 있다. 또한, 자율주행 로봇은 주로 모터의 엔코더(encoder), 적외선 및 초음파 센서 등을 장착하여 오도메타(odometer) 정보에 의존해 로봇의 자기 위치를 인식하고, 장애물의 존재 여부를 인식하도록 구성되고 있다.

특히, 최근의 자율주행 로봇은 미지의 영역을 주행하면서 주변 환경을 인지하고 지도를 작성하면서 동시에 그 환경에 대한 로봇의 상대적인 위치를 추정하는 SLAM(Simultaneous Localization And Mapping) 기술이 적용되고 있다.

이와 같이 그동안 연구 개발되어 온 다양한 자율주행 로봇의 위치 인식과 내비게이션 기술은 인공지표와 비전을 기반으로 하고 있다. 그러나 자율주행 로봇에서는 여전히 위치 인식의 오차범위가 일정 기준 이상이 발생할 수 있고 고가의 인식 장치들을 탑재해야 함에 따른 문제점이 있었다.

아울러, 미지의 공간에서 다른 감각의 도움이 없이 시각 인지 정보만으로도 목표 위치를 찾아갈 수 있는 인간의 시각 지능을 모방하여 LiDAR 등의 고가 장비를 탑재하지 않고서도 카메라 센서에서 입력되는 영상을 활용하여 이동 로봇의 위치 인식과 주행 제어가 수행될 수 있는 기술 개발이 요구되고 있다.

한편, 광학 문자 인식(OCR, Optical Character Recognition)을 포함한 문자인식 기술이 발달되고 있다. 특히, 구글에서 제공하는 오픈소스 라이브러리(Open source library) 중의 하나인 테서렉트(Tesseract)는 높은 인식률과 범용성이 뛰어난 것으로 알려져 있다.

이러한 테서렉트는 CNN과 LSTMs(Long Short Term Memory networks)을 포함한 문자 인식을 위한 네트워크 모델로 다양한 문서의 문자 인식, 자동차 번호판 인식, 명함 인식 등에 사용되고 있다.

대한민국 특허청 등록특허공보 10-1598385(2016.03.02 공고) 대한민국 특허청 공개특허공보 10-2018-0044475(2018.05.03 공개) 대한민국 특허청 공개특허공보 10-2020-0030738(2020.03.23 공개)

이 발명은 전술한 바와 같은 종래기술의 문제점을 해결하기 위해서 창안이 된 것으로서, 바닥에 설치된 타일의 격자무늬를 추적하여 위치 인식 및 주행 제어를 수행하도록 설계된 로봇에 탑재된 문자인식용 카메라를 통해 획득한 이미지 내에서 문자영역을 검출하고 테서렉트 OCR 엔진을 이용해 문자를 인식함으로써 목적지까지의 경로를 계획하고 정해진 경로로 주행할 수 있도록 하는 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법을 제공하는 데 목적이 있다.

이 발명은 전술한 바와 같은 발명의 목적을 달성하기 위해 다음과 같이 구성될 수 있다.

이 발명에 따른 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법은 바닥 타일 원본 영상 이미지를 획득하는 단계, 바닥 타일 원본 영상 이미지의 노이즈를 제거하는 단계, 노이즈 제거 영상 이미지를 이진화하는 단계, 원근 오류 요소를 제거하는 단계, 가장자리 및 직선을 검출하는 단계, 수직 가이드라인과 수평 가이드라인을 추출하는 단계, 수직 가이드라인과 수평 가이드라인이 교차하는 원점(O)을 기준으로 자율주행 로봇의 이동에 따른 초기 위치와 현 위치 사이의 차이를 계산하고 자율주행 로봇이 바닥 타일을 따라 직선 주행하도록 제어하는 단계를 포함하여 이루어지는 타일 격자무늬 추적 자율주행 로봇의 제어방법에 있어서,타일 격자무늬 추적 자율주행 로봇에 탑재된 문자인식용 카메라로부터 문자 안내가 포함된 안내표시판의 안내표시판 원본 이미지를 획득하는 단계; 안내표시판 원본 이미지의 노이즈를 제거하고 원근 변환을 적용하고 그레이 스케일로 변환하는 단계; 적응형 이진화 알고리즘을 이용하여 변환 이미지를 이진화하는 단계; 이진화된 이미지로부터 엣지 검출 알고리즘을 이용해 이미지의 모든 가장자리를 검출하고, 안내 표지판으로 예측되는 굵은 테두리 선의 사각형 영역을 검출하는 단계; 테서렉트 OCR 엔진의 입력 데이터로 검출된 사각형 영역 내의 이미지를 사용하여 테서렉트 OCR의 결과 값을 추출하는 단계; 및 테서렉트 OCR의 결과 값을 문자로 인식하는 단계; 를 포함하여 이루어질 수 있다.

이 발명의 일 실시 예에 따른 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법에서 안내 표지판의 문자 인식 결과를 반영하여 문자 행렬을 작성하거나 문자 행렬 지도를 갱신하도록 설정되되, 문자 행렬 지도는, 자율주행 로봇의 주행 가능한 공간은 아래의 행렬식 A로 표현되는 구역(area)으로 정의되며, 각 구역(area)은 아래의 행렬식 Z로 표현되는 지역(zone)으로 정의되고, 각 지역(zone)을 구성하는 각각의 원소는 그리드(grid)로 정의되는 한편 각 그리드(grid)는 공간에 설치된 타일 1개로 설정되며, 구역 행렬 A와 지역 행렬 Z를 격자형태의 행렬 지도를 생성하는 단계; 생성된 행렬 지도의 각 원소인 그리드(grid)에 행과 열 번호를 숫자로 배정하여 문자 행렬 지도를 생성하는 단계; 및 문자 행렬 지도에 기반하여 자율주행 로봇의 현 위치부터 목적지까지의 주행경로를 유니코드 문자열 값으로 지정되는 아래의 행렬식 S에 기초하여 탐색하는 단계;를 포함하여 이루어질 수 있다.

이 발명에 따른 격자무늬 추적 자율주행 로봇은 격자 지도 정보를 저장하고 있지만 주행 공간에 대한 문자열 행렬 지도가 완전하지 않을 때, 그리고 로봇이 주행 공간에서 현 위치 정보를 알 수 없을 때 등에서, 문자 인식을 이용해 현 위치 정보를 갱신하고 미리 작성된 경로를 주행하면서 문자를 인식하여 목적지를 찾는 문자 인식 기반의 경로 주행이 가능한 장점이 있다.

또한, 이 발명에 따른 문자 인식을 통한 타일 격자무늬 추적 자율주행 로봇은 위치 인식 성능 정확도가 매우 높아서 레이저 시스템의 단점인 경로이탈문제가 발생하지 않으며, 카메라만으로도 이동 로봇의 위치 인식과 주행 제어가 가능하기 때문에 비용적인 측면에서도 유리하게 된다.

도1은 이 발명의 일 실시 예에 따른 자율주행 로봇의 구성을 설명하기 위한 블록도.
도2는 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 주행 제어를 위한 가이드라인을 설명하기 위한 도면.
도3은 이 발명에 따른 격자무늬 추적 자율주행 로봇의 주행 제어를 위한 파라미터를 설명하기 위한 도면.
도4는 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇을 위한 PID 제어 시스템 블록도.
도5는 이 발명의 일 실시 예에 따른 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법을 설명하기 위한 도면.
도6 내지 도10은 이 발명의 일 실시 예에 따른 문자 인식 과정 및 인식 결과를 보인 도면.
도11은 이 발명의 따른 문자 인식을 이용한 자율주행을 위한 주행 구역을 보인 격자 지도의 보인 도면.
도12는 이 발명의 따른 격자무늬 추적 로봇의 주행을 모니터링 하는 소프트웨어의 작동 모습을 보인 도면.
도13은 이 발명에 따른 자율주행 로봇의 주행 영역인 구역(Area)이 다수의 지역(Zone)으로 분할된 상태의 도면.
도14는 이 발명에 따른 문자 행렬 지도의 지역(Zone)의 구성을 보인 도면.
도15는 이 발명에 따른 격자 지도의 한 예시를 보인 도면.
도16은 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 주행 방향에 대한 정의를 보인 도면.
도17은 이 발명이 적용된 타일 격자무늬 추적 자율주행 로봇의 주행 방향에 따른 회전 동작의 예를 보인 도면.
도18은 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 현 위치부터 목적지까지의 주행 경로를 보인 예시 도면.
도19는 이 발명에 따른 문자 행렬 지도와 타일 격자무늬 추적 자율주행 로봇의 주행 경로를 보인 도면.
도20은 문자 행렬 지도에서 장애물이 있는 지역 혹은 주행 불가 지역을 표시하기 위한 기본 규칙을 보인 도면.
도21은 자율주행 로봇이 현 위치로부터 목적지까지 주행하기 위한 주행 경로 계획을 수립하는 알고리즘의 순서도.
도22는 자율주행 로봇이 현 위치로부터 목적지까지 주행하기 위한 경로 계획을 수립한 예를 보인 도면.
도23은 이 발명에 따른 타일 격자무늬 추적 로봇의 자율주행 실험을 위한 공간의 평면도를 보인 도면.
도24는 이 발명에 따른 타일 격자무늬 추적 로봇의 자율주행 실험을 위한 주행구역의 문자 행렬 지도의 예를 보인 도면.

이하에서는 이 발명의 실시 예에 따른 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법에 대하여 첨부된 도면을 참고하면서 보다 구체적으로 설명한다.

이 발명의 실시 예를 설명하기 위한 도면에서 이 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙이기로 한다. 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

도1은 이 발명의 일 실시 예에 따른 자율주행 로봇의 구성을 설명하기 위한 블록도이다. 도면 중에 표시되는 도면부호 100은 타일 격자무늬 추적 자율주행 로봇을 지시하는 것이다. 설명의 편의를 위해서 타일 격자무늬 추적 자율주행 로봇(100)은 자율주행 로봇 또는 이동 로봇 등으로 약칭될 수 있다.

이 발명이 적용되는 타일 격자무늬 추적 자율주행 로봇(100)은 도1에서 보이는 바와 같이 구동을 위한 2개의 구동 모터(110)가 본체에 탑재되고, 본체의 전면 상단에는 바닥면의 촬영을 위한 카메라(120)가 탑재되고, 본체의 일측면 상에는 문자인식용 카메라(122)가 설치된다.

전술한 구동 모터(110)는 BLDC 모터로 구성되고, 전술한 카메라(120) 및 문자인식용 카메라(122)는 CMOS 카메라로 구성될 수 있다. 격자무늬 추적 자율주행 로봇(100)에 부착된 두 개의 카메라 중 하나는 로봇의 위치 인식과 주행 제어를 위해 바닥면의 타일을 촬영하고, 다른 한 개의 카메라는 주행 환경 내에서의 문자 인식을 통한 자율주행 로봇의 현 위치 추정을 위해 벽면의 안내 표지판을 촬영하도록 설치된다.

구동 모터(110)는 본체 하부에 설치된 구동 바퀴를 구동시켜 타일 격자무늬 추적 자율주행 로봇(100)을 전후좌우 방향으로 이동하게 구성될 수 있으며, 타일 격자무늬 추적 자율주행 로봇(100)이 주행 속도가 제어될 수 있다.

또한, 자율주행 로봇(100)의 이동 중에 장애물을 감지하기 위한 복수의 초음파 센서를 포함한 가이드 센서(130)가 설치되고, 비상 상황이 발생할 경우 비상정지를 위한 비상 스위치(140)를 포함한 여러 인디케이터들이 본체의 일측에 설치될 수 있다.

그리고 이 발명이 적용되는 자율주행 로봇(100)에는 전술한 카메라(120)에서 촬영된 영상에 기초하여 타일 격자무늬 추적 자율주행 로봇(100)의 위치를 인식하고, 자율주행 로봇(100)의 이동 경로를 설정하고 이동을 제어하기 위한 컨트롤러(150)가 탑재된다. 컨트롤러(150)는 Microchip사의 PIC16F884 기반 임베디드 보드가 사용될 수 있다.

또한, 카메라(120)를 통한 영상의 촬영과 컴퓨터 비전 알고리즘의 처리, 로봇의 주행 제어 등을 위해는 자율주행 로봇(100)에 탑재되는 컨트롤러(150) 이외에도 원격에 설치되는 컴퓨터 수단 및 통신 수단 등이 적용될 수 있다.

그리고 전술한 자율주행 로봇(100)의 위치 인식 및 주행 제어는 카메라(120)에서 촬영된 바닥 타일 원본 영상에 대한 이미지 전처리 과정을 거쳐 생성되는 가이드라인에 기초하여 이루어질 수 있다. 이를 위해, 자율주행 로봇의 위치 인식 및 주행 제어는 바닥 타일 원본 영상을 획득하는 단계, 바닥 타일 원본 영상의 노이즈를 제거하는 단계, 노이즈 제거 영상을 이진화하는 단계, 원근 오류 요소를 제거하는 단계, 가장자리 및 직선을 검출하는 단계, 수직 가이드라인과 수평 가이드라인을 추출하는 단계, 수직 가이드라인과 수평 가이드라인이 교차하는 원점(O)을 기준으로 자율주행 로봇의 이동에 따른 초기 위치와 현 위치 사이의 차이를 계산하고 자율주행 로봇이 바닥 타일을 따라 직선 주행하도록 제어하는 단계를 포함하여 이루어질 수 있다.

도2는 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 주행 제어를 위한 가이드라인을 설명하기 위한 도면이며, 도3은 이 발명에 따른 격자무늬 추적 자율주행 로봇의 주행 제어를 위한 파라미터를 설명하기 위한 도면이며, 도4는 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇을 위한 PID 제어 시스템 블록도이다.

도2에서 보이는 바와 같이 자율주행 로봇(100)에 탑재된 카메라(120)는 자율주행 로봇이 이동 가능한 공간에 타일(10)이 설치된 바닥을 촬영하여 바닥 타일 원본 영상을 획득하고, 획득된 바닥 타일 원본 영상은 전처리 과정, 노이즈 제거 과정, 이진화 과정, 원근 오류 요소 제거 과정, 에지 및 선 검출 과정 등을 통해 수직 가이드라인(210)과 수평 가이드라인(220)을 추출하게 된다.

한편, 타일 격자무늬 추적 자율주행 로봇(100)의 주행 제어를 위해서는 도3에서 보이는 바와 같은 파라미터가 사용될 수 있다. 주행 시작점에서 획득한 가이드라인을 초기 가이드라인(Initial guideline)이라 하고, 자율주행 로봇(100)이 주행을 시작한 후에 획득한 가이드라인을 주행시간 가이드라인(Runtime guideline)이라 한다.

도3에서 보이는 바와 같이 임의의 시간에 수평 가이드라인과 원점(O)을 지나는 수평선이 이루는 각을 θ(t), 수직 가이드라인과 원점(O)을 지나는 수평선의 교점 X_v와 원점(O)까지의 거리를 d(t)라 하면, 자율주행 로봇(100)의 초기 위치와 현 위치 사이의 차이 e(t)를 아래의 수학식 1로 정의할 수 있다. 수학식 1에서 가중값은 경험치로 구해질 수 있다.

이 발명에 따른 타일 격자무늬 추적 자율주행 로봇(100)의 직선 주행을 위한 조건은 e(t) = 0이다.

그리고 이 발명의 일 실시 예에 따른 자율주행 로봇(100)의 주행 제어를 위해서 도4에서 보이는 바와 같은 PID 제어기가 사용된다. 타일 격자무늬 추적 자율주행 로봇(100)은 차동구동방식으로 구동될 수 있는데, 로봇의 직선 주행을 위해서는 e(t)가 0보다 크면 좌측 모터의 RPM을 고정하고 PID 제어 알고리즘에 따라 우측 모터를 제어하도록 설정된다. e(t)가 0보다 작으면 그 반대 방법으로 제어하도록 설정된다.

이와 같이 구성되는 타일 격자무늬 추적 자율주행 로봇은 장시간 주행에도 경로를 이탈하지 않고 정확한 경로를 주행할 수 있으며, 주행 중 인식한 타일의 수를 오도메타(odometer) 정보로 사용할 수 있는 장점이 있다.

도5는 이 발명의 일 실시 예에 따른 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법을 설명하기 위한 도면이다.

도5에서 보이는 바와 같이 전술한 자율주행 로봇(100)에 탑재되는 문자인식용 카메라(122)에서는 자율주행 로봇(100)의 주행되는 공간에 문자 안내를 위해 출입문, 게시판 등에 설치된 안내표시판을 촬영하여 안내표시판 원본 이미지를 획득하게 된다. 자율주행 로봇(100)의 주행 환경에서 획득한 안내표시판 원본 이미지 내에는 복잡한 환경으로 인한 노이즈 뿐 아니라 문자의 크기, 서체와 글꼴 차이 등 문자 인식 실패 원인 등이 있다. 주행 중의 로봇이 획득한 문자 인식을 좋게 하기 위해서는 안내표지판의 테두리에 굵은 선을 사용하는 것이 바람직하다.

문자인식용 카메라(122)에서 획득된 안내표시판 원본 이미지는 노이즈 제거 알고리즘을 통해 노이즈가 제거되고, 원근 변환을 적용하고 그레이 스케일로 변환된다.

한편, 전술한 바와 같은 전처리 과정에서 변환된 변환 이미지는 적응형 이진화 알고리즘을 이용하여 이진화된다.

이후, 이진화된 이미지로부터 엣지 검출 알고리즘을 이용해 이미지의 모든 가장자리를 검출하고, 안내 표지판으로 예측되는 굵은 테두리 선의 사각형 영역을 검출하게 된다.

테서렉트 OCR 엔진의 입력 데이터로 검출된 사각형 영역 내의 이미지를 사용하여 테서렉트 OCR의 결과 값을 추출하고, 테서렉트 OCR의 결과 값을 문자로 인식하게 된다.

도6 내지 도10은 이 발명의 일 실시 예에 따른 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법을 통한 문자 인식 과정 및 인식 결과를 보인 도면이다.

그리고 전술한 바와 같은 문자 표지판의 문자 인식 결과를 반영하여 문자 행렬을 작성하거나 문자 행렬 지도를 갱신하도록 설정된다.

부연하면, 이 발명에 따른 격자무늬 추적 자율주행 로봇(100)은 격자 지도 정보를 저장하고 있지만 주행 공간에 대한 문자열 행렬 지도가 완전하지 않을 때, 그리고 로봇이 주행 공간에서 현 위치 정보를 알 수 없을 때 등에서, 문자 인식을 이용해 현 위치 정보를 갱신하고 미리 작성된 경로를 주행하면서 문자를 인식하여 목적지를 찾는 문자 인식 기반의 경로 주행이 적용되도록 설정될 수 있는 것이다.

도11은 이 발명의 따른 문자 인식을 이용한 자율주행을 위한 주행 구역을 보인 격자 지도의 보인 도면이다.

도11에서와 같이 자율주행 로봇(100)의 주행 구역은 격자 지도로 표현이 될 수 있으며, 자율주행 로봇(100)의 현 위치 인식 전의 주행 구역을 행렬식 A로 나타내면 수학식 2와 같다. 이때 초기문자 행렬 지도 S는 수학식 3과 같다. 격자무늬 추적 자율주행 로봇(100)은 로봇의 현 위치 인식 후 미리 지정된 경로를 주행하도록 프로그래밍 된다. 수학식 4는 자율주행 로봇(100)이 현 위치 인식 후 주행하도록 작성된 주행 경로를 표현한 것이다.

도12는 이 발명의 따른 격자무늬 추적 로봇의 주행을 모니터링 하는 소프트웨어의 작동 모습을 보인 도면이다.

이하에서는 이 발명의 다른 실시 예에 따른 문자 행렬 및 문자 행렬 지도에 대하여 설명한다.

도13은 이 발명의 실시 예에 따른 문자 행렬 지도의 구성을 위해 자율주행 로봇의 주행 영역인 구역(Area)이 다수의 지역(Zone)으로 분할된 상태의 도면이고, 도14는 이 발명의 실시 예에 따른 문자 행렬 지도의 구성을 위해 지역(Zone)의 구성을 설명하기 위한 도면이다.

도13에서 보이는 바와 같이 자율주행 로봇(100)이 주행 가능한 전체 공간인 구역(Area)은 m×n개의 지역(Zone)으로 분할되고, 각 지역(Zone)은 동일한 개수와 모양을 갖는 타일의 집합으로 이루어진다.

이와 같은 구성을 행렬식을 이용하여 표현하면, 수학식 5 및 수학식 6과 같이 표현될 수 있고, 각각은 행렬식 A와 행렬식 Z로 정의될 수 있다.

A는 m×n 행렬, Z는 p×q 행렬이므로, 자율주행 로봇(100)의 주행공간에 설치된 타일(10)의 전체 개수는 m×n×p×q가 되며, 각 지역 행렬 Z_xy는 구역 행렬 A의 요소이다.

Z_xy를 구성하는 각각의 원소는 그리드(Grid)라 하고, 이는 주행공간에 설치되어 있는 타일 1개를 의미하게 된다.

전술한 바와 같은 방식으로 구역 행렬 A와 지역 행렬 Z를 사용하여 격자형태의 행렬 지도를 생성하게 된다.

그리고 아래에 설명하는 바와 같이 생성된 행렬 지도의 각 원소인 그리드(grid)에는 행과 열 번호가 숫자로 배정이 되고, 아래의 수학식에 따라 특정 숫자가 표시되는 문자 행렬 지도가 생성된다.

한편, 문자 행렬 지도를 구성하는 행렬에서 주행 가능 여부에 따라 행렬의 가 원소의 값은 아래의 수학식 7과 같이 정해진다.

한편, 이 발명에 따른 자율주행 로봇(100)의 주행 경로 작성을 위해서 문자 행렬 지도상에는 자율주행 로봇의 현 위치와 목적지가 표시되어야 한다. 이를 위해, 이 발명에 따른 문자 행렬 지도에서 이동 로봇의 현 위치와 목적지는 아래의 수학식 8과 같이 표현될 수 있다.

자율주행 로봇(100)이 목적지까지 이동할 때 현위치는 갱신이 되고, 현 위치의 값은 -1로 이전 위치의 값은 1로 변경이 된다. 목적지에 도착한 후에는 목적지가 현 위치로 갱신되도록 설정된다. 도15는 이 발명에 따른 격자 지도의 한 예시를 보인 도면이고, 아래의 수학식 9 내지 수학식 12는 도15에 도시된 격자 지도를 행렬로 표현한 식이다.

이하에서는 이 발명에 따른 자율주행 로봇(100)이 주행방향을 인식하고, 차동주행 방식에 따라 전후진 동작 및 좌우 90도 회전하는 동작에 대해 설명한다.

도16은 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 주행 방향에 대한 정의를 보인 도면이다. 도16에서 보이는 바와 같이 자율주행 로봇(100)은 격자 지도를 기준으로 횡 방향 진행시 열번호가 작은 쪽에서 큰 쪽으로 전진 주행하며, 반대로 열번호가 큰 쪽에서 작은 쪽으로는 후진 주행한다. 종 방향 진행 시 횡 번호가 작은 쪽에서 큰 쪽으로 전진 주행하며, 횡 번호가 큰 쪽에서 작은 쪽으로 후진 주행한다.

자율주행 로봇(100)의 주행 방향을 결정할 때는 행렬식에서 현 위치와 이전 위치의 행렬 원소의 행과 열 번호를 이용한다. 아래의 수학식 13은 자율주행 로봇의 주행 방향을 인식하기 위한 수식이다. 구역 행렬 A에서 a_xtyt는 로봇의 현 위치 원소이고, a_xt _- _1yt _- ₁는 이전 위치의 원소이다.

도17은 이 발명이 적용된 타일 격자무늬 추적 자율주행 로봇의 주행 방향에 따른 회전 동작의 예를 보인 도면이다.

이 발명에 따른 자율주행 로봇(100)은 주행 중 방향 전환을 위해 정지 후 제자리에서 90도 좌·우 회전이 가능하게 구성된다. 주행 경로에서 방향 전환이 필요할 때, 자율주행 로봇(100)의 회전 방향은 이동 로봇의 이전 진행 방향에 의해 결정될 수 있다. 한편, 이 발명에 따른 자율주행 로봇(100)은 격자 지도를 기준으로 횡 방향 진행시 열 번호가 작은 쪽에서 큰 쪽으로 전진 주행하며, 반대로 열 번호가 큰 쪽에서 작은 쪽으로는 후진 주행하도록 프로그래밍 될 수 있다.

특히, 타일 격자무늬 추적 자율주행 로봇(100)은 회전 후에 초기 수직 가이드라인 및 수평 가이드라인을 다시 설정하도록 구성될 수 있다.

이 발명의 일 실시 예에 따른 타일 격자무늬 추적 자율주행 로봇(100)의 현 위치가 a_xpyp, 목적지가 a_xdyd일 때, 자율주행 로봇의 초기 주행 방향은 로봇의 이전 주행 방향에 의해 결정된다. 이전 진행 방향이 횡 방향인 경우의 초기 주행 방향은 아래의 수학식 14와 같고, 이전 진행 방향이 종 방향인 경우의 초기 주행 방향은 아래의 수학식 15와 같다. 아래의 수학식 14 및 수학식 15에서 기호 '⇒' 는 직선 주행을 의미하고, 기역자로 꺽인 화살표 기호는 정지 위치에서의 회전을 의미한다.

도18은 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇(100)의 현 위치부터 목적지까지의 주행 경로를 보인 예시 도면이다.

도18에서 보이는 바와 같이 자율주행 로봇(100)의 현 위치로부터 목적지까지의 두 개의 주행 경로는 거리가 같다. 이처럼 자율주행 로봇의 주행 거리가 같은 경로일 경우에는 자율주행 로봇의 현 위치에서의 주행 방향이 이동 경로의 최초 주행 방향과 같은 경로를 선택하도록 설정될 수 있다.

아래의 수학식 16과 수학식 17은 도18에 도시된 ①번 경로와 ②번 경로에 대한 자율주행 로봇의 주행 경로 계획의 예를 보인 것이다.

그리고 이 발명의 일 실시 예에 따른 타일 격자무늬 추적 자율주행 로봇의 주행 경로 탐색이 문자 기반으로 이루어질 수 있게 구성된다. 이를 위해, 문자 기반 경로 탐색을 위한 행렬의 정의를 통해 가능하다. 수학식 18은 원소 값이 문자열 값인 타일 격자무늬 추적 자율주행 로봇(100)을 위한 행렬식이다. 수학식 18에서 S는 m×n 행렬이며, 앞서 설명한 수학식 2에서의 행렬 A와 크기가 같다.

한편, 수학식 18에서 행렬 S의 각 요소 값 s_xy는 유니코드 문자열 값이다. 수학식 19는 격자 지도의 구역 행렬의 크기가 m×n인 주행 공간에서 특정 지역을 유니코드 문자열로 지정한 문자열 행렬 지도의 예이다.

수학식 19에서 s₂₂ = 실험실, s_mn = 강의실이고, 행렬 S에서 문자열 값이 없는 나머지 원소의 값은 'null'이다.

도19는 이 발명에 따른 문자 행렬 지도와 타일 격자무늬 추적 자율주행 로봇의 주행 경로를 보인 도면이다. 도19에서 자율주행 로봇의 현 위치는 실험실이고, 목적지가 강의실이라면 실험실은 s₂₂, 강의실은 s_mn이므로, 문자 행렬 지도에서 로봇의 현 위치와 목적지는 문자 행렬의 행과 열 번호와 같은 A행렬의 원소 a₂₂와 a_mn이고 자율주행 로봇의 주행 경로는 수학식 20과 같게 된다.

따라서, 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 제어방법에서는 도19의 예시 도면에서와 같이 문자 행렬 지도를 이용하여 수학식 20과 같이 타일 격자무늬 추적 자율주행 로봇(100)을 위한 주행 경로를 설정함으로써, 자율주행 로봇의 현 위치와 주행 경로, 목적지 등의 정보를 로봇과 인간이 문자 정보로 공유할 수 있게 된다.

한편, 이 발명에 따른 타일 격자무늬 추적 자율주행 로봇의 주행 공간에 주행 불가 구역 또는 장애물이 있는 경우, 자율주행 로봇(100)은 장애물이 없는 주행 가능한 구역을 찾아 주행하여야 한다. 이를 위해, 문자 행렬 지도를 이용한 장애물 표시 규칙과 주행 경로 계획을 위한 알고리즘이 필요하다. 따라서, 이 발명에서는 문자 행렬 지도상에 장애물 등의 위치를 행렬의 원소 값으로 표현한다. 앞의 수학식 8에서 장애물이 있는 지역을 주행 불가 지역으로 정의하고, 구역 행렬 A와 지역 행렬 Z의 원소 값이 0임을 확인하였다.

도20은 타일 격자무늬 추적 자율주행 로봇의 주행 제어를 위해 문자 행렬 지도에서 장애물이 있는 지역 혹은 주행 불가 지역을 표시하기 위한 기본 규칙을 보인 도면이다. 문자 행렬 지도에서 장애물이 있는 주행 불가 지역은 음영으로 표시하고, 주행 불가 지역의 모양은 사각형으로 표시할 수 있으며 다각형으로 표시할 수는 없다. 이는 타일 격자무늬 추적 자율주행 로봇의 단순한 주행 알고리즘을 위한 제한이다.

문자 행렬 지도에서의 장애물 표시는 ②와 ④처럼 사각형 형태로 표시될 수 있고, ①과 ③은 장애물이 있음에도 주행 가능 구역으로 표시되거나 주행 불가 구역의 모양이 사각형의 형태가 아니기 때문에 문자 행렬 지도에 주행 불가능한 구역으로 표시한 예로 부적절하다.

자율주행 로봇(100)의 주행 공간에 주행 가능 지역과 주행 불가능 지역을 규칙에 따라 표시하였다면 자율주행 로봇의 현 위치로부터 목적지까지의 주행 경로 계획을 간단한 알고리즘으로 수립할 수 있다. 도21은 문자 행렬 지도상에 장애물이 있는 경우 장애물을 회피하여 자율주행 로봇(100)이 현 위치로부터 목적지까지 주행하기 위한 주행 경로 계획을 수립하는 알고리즘의 순서도이다.

도21에서 보이는 바와 같이 알고리즘 순서도는 현 위치의 행과 열이 목적지의 행과 열보다 작은 경우에 해당이 되며, 이와 다른 경우에는 순서도에서 x_s와 y_s의 증가식을 적절하게 변경해야 한다.

도22는 주행 공간에 장애물이 있는 경우 장애물 회피 경로 계획 알고리즘을 이용하여 자율주행 로봇(100)이 현 위치로부터 목적지까지 주행하기 위한 경로 계획을 수립한 예를 보인 도면이다. 장애물 회피 경로 계획 알고리즘에 의해 실제 로봇이 주행하는 경로는 로봇의 주행 시작점에서의 초기 방향에 의해 결정된다. 도22의 예시에서 보이는 바와 같이 자율주행 로봇(100)의 초기 주행 방향이 횡 방향일 경우에는 자율주행 로봇은 ①번 주행 경로를 따라 주행하며, 초기 주행 방향이 종방향일 경우에는 ②번 주행 경로를 따라 주행하게 된다.

도23은 이 발명에 따른 타일 격자무늬 추적 로봇의 자율주행 실험을 위한 공간의 평면도를 보인 도면이고, 도24는 이 발명에 따른 타일 격자무늬 추적 로봇의 자율주행 실험을 위한 주행구역의 문자 행렬 지도의 예를 보인 도면이다.

도23 및 도24에서 보이는 바와 같이 자율주행 로봇(100)의 주행 구역은 문자 행렬 지도로 표현될 수 있다. 주행 구역을 행렬 A로 나타내면 수학식 21과 같다. 주행 구역에 포함된 각 지역은 수학식 22, 수학식 23, 수학식 24, 수학식 25와 같이 행렬식 Z_xy로 표현될 수 있다.

그리고 수학식 26은 주행 구역에 대한 문자 행렬 S이다.

자율주행 로봇의 현 위치는 a₁₁이며, 현 위치의 지역 행렬 Z_1, ₁는 아래의 수학식 27이다.

한편, 이 발명의 일 실시 예에 따른 타일 격자무늬 추적 자율주행 로봇의 제어방법의 실행을 위해서 타일 격자무늬 추적 자율주행 로봇 시스템의 서브 컴퓨터에서 무선 랜을 이용하여 로봇에게 목적지 문자열을 전송하고 자율주행 로봇이 현 위치로부터 목적지까지 주행하도록 하였다. 자율주행 로봇은 목적지 문자열을 수신하면 로봇에 저장된 문자 행렬 지도 정보와 장애물 회피 알고리즘을 이용해 현 위치로부터 목적지까지 주행 경로를 작성한 후 작성된 경로에 맞춰 자율주행을 수행하게 된다. 타일 격자무늬 추적 자율주행 로봇의 자율주행 실험에서 로봇이 각 목적지까지 주행한 이동 경로는 수학식 28과 같다.

이상에서 설명한 바와 같이 이 발명에 의하면 자율주행 로봇의 위치 인식을 위해 로봇이 주행하는 공간을 행렬식으로 표현하는 타일 격자무늬 정보를 포함한 행렬 지도를 작성함으로써 이동 로봇이 주행하는 공간의 특정 장소를 문자로 정의하고 이를 기반으로 문자 행렬 지도를 작성한 후에 로봇에게 주행할 목적지를 문자 명령으로 전달하면 로봇은 문자 행렬 지도에서 목적지의 위치 정보를 추출하고 행렬 지도에서 로봇의 현 위치와 목적지를 파악하여 주행 경로를 계획할 수 있게 된다.

또한, 문자 행렬 지도 기반의 장애물 회피 알고리즘을 이용하여 주행 공간에 주행 불가 지역이 존재하거나 장애물이 있을 때에는 이를 회피하는 주행 경로 계획을 수립할 수 있게 된다.

특히, 문자 행렬 지도를 이용한 로봇의 자율주행을 실험을 수행한 경과를 통해 타일 격자무늬 추적 자율주행 로봇(100)은 바닥에 타일이 설치된 실내 공간에서 로봇에 탑재된 단일 카메라(120) 만으로 누적 오차 없이 주행할 수 있는 장점이 있음을 확인하였다.

나아가, 이 발명에 따른 격자무늬 추적 자율주행 로봇(100)은 격자 지도 정보를 저장하고 있지만 주행 공간에 대한 문자열 행렬 지도가 완전하지 않을 때, 그리고 로봇이 주행 공간에서 현 위치 정보를 알 수 없을 때 등에서, 문자 인식을 이용해 현 위치 정보를 갱신하고 미리 작성된 경로를 주행하면서 문자를 인식하여 목적지를 찾는 문자 인식 기반의 경로 주행이 가능한 장점이 있다.

이상에서 설명한 바와 같이 문자 인식을 통한 타일 격자무늬 추적 자율주행 로봇(100)은 위치 인식 성능 정확도가 매우 높아서 레이저 시스템의 단점인 경로이탈문제가 발생하지 않으며, 카메라만으로도 이동 로봇의 위치 인식과 주행 제어가 가능하기 때문에 비용적인 측면에서도 유리하게 된다.

이상에서는 첨부된 도면들을 참조하면서 이 발명의 실시 예에 따른 문자 인식을 통한 타일 격자무늬 추적 자율주행 로봇의 제어방법에 대하여 설명하였다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능 점을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적으로 이해해서는 안 된다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합이 된 형태로 실시될 수 있다.

10 : 타일 100 : 타일 격자무늬 추적 자율주행 로봇
110 : 구동 모터 120 : 카메라
122 : 문자인식용 카메라 130 : 가이드 센서
140 : 비상 스위치 150 : 컨트롤러
210 : 수직 가이드라인 220 : 수평 가이드라인

Claims

바닥 타일 원본 영상 이미지를 획득하는 단계, 바닥 타일 원본 영상 이미지의 노이즈를 제거하는 단계, 노이즈 제거 영상 이미지를 이진화하는 단계, 원근 오류 요소를 제거하는 단계, 가장자리 및 직선을 검출하는 단계, 수직 가이드라인과 수평 가이드라인을 추출하는 단계, 수직 가이드라인과 수평 가이드라인이 교차하는 원점(O)을 기준으로 자율주행 로봇의 이동에 따른 초기 위치와 현 위치 사이의 차이를 계산하고 자율주행 로봇이 바닥 타일을 따라 직선 주행하도록 제어하는 단계를 포함하여 이루어지는 타일 격자무늬 추적 자율주행 로봇의 제어방법에 있어서,
상기 타일 격자무늬 추적 자율주행 로봇에 탑재된 문자인식용 카메라로부터 문자 안내가 포함된 안내표시판의 안내표시판 원본 이미지를 획득하는 단계;
상기 안내표시판 원본 이미지의 노이즈를 제거하고 원근 변환을 적용하고 그레이 스케일로 변환하는 단계;
적응형 이진화 알고리즘을 이용하여 상기 변환 이미지를 이진화하는 단계;
상기 이진화된 이미지로부터 엣지 검출 알고리즘을 이용해 이미지의 모든 가장자리를 검출하고, 안내 표지판으로 예측되는 굵은 테두리 선의 사각형 영역을 검출하는 단계;
테서렉트 OCR 엔진의 입력 데이터로 검출된 사각형 영역 내의 이미지를 사용하여 테서렉트 OCR의 결과 값을 추출하는 단계; 및
상기 테서렉트 OCR의 결과 값을 문자로 인식하는 단계;
를 포함하여 이루어지는 것을 특징으로 하는 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법.
제1항에 있어서,
상기 안내 표지판의 문자 인식 결과를 반영하여 문자 행렬을 작성하거나 문자 행렬 지도를 갱신하도록 설정되되,
상기 문자 행렬 지도는,
상기 자율주행 로봇의 주행 가능한 공간은 아래의 행렬식 A로 표현되는 구역(area)으로 정의되며, 상기 각 구역(area)은 아래의 행렬식 Z로 표현되는 지역(zone)으로 정의되고, 상기 각 지역(zone)을 구성하는 각각의 원소는 그리드(grid)로 정의되는 한편 상기 각 그리드(grid)는 상기 공간에 설치된 타일 1개로 설정되며, 구역 행렬 A와 지역 행렬 Z를 격자형태의 행렬 지도를 생성하는 단계;
상기 생성된 행렬 지도의 각 원소인 그리드(grid)에 행과 열 번호를 숫자로 배정하여 문자 행렬 지도를 생성하는 단계; 및
상기 문자 행렬 지도에 기반하여 상기 자율주행 로봇의 현 위치부터 목적지까지의 주행경로를 유니코드 문자열 값으로 지정되는 아래의 행렬식 S에 기초하여 탐색하는 단계;
를 포함하여 이루어지는 것을 특징으로 하는 문자 인식을 통한 격자무늬 추적 로봇의 자율주행의 제어 방법.

행렬식 A는,

행렬식 Z는,

행렬식 S는,