KR102425271B1 - 장애물회피방법을 구비한 자율주행로봇 - Google Patents

Abstract

본 발명은 자율주행 기능을 구비한 로봇에 관한 것으로서 사람과 도로가 공존하는 환경하에서 레이더장치와 스테레오입체영상기능이 있는 화상카메라와 2개 이상의 체널로 운용되는 레이저센서장치를 이용하여 장애물오브젝트의 특성에 따라 자율주행 기능을 제공하여 장애물회피를 보다 효과적으로 할 수 있는 기술을 제공한다.

Description

장애물회피방법을 구비한 자율주행로봇{a method of n autonomous mobile robot with obstacle avoidance method }

본 발명은 자율주행 기능이 구비된 로봇에 관한 것이다.

[문헌 1] 대한민국발명등록특허 10-1149800 초광대역 레이더 와 스테레오 카메라를 이용한 은폐장애물 감지장치 및 방법

[문헌 2] 대한민국발명등록특허 10-2135822 자율주행기능을 구비한 인공지능로봇 및 인공지능로봇의 자율주행제어방법

[문헌 3] 대한민국발명공개특허 10-2005-0108396 자율 이동로봇

[문헌 4] 대한민국발명공개특허 10-2020-0071959 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

상기 문헌1은 초광대역 레이더와 스테레오 카메라를 이용하여 수풀 등

이 있는 야지에서 은폐된 장애물을 분류감지하는 새로운 장치 및 방법을 제공하는데 목적이 있다. 그리고 초광대역레이더의 세기정보와 투과성이 없는 영상기반의 스테레오 카메라를 이용하여 수풀 등에 은폐된 장애물의 특성을 분류감지 함으로써, 탐지된 장애물에 대한 무인차량의 주행 또는 회피주행등 경로결정에 중요한 정보로 활용할 수 있는 기술에 관한 것이다.

문헌 2는 인공지능로봇에 관한 것으로서, 보다 상세하게는 장애물을 자동으로 인식하여 임의의 경로로 자율주행이 가능한 자율주행기능을 구비한 인공지능로봇 및 인공지능로봇의 자율주행제어방법에 관한 것이다. 즉 카메라에 의하여 획득된 이미지와 라이다센서부로부터 장애물에 대한 측정데이터를 전달받아 장애물에 대한 거리, 높이 및 위치를 계산하는 제1데이터가공단계와; 초음파센서부에 의하여 측정된 장애물에 대한 거리데이터 및 충격감지센서부에 의하여 감지된 접촉여부데이터를 포함하는 제2데이터를 추출하는 제2데이터가공단계와; 제1데이터가공단계에서 가공된 제1데이터, 및 제2데이터가공단계에서 가공된 제2데이터를 인공지능플랫폼에 입력하여 주행부에 대한 제어값을 추출하는 구동제어값추출단계와; 구동제어신호추출단계에서 추출된 주행부에 대한 제어값에 따라서 주행부를 제어하는 주행제어단계를 포함하는 기술에 관한 것이다.

문헌 3은 환경정보 취득수단에 의해 장애물 및 자기위치를 인식해 장애물을 회피하면서 주행한다. 이 환경정보 취득수단은, 주행경로 상의 환경의 화상을 촬상하는 촬상장치와, 촬상한 화상을 연산 처리행서 인체의 부위에 관한 속성을 가지는 영역을 추출하는 화상인식 처리수단과, 주행경로상의 환경 내에 존재하는 물체까지의 거리와 그 방향을 측정하는 거리 측정장치와, 얻어진 거리정보를 연산 처리해서 물체 형상을 구하고, 그것으로부터 물체가 사람 후보인 것을 인식하는 거리정보 해석수단과, 주행경로 상의 환경정보를 인식하는 환경 인식수단을 구비하고 있다. 이 환경 인식수단은 화상인식 처리수단에서 추출된 상기 속성을 가지는 영역의 방향과, 거리정보 해석수단에서 사람후보라고 인식된 물체의 방향을 비교하여, 양자가 일치할 때, 그 물체를 사람이라고 인식한다. 이렇게 해서, 자율 이동로봇은 장애물이 무엇인가를 판단하여, 장애물에 따라 안전하고 부드럽게 주행하는 효과를 갖는 기술에 관한 것이다.

문헌 4는 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하고, 이를 기반으로 생성된 융합 데이터를 활용하여 객체를 인식함으로써 객체에 대한 구별 및 위치 측정이 보다 정확하게 이루어질 수 있도록 하는 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치에 관한것이다.

[문헌 1] 대한민국발명등록특허 10-1149800 초광대역 레이더 와 스테레오 카메라를 이용한 은폐장애물 감지장치 및 방법 [문헌 2] 대한민국발명등록특허 10-2135822 자율주행기능을 구비한 인공지능로봇 및 인공지능로봇의 자율주행제어방법 [문헌 3] 대한민국발명공개특허 10-2005-0108396 자율 이동로봇 [문헌 4] 대한민국발명공개특허 10-2020-0071959 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

자율주행로봇의 많은 회피 기술이 나와있지만 시설물과 차량 및 사람이 많이 지나다니는 지역에서는 장애물감지가 쉽지않아 이를 원활하게 해결할 수 있는 기술이 필요하게 되었다.

그리고 상기 자율주행로봇의 원활한 주행을 위해 레이더장치와 라이더장치 와 화상카메라 및 초음파센서를 복합 활용하여 장애물을 회피하는 기술이 출시되었으나 효과적으로 활용될 수 있는 기술이 없어 좀더 구체적인 적용 기술이 필요하게 되었다.

그리고 장애물 회피에 있어서 가장 문제가 되는 점은 앞가림 장애물이 있을 경우 그리고 빠른 속도의 장애물과 사람이 갑자기 나타났을 경우 및 레이저센서장치가 근접하는 물체를 감지못했을 경우 사고 발생 빈도가 높아 레이더장치와 화상카메라를 이용한 좀더 효과적인 장애물 회피기술이 필요하게 되었다.

따라서 본 발명은 상기 문제점을 해결하기 위해

화상카메라와 레이더장치 및 레이저센서장치의 장애물오브젝트의 대응에 대한 레이더 장치의 적합한 센서활용 기술을 제공하는 데 본 발명의 목적이 있다.

그리고 본 발명은 파악되는 장애물오브젝트에 대해 특성별로 분류하는 기술을 제공하는데 그 목적이 있다.

그리고 사고 발생 빈도가 높은 빠르게 움직이는 장애물오브젝트에 대해 레이더장치로부터 정보를 받아 신속하게 화상카메라의 초점을 맞추어 집중도를 높이는 기술을 제공하는데 본 발명의 목적이 있다.

그리고 근접하는 물체에 대해 레이저센서장치(라이더장치)에 레이저센서의 개수를 최소 2 개이상 구비하고 채널별로 운영하여 근접하는 장애물의 움직임과 윤곽을 좀더 정확히 잡을 수 있는 기술을 제공하는 데 본 발명의 목적이 있다.

본 발명의 일실시예에 따르면 본 발명은 화상카메라와 빠른 화상이미지 처리를 위한 GPU(Graphic Processing Unit)가 포함된 임베디드 컴퓨터(embedded computer)가 구비되고 센서가 포함된 자율주행 운반용 서비스로봇에 관한 것으로서 상기 화상 카메라를 이용하여 장애물을 판독하고 2 개 이상의 레이저센서가 포함된 레이저센서장치(라이더)가 포함되어 거리와 장애물오브젝트의 윤곽을 판단하여 기존보다 월등 정확한 자율주행기능을 수행할 수 있다. 또 레이더장치가 구비되어 장애물 등의 앞가림이 있을 경우 상기 화상카메라와 레이저센서장치가 역할을 못할 때 레이더장치를 연결하여 숨겨진 장애물을 파악하고 장애물오브젝트의 전체적인 윤곽을 파악하여 자율주행에 적용할 수 있는 기술을 본 발명은 제공한다.

그리고 본 발명은 레이더장치를 이용하여 장애물오브젝트의 움직임 속도를 가장 우선하여 분류하고 그 다음은 움직이는 사람을 파악하고 그리고 상기 장애물오브젝트 모양을 파악하는 등 장애물오브젝트의 특성을 분석하여 자율주행에 적용하는 기술을 제공한다.

그리고 본 발명은 사고를 발생시키는 근접하는 빠르게 움직이는 장애물오브젝트에 대해 2 대의 화상카메라의 초점을 집중시켜 AI(인공지능)다중물체 인식을 하여 자율주행에 적용하는 기술을 제공하여 사고 발생 위험을 줄일 수 있는 기술을 제공한다.

그리고 본 발명은 근접하는 장애물오브젝트에 대해 레이저센서장치의 2 개 이상의 레이저센서를 각각 채널별로 운용하여 근접하는 장애물오브젝트의 거리와 윤곽을 좀더 확실하게 검지할 수 있는 기술을 제공한다.

본 발명은 화상카메라와 레이저센서장치 및 레이더장치를 구비하고 자율주행기능을 구비한 로봇이 장애물의 속도와 사람 및 모양 등의 장애물오브젝트의 특성을 구분하여 자율주행에 적용하고 레이더장치와 2 대의 스테레오기능이 포함된 화상카메라와 2 개이상의 레이저센서(채널)로 운용되는 레이저센싱 장치의 센싱기술을 장애물오브젝트들의 조건에 따라 제공함에 의해 장애물을 회피하는데 있어 효과가 있다.

도 1은 본 발명의 기본 장치 예시도
도 2는 본 발명의 장애물특성분류 예시도
도 3은 본 발명의 장애물 특성에 따른 회피방법 예시도

본 발명은 자율주행 기능을 구비한 로봇에 관한 것으로서 사람과 도로가 공존하는 환경하에서 장애물회피를 보다 효과적으로 할 수 있는 기술을 제공하며 본 발명은 기존 기술과 아래와 같은 차별화 기술을 제공한다.

1) 레이더장치 이용 맞춤형 입체화상카메라의 포커싱 기술제공과 다채널 레이저센서장치기술 적용 : 기존 로봇의 화상인식기술에 있어서 근접하는 물체의 화상카메라 초점과 해상도 적용 대비 본 발명은 레이더장치를 이용하여 사전에 포착된 빠르게 움직이는 장애물오브젝트에 2 대의 카메라 초점을 맞추어 빠르게 움직이는 상기 장애물오브젝트를 AI(인공지능)다중물체인식기술로 포착하여 좀더 확실하게 자율주행기술에 적용하여 대처할 수 있고 또 2 개 이상의 레이저센서가 구비된 레이저센서장치를 운용함에 의해 빠르게 움직이는 상기 장애물오브젝트의 접근과 윤곽을 기존기술보다 좀더 확실하게 검지할 수 있는 기술을 제공.

2) 장애물오브젝트의 특성인식분류기술과 상기 특성에 따른 장애물회피방법 제공 : 장애물오브젝트를 레이더장치와 화상카메라를 이용하여 속도별로 모양 별로 사람인지 사물인지 각각의 장애물오브젝트별 특성을 분류하고 이에 따른 장애물 회피방법 제공하여 기존의 단순 자율주행인식기술과 차별화된 기술 제공

도1은 본 발명의 기본실시 예시도로

본 발명은 화상카메라(200)와 장애물과의 거리를 측정할 수 있는 레이저센서장치(400)를 구비하여 자율주행을 위한 Lidar(Light detection and ranging)센서 기능을 구비하고

본 발명의 로봇(100)은 인공지능소프트웨어모듈(340)이 메모리(330)에 구비된 임베디드컴퓨터(Embedde Computer,300)를 포함한다.

그리고 상기 임베디드컴퓨터(300)는 CPU(300)와 메모리(330) 및 다수의 화상이미지처리를 위한 GPU(Graphic Processing Unit,320)가 포함되고

이와 연결되어 자율주행기능등을 운용할 수 있는 인공지능소프트웨어 프로그램인 인공지능소프트웨어모듈(340)이 포함된다.

그리고 GPIO(General Purpose Input/Output)등의 I/O(350)를 가져 적외선 기능이 포함되어 사람인식이 용이한 2대의 스테레오(stereo)방식 입체 오브젝트 인식기능이 있는 화상카메라(200,210)와 레이저센서장치(400) 와 앞가림 장애물이 있을 때 전체의 장애물오브젝트를 파악할 수 있는 레이더장치(500)등의 주변 장치와 연결되어 임베디드컴퓨터(300)의 인공지능소프트웨어모듈(340)은 상기 각 주변장치들을 콘트롤하고 자율주행을 진행한다.

그리고 상기 2 대의 좌측화상카메라(200)와 우측화상카메라(210)로 구성된 화상카메라(200,210)는 stereo 기능의 입체영상을 인식할 수 있어 사람눈처럼 장애물오브젝트와의 거리를 확실하게 판단할 수 있고 물체의 모양을 구체적으로 확인할 수 있고 상기와 같이 모양을 구체적으로 인식할 수 있기 때문에 사람인식에 있어 한 개의 카메라보다 용이한 기술을 제공한다.

그리고 상기 인공지능소프트웨어모듈(340)은 화상카메라(200,210)를 이용하여 접근하는 차량이나 사람 또는 시설물 등의 장애물오브젝트의 움직이는 속도가 빠른 순서에 따라 해당 장애물오브젝트에 초점을 잡고 상기 장애물오브젝트의 윤곽을 포착하여 빠르게 움직이는 상기 장애물오브젝트의 AI다중물체인식영상을 획득하여 자율주행에 적용할 수 있는 기술을 제공한다. 이렇게 하는 이유는 사람과 도로가 근접하는 곳에 상기 로봇이 자율운전하기 위해서는 심각한 사고를 면하기 위해 도로의 인식뿐이 아니라 빠르게 움직이는 자동차 같은 장애물오브젝트를 확실하게 검지할 필요가 있기 때문이다.

그리고 상기 구비된 레이더장치(500)는 상기 화상카메라(200,210)나 상기 레이저센서장치(400)가 앞가림 장애물로 전체 장애물의 움직임을 파악할 수 없을 때 상기 인공지능소프트웨어모듈(340)을 이용하여 `용도에 따라 수미터에서 수백미터까지 전체적인 장애물을 파악할 수 있는 기술을 제공한다.

그리고 본 발명의 상기 레이저센서장치(400)는 2 개 이상의 레이저센서(400-1,400-2..400-n)를 구비하고 있고 1개의 레이저센서로 최대 60m의 거리를 수초내에 수백개의 포인트로 장애물오브젝트의 접근을 검지하여 각각 채널로 구분하여 검지할 수 있는 기술을 제공하며 접근하는 장애물오브젝트와의 거리와 상기 장애물오브젝트의 맞부딪히는 부분의 윤곽을 정밀 측정할 수 있다. 예를 들면 도1의 레이저센서장치(400)는 3개의 레이저센서(400-1,400-2,400-3)로 3개의 채널로 상기 인공지능소프트웨어모듈(340)을 이용하여 접근하는 장애물오브젝트와의 거리와 장애물오브젝트의 맞부딪히는 부분의 윤곽을 기존 한개의 레이저센서 적용대비 놓치지않고 정확하게 검지함에 의해 상기 화상카메라(200,210)와 레이더장치(500)와 연결하여 신뢰성있는 자율주행 기술을 제공한다.

도 2는 본 발명의 장애물특성분류 예시도로서

본 발명의 로봇(100)은 2대의 스테레오 기능을 갖는 화상카메라(200,210)가 구비되고

2 개 이상의 레이저센서(400-1,400-2,..400-n)가 포함되어 상기 각 레이저센서(400-1,400-2,..400-n)의 채널별로 장애물오브젝트의 접근을 감지할 수 있는 레이저센서장치(400)가 구비되고

전체적인 장애물오브젝트들의 윤곽을 파악할 수 있는 레이더장치(500)가 구비된다.

그리고 레이더장치(500)와 화상카메라(200,210)로 검지되는 장애물오브젝트는 특성에 따라 앞가림장애물오브젝트(600)와 충돌하면 문제가 생길 정도의 차량과 같은 빠른 속도로 움직이는 장애물오브젝트(610) 그리고 움직임이 느리거나 없는 모난 장애물오브젝트(620) 그리고 움직임이 없거나 느린 모나지 않은 장애물오브젝트(640) 그리고 빨리 움직이는 사람(630)과 느리게 움직이는 사람(631)으로 구분될 수 있다.

본 발명은 인공지능소프트웨어(340)를 이용하여 장애물오브젝트의 특성에 따라 아래와 같은 순서로 장애물오브젝트의 검지순서를 정하는데,

즉, 레이더장치(500)로 전 범위를 실시간으로 장애물오브젝트들을 검지하고 상기 레이더장치(500)와 2 대의 화상카메라(200,210)로 일차적으로 빠른 속도로 움직이는 장애물오브제트(610)를 우선적으로 검지한다.

그리고 빠르게 움직이는 사람(630)을 검지한다.

그리고 느리게 움직이거나 정지해있는 사람(631)을 검지한다.

그리고 모나고 움직임이 느리거나 없는 장애물오브젝트(620)를 검지한다.

그리고 모나지 않고 움직임이 느리거나 없는 장애물오브젝트(640)를 검지한다. 그리고 일정범위내에 접근하면 레이저센서장치(400)는 접근하는 장애물오브젝트가 거리와 윤곽을 검지한다.

상기와 같이 빠르게 움직이는 장애물오브젝트(610)는 주로 차량 등이기 때문에 항상 관측하고 있어야 하고 빠르게 움직이는 사람(630) 또한 부딪히면 문제될 수 있는 사고가 발생할 수 있기 때문에 우선적으로 감지하고 있는 것이 바람직하다.

그리고 빠르게 움직이는 장애물오브젝트(610)는 모양에 관계없이 제일 먼저 검지하고 상기 빠르게 움직이는 장애물오브젝트(610)가 있으면 해당방향(자율주행경로A)와는 다른 방향(자율주행 경로B)로 방향을 바꾸어 본 발명의 로봇(100)은 자율주행을 실행한다.

도 3은 본 발명의 각 센서장치들을 활용하여 장애물특성확인을 통한 회피하는 방법에 대한 예시도로서,

본 발명은 2대의 스테레오 화상카메라(200,210)가 구비되고

2 개 이상의 레이저센서(400-1,400-2,...400-n)가 포함되어 상기 각 레이저센서(400-1,400-2,...400-n)의 채널별로 물체의 접근을 감지할 수 있는 레이저센서장치(400)가 구비되고

전체적인 장애물오브젝트들의 윤곽을 파악할 수 있는 레이더장치(500)가 구비되어 있는 로봇(100)으로서

레이더장치(500)는 검지되는 전체 영역의 장애물 오브젝트들을 검지한다.(100S)

그리고 두대의 스테레오 화상카메라(200,210)는 인공지능소프트웨어모듈(340)을 이용하여 AI다중물체인식으로 검지되는 장애물오브젝트들을 검지한다.(200S)

그리고 레이저센서장치(400)는 상기 화상카메라(200,210)와 상기 레이더장치(500)로부터 장애물오브젝트의 접근신호를 인공지능소프트웨어모듈(340)을 이용하여 받는다.(300S)

상기 레이저센서장치(400)는 상기 접근신호를 수신하면 검지영역내인지를 검지한다.(400S)

레이더장치(500)는 상기 전체 영역의 장애물오브젝트들을 검지하는 단계(100S)후에 상기 장애물오브젝트들의 특성 즉, 빠른속도로 움직이는지 느리게움직이는지 사람인지 모난 장애물오브젝트인지 아닌지 등을 분류한다.(500S)

그리고 스테레오 기능의 화상카메라(200,210)는 상기 AI다중물체인식으로 장애물오브젝트들이 검지영역내인지 검지한다.(600S)

그리고 레이저센서장치(400)가 상기 500S단계에서 접근하는 장애물오브젝트가 검지영역내이면 2개 이상의 레이저센서(400-1,400-2,..400-n)의 채널별로 상기 접근하는 장애물오브젝트를 검지한다. (700S)

그리고 레이더장치(500)는 상기 장애물 오브젝트들의 특성을 분류한 후에 분류된 특성 정보를 인공지능소프트웨어(340)를 이용하여 상기 화상카메라(200,210)와 레이저센서장치(400)에 전달하고 인공지능소프트웨어모듈(340)은 자율주행을 상기 특성정보를 기반으로 진행한다.(800S)

그리고 스테레오 입체영상 기능이 구비된 화상카메라(200,210)는 상기 인공지능소프트웨어모듈(340)을 이용하여 상기 레이더장치의 오브젝트 특성 정보를 수신하여 해당 정보를 이용 빠르게 움직이는 장애물오브젝트에 우선적으로 포커싱을 잡아 AI다중물체인식기능으로 분석하여 인공지능소프트웨어모듈(340)의 자율주행에 해당 정보를 전달한다.(900S)

그리고 상기 장애물오브젝트의 확보한 후에 상기 장애물오브젝트와의 사고가 발생하면 해당영상이 메모리(330)에 저장된다. (1000S)

그리고 레이더장치(900)는 사전에 정해진 자율주행경로내에 급속이동하는 장애물이 있는지 검지한다.(1100S)

상기 자율주행경로에 급속이동하는 장애물이 있으면 자율주행경로를 변경한다.(1200S)

그리고 화상카메라(200,210)의 사전에 정해진 검지영역내에 있는 영상 정보와 레이저센서장치(400)를 이용한 오브젝트 윤곽 정보를 메모리(330)에 저장한다.(1300S)

그리고 해당 정보를 웹클라우드서버(Web Cloude Server, 700)에 저장하여 빅데이터로 활용한다.(1400S)

100 로봇 200, 210 Stereo 입체 화상카메라
300 임베디드 컴퓨터(Embedded Computer)
400 레이저센서장치
500 레이더장치
600 앞가림장애물오브젝트 610 빠르게움직이는 장애물오브젝트 620 느리게 움직이거나 멈춘 장애물오브젝트
630 빠르게 움직이는 사람 631 느리게 움직이거나 멈춰있는 사람
640 모나지 않은 느리거나 멈춰있는 장애물오브젝트
700 웹클라우드서버(Web Cloud Server)

Claims (7)

1. 스테레오 입체영상기능을 구비한 2 대의 화상카메라(200,210); 레이저센서장치(400); 및 레이더장치(500)가 구비되어 사람과 차량이 병행하여 움직이는 도로상에서 운용되는 로봇(100)에 있어서,
   상기 레이더장치(500)는 장애물오브젝트 전체 검색기능과 앞가림 장애물 검색기능을 포함하고
   상기 화상카메라(200,210)는 사람과 여타 장애물을 구분할 수 있는 적외선센싱기능과 입체영상기능을 포함하고
   상기 장애물오브젝트를 빠른 속도로 움직이는 장애물오브젝트(610) 그리고 움직임이 느리거나 없는 모난 장애물오브젝트(620) 그리고 움직임이 없거나 느린 모나지 않은 장애물오브젝트(640) 그리고 빨리 움직이는 사람(630)과 느리게 움직이는 사람(631)으로 분류하고
   상기 장애물오브젝트의 검지순서에 있어서
   빠른 속도로 움직이는 장애물오브제트(610)를 검지하고
   빠르게 움직이는 사람(630)을 검지하고
   그리고 느리게 움직이거나 정지해있는 사람(631)을 검지하고
   그리고 모나고 움직임이 느리거나 없는 장애물오브젝트(620)를 검지하고
   그리고 모나지 않고 움직임이 느리거나 없는 장애물오브젝트(640)를 검지하는 순서로 정하여 자율주행에 적용하는 인공지능소프트웨어 모듈(340)을 포함하는 장애물회피방법을 구비한 자율주행로봇.
2. 제 1항에 있어서, 상기 레이저센서장치(400)는 2 개 이상의 레이저센서(400-1,400-2,...400-n)가 포함되어 상기 각 레이저센서(400-1,400-2,...400-n)의 채널별로 물체의 접근과 윤곽을 감지할 수 있는 것을 포함하는 장애물회피방법을 구비한 자율주행로봇.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제

Images