KR100544445B1 - 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적장애물 탐지 및 회피 방법 - Google Patents

Abstract

본 발명은 두 개의 연속된 이미지에서 광류를 추정하여 추정된 광류 정보를 가지고 장애물을 탐지하여 안전하게 장애물을 회피하게 하는 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피방법에 관한 것으로서,

로봇이 이동하는 제1단계; 상기 제1단계의 로봇이 이동하면서 외부 물체의 영상을 입력하는 제2단계; 상기 제2단계의 영상 입력 후 상기 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도를 측정하는 제3단계; 상기 제3단계의 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도가 일치하면 두 개의 연속된 영상을 선택하는 제4단계; 상기 제4단계에서 선택된 두 개의 연속된 물체의 영상으로 광류(움직임)을 추정하는 제5단계; 상기 제5단계의 광류(움직임)을 추정하여 움직임 벡터의 패턴을 FOE 현상으로 파악하여 장애물 추출 및 상기 로봇의 이동 정보를 획득하는 제6단계; 상기 제6단계의 장애물 추출 및 상기 로봇의 이동정보를 획득 후 동적 장애물을 식별 후 정적 및 동적 장애물의 크기 및 움직임 방향, 속도 정보를 가지고 안전하게 곡선 궤적을 그리며 회피하는 제7단계; 로 구성되는 것을 특징으로 하는 광류 추정을 이용한 이동하는 로봇에서 정적, 동적 장애물 탐지 및 회피 방법에 관한 것이다.

광류 추정, 확장 초점(FOE), 정적 장애물, 동적 장애물

Description

광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피 방법 {A Method of Static and Moving Obstacles Detection and Avoidance using Optical Flow for Moving Mobile Robots}

도 1은 본발명에 따른 3차원 영상이 카메라를 통해 2차원 영상으로 투시되는 것을 나타낸 사시도이다.

도 2는 본발명에 따른 확장 초점(FOE)현상의 기본적인 원리를 나타낸 사시도이다.

도 3은 본발명에 따른 이동하는 로봇에서 나타나는 FOE현상을 나타낸 사시도이다.

도 4는 본발명에 따른 이동하는 로봇에서 정적, 동적 장애물을 탐지했을 때 나타내는 사시도이다.

도 5는 본발명에 따른 장애물 탐지 및 회피의 블록도이다.

도 6은 본발명에 따른 곡선 궤적에서의 각도와 원 궤적의 반지름의 관계를 나타낸 사시도이다.

도 7은 본발명에 따른 로봇이 장애물을 만났을 때 피할 위치를 계산해 곡선 궤적을 그리며 피하는 것을 나타낸 사시도이다.

도 8은 본발명에 따른 로봇이 장애물 회피에 사용된 원의 궤적을 나타낸 사시도이다.

※ 도면의 주요 부분에 대한 부호의 설명 ※

본 발명은 비전 센서를 사용하여 이동용 로봇이 장애물을 회피하는 알고리즘에 관한 것으로서, 더욱 상세하게는 두 개의 연속된 이미지에서 광류를 추정하여 광류 정보를 가지고 장애물을 탐지하여 안전하게 장애물을 회피하게 하는 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피 방법에 관한 것이다.

일반적으로 광류는 로봇이 지도를 작성하거나 아니면 무인 자동차의 주행, 사람의 행동이나 표정을 추정하는 분야에 주로 사용이 되었다. 광류 추정에 관한 이론은 1981년에 K. Horn 의 논문 "Determining Optical Flow" 에 소개된 이후 B. Lucas, E.P. Simonceli 등을 거치면서 많은 발전을 해 왔다.

장애물을 탐지 및 회피 하는 방법으로 주로 초음파 센서를 사용한다. 초음파 센서는 인간이 귀로 들을 수 있는 가청 주파수 범위를 넘는 주파수의 음파(20KHz 이상)의 초음파를 가지고 거리를 측정하는 센서이다. 이는 빛이나 전파에 비하여 반사성이 강하고, 전파속도가 느리다는 특징 때문에 각종 거리계와 의료용 진단기 등에 많이 이용되고 있다.

초음파 센서는 이동 로봇의 환경 인식을 위한 거리 측정기로 많이 이용되는데 그 이유는 측정 방법이 간단하고 시스템의 구성이 단순하며, 가격이 저렴하다는 다양한 장점 때문이었다. 센서를 가지고 거리를 측정하는 방법으로는 직접형과 반사형이 있는데 로봇에는 주로 반사형 검출 방식을 사용하였다. 이는 송파기에서 초음파를 발사하면, 수파기로 측정 대상 물체에 부딪혀서 반사되어 돌아오는 초음파를 수신할 수 있었다. 이때 초음파의 속도와 송신에서 수신까지 걸린 시간을 알 수 있었으면 대상물까지의 거리를 구할 수 있었다. 주로 쓰이는 것은 Polaroid 트랜스 듀서이며 이는 송파기와 수파기의 2가지 역할을 같이하는 겸용형 초음파 센서이었다. Angular beam 폭은 약 15도 정도이며 200msec 마다 1msec의 초음파를 발생하게 되었다.

초음파 센서가 움직이게 되면 벽과 센서간의 각도는 수직이 되지 않게 되고 반사되어 돌아오는 파형이 왜곡이 돼서 실제 물체와의 거리보다 더 긴 측정값을 갖기도 하였고, 이웃한 초음파와의 간섭 현상 등 많은 측정 오차가 발생하게 되었다. 특히 장애물을 회피할 때 생기는 마찰에 의하여 오차가 누적되어 자기 위치를 잃게 되고 따라서 계획된 경로를 이탈하거나 다른 장애물과의 충돌이 생길 수 있었다.

이렇게 발생되는 오차를 보정하기 위해 비전센서를 사용하였다. 보통 카메라를 통해 들어온 영상을 처리하면 계산량이 많아지고 계산 시간도 많이 걸리게 되어 로봇의 실시간 제어가 불가능 하게 되었다.

본 발명은 상기와 같은 문제점을 해소하기 위해 두 연속한 영상에서 픽셀들의 움직임을 찾아내는 광류를 추정하는 방법을 사용하여 비전센서를 이용하고 보다 빠른 시간에 처리가 가능하다는 이점을 이용하여 로봇의 장애물 회피에 사용한다. 도 1에서 보는 바와 같이 카메라를 통해 3차원 영상을 보면 2차원의 image plane에 투시되어 2차원 영상이 된다. 이때 움직임들을 관찰 하게 되면 우리는 3차원 구조를 쉽게 추론할 수 있다. 이는 2차원 영상의 연속적인 변화를 나타내는 영화(movie)를 통하여 3차원 구조를 추론하는 원리와 일치하며 이와 같은 원리는 카이네틱 효과(kinetic effect)라 불리운다.

상기와 같은 특징을 통해 얻어진 연속된 2차원 영상을 분석함으로서 3차원을 추정, 다시 말하면 장애물과의 거리, 움직임 정보 등을 쉽게 얻을 수 있다.

또한, 상기 장애물과의 거리, 움직임 정보등의 장애물의 정보를 통해 로봇이 장애물을 충돌 없이 보다 안전하게 회피하며 주행할 수 있도록 하는 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피 방법이다.

본 발명은 비전 센서를 사용하여 이동하는 로봇이 장애물을 보다 효율적이고 안전하게 회피하는 알고리즘에 관한 것으로서, 더욱 상세하게는 두 개의 연속된 이미지에서 광류를 추정하여 추정된 광류 정보를 가지고 장애물을 탐지하여 안전하게 장애물을 회피하게 하는 광류 추정을 이용한 이동하는 로봇에서의 정적 및 동적 장애물 탐지 및 회피 방법에 관한 것에 있어서,

로봇이 이동하는 제1단계와 상기 제1단계의 로봇이 이동하면서 외부 물체의 영상을 입력하는 제2단계와 상기 제2단계의 영상 입력 후 상기 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도를 측정하는 제3단계와 상기 제3단계의 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도가 일치하면 두 개의 연속된 물체의 영상을 선택하는 제4단계와 상기 제4단계에서 선택된 두 개의 연속된 물체의 영상으로 광류(움직임)을 추정하는 제5단계와 상기 제5단계의 광류(움직임)을 추정하여 움직임 벡터의 패턴을 FOE 현상에 근거하여 파악하여 장애물 추출 및 상기 로봇의 이동 정보를 획득하는 제6단계와 상기 제6단계의 장애물 추출 및 상기 로봇의 이동정보를 획득 후 동적 장애물을 식별 후 정적 및 동적 장애물의 크기 및 움직임 방향, 속도 정보를 가지고 안전하게 곡선 궤적을 그리며 회피하는 제7단계로 구성된다.

상기 제3단계에서 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도가 일치하지 않는 경우, 움직임 벡터가 모두 한 방향으로 쏠리는 현상이 나타나는 제8단계에서 상기 8단계는 로봇이 직진을 하는 것이 아니라 한 방향으로 회전을 하고 있다는 뜻으로서, 이 때 로봇은 로봇 앞에 모두 옆으로 움직이는 장애물이 있다고 인식을 하게 되는 제9단계와 상기 제9단계 후 로봇이 멈추는 제10단계로 구성되어 바퀴의 속도가 다르면 움직임 벡터를 추정하지 않게 된다.

이하에서 상기 본 발명의 바람직한 실시예가 도시된 첨부도면을 참고하여 더 욱 상세하게 설명한다.

고정된 관측기에서의 광류 추정은 약간의 제약 조건만으로 추정이 가능하다. 하지만 이동 로봇에 적용을 하기 위해서는 우선 관측기가 움직이고 있기 때문에 더 많은 제약조건이 따른다.

관측기가 움직일 때 가장 주목해야 할 현상은 확장 초점, 즉 FOE(focus of expansion) 현상이다.

도 1은 카메라를 통해 3차원 영상이 2차원의 이미지 플랜에 투시되어 2차원 영상이 되는 것을 나타낸 사시도이며, 도 2는 정적인 물체를 스쳐 지나갈 때 그 물체에 대한 영상은 어떤 특정한 점으로 빨려가는 것과 같은 현상(FOE)을 나타낸 것이다.

도 3은 카메라에서 봤을 때 확장 초점 현상이 마치 카메라를 zoom in 을 했을 때 나타나는 패턴과 같다는 것을 나타낸다.

도 4는 관측기 즉 카메라가 장착되어 있는 로봇이 앞으로 주행할 때 광류를 추정한 것을 그림으로 나타내었다. 우선 멀리 있는 곳은 움직임 벡터(motion vector)의 길이가 짧고 가까이 있는 곳은 움직임 벡터가 길다는 것을 알 수 있다. 장애물의 존재 여부는 벡터의 pattern 으로 알 수 있고 또 로봇의 속도를 안다면 벡터의 길이로 장애물이 얼마나 떨어져 있는지 알 수 있다. 도 4의 (ㄴ) 과 같이 벡터의 길이가 주변보다 현저히 길게 나타난다면 이것은 장애물이 가까이 있다는 것을 나타내고, 만약 도 4의 (ㄱ) 과 같이 벡터의 패턴이 다르게 나타난다면 우리 는 이것을 움직이는 장애물이라고 판단할 수 있다. 움직이는 장애물의 움직임 방향을 알 수 있기 때문에 로봇이 피해야 할 방향과 이 때 장애물의 움직이는 방향의 연장선을 그어 로봇이 일정 속도로 진행 할 때 이 장애물과 부딪힐 가능성을 판단 해 볼 수 있기 때문에 불필요한 움직임 또한 줄일 수 있다.

장애물 회피 알고리즘의 흐름도를 도 5에 나타내었다. 도 5의 (1)은 로봇이 앞으로 이동하는 것을 나타내고 (2)는 로봇에 장착되어 있는 카메라를 통해 영상을 실시간(30frame/sec)으로 받게 되고 (3)에서 만약 오른쪽 바퀴와 왼쪽 바퀴의 속도가 같다면 (4) 단계에서 움직임 벡터 추정을 위한 두 개의 연속된 영상을 선택하게 된다. (5)에서 움직임 벡터를 추정하게 된다. 여기에서 만약 오른쪽 바퀴와 왼쪽 바퀴의 속도가 다르다면 움직임 벡터는 도 4와는 다르게 모두 한 방향으로 쏠리는 현상이 나타난다. 이는 로봇이 직진을 하는 것이 아니라 한 방향으로 회전을 하고 있다는 뜻이 된다. 제시된 알고리즘에서는 이 때 로봇은 로봇 앞에 모두 옆으로 움직이는 장애물이 있다고 인식을 하게 된다. 그러면 로봇은 멈추게 된다. 이러한 문제점을 보완하기 위해 바퀴의 속도가 다르면 움직임 벡터를 추정하지 않는 것이다. (6) 단계에서는 도 4에서 제시한 것처럼 정적, 동적 장애물을 탐지하고 정적 장애물은 피하고 동적 장애물은 움직임 벡터로부터 얻을 수 있는 정보, 즉 움직이는 방향과 속도를 측정하여 충돌 가능 여부를 판단하는 단계이고 (7)은 전 단계에서 얻은 장애물에 대한 정보를 분석하여 안전한 방향으로 회피하기 위한 계산 작업을 하고 로봇이 회피해야 한다고 판단 될 때 장애물과 가까이 있는 것이므로 로봇에 장착되어 있는 초음파 센서로 장애물을 탐지하며 도 6과 같이 원 궤적의 반지름을 계 산한 후 도 7과 같이 장애물을 안전하게 회피한다.

도 6은 곡선 궤적에서의 각도와 원 궤적의 반지름을 구하는 그림이다. ①의 위치에서 로봇이 2번째 원의 중심에 위치한 장애물을 발견한 경우 로봇과 장애물 간의 거리 d는

와

와 같이 나타내어진다.

로봇이 위치 ①에서 ②로 이동하기 위하여는 로봇이 일정한 속도로 이동한다는 가정 하에서 곡선 궤적의 반지름

와 각 가속도 인가 시간

를 구해야 한다. 그러기 위해서 우선 로봇이 안전하게 회전할 수 있는 회전 반경

를 구한 후 이 값에 의하여 유도되어 지는

값과

값을 다음 두 식으로부터 구할 수 있다.

여기에서

는 로봇의 속도이다.

도 7에서 보는 것처럼 로봇이 주행 중에 비전 센서를 통해 장애물을 발견하게 되면 초음파 센서로 장애물과 로봇과의 거리 d를 측정하게 된다. 그 후에 로봇이 이동할 수 있는 안전한 장소를 찾는데 이 때 이 과정에 의하여 오른쪽으로 회전할 것인지 왼쪽으로 회전할 것인지가 결정되어 진다.

도 8은 하나의 장애물을 회피하기 위해 3개의 원이 생성되어져야 함을 보여 주고 있다. 이와 같은 방법은 연속적인 궤적을 발생시킴으로서 급작스러운 회전에 의한 위치 에러 등을 줄일 수 있고, 일정 속도로 이동하면서 목표점을 지향하면서 이동할 수 있는 장점이 있다.

주행 시 로봇에게 필요한 것은 장애물의 종류가 아니라 장애물의 유무와 충돌 가능성이다. 만약 움직이는 장애물이 로봇이 움직이는 방향과 속도가 같다고 가정하면 광류 추정을 했을 때 이것을 장애물이 아니라는 판단을 할 수 있다. 하지만 이것은 로봇과 충돌할 가능성이 거의 없기 때문에 장애물로 인식을 못해도 로봇의 자율 주행에는 상관이 없고 또 장애물이 로봇 방향으로 다가온다면 움직임 벡터는 매우 길게 나타날 것이다. 로봇은 이것을 아주 가까이 있는 정적 장애물이라고 생각할 수 있지만 궁극적인 목적(장애물과의 무 충돌 회피) 는 가능하다. 동시에 로봇이 장애물 회피할 때 광류 정보를 의존하지 않고 초음파 센서 정보를 사용하여 마찰을 최소화 시키는 곡선 궤적을 그리며 회피하기 때문에 광류 추정을 통한 로봇의 자율 주행은 정적 또는 동적 장애물을 쉽게 탐지 및 회피가 가능하다.

상기에서는 본 발명인 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피 방법에 대해 기술하였지만, 그 내용은 하기 청구범위에 기술된 본 발명의 분야에만 한정하지 않는다. 또한 상기 기술분야에 있어서 통상의 지식을 가진 사람은 본 발명의 범위 내에서 이를 다양하게 변경하거나 수정할 수 있다.

이상에서 상술한 바와 같이 본 발명은 로봇이 이동하는 중에 얻어지는 두 연속적인 영상을 가지고 광류를 추정해 정적 또는 동적 장애물 탐지 및 안전하게 회피할 수 있는 알고리즘을 제시함으로서 이동로봇의 자율주행에 있어서 가장 문제가 되는 실시간 장애물 회피를 구현할 수 있게 된다. 또한 장애물 회피 시 생기는 마찰의 영향을 최소화하기 위해 곡선 궤적을 이용함으로서 부드러운 경로를 만들면서 장애물을 회피하고 동시에 경로의 이탈 없이 목표점을 지속적으로 지향할 수 있게 된다.

Claims (2)

1. 두 개의 연속된 이미지에서 광류를 추정하여 상기 추정된 광류 정보를 가지고 장애물을 탐지하여 안전하게 장애물을 회피하게 하는 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피방법에 있어서,

   상기 로봇이 이동하는 제1단계;

   상기 제1단계의 로봇이 이동하면서 외부 물체의 영상을 입력하는 제2단계;

   상기 제2단계의 영상 입력 후 상기 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도를 측정하는 제3단계;

   상기 제3단계의 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도가 일치하면 두 개의 연속된 물체의 영상을 선택하는 제4단계;

   상기 제4단계에서 선택된 두 개의 연속된 영상으로 광류(움직임)를 추정하는 제5단계;

   상기 제5단계의 광류(움직임)를 추정하여 움직임 벡터의 패턴을 FOE 현상으로 파악하여 장애물 추출 및 상기 로봇의 이동 정보를 획득하는 제6단계;

   상기 제6단계의 장애물 추출 및 상기 로봇의 이동정보를 획득 후 동적 장애물을 식별 후 정적 및 동적 장애물의 크기 및 움직임 방향, 속도 정보를 가지고 안전하게 곡선 궤적을 그리며 회피하는 제7단계;

   상기 제3단계에서 로봇의 오른쪽 바퀴의 속도와 왼쪽 바퀴의 속도가 일치하지 않는 경우, 움직임 벡터가 모두 한 방향으로 쏠리는 현상이 나타나는 제8단계;

   상기 8단계에서 움직임 벡터가 한 방향으로 쏠리면 로봇은 한 방향으로만 회전을 하고, 상기 회전의 경우 상기 로봇은 로봇의 앞에 옆으로 움직이는 장애물이 있다고 인식하는 제9단계;

   상기 제9단계에서 장애물이 있다고 인식하면 로봇이 멈추는 제10단계;

   로 구성되어 바퀴의 속도가 다르면 움직임 벡터를 추정하지 않는 것을 특징으로 하는 광류 추정을 이용한 이동하는 로봇에서의 정적, 동적 장애물 탐지 및 회피 방법.
2. 삭제

Images