KR101055282B1 - 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치 및 그 방법 - Google Patents

Abstract

본 발명은 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치 및 그 방법에 관한 것이다. 본 발명에 따른 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치는 로봇에 입력되는 센서데이터를 처리하여 물체를 인식하기 위한 특징데이터가 저장된 제1계층; 상기 특징데이터로부터 추출한 심볼이 저장된 제2계층; 상기 심볼들에서 추출한 상위 심볼들이 저장된 제3계층; 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터 간의 상호관계를 생성하기 위한 상황관계모델; 상기 로봇에 입력되는 센서데이터를 처리하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 속한 데이터와 매칭을 수행하는 인식모델; 및 상기 인식모델의 매칭 결과와 상기 상황관계모델에 의해 생성된 상호관계에 기초하여 상황을 예측하는 상황예측모델을 포함한다. 이에 의해, 상황을 계층 구조적으로 예측하여 로봇의 인지의 정확성을 향상시키고, 로봇이 예상치 못한 돌발상황에 대해 적절치 대처할 수 있다.

예측, 로봇, 에이전트

Description

계층 구조적 예측 모델을 이용한 로봇의 상황예측장치 및 그 방법{A PREDICTION APPARATUS FOR ROBOT USING A HIERARCHICAL PREDICTION MODEL AND THE PRDICTION METHOD THEREOF}

본 발명은 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치 및 그 방법에 관한 것으로, 보다 구체적으로는 지능형 에이젼트의 상황 인지 및 예측에 관한 것이다.

현재 로봇기술은 가정용 청소 로봇, 교육용 로봇, 엔터테인먼트 로봇, 공공 서비스 로봇과 같이 다양한 분야에서 실제 사용 및 적용되고 있으며, 앞으로 통신, 서비스 등 광범위한 분야에서 그 수요가 폭발적으로 증가할 것으로 예상된다.

최근에는 인공 지능 로봇 분야에서, 동적으로 변화하는 환경에 적응하는 환경 적응 로봇이 큰 이슈가 되고 있다. 이러한 환경 적응 로봇 분야는 동적으로 변화하고 인간 또는 다른 로봇과 공존하는 환경에서 로봇이 인지 또는 행동 선택을 적절히 할 수 있도록 하는 것을 목표로 한다.

특히, 로봇의 인지 분야에서 종래기술들은 현재 상황을 인지하는데 있어서, 이전 및 현재에 입력되는 데이터에 의존하여 인지 기능을 수행한다. 즉, 미래에 발생할 수 있는 상황에 대해서는 고려하지 않는 것이 일반적이다. 따라서, 예상치 못한 상황이 발생하는 경우 인지의 정확도가 떨어지는 문제점이 발생할 수 있다.

따라서, 인지 분야에서도 미래 상황 예측의 필요성이 제기되는데, 종래의 미래 상황 예측 방법은 단순한 메카니즘에 의존하여 처리하는 것이 일반적이어서 성능이 떨어지는 문제점을 안고 있다.

따라서, 본 발명의 목적은 미래 상황을 계층 구조적으로 예측하여 로봇의 인지의 정확성을 향상시키고, 로봇이 예상치 못한 돌발상황을 적절치 대처할 수 있도록 하는 것이다.

종래의 지능형 에이전트가 상황 인지를 하는데 있어서 미래에 발생 가능한 상황을 고려하지 않는다는 문제점을 해결하기 위하여 본 발명에서는 계층 구조적 예측 모델을 제시한다. 이러한 예측 모델이 적용된 에이전트는 이전과 현재의 입력 데이터뿐만 아니라 미래에 발생 가능한 상황까지 종합적으로 고려하기 때문에 인지의 정확도와 효율성을 향상시키는 역할을 하게 된다.

에이전트의 예측모델은 하단의 센서 입력 데이터로부터 상단의 심볼 자료에 이르기까지 계층적인 데이터 구조를 형성하고 있으며 에이전트에 입력된 상황 감지 데이터는 예측 모델의 하단에서 상단의 심볼에 이르기까지 양방향으로 대응시키는 과정을 거치게 된다. 에이전트에 입력되는 이전과 현재 상황 데이터가 특정 모델 자료와의 대응관계가 성립되면, 에이전트는 대응관계에 있는 모델 자료에 근거하여 다음에 발생할 상황을 예측할 수 있게 된다. 이렇게 형성된 예측결과는 에이전트가 사전지식을 이용하여 톱-다운 방식으로 진행하는 주목 알고리즘에 이용될 수 있다.

에이전트가 예측한 상황과 실제로 인지된 상황이 일치하면 에이전트는 계속 하여 다음 단계의 예측을 진행한다. 만약 예측한 상황과 실제로 인지된 상황이 일치하지 않을 경우, 에이전트는 아래의 두 가지 행위를 순차적으로 실행할 수 있다. 하나는 에이전트가 예측된 상황을 제대로 인지 못한 것으로 간주하고 자신의 능동적인 행동을 통하여 예측된 데이터가 입력될 때까지 탐색을 계속할 수 있다. 만약 예측된 상황이 검출되지 않으면 에이전트는 자신이 처한 주변 환경에 중요한 변화가 발생한 것으로 간주하고 상황에 따라 자신의 모델을 업데이트하거나 예외상황 처리를 진행한다.

상기 목적은 본 발명에 따라, 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치에 있어서, 로봇에 입력되는 센서데이터를 처리하여 물체를 인식하기 위한 특징데이터가 저장된 제1계층; 상기 특징데이터로부터 추출한 심볼이 저장된 제2계층; 상기 심볼들에서 추출한 상위 심볼들이 저장된 제3계층; 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터 간의 상호관계를 생성하기 위한 상황관계모델; 상기 로봇에 입력되는 센서데이터를 처리하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 속한 데이터와 매칭을 수행하는 인식모델; 및 상기 인식모델의 매칭 결과와 상기 상황관계모델에 의해 생성된 상호관계에 기초하여 상황을 예측하는 상황예측모델을 포함하는 것을 특징으로 하는 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치에 의해 달성될 수 있다.

상기 인식모델은 상기 상황예측모델에 의해 예측된 상황에 대응하여 관심영역을 설정하여 상기 매칭 수행 시 상기 관심영역을 주목하여 처리함으로써, 인식 성능을 향상시킬 수 있다.

또한, 상기 로봇의 이동 및 회전을 제어하기 위한 구동제어부를 더 포함하며; 상기 인식모델은 상기 로봇으로부터 입력된 센서데이터와 매칭되는 데이터가 없는 경우, 상기 구동제어부에 매칭실패데이터를 전송하고, 상기 구동제어부는 상기 매칭실패데이터가 수신되면, 상기 로봇이 이동 및 회전을 통해 주변을 탐색하도록 제어함으로써, 빠른 상황 대처를 할 수 있도록 한다.

상기 인식모델은 상기 로봇의 이동 및 회전에 의해서 입력되는 센서데이터에 매칭되는 데이터가 없는 경우, 새롭게 입력된 센서데이터에 기초하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층의 데이터를 업데이트하고, 상기 상황관계모델은 상기 업데이트된 데이터에 기초하여 상기 상호관계를 업데이트함으로써, 변화한 환경에 대처한다.

한편, 상기 목적은 본 발명에 따라 계층 구조적 예측 모델을 이용한 로봇의 상황예측방법에 있어서, (a) 로봇에 입력되는 센서데이터를 처리하여 물체를 인식하기 위한 특징데이터들을 제1 계층으로 구축하는 단계; (b) 상기 특징데이터로부터 추출한 심볼들을 제2계층으로 구축하는 단계; (c) 상기 심볼들에서 추출한 상위 심볼들을 제3계층으로 구축하는 단계; (d) 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터 간의 상호관계를 생성하는 단계; (e) 상기 로봇에 입력되는 센서데이터를 처리하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터와 매칭을 수행하는 단계; 및 (f) 상기 매칭 결과와 상기 상호관계에 기초하여 상황을 예측하는 단계를 포함하는 것을 특징으로 하는 로봇의 상황예측방법에 의해서도 달성될 수 있다.

상기 로봇의 상황예측방법은, (g) 상기 로봇에 입력되는 센서데이터를 처리하여 상기 예측된 상황에 대응하는 데이터와 매칭을 수행하는 단계를 더 포함한다.

또한, 상기 (g) 단계는 상기 예측한 상황에 대응하여 관심영역을 설정하는 단계, 및 상기 센서데이터에서 상기 관심영역을 주목하여 처리하여 상기 예측된 상황에 대응하는 데이터와 매칭을 수행하는 단계를 포함함으로써, 인식 성능을 향상시킬 수 있다.

상기 로봇의 상황예측방법은, (h) 상기 (g) 단계에서 매칭에 실패한 경우, 로봇을 이동 및 회전하여 주변을 탐색하는 단계를 더 포함함으로써, 변화한 환경에 능동적으로 대처할 수 있도록 한다.

상기 로봇의 상황예측방법은, (i) 상기 탐색에 의해서도 매칭에 실패한 경우, 예외상황으로 처리하는 단계를 더 포함함으로써, 변화한 환경에 신속하고 능동적으로 대처할 수 있도록 한다.

상기 로봇은 전, 좌, 우에 각각 카메라가 장착되어 있으며, 상기 센서데이터는 상기 전, 좌, 우에 각각 장착된 카메라들로부터 입력된다.

이상 설명한 바와 같이, 본 발명에 따르면, 상황을 계층 구조적으로 예측하여 로봇의 인지의 정확성을 향상시키고, 로봇이 예상치 못한 돌발상황에 대해 적절치 대처할 수 있다.

이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치의 구성을 개념적으로 도시한 것이고, 도 2는 도 1의 계층적 데이터 구조(10)의 구성을 나타낸 것이다.

도 1을 참조하면, 본 실시예에 따른 로봇의 상황예측장치는 계층적 데이터 구조(10), 상황관계모델(20), 인식모델(30), 및 예측모델(40)을 포함한다.

본 발명의 계층적 데이터 구조(10)는 도 2를 참조하면, 하단의 센서 데이터로부터 상단의 심볼에 이르기까지 계층적인 데이터 구조를 형성하고 있다.

제1 계층은 에이전트가 상황을 인지하기 위하여 관련 데이터를 입력받아 처리한 결과, 추출된 특징데이터가 저장된 계층이다. 여기서 제1계층의 특징데이터는 로봇의 센서 등을 통해 외부에서 입력되는 센서 데이터와 에이전트 시스템의 내부에 관련된 데이터를 처리하여 가공한 형태의 데이터라고 볼 수 있다. 예컨대, '문'이라는 물체에 대한 이미지에서 추출할 수 있는 '문 윤곽', '색상', '특징점'과 같은 인식한 물체의 특징을 나타내는 데이터를 의미한다.

제2 계층은 제1 계층에서 입력받은 센서 데이터에서 추출한 심볼들로 구성된 계층이다. 예컨대, '문 윤곽', '문의 색상', '문의 특징점'을 갖는 입력 이미지들을 '문'이라는 하나의 심볼로 나타낼 수 있다.

마지막으로, 최상위 계층인 제3 계층은 제2 계층의 심볼들에서 추출한 상위 심볼들을 저장한 계층으로서, 제2 계층의 심볼들보다 범위가 큰, 즉 스케일이 큰 개념의 심볼을 저장한 계층이다.

이와 같이, 본 발명의 계층적 데이터 구조(10)는 지능형 에이전트가 봉착할 수 있는 여러 가지 상황에 대한 데이터가 계층적으로 저장된 데이터베이스 계층을 의미한다.

상황관계모델(20)은 3개 계층으로 이루어진 데이터 간의 상호관계를 정의하여, 계층적 데이터의 관계를 생성하는 것으로, 예컨대, 한 건물에 대한 구조를 뷰와 해당 뷰들의 특징들, 뷰들 간의 연결관계를 생성한다.

계층적 데이터 구조(10)는 상황관계모델(20)에 의해 데이터 간의 상호관련성이 정의되며, 비로소 그 구조적 관계가 완성된다고 볼 수 있다.

계층적 데이터 구조(10)의 구축은 로봇의 이동에 따라 입력되는 센서 데이터를 처리하여, 특징 데이터, 심볼 등을 추출하고, 상황관계모델(20)이 이 데이터들을 로봇의 이동 및 관계에 따라 상호관련성을 정의하여 데이터 구조의 관계를 구축하게 된다.

인식모델(30)은 로봇에 입력되는 센서 데이터를 처리하여 계층적 데이터 구조(10)의 데이터와 매칭을 수행하여 어떤 데이터와 매핑되는지 판단한다. 인식모델(30)은 센서(31)로부터 입력되는 데이터를 처리하여 특징데이터 또는 심볼을 추출하여 계층적 데이터 구조(10)에 속한 데이터와 비교한다. 여기서, 센서(31)는 카메라 등의 이미지 센서를 포함할 수 있다.

예측모델(40)은 인식모델(30)의 처리 결과에 따라 매핑된 데이터를 기반으로 상황관계모델(20)이 형성한 계층적 데이터 구조(10)의 데이터 간의 상호관계에 기초하여 미래의 상황을 예측한다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 로봇의 상황예측장치는 로봇의 동작을 제어하는 구동제어부(50)를 더 포함한다. 구동제어부(50)는 로봇의 이동, 회전 등 로봇의 전반적인 동작을 제어하기 위한 것으로, 구동제어부(50)는 예측모델에서 예측한 결과와 인식모델(30)에서 인식한 결과가 상이한 경우, 로봇이 이동 및 회전을 통해 주변을 탐색하도록 제어한다. 예컨대, 인식모델(30)은 예측한 결과와 인지된 결과가 상이한 경우 매칭실패데이터를 구동제어부(50)에 제공하고, 구동제어부(50)는 이를 전송받아 로봇이 주변을 탐색하도록 이동 및 회전을 제어한다.

이때, 로봇의 이동 및 회전에 따른 탐색결과 예측한 결과가 인지되면, 임무를 계속적으로 수행하게 된다.

반면, 만약 예측된 상황이 검출되지 않으면 로봇은 자신이 처한 주변 환경에 중요한 변화가 발생한 것으로 간주하고 상황에 따라 자신의 모델을 업데이트하거나 예외상황 처리를 진행한다. 모델의 업데이트는 도 2의 계층적 데이터 구조(10)를 업데이트하는 것을 의미하는 것으로, 인식 모델에 의해 새롭게 인식된 주변 인지 결과를 계층적 데이터 구조(10)에 업데이트하고, 상황관계모델(20)은 데이터 간의 관계를 새롭게 업데이트 하게 된다.

도 3a 및 도 3b는 전술한 도 1의 로봇의 상황예측장치를 이용하여 예측을 수행하는 방법에 관한 흐름도이다.

도 3a을 참조하면, 우선 로봇에 계층적 데이터 구조(10)를 구축하기 위해, 로봇에 입력되는 센서데이터를 처리하여 물체를 인식하기 위한 특징데이터들을 제1 계층으로 구축하고(S10), 제1계층의 특징데이터로부터 추출한 심볼들을 제2계층으로 구축하는 한편S11), 제2계층의 심볼들에서 추출한 상위 심볼들을 제3계층으로 구축한다(S12).

상황관계모델(20)은 제1계층, 제2 계층, 및 제3 계층에 포함된 데이터 간의 상호관계를 정의하여 계층적 데이터 구조(10)를 생성한다(S13). 여기서, 생성되는 계층적 데이터 구조(10)는 계층 간의 상하관계뿐만 아니라, 계층 내의 수평관계까지도 포함하는 개념이다. 이에 의해 일종의 상황관계에 관한 맵이 구성되는데, S13 단계는 제1 계층, 제2 계층, 및 제3 계층의 데이터가 생성될 때마다 그 관계를 생성할 수 있다.

이렇게 하여, 상황에 관한 계층적 데이터 구조(10)가 완성되면, 이에 기초하여 로봇은 임무 수행을 위한 상황 예측을 하게 된다.

로봇은 주어진 임무에 따라 이동하게 되고, 인식모델(30)은 로봇의 이동에 따라 입력되는 센서데이터를 처리하여, 처리한 데이터와 로봇에 구축된 계층적 데이터 구조(10)에 포함된 데이터 간의 매칭을 수행한다(S14).

예측모델(40)은 매칭 결과를 계층적 데이터 구조(10)에 기반하여 상황을 예측하게 된다(S15). 예측모델(40)은 이전에 입력된 센서 데이터와 현재 입력되는 데이터를 계층적 데이터 구조(10)에 근거하여 다음에 입력될 데이터를 예측한다.

이렇게 예측이 이루어지면, 로봇에 입력되는 센서데이터를 처리하여 예측한 상황데이터와 일치하는지 매칭을 수행하게 된다(S16). 이러한 매칭 수행은 인식모델(30)에 의해 이루어질 수 있을 것이다.

본 발명과 같이, 예측에 의한 임무 수행의 경우 관심영역 설정 및 주목 알고리즘이 사용되어, 인식의 정확성과 신뢰성을 높일 수 있을 것이다.

다음 단계에서 입력되는 데이터를 예상하고, 그 데이터의 특징을 알 수 있기 때문에, 매칭 수행 시 해당 데이터의 특징에 따라 관심을 가지고 인식해야 하는 영역을 설정하고 그 관심영역을 주목하여 처리함으로써, 인식을 빠르고 정확하게 수행할 수 있다.

매칭 수행 시, 예측한 상황과 입력된 데이터가 일치하면(S17), 임무를 완수할 때까지(S18), 상황을 예측하고 매칭을 수행하는 과정을 반복하게 된다(S15, S16).

반면, 예측한 상황과 입력된 데이터가 일치하지 않으면(S17), 로봇은 이동 및 회전을 통해 주변을 탐색하게 된다(S20). 예컨대, 계층적 데이터 구조(10)를 구축할 때에는 없었던 물건이나 장애물 또는 사람이 등장하면 입력된 데이터가 일치하지 않을 수 있을 것이다. 로봇은 주변을 좌우 또는 앞뒤로 이동하면서 주변을 탐색하여 데이터를 수집한다.

이러한 로봇의 탐색에 의해 입력된 데이터가 예측한 상황과 일치하면, 계속적으로 임무를 수행하게 되지만, 일정 시간이 경과하도록 일치하는 데이터를 입력받지 못하면(S19), 로봇은 예외상황으로 처리하게 된다(S21).

로봇의 예외상황처리는 여러 가지 방법이 있을 것이다. 예컨대, 입력된 센서 데이터에 따라 구축한 계층적 데이터 구조(10)를 업데이트 하거나, 장애물이 있다면 회피하여 이동하거나, 자신이 보유한 계층적 데이터 구조(10)에 포함된 데이터와 일치하는 데이터가 있는지 계속적으로 탐색하여 주어진 임무를 계속적으로 수행하는 방법 등이 있을 것이다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따라 상황을 예측하는 방법을 설명하기 위한 도면으로서, 도 4a는 로봇이 현재 있는 건물의 설계도이고, 도 4b는 도 3a 및 3b의 계층 구조적 예측 방법을 통해 도 4a의 건물에서 상황을 예측하는 방법을 설명하는 개념도이다.

도 4a에 보는 바와 같이, 로봇의 경로는 복도 1, 복도 2, 방으로 향하게 된다. 도 4b에 도시된 바와 같이, 로봇에는 현재 복도 2에 대응하는 영상이 입력되고 있다.

A는 이전(과거)에 에이전트에 입력된 센서 데이터를 나타내고, B는 현재 입력되는 센서 데이터를 나타낸다.

C는 에이전트가 이전 센서 데이터와 현재 센서 데이터를 기반으로 에이전트가 가지고 있는 계층적 데이터 구조(10)에 근거하여 예측한 다음 단계에 입력될 데이터를 나타낸다. 예측 알고리즘은 기계학습 방법을 통하여 구현될 수 있다.

예를 들어, A 단계 및 B 단계에서 입력되는 센서 데이터에서 추출된 특징들을 계층적 데이터 구조(10)에 근거하여 비교한 결과 에이전트가 현재 포스터를 거쳐 문을 지나고 있음을 알 수 있다. 그리고, 계층 구조적 자료에 근거하여 현재의 경로에서 문→ 도어→ 복도 순으로 나타날 것을 알 수 있기 때문에, 에이전트는 자 신이 다음 단계에서 복도의 이미지가 입력될 것을 예측할 수 있게 된다.

이렇게 형성된 예측결과는 에이전트가 사전지식을 이용하여 톱-다운 방식으로 진행하는 주목 알고리즘에 이용될 수 있다. 즉, 에이전트는 예측 데이터에 기초하여 관심 대상이 나타날 수 있는 위치를 미리 알 수 있으므로 해당 위치를 주목하여 매칭을 시도하게 됨으로 인지의 정확도와 효율성을 제고할 수 있다.

C 단계에서 에이전트가 예측한 상황과 실제로 인지된 상황이 일치하면 에이전트는 계속하여 다음 단계의 예측을 진행한다. 도 4b에서, 복도가 나올 것으로 예측하였는데, 복도의 이미지가 입력되면 에이전트는 계층적 데이터 구조(10)에 근거하여 다음에 입력될 센서 데이터를 예측하여 전술한 과정을 계속적으로 진행하게 된다.

만약 예측한 상황과 실제로 인지된 상황이 일치하지 않을 경우, 에이전트는 아래의 두 가지 행위를 순차적으로 실행할 수 있다. 하나는 에이전트가 예측된 상황을 제대로 인지 못한 것으로 간주하고 자신의 능동적인 행동을 통하여 예측된 데이터가 입력될 때까지 탐색을 계속할 수 있다. 만약 예측된 상황이 검출되지 않으면 에이전트는 자신이 처한 주변 환경에 중요한 변화가 발생한 것으로 간주하고 상황에 따라 자신의 모델을 업데이트 하거나 예외상황 처리를 진행할 수 있다.

도 5는 본 발명의 계층 구조적 예측 모델에 따라 예외상황을 예측하는 개념도이다. A 및 B 단계는 도 4와 동일하므로, 이에 관한 설명은 생략하기로 한다. 심볼 계층에서 추출한 특징들에 따라 계층적 구조의 데이터에 근거하여 C 단계의 상황예측을 수행한 후, 에이전트는 D 단계에서 실제 입력되는 센서 데이터를 입력받 아 예측 상황과 매칭을 시도한다. 예를 들어, 예측 결과 복도가 나타날 것으로 예상하였으므로, 현재 입력되는 센서 데이터가 구조 자료에 따른 복도 데이터와 일치하는지 확인하게 된다.

이 두 데이터가 일치하지 않을 경우, 에이전트는 탐색을 통해 불일치를 다시 한 번 확인한 후, 불일치가 해소되지 않으면 예외상황이 발생한 것으로 간주한다.

도 5에서, 에이전트는 복도를 예상했는데, 사람이 등장함으로써 에이전트는 예측한 상황과 현재 입력되는 데이터가 불일치함을 확인하게 된다. 에이전트는 왼쪽 또는 오른쪽으로 이동하여 다시 한번 해당 상황을 탐색할 수 있다. 다시 한번 확인해도 예측 상황과 불일치하게 되면, 에이전트는 예외상황이 발생한 것으로 판단하게 된다.

한편, 예외상황이 에이전트가 수행해야 하는 임무에 방해가 되는 경우, 적절히 대처하는 행동을 취하거나 원래의 임무수행 계획을 수정하여 실행할 수도 있다.

다른 예로서, 중간에 예측 상황과 불일치가 발생하더라도 로봇이 이동하면서 매칭을 수행한 결과 일치하게 되면 계속적으로 임무를 수행할 수 있다.

도 6 및 도 7은 전, 좌, 우에 각각 카메라가 장착된 로봇을 이용하여, 본 발명의 계층 구조적 예측 구조를 갖고 예측 주행을 하는 시스템을 설명하기 위한 개략도이다.

일반적으로 실내 환경에서 주행할 경우 가장 중요한 표식이 되는 것은 문이나 T자형 복도 혹은 L자형 복도 등이다. 문의 경우에는 문의 정면이 카메라의 정면에 위치할 경우에 일반적인 비전 알고리즘으로 인식하기가 용이한데 복도를 주행할 경우 문의 측면이 카메라의 정면에 위치하는 경우가 대부분이다. 또한 복도의 경우에도 하나의 카메라를 사용하여 T자형 복도인지 L자형 복도인지 판단하기는 쉽지 않다. 따라서 본 발명에서는 로봇의 좌우 측면에 카메라를 장착하고 로봇의 정면에도 카메라를 장착하여 좌우 카메라로 문의 정면을 용이하게 인식하고 좌우 카메라 및 정면의 카메라를 이용하여 T자형 복도나 L자형 복도 등을 쉽게 인식할 수 있다.

더 나아가서, 로봇이 이동방향에 나타날 랜드마크를 미리 예측하고 그 예측된 정보를 시각 집중화 방법을 통해 관측함으로써 로봇이 주행시에 효과적으로 비정상적인 상황에 대처할 수 있다. 지도 제작시에는 복도를 주행할 경우 좌우 측면에 나타나는 창문이나 문 등의 오브젝트를 로봇에 장착된 좌우 측면 카메라를 이용하여 정확히 인식하고 로봇의 이동방향으로 나타나는 일련의 물체 정보들을 지도에 저장한다. 주행시에는 일정한 방향으로 이동하며 나타나는 일련의 물체 정보를 좌우측 카메라로 관측하여 로봇의 위치를 추정하고, 로봇의 위치가 추정된 후에는 앞으로 나타날 물체를 예측하고 로봇 전면에 장착된 카메라를 통해 예측된 물체를 시각 집중화 방법을 통해 검출한다. 이때 예측된 물체가 검출되지 않는다면 로봇의 전면에 비정상적인 상황이 발생한 것으로 판단한다.

이와 같이, 본 발명에 따라 계층 구조적 예측 모델을 가진 에이전트는 이전 및 현재 입력 데이터뿐만 아니라 미래에 발생할 상황까지 종합적으로 고려하기 때문에 인지의 정확도와 효율성을 높일 수 있다. 또한, 예외상황의 예측은 에이전트로 하여금 인간이나 로봇에 위험을 초래하거나 로봇의 임무 수행에 방해가 되는 요소를 미리 예측함으로써 미연에 방지하고 안전성을 확보할 수 있으며, 에이전트의 지능을 한층 더 업그레이드시킬 수 있다.

본 발명은 물리적인 형태를 가진 하드웨어형 에이전트 또는 실행 코드가 존재하는 소프트웨어 에이전트 모두에 적용 가능하다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

도 1은 본 발명의 일 실시예에 따른 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치의 구성을 개념적으로 도시한 것이고, 도 2는 도 1의 계층적 데이터 구조의 구성을 나타낸 것이다.

도 3a 및 도 3b는 전술한 도 1의 로봇의 상황예측장치를 이용하여 예측을 수행하는 방법에 관한 흐름도이다.

도 4a는 로봇이 현재 있는 건물의 설계도이고, 도 4b는 도 3a 및 3b의 계층 구조적 예측 방법을 통해 도 4a의 건물에서 상황을 예측하는 방법을 설명하는 개념도이다.

도 5는 본 발명의 계층 구조적 예측 모델에 따라 예외상황을 예측하는 개념도이다.

도 6 및 도 7은 전, 좌, 우에 각각 카메라가 장착된 로봇을 이용하여, 본 발명의 계층 구조적 예측 구조를 갖고 예측 주행을 하는 시스템을 설명하기 위한 개략도이다.

Claims (10)

1. 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치에 있어서,

   로봇에 입력되는 센서데이터를 처리하여 물체를 인식하기 위한 특징데이터가 저장된 제1계층;

   상기 특징데이터로부터 추출한 심볼이 저장된 제2계층;

   상기 심볼들에서 추출한 상위 심볼들이 저장된 제3계층;

   상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터 간의 상호관계를 생성하기 위한 상황관계모델;

   상기 로봇에 입력되는 센서데이터를 처리하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 속한 데이터와 매칭을 수행하는 인식모델;

   상기 인식모델의 매칭 결과와 상기 상황관계모델에 의해 생성된 상호관계에 기초하여 상황을 예측하는 예측모델; 및

   상기 로봇의 이동 및 회전을 제어하기 위한 구동제어부를 포함하며;

   상기 인식모델은 상기 로봇으로부터 입력된 센서데이터와 매칭되는 데이터가 없는 경우, 상기 구동제어부에 매칭실패데이터를 전송하고,

   상기 구동제어부는 상기 매칭실패데이터가 수신되면, 상기 로봇이 이동 및 회전을 통해 주변을 탐색하도록 제어하는 것을 특징으로 하는 구조적 예측 모델을 이용한 로봇의 상황예측장치.
2. 제1항에 있어서,

   상기 인식모델은 상기 예측모델에 의해 예측된 상황에 대응하여 관심영역을 설정하여 상기 매칭 수행 시 상기 관심영역을 주목하여 처리하는 것을 특징으로 하는 계층 구조적 예측 모델을 이용한 로봇의 상황예측장치.
3. 삭제
4. 제1항에 있어서,

   상기 인식모델은 상기 로봇의 이동 및 회전에 의해서 입력되는 센서데이터에 매칭되는 데이터가 없는 경우, 새롭게 입력된 센서데이터에 기초하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층의 데이터를 업데이트하고,

   상기 상황관계모델은 상기 업데이트된 데이터에 기초하여 상기 상호관계를 업데이트하는 것을 특징으로 하는 구조적 예측 모델을 이용한 로봇의 상황예측장치.
5. 계층 구조적 예측 모델을 이용한 로봇의 상황예측방법에 있어서,

   (a) 로봇에 입력되는 센서데이터를 처리하여 물체를 인식하기 위한 특징데이터들을 제1 계층으로 구축하는 단계;

   (b) 상기 특징데이터로부터 추출한 심볼들을 제2계층으로 구축하는 단계;

   (c) 상기 심볼들에서 추출한 상위 심볼들을 제3계층으로 구축하는 단계;

   (d) 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터 간의 상호관계를 생성하는 단계;

   (e) 상기 로봇에 입력되는 센서데이터를 처리하여 상기 제1계층, 상기 제2 계층, 및 상기 제3 계층에 포함된 데이터와 매칭을 수행하는 단계; 및

   (f) 상기 매칭 결과와 상기 상호관계에 기초하여 상황을 예측하는 단계를 포함하며,

   (g) 상기 로봇에 입력되는 센서데이터를 처리하여 상기 예측된 상황에 대응하는 데이터와 매칭을 수행하는 단계; 및

   (h) 상기 (g) 단계에서 매칭에 실패한 경우, 로봇을 이동 및 회전하여 주변을 탐색하는 단계를 포함하는 것을 특징으로 하는 로봇의 상황예측방법.
6. 삭제
7. 제5항에 있어서,

   상기 (g) 단계는 상기 예측한 상황에 대응하여 관심영역을 설정하는 단계, 및

   상기 센서데이터에서 상기 관심영역을 주목하여 처리하여 상기 예측된 상황에 대응하는 데이터와 매칭을 수행하는 단계를 포함하는 것을 특징으로 하는 로봇의 상황예측방법.
8. 삭제
9. 제5항에 있어서, 상기 로봇의 상황예측방법은,

   (i) 상기 탐색에 의해서도 매칭에 실패한 경우, 예외상황으로 처리하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 상황예측방법.
10. 제5항 또는 제7항에 있어서,

    상기 로봇은 전, 좌, 우에 각각 카메라가 장착되어 있으며, 상기 센서데이터는 상기 전, 좌, 우에 각각 장착된 카메라들로부터 입력되는 것을 특징으로 하는 로봇의 상황예측방법.

Images