WO2013032192A2

WO2013032192A2 - 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법

Info

Publication number: WO2013032192A2
Application number: PCT/KR2012/006809
Authority: WO
Inventors: 송재복; 황서연
Original assignee: 고려대학교 산학협력단
Priority date: 2011-08-27
Filing date: 2012-08-27
Publication date: 2013-03-07
Also published as: US20140235267A1; KR20130022994A; US9402151B2; KR101311100B1; WO2013032192A3

Abstract

본 발명은, 영상 입력부와, 엔코더 감지부와, 연산부와, 제어부와, 저장부 와, 구동부를 구비하는 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치를 제 공하는 제공 단계와, 상기 영상 입력부를 통하여 입력된 영상 정보에서 추출되는 윤곽선으로부터 임의 형상 특징을 포함하는 특징을 추출하는 특징 추출 단계와, 상 기 추출된 특징을 사용하여 상기 이동 로봇 장치의 위치를 인식하는 위치 인식 단 계를 포함하고, 상기 특징 추출 단계에서 상기 임의 형상 특징의 특성을 나타내는 서술자를 부여하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법을 제공한다.

Description

【명세서】

【발명의명칭】

천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법

【기술분야】

본 발명은 로봇 장치 및 이의 제어 방법에 관한 것으로, 보다 정확한 위치 인식을 가능하게 하기 위하여 임의 형상 특징의 방향성을 고려하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상툭성 활용 위 치 인식 이동 로봇 장치에 관한 것이다.

【배경기술】

로봇에 대한 수요는 산업용으로서 뿐만 아니라 가정용에 대한 수요도 증대되 고 있고， 이에 따라 로봇 연구가 활발하게 진행되고 있다. 특히， 종래의 위치 고 정된 로봇과는 달리 이동 가능한 이동 로봇에 대한 연구가 활발하게 진행되고 있는 데， 이동 가능한 이동 로봇은 주변 환경을 사용하여 자신의 위치를 정확하게 인식 하는 기술 및 이를 위하여 기준이 되는 표식을기점으로 자신의 위치 파악을 가능 하게 하는 지도 작성에 대한 기술의 연구가 진행되고 있다.

특히， 주변 환경으로부터 취득되는 정보 중 꼭지점 또는 직선과 같이 특정한 모양을 구비하는 정보를 특징 (feature)라고 명명되며， 이들은 이용하여 작성된 지 도를 특징 지도 (feature map)라고 한다. 특징은 환경 내에서 로봇의 위치를 인식 하기 위한 표식으로 사용되가 때문에 어떠한 특징을 추출하여 이를 사용할 것인지 그리고 추출된 특징이 주변 환경의 변화에 따라 강인한 특성을 갖는지 등과 같은 사항이 정확한 특징 지도를 작성하는데 중요한 인자가 된다.

통상적으로 저가형 소형 로봇의 경우 주행을 위한 상태 감지를 위한 감지 센 서로서 적외선 센서와 초음파 센서를 사용하는데， 적외선 센서는 직진성과 심한 노 이즈로 인하여 정보 누설로 인한 정확한 지도 작성이 곤란하다. 또한 초음파 센서 의 경우 감지 범위가 넓다는 장점미 있으나 이 경우에도 잡음이 심하여 정확한 지 도 작성이 곤란하다는 문제점이 존재한다.

이러한 단점들을 극복하기 위하여 천장 영상을 활용할 수 있는 천장지향형 단일 카메라를 구비하는 천장 영상 기반 로봇이 도출되었는데, 천장 영상의 활용이 가능한 천장지향형 단일 카메라를 구비하는 로봇은 사람 또는 장애물과 같은 동적 물체에 의한 간섭을 가능한 배제시킬 수 있고 표식에 대한 안정적인 추적이 가능하 다는 장점을 구비하였다. 하지만， 이러한 종래 기술에 따른 천장지향형 단일 카메 라를 구비하는 로봇의 경우， 특징으로 코너 특징과 직선 특징을 사용하였는데, 코 너 특징의 경우 안정적인 정합이 가능하나 조명 변화등에 따른 밝기 변화에 의하여 정보의 변화가^'심하고 직선 특징의 경우 복수의 직선이 구비되는 경우 흔동에 의한 정확한 정합 여부 판단이 어렵다는 문제점이 수반되었다.

한국 등록특허 10-0871115에는 천장 영상 인식의 영상 데이터 중 불필요한 특징점을 추출 제거하는 방식을 통하여 부하를 저감시키고 정확도를 증대시키는 방 식을 택하고 있는 등 다양한 위치 인식 연구가 이루어지고 있다.

또한， 천장 영상의 경우 영상 특징의 연산 부하로 인하여 신속한 위치 인식 이 어려운데, 신속한 위치 인식을 함과 동시에 천장의 특징에 대한 강인성을 확보 하여 정확한 위치 인식을 이뤄야 한다는 점에서 어려움이 수반되었다.

또한， 종래 천장 영상 인식 방법의 경우 최대한단순하고 정형화된 환경， 즉 조명 특징， 직선， 코너 특징과 같은 정형화된 특징들을 위주로 실행됨으로써， 새로 운 환경 하에서의 범용성을 확보함에 상당한 어려움이 수반되었다.

【발명의 내용】

【기술적 과제】

본 발명은 천장 영상을 이용하여 신속한 위치 인식을 이루되 보다 정확한 위 치 인식을 가능하도록 하기 위하여 임의 형상 특징의 특성을 사용하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활 용 위치 인식 이동 로봇 장치를 제공하는 것을 목적으로 한다.

[기술적 해결방법】

전술한 목적을 달성하기 위한 본 발명은， 영상 입력부와， 엔코더 감지부와, 연산부와， 제어부와, 저장부와， 구동부를 구비하는 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치를 제공하는 제공 단계와， 상기 영상 입력부를 통하여 입력된 영상 정보에서 추출되는 윤곽선으로부터 임의 형상 특징을 포함하는 특징을 추출하 는 특징 추출 단계와， 상기 추출된 특징을 사용하여 상기 아동 로봇 장치의 위치를 인식하는 위치 인식 단계를 포함하고, 상기 톡징 추출 단계에서 상기 임의 형상 특 징의 톡성을 나타내는 서술자를 부여하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법을 제공한다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 특징 추출 단계는: 상기 영상 장보로부터 윤곽선을 검출하고 레이블링시켜 관심 영 역 (region of interest ;R0I)를 추출하는 관심 영역 추출 단계와， 상기 관심 영역에 대하여 상기 관심 영역의 특성을 나타내는 서술자를 부여하는 관심 영역 서술자 생 성 단계와， 상기 관심 영역 서술자와 상기 저장부에 저장된 사전 설정 기준으로부 터 상기 관심 영역을 상기 위치 인식 단계에서 활용할 특징으로의 설정 여부를 확 인하는 관심 영역 강인성 확인 단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 관심 영역 추출 단계는: 상기 영상 정보를 이진화하는 영상 이진화 단계와， 이진화 된 상기 이진화 영상 정보로부터 윤곽선을 검출하는 윤곽선 검출 단계와， 상기 윤 곽선 검출 단계에서 검출된 윤곽선으로 연결된 영역을 그룹화하는 레이블링 단계 와, 상기 레이블링 단계에서 그룹화된 영역을 관심 영역으로 설정하는 관심 영역 설정 단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 레이블링 단계는 팽창 연산을 사용하고, 상기 팽창 연산에는 사전 설정된 반경을 갖는 원형 원도우가사용될 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 관심 영역 서술자 생성 단계는: 상기 관심 영역의 외곽 모서리를 관심 영역 노드로 설정하고, 상기 관심 영역의 중심으로부터 상기 관심 영역 노드의 좌표를 확인하는 관심 영역 노드 분포 확인 단계와， 상기 관심 영역의 크기를 확인하는 관심 영역 크기 확인 단계와， 상기 관심 영역의 방위를 확인하는 관심 영역 방위 확인 단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 제 5항 에 있어서， 상기 관심 영역 노드의 좌표는 극좌표일 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 관심 영역 노드의 좌표는 직교좌표일 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 관심 영역 강인성 확인 단계는: 상기 현재 영상 내 관심 영역 간의 유사성을 정의 하는 유사도를 산출하는 관심 영역 유사도 산출 단계와, 상기 현재 영상 내 관심 영역의 인접한 다른 관심 영역간의 유사도에 가중치를 부여한 관심 영역 유일성을 산출하는 관심 영역 유일성 산출 단계와， 상기 관심 영역 유일성과， 사전 설정되어 상기 저장부에 저장된 사전 설정 유일성을 비교하여 특징으로서의 안정성을 구비하 는지 여부를 판단하는 유일성 판단 단계와， 상기 유일섶 판단 단계의 결과에 따라 상기 관심 영역의 특징으로의 활용 여부를 확정하는 관심 영역 강인성 확인 단계 (S257,259)를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 관심 영역 유사도 산출 단계는: 상기 현재 영상 내 관심 영역을 확인하는 관심 영 역 확인 단계와， 상기 관심 영역으로부터 대상 관심 영역과 비교 관심 영역을 설정 하는 관심 영역 설정 단계와, 상기 대상 관심 영역과 비교 관심 영역 간의 노드 분 포 유사도를 산출하는 노드 분포 유사도 산출 단계와, 상기 대상 관심 영역과 비교 관심 영역 간의 크기 유사도를 산출하는 크기 유사도 산출 단계와， 상기 대상 관심 영역과 비교 관심 영역 간의 방위 유사도를 산출하는 방위 유사도 산출 단계와， 상 기 노드 분포 유사도， 상기 크기 유사도 및 상기 방위 유사도로부터 관심 영역 유 사도 (S)를 최종 산출하는 관심 영역 유사도 연산 단계와， 상기 현재 영상 내 관심 영역 중 상기 대상 관심 영역과 비교되지 않는 잔여 비교 관심 영역이 존재하는지 여부를 판단하는 비교 관심 영역 잔여 판단 단계과， 상기 비교 관심 영역 잔여 판 단 단계에서 상기 잔여 비교 관심 영역이 존재하지 않는다고 판단되는 경우， 상기 현재 영상 내 관심 영역 중 대상 관심 영역으로 설정되지 않은 잔여 관심 영역이 존재하는지 여부를 판단하는 관심 영역 잔여 판단 단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 노드 분포 유사도 산출 단계는: 상기 대상 관심 영역과 비교 관심 영역 간의 노드 분포 간의 거리를 연산하는 노드 거리 연산 단계와， 상기 노드 거리를 상기 저장부 에 사전 설정되어 저장된 유사 범위 거리를 비교하여 상기 노드 거리가 상기 유사 범위 거리보다 작은 노드쌍의 개수 (N)를 확인하고 상기 노드쌍의 좌표 정보를 저장 하는 노드쌍 비교 확인 단계와， 상기 대상 관심 영역의 중점을 중심으로 사전 설정 된 각도만큼 상기 대상 관심 영역을 회전시키는 대상 관심 영역 회전 단계와， 상기 대상 관심 영역의 희전 각도가 360도에 도달하였는지 여부를 확인하는 대상 관심 영역 회전 완료 판단 단계와, 상기 관심 영역 회전 완료 판단 단계에서 상기 대상 관심 영역이 360도 회전이 이루어졌다고 판단되는 경우， 상기 최소 노드 거리 및 노드쌍 개수를 사용하여 상기 대상 관심 영역과 상기 비교 관심 영역의 노드 분포 유사도를 연산하는 노드 분포 유사도 연산단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 위치 인식 단계는: 상기 영상 입력부로부터의 영상 정보에 기초하여 산출된 전단계 에서의 상기 이동 로봇 장치의 추정 위치 및 임의 형상 특징의 추정 영상과 상기 엔코더 감지부의 신호에 기초하여 현단계에서의 상기 이동 로봇 장치의 예측 위치 및 상기 예측 위치에서의 임의 형상 특징에 대한 예측 영상을 생성하는 예측 단계 와， 상기 특징 추출단계에서 추출된 상기 임의 형상 특징과 상기 예측 영상 내 임 의 형상 특징 사이에 정합이 이루어졌는지를 여부를 확인하여 정합 정보를 생성하 는 특징 정합 단계와， 상기 특징 정합 단계의 정합 정보에 따라 상기 이동 로봇 장 치의 예측 위치 및 임의 형상 특징에 대한 예측값을 보정하는 추정 단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서, 상기 특징 정합 단계에서， 상기 예측 영상 내 임의 형상 특징 및 상기 영상 감지부로부 터의 영상 정보로부터 추출된 상기 임의 형상 특징이 정합되지 않은 것으로 판단되 는 경우， 상기 영상 감지부로부터의 영상 정보 내 임의 형상 특징은 새로운 특징으 로 설정하여 저장될 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 특징 정합 단계는: 상기 예측 영상 내 임의 형상 특징을 추출하는 예측 영상 특징 추출 단계와， 상기 예측 영상 내 임의 형상 특징에 대하여 상기 임의 형상 특징의 특성을 나타내는 서술자를 부여하는 예측 영상 특징 서술자 생성 단계와， 상기 특 징 추출 단계에서 추출된 영상 정보 내 상기 임의 형상 특징과 상기 예측 영상 내 임의 형상 특징을 비교하는 예측 영상 특징 정합 단계를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 예측 영상 특징 정합 단계는: 상기 영상 정보 내 추출된 상기 임의 형상 특징이 상 기 예측 영상 내 임의 형상 특징의 불확실성 영역에 교차되는 예측 교차 개수를 확 인하는 예측 교차 개수 확인 단계와， 상기 예측 교차 개수 확인 단계에서 예측 교 차 개수가 1이상인지 여부를 판단하는 예측 교차 개수 판단 단계와, 상기 예측 교 차 개수 판단 단계에서 예측 교차 개수가 1이상인 경우， 상기 영상 정보 내 임의 형상 특징과 상기 예측 영상 내 임의 형상 특징 간의 유사성을 정의하는 예측 특징 유사도를 산출하는 예측 특징 유사도 산출 단계와, 상기 예측 특징 유사도와， 사전 설정되어 상기 저장부에 저장된 사전 설정 특징 유사도를 비교하는 특징 유사도 비 교 단계와， 상기 특징 유사도 비교 단계에서의 비교 결과에 따라 상기 영상 정보 내 임의 형상 특징과 상기 예측 영상 내 임의 형상 특징의 정합 여부를 확인하는 특징 정합 확인 단계 (S3256,3257)를 포함할 수도 있다.

상기 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 있어서， 상기 예측 교차 개수 판단 단계에서 추정 교차 개수가 영인 경우， 제어 흐름이 위치 복 구 단계로 전환되고， 상기 위치 복구 단계는：상기 영상 정보 내 상기 임의 형상 특 징과 상기 저장부에 저장된 특징간의 서술자를 비교하여 장합되는 저장된 다른 특 징을 확인하고， 정합된 다른 특징 주변으로 상기 이동 로봇 장치와 후보지를 부여 하는 복구 특징 정합 단계와， 상기 정합된 다른 특징에 대한 전역 좌표계 상에서의 2차원 좌표, 상기 후보지 위에서의 상기 이동 로봇 장치의 위치, 및 상기 영상 정 보 내 기준 좌표축으로부터 상기 정합된 다른 특징까지의 각도를 사용하여 상기 아 동 로봇 장치의 방위를 확인하는 이동 로봇 장치 방위 확인 단계와， 상기 정합된 다른 특징에 대한 위치 정보， 방위 정보 및 상기 이동 로봇 장치의 방위 정보로부 터 상기 후보지에 우선 순위를 부여하는 우선 후보지 선정 단계를 포함할 수도 있 다.

【유리한 효과]

상기한 바와 같은 구성을 갖는 본 발명에 따른 천장 임의 형상 특성 활용 이 동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치는 다음과 같은 효과를 갖는다.

첫째， 본 발명에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치는， 천장에 배 치되는 사전 설정된 형태의, 코너, 직선， 조명 이외에 환기구， 화재 경보기， 스피 커 등과 같이 다양한 비정형 형태의 임의 형상올 위치 인식 활용 가능하도특 함으 로써， 천장 인식 활용도를 증대시켜 사용 환경의 범용성을 확보할수 있다.

둘째， 본 발명에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치는， 임의 형상 특징에 대한 서술자를 부여하여 정합 등의 과정에서 정확한 정합 판단을 위한 기반 을 마련하고， 환경 변화에 민감한 조명 등에 대한 특징 강인성을 확보하고， 연산을 보다 효율적으로 진행하게 하는 서술자의 부여에 통한 신속한 연산을 가능하게 함 으로써 우수한 위치 인식 성능을 확보할 수 있다.

셋째, 본 발명에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치는， 임의 형상 특징에 대한 서술자를 통하여 연산 부하를 경감시켜 연산부의 원가를 저감시켜 우 수한 제조 원가 절감 효과를 수반할 수도 있다.

넷째， 본 발명에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활용위치 인식 이동 로봇 장치는, 단일 카메 라를 통하여도 보다 정확한 특징 인지에 의한 위치 인식을 가능하게 함으로써， 장 치의 제조 원가를 현저하게 절감시키고 운명 유지비를 감소시켜 비용 절감을 최대 화할 수 있는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치를 제공할 수도 있다.

다섯째， 본 발명에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방 법 및 이를 활용한 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치는， 외력에 의한 이동 로봇 장치의 위치: 변화 또는 미끄럼에 의한 위치 변화로 인하여 위치 안 식 실패 경우 신속한 위치 복구 기능을 수행할 수도 있다.

여섯째， 본 발명에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방 법 및 이를 활용한 천장 임희 형상 특성 활용 위치 인식 이동 로봇 장치는, 위치 복구 기능 수행시 이동 로봇 장치의 위치 후보지를 최소화하고 우선순위를 부여하 는 방식을 택함으로써 연산 부하 경감 및 이에 따른 신속하고 강인한 위치 복구 기 능을 이를 수도 있다.

본 발명은 도면에 도시된 일실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며， 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서， 본 발명의 진 정한 기술적 보호 범위는 첨부된 특허 청구 범위의 기술적 사상에 의해 정해져야 할 것이다.

【도면의 간단한 설명】

도 1은 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 위치 인식 이 동 로봇 장치의 개략적인 블록선도이다.

도 2는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법에 대한 개략적인 제어 흐름도이다.

도 3은 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 영상 입력 처리 단계에 대한흐름도이다.

도 4 및 도 5는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 위치 인식 아동 로봇 장치의 영상 입력부에서 얻어진 영상 및 이의 왜곡 보정을 이룬 영 상에 대한 개략적인 선도이다.

도 6은 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 개략적인 특징 추출 단계에 대한 흐름도이다.

도 7는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 특징 추출 단계 중 관심 영역 추출 단계에 대한 개략적인 선도이 다.

도 8 내지 도 15는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이 동 로봇 위치 인식 방법의 관심 영역 추출 단계의 과정을 나타내는 선도와， 본 발 명에서 사용된 윈도우와 이진화된 영상 정보 간의 관계를 도시하는 상태도이다. 도 16는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 관심 영역 서술자 생성 단계의 구체적인 의 과정을 설명하는 상태 도 및 선도이다.

도 17 및 도 18는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이 동 로봇 위치 인식 방법의 관심 영역 노드 분포 확인 단계의 과정을 설명하는 상태 도 및 선도이다.

도 19 및 도 20는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이 동 로봇 위치 인식 방법의 임의 형상 특징 특성 추출 단계를 설명하는 상태도이다. 도 21 및 도 22는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이 동 로봇 위치 인식 방법의 다른 유형의 관심 영역 노드 분포 확인 단계의 과정을 설명하는 상태도 및 선도이다.

도 23는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 관심 영역 강인성 확인 단계를 설명하는 상태도이다.

도 24는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 관심 영역 유사도산출 단계를 설명하는 상태도이다.

도 25는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 노드 분포 유사도 확인 단계 (S2511)를 설명하는 상태도이다.

도 26는 회전 각도만큼 회전되기 전후의 대상 관심 영역의 노드 분포와 비교 관심 영역의 노드 분포를 나타내는 선도이다.

도 27 및 도 28는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이 동 로봇 위치 인식 방법의 유일성 및 이에 사용되는 가중치를 나타내는 선도이다. 도 30는 회전 각도만큼 회전되기 전후의 대상 관심 영역의 노드 분포와 비교 관심 영역 노드 분포의 다른 유형올 나타내는 선도이다.

도 31는 도 30의 중점을 일치시킨 영상 좌표계 상에서의 대상 관심 영역 및 비교 관심 영역의 노드 쌍의 노드 거리를 도식적으로 나타내는 선도이다.

도 32은 본 발명의 일실시예에 따론 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 관심 영역 방위 확인 단계의 일실시예를 나타내는 흐름도이다. 도 33은 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 위치 인식 단계의 구체적인 흐름도이다.

도 34는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 위치 인식 단계 중 예측 단계에 대한 흐름도이다.

도 35은 본 발명의 일실시예에 따론 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 위치 인식 단계 중 특징 정합 단계에 대한 흐름도이다.

도 36는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 위치 인식 단계 중 특징 정합 단계의 예측 영상 내 특징 서술자생 성 단계에 대한 흐름도이다.

도 37는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 위치 인식 단계 중 특징 정합 단계의 예측 영상 내 특징 정합 단계 에 대한흐름도이다.

도 38은 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법의 무정합 상태에 대한 위치 복구 단계를 나타내는흐름도이다.

도 39은 특징 유사도 산출 단계에 대한흐름도이다.

도 40은 임의 형상 특징이 방위 정보를 구비 여부에 따른 관측 모델 선택을 위한 갱신 단계를 나타내는 흐름도이다.

도 41 내지 도 43은 본 발명의 일실사예에 따른 천장 임와 형상 특성 활용 이동 로봇 위치 인식 방법의 이동에 따른 특징의 불확실성의 저감을 나타내는 개략 적인 상태도이다.

도 44는추정 단계의 개략적인 흐름도이다.

도 45은 임의 형상 특징이 방위 정보를 구비 여부에 따른 관측 모델 선택을 위한 추정 단계의 관측 모델 설정 단계를 나타내는흐름도이다.

도 46 및 도 47는 이동 로봇 장치의 영상 입력부의 영상 정보 내 좌표계에서 의 임의 형상 특징을 포함하는 특징의 관측 모델의 좌표 관계를 설명하기 위한 상 태도이다.

도 48 내지 도 50은 위치 복구 단계에서의 이동 로봇 장치의 위치 후보지에 대한 상태도이다.

도 51는 위치 복구 단계에서의 이동 로봇 장치의 위치 후보지에 대하여 이동 로봇 장치의 방위를 고려했을 경우 후보지에 따른 방위 일치 여부를 나타내는 선도 이다.

[발명의 실시를 위한 형태】

이하에서는 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치 및 이의 위치 인식 방법에 대하여 도면 을 참조하여 설명하기로 한다.

본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치 (10， 이하 이동 로봇 장치)는 영상 입력부 (100)와， 엔코더 감지부 (200)와, 제 어부 (300)와, 저장부 (400)와， 연산부 (500)와， 구동부 (600)를 포함하는데， 이와 같 은 천장 임의 형상 특성 활용 위치 인식 로봇 장치 (10)가 제공되어 소정의 제어 과 정이 실행된다. 제어부 (300)는 다른 구성요소들과 전기적 소통을 이루어 입력 신 호를 전달받고 각각의 구성요소로 제어 신호를 인가할 수 있다. 영상 입력부 (100) 는 다양한 구성이 가능한데， 본 실시예에서 영상 입력부 (100)는 단안 카메라로 구 성되나 이는 본 발명의 일실시예로서 스테레오 카메라로 구현될 수도 있다. 영상 입력부 (100)가 단안 카메라로 구현되는 경우， 이를 통하여 얻어진 천장 영상 (ceiling image)은， 단안 카메라의 구성인 영상 입력부 (100)로 인하여 대상과의 정 확한 거리 인지가 용이하지 않다. 연산부 (500)는쎄어부 (300)의 제어 신호에 따라 소정의 연산 과정을 수행하며, 저장부 (400)는 사전 설정된 다양한 값들을 기저장하 고 제어부 (300)의 제어 신호에 따라 필요한 영상 정보 내지 위치 정보들을 저장한 다. 구동부 (600)는 전기 모터 등으로 구현되고, 제어부 (300)의 제어 신호에 따라 구동되어 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치 (10)를 원하는 위치 로 이동시킬 수 있는 구동력을 제공한다. 엔코더 감지부 (200)는 구동부 (300)에 의 하여 구동되는 구동륜 (미도시)의 회전수 및 회전 각도 등을 감지하는데， 회전 각도 는 각각의 구동륜의 회전수의 차이에 따라 연산되어 도출되는 과정을 통하여 이루 어질 수도 있다.

도 2에는 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치 (10)의 개략적인 제어 과정을 나타내는 흐름도가 도시되는데， 영상 입력부 (100)가 단안 카메라로 사용되는 경우 등과 같이 영상 보정이 필요한 경우 소정의 영상 입력 처리 단계 (S10)가 더 실행될 수 있다. 제어부 (300)는 영상 입력 부 (100)로부터 천장 영상 (또는 영상 정보)를 입력받아 영상 정보를 처리한다 (S10). 영상 입력 처리 단계 (S10)가 실행되기 전에 상기한 바와 같이 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치 (10)가 제공되는데， 도 2의 흐름도에서는 표기가 생 략되었다.

도 3에는 영상 입력 처리 단계 (S10)에 대한 보다 구체적인 흐름의 일예가 도 시되는데, 제어부 (300)는 영상 입력부 (100)에 제어 신호를 인가하여 단안 카메라로 구현되는 영상 입력부 (100)가 현재 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치 (10)의 위치에서의 천장 (ceiling)에 대한 영상 정보를 취득하도톡 하고 이를 제어부 (300)로 입력하도록 한다 (S11). 제어부 (300)는 입력된 영상 또는 영상 정보 의 왜곡 여부를 판단하여 (S12), 영상 또는 영상 정보에 화상 왜곡이 존재하는 경 우， 이를 연산부 (500)로 전달하여 영상에 대한 보정을 수행하는 영상 보정 단계를 수행한다 (S13).

도 4 및 도 5에는 영상 보정 전후의 영상에 대한 개략적인 일예들이 도시되 는데， 단안 카메라로 구현되는 영상 입력부 (100)는 천장 영상에서의 특징을 추출하 고 이를 지속적으로 추적할 수 있도록 하는 영상 또는 영상 정보를 얻을 수 있도록 넓은 시야를 확보하기 위하여 취득되는 영상 정보에 왜곡이 발생한다. 연산부

(500)는 쎄어부 (400)의 제어 신호에 따라 영상 입력부 (100)로부터 입력되는 영상 또는 영상 정보를 가공하여 왜곡 현상을 보정한다. 영상 보정이 완료되거나 또는 영상 보정이 불필요하다고 판단한 경우， 제어부 (300)는 보정된 영상 또는 영상 정 보를 제어부 (300)로 출력한다 (S14).

그런 후， 제어부 (300)는 특징 추출 단계 (S20)를 수행하는데, 제어부 (300)는 화상 왜곡 등이 보정된 영상에 기초하여 현재 영상 내에 존재하는 임의 형상 특징 을 포함하는 특징을 추출한다. 본 발명의 일실시예에 따른 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법에 수행되는 특징 추출 단계에서 얻어지는 특징 중 에는 임의 형상 특징이 포함된다.

도 6에는 본 발명의 일실시예에 따른 특징 추출 단계에 대한 일예가 도시되 는데, 본 실시에에서의 특징 추출 단계 (S20)는 윤곽선으로부터 임의 형상 특징을 주로 사용하나 경우에 따라 코너 특징, 조명 특징 등과 같은 다른 특징도 함께 사 용될 수 있다는 점에서 다양한 변형이 가능하다. 다만， 본 실시예에서는 윤곽선을 활용하여 추출되는 임의 형상 특징을 중심으로 설명한다.

본 실시예에 다른 특징 추출 단계 (S20)는 관심 영역 추출 단계 (S21)와 관심 영역 서술자 생성 단계 (S23)와 관심 영역 강인성 확인 단계 (S23)를 포함한다. 여 기서， 관심 영역 (R0I;region of interest)은 영상 정보로부터 추출되는 윤곽선 정 보를 그룹핑하는 레이블링 과정을 거쳐 분할된 영상 정보 내 소정의 영역을 지칭하 는데 관심 영역에 대한 하기되는 소정의 확인 내지 판단 단계를 거쳐 위치 인식 단계 (S30)에서 활용될 특징 지도 상의 특징 (feature)으로 활용할 지 여부가 결정된 다.

제어부 (300)는 관심 영역 추출 단계 (S21)에서 영상 입력부 (100)를 통하여 입 력되고 처리된 영상 정보로부터 윤곽선을 검출하고 레이블링시켜 관심 영역 (R0I)를 추출한다. 도 7에는 관심 영역 추출 단계 (S21)에 대한 세부 단계가 도시되는데, 관심 영역 추출 단계 (S21)는 영상 이진화 단계 (S211)와 윤곽선 검출 단계 (S213)와 레이블링 단계 (S215)와 관심 영역 설정 단계 (S217)를 포함한다. 영상 이진화 단계 (S211)에서 제어부 (300)는 현재의 영상 정보를 이진화한다.

그런 후， 제어부 (300)는 윤곽선 검출 단계 (S213)를 실행하여 이진화된 이진 화 영상 정보로부터 윤곽선을 검출한다. 윤곽선 검출은 다양한 방법이 사용될 수 있다. 영상 처리 분야에서 Sobell, Prewitt 등의 다양한 윤곽선 방법이 사용되는 데， 본 실시예에서는 영상정보로부터 에지 (edge)를 검촐하여 물체 (본 실시예에서는 관심 영역)을 구비하는 캐니 에지 검출기 (Canny edge detector)를 사용하였으나 설 계 사양에 따라 다양한 변형이 가능하다. 도 8에는 영상 정보가 도시되고 도 9에 는 이진화된 이진화 영상 정보로부터 추출된 윤곽선이 추출된 윤곽선 추출 이진화 영상이 도시된다.

그런 후， 제어부 (300)는 레이블링 단계 (S215)를 실행하여 소정의 윤곽선으로 연결된 영역을 그룹화한다. 레이블링 단계 (S215)는 윤곽선으로 연결된 영역을 하 나의 그룹으로 만드는 과정으로， 레이블링을 위하여 다양한 방법이 사용될 수 있으 나, 본 실시예에서는 그래스파이어 (Grassfire) 알고리즘을 사용하였다.

도 9에 흰색으로 표시된 부분은 윤곽선을 나타내는데， 물체와 같은 특징아 존재할 가능성이 있는 영역， 즉 관심 영역을 추출하기 위해서는 검은색 영역도 고 려되어야 한다. 이러한 레이블링 과정을 검은색 영역에서 실행할 경우 의도하지 않게 인접한 다른 영역이 함께 그룹화되는 문제점아 수반된다. 도 10 및 도 11에 는 윤곽선 추출 이진화 영상과 이로부터 검은색 영역에서 단순 그룹핑이 이루어질 경우 얻어진 레이블링된 이진화 영상이 도시되는데, 도 11에 도시된 바와 같이 수 개로 그룹화될 영역이 하나의 영역으로 그룹화된다. 이와 같은 문제를 해결하기 위하여， 본 실시예에서 영역 그룹화를 위한 레이블링 단계는 팽창 연산을 실행하되 팽창 연산에 사용되는 원도우 (window, 도 15 참조， 여기서 점선은 원도우가 윤곽선 을 따라 원도우 이동하는 경로를 가상적으로 도시)를 소정의 반경을 갖는 원형 원 도우를 사용한다. 이와 같은 원형 원도우를 사용하껴 팽창 연산을 수행함으로써 팽창 연산되어 분리 내지 그룹화되는 영역을 보다 명확하게 하고 불필요한 팽창으 로 인한 영상 정보의 손실올 최소화할 수 있다. 즉， 종래의 사각형 타입의 원도우 를 사용할 경우 원도우 중심으로부터 원도우 외곽까지의 거리가 해당 원도우 외곽 마다 상이하여 경우에 따라 원치 않게 분리되어야 할 영역이 하나로 그룹화되는 가 능성이 증대되는데, 본 실시예에서는 원형 원도우를 사용하여 원도우 중심으로부터 외곽까지 일정한 거리를 유지하도록 함으로써 불필요한 영상 정보 손실을 방지하여 궁극적으로 그룹화된 영역의 명확한 분리를 이를 수 있다.

도 12 내지 도 14에는 이와 같은 원형 원도우를 사용한 팽창 연산이 이루어 지는 레이블링 단계 실행 결과가 도시되는데， 도 12에 도시된 바와 같이 윤곽선 상 에 소정의 반경을 갖는 원형 원도우를 사용하여 팽창 연산을 실행할 경우 도 13와 같은 팽창 연산 결과를 얻을 수 있다. 도 14에는 이의 확장된 인근 영역과 함께 도시되는 영상 정보가 도시되는데, 명확하게 팽창된 윤곽선을 통하여 관심 영역으 로 획정 가능한 그룹화된 분리된 영역들을 확안할 수 있다.

그런 후， 제어부 (300)는 단계 S215에서 얻어진 그룹화된 분리 영역을 관심 영역으로 설정하는 관심 영역 설정 단계 (S217)를 실행한다. 관심 영역이 추출 설정된 후， 제어부 (300)는 관심 영역에 대하여 서술자 (destriptor)를 부여하는 관심 영역 서술자 생성 단계 (S23)를 실행한다 (도 16 참 조). 여기서， 서술자는 관심 영역을 구별하기 위한 부여되는 것으로， 관심 영역의 특성을 나타내며， 본 발명의 서술자는 관심 영역에 대한 노드 분포， 크기 및 방위 가사용된다.

관심 영역 서술자 생성 단계 (S23)에서 제어부 (300)는 관심 영역 노드 분포 확인 단계 (S231)와 관심 영역 크기 확인 단계 (S235)와 관심 영역 방위 확인 단계 (S237)를 실행하는데 , 관심 영역 노드 분포 확인 단계 (S231)에서 제어부 (300)는 관 심 영역의 외곽 모서리를 관심 영역 노드 (①②③④⑤⑥, 도 17 참조)로 설정하고 관심 영역의 중심 (Pmean)으로부터 관심 영역 노드 (①②③④⑤⑥)의 좌표로서 극좌 표 (Γ,Θ)를 확인한다. 도 17에는 영상 정보에서의 관심 영역을 개략적으로 도시하 는데, 여기서， U-V는 영상 정보 내에서의 좌표축을 나타내고, Pmean은 대상인 관심 영역의 중점을, ri 및 θί는 관심 영역 중점을 중심으로하는 극좌표로서 관심 영역 중점으로부터 각각의 관심 영역 노드까지의 거리 및 각도를 나타낸다.

이와 같이 관심 영역 노드에 대한 분포, 즉 관심 영역 노드 분포를 도식화하 면, 도 18에 도시된 바와 같은 r-θ 선도로 표시될 수도 있다.

한편， 상기 실시예의 설명에서 관심 영역 노드에 대한 좌표로서 극좌표를 기 술하였으나, 본 발명의 관심 영역 서술자로서 관심 영역의 노드 분포를 생성함에 있어 극좌표계 상에서의 극좌표 정보 대신 직교 좌표계 (cartesian coordinate) 상 에서의 직교 좌표를 이용하여 관심 영역의 노드 분포를 표시할 수도 있다. 도 21 에 도시되는 배경 (흐릿한 화상 표시)의 영상 정보 내에 추출된 특징에 대한 관심 영역 (선분 표시)의 외곽 모서리를 관심 영역 노드 (①②③④⑤⑥， 도 21 참조)로 설 정하고 관심 영역의 중심 (Pmean)으로부터 관심 영역 노드 (i, ①②③④⑤⑥)의 좌표 는 직교 좌표 (ni=(ui,vi))로 표시된다. 도 17에는 영상 정보에서의 관심 영역을 개략적으로 도시하는데， 여기서, U-V는 영상 정보 내에서의 좌표축을 나타내고, Pm(um,vm)은 대상인 관심 영역의 중점을， ni=(ui,vi)는 직교좌표로서 관심 각각의 관심 영역 노드의 위치 좌표를 나타낸다. 또한， 관심 영역의 주축 (Pricipal Axis) σ _ σ ml

의 크기 ( )와 방향 (Φ, 도 17 및 도 22 참조)은 하기되는데， 이는 관 심 영역 노드의 좌표를 확인함에 있어 극좌표계 내지 직교 좌표계 여부에 상관없이 동일하게 적용된다.

또한, 제어부 (300)는 관심 영역에 대한 노드 분포 확인 단계가 완료된 후, 관심 영역 크기 확인 단계 (S233)를 실행한다. 관심 영역의 크기는 영상 정보 내의 해당 관심 영역이 차지하는 픽셀의 총개수로부터 연산하여 산출될 수 있다.

또한， 제어부 (300)는 관심 영역에 대하여 서술자로서의 특성 중 방위를 확인 하는 관심 영역 방위 확인 단계 (S235, 도 32 참조)를 실행하는데, 관심 영역의 주 σ σ

축 (Pricipal Axis)의 크기 ( ^{m L} , ᆻ )와 방향 (Φ)은 픽셀 분포의 공분산 행렬 을 이용하여 산출 확인될 수 있다. 즉, 본 발명의 일실시예에 따른 관심 영역 방 위 확인 단계 (S235)는 관심 영역의 주축을 생성하기 위한 주축 방향 정보 산출 단 계 (S2351)와 사전 설정 주축 길이 비교 단계 (S2353)를 더 포함할 수도 있다. 본 실 시예에서 관심 영역의 주축 정보가 관심 영역 서술자 생성 단계 (S23)에서 이루어졌 으나 경우에 따라 관심 영역 추출 단계 (S21)에서 이루어질 수도 있는 등 설계 사양 에 따라 다양한 변형이 가능하다.

제어부 (300)는 관심 영역의 주축 길이 및 방향 정보를 산출한다. 즉， 도 19 의 레이블링된 관심 영역에 대하여 이에 속한 점들이 아루는 분포에 대한 평균과 분산 개념을 이용하여 점들이 이루는 분포로부터 방위를 추출한다. (u,v)는 U-V 좌표계 상에서의 미세 영역의 점을 나타내고， cov(u,v)는 관심 영역의 해당 영역 내부에 해당하는 점들의 분포에 대한 공분산을 나타내고， (mu,iw)는 분포의 평균점 을 지시한다.

여기서， M은 "^과 ^로 표현된 타원 모양의 분포를 φ만큼 회전시 키는 행렬로서， 상기와 같은 관계를 통하여 레이블링되는 관심 영역의 특성， 즉 주

축 길이 및 방향 (방위) 정보인 를 다음과 같이 산출할 수 있다 ( 도 20 참조). a=E[(u- J²]

b=E[ u-m_uXv-m_v)]²

c=E[{v-m_v)

상기와 같은 관계를 통하여 관심 영역 특성이 산출되는데ᅳ 이로부터 해당 관 심 영역에 대한 특성을 도 17에 도시된 바와 같이 ^{0 l}과 ²로 주축 길이 및 방향 정보 (Φ)를 확정할 수 있다.

상기와 같은 주축 길이로부터 주축 길이의 비 (Rori)가산출될 수 있다.

^Rori⁼⁰ml^m2 (^σ«1^>σ«2)

상기와 같은 주축 방향 정보 산출 단계 (S2351)가 완료된 후, 제어부 (300)는 사전 설정 주축 길이 비교 단계 (S2353)를 실행한다. 사전 설정 주축 길아 비교 단 계 (S2353)에서 제어부 (300)는 레이불링되어 추출된 관심 영역의 특성 중 주축 길이 의 비 (Rori)를 저장부 (400)에 사전 설정되어 저장된 사전 설정 주축 길이 비율 (Rs) 와 비교한다. 즉， 산출된 관심 영역의 주축 길이의 비 (Rori)가 사전 설정 주축 길 이 비율 (Rs) 미만인 경우 제어부 (300)는 현재 레이블링된 관심 영역은 장방향과 단 방향의 주축 길이가 거의 유사하다고 판단하고 점과 같은 특징으로 인식하여 방향 성이 없다고 판단하고 해당 관심 영역의 방향성이 없는 것으로 판단하는 방향성 없 음 설정 단계 (S2357)를 실행한다. 반면, 관심 영역의 주축 길이의 비 (Rori)가 사 전 설정 주축 길이 비율 (Rs) 이상인 경우 제어부 (300)는 현재 레이블링된 관심 영 역은 장방향과 단방향의 주축 길이 사이에 차이가 존재하고 방향성이 있다고 판단 하여 해당 관심 영역의 방향성이 있는 것으로 판단하는 방향성 있음 설정 단계 (S2355)를 실행한다. 이와 같은 관심 영역의 방향성은 해당 관심 영역이 특징으로 확정되는 경우 추후 위치 인식 단계에서 위치 인식 속도를 증대시킬 수 있고, 위치 복구 단계에서 천장 임의 형상 특성 활용 이동 로봇이 위치하는 후보지를 현저하게 좁힘으로써 신속한 위치 복구를 이루도록 할 수도 있다.

이와 같은 관심 영역에 대한 서술자는 현재 영상 정보 내에서 추출된 모든 관심 영역에 대하여 실행될 수 있다. 관심 영역에 대한 서술자가 생성된 후， 제어부 (300)는 관심 영역에 대한 강 인성을 확인하는 관심 영역 강인성 확인 단계 (S25)를 실행한다. 즉， 관심 영역 서 술자와 저장부 (400)에 저장된 관심 영역을 위치 인식 단계에서 활용한 특징으로의 설정 여부, 바꿔 표현하면 특징으로서의 가치를 가지고 있는지 여부를 확인하는데， 현재 영상 정보 내에서뫼 관심 영역이 강인성이 있다고 확인된 경우 제어부 (300)는 추후 위치 인식 단계에서 추정 영상 내 특징과의 비교 등을 거쳐 저장부에 저장된 특징이 아닌 새로운 특징이라고 판단된 경우 이는 추후 특징 지도에 새로운 특징으 로서 관심 영역 서술자 등이 특징에 대한 특성， 즉 서술자로서 저장될 수 있다. 관심 영역 강인성 확인 단계 (S25)는 관심 영역 유사도 산출 단계 (S251)와 관 심 영역 유일성 산출 단계 (S253)와 관심 영역 강인성 확인 단계 (S257,S259)를 포함 한다. 관심 영역 유사도 산출 단계 (S251)는 현재 영상 정보， 즉 처리된 영상 정보 내에서 추출된 관심 영역 간의 유사성을 정의하는 유사도를 산출하는데, 이는 해당 관심 영역이 인접한 다른 관심 영역과 얼마나 유사한지 여부를 확인하고 이로부터 인접한 영역 내의 유사도가 높은 관심 영역들에 대하여 가중치를 부여하여 유일성 을 산출함으로써 천장 영상에 대한 특징으로서의 활용 가치가 있는지 여부를 판단 함에 사용된다.

관심 영역 유사도 산출 단계 (S251)는 관심 영역 확인 단계 (S2510-1)와， 관심 영역 설정 단계 (S2510-2)와， 노드 분포 유사도 산출 단계 (S2511)와 크기 유사도 산 출 단계 (S2513)와 방위 유사도 산출 단계 (S2515)와 관심 영역 유사도 연산 단계 (S2517)와， 비교 관심 영역 잔여 판단 단계 (S2518)와, 관심 영역 잔여 판단 단계 (S2519)를 포함한다.

이러한 관심 영역 유사도 산출 단계 (S251)는 현재 영상 정보 내 존재하는 모 든 관심 영역 상호 간에 이루어진다. 즉， 복수 개의 관삼 영역이 현재 영상 정보 내 존재하는 경우， 어느 하나의 관심 영역을 대상 관심 영역으로 설정하고 나머지 관심 영역과 비교하여 관심 영역 간의 유사도를 산출한 후, 다른 관심 영역을 새로 운 대상 관심 영역으로 설정하여 나머지 다른 관심 영역과의 유사도를 산출하며 반 복적인 동작을 이루어 모든 관심 영역 간의 유사도를 산출한다. 즉， 현재 영상 정 c

보 내 Mroi개의 관심 영역이 존재하는 경우 ^{Mroi 2} 개수의 유사도 (S)를 산출하게 된다. 본 실시예에서는 현재 영상내 관심 영역의 개수를 Mroi로 나타내고， 대상 관심 영역을 나타내기 위한 도면 부호로서 M을, 그리고 대상 관심 영역과 비교되는 비교 관심 영역을 나타내기 위한 Q를 사용하였는데， M은 1부터 시작하여 Mroi까지 의 값을 갖도록 제어 과정 상에서 증분되고 Q는 M+l,M+2,...,M+Mroi로 증분되고 새 로운 M이 설정되는 경우 M+1로 리셋되는 관계를 갖도록 설정되었으나 모든 관심 영 역의 상호 비교를 이루는 범위에서 다양한 변형이 가능하다. 또한， 현재 영상 정 보 내 대상 관심 영역 내지 비교 관심 영역 내지 예측 영상 내 관심 영역 등의 개 수를 나타내기 위하여 상기 Q 등의 기호가 사용되었는데， 직교 좌표계 상의 표시 등의 경우에 따라 a,b로 표시될 수도 있는 등 본 발명의 이해를 용이하게 하기 위 하여 다른 기호가 사용될 수 있고， a,b는 상기 Q,M처럼 b는 1부터 시작하여 broi까 지 증분되고 a는 b+l, b+2,...,b+broi로 증분되고 새로운 b가 설정되는 경우 b+l로 리셋되는 관계를 갖도록 설정될 수 있다.

먼저， 현재 영상， 즉 현재 영상 정보 내 관심 역을 확인하는 관심 영역 확인 단계 (S2510— 1)를 실행하는데， 이는 앞선 단계에서 실행된 관심 영역 추출을 활용하 여 관심 영역의 개수 (Mroi)를 확인할 수도 있다.

그런 후， 제어부 (300)는 관심 영역 설정 단계 (S2510-2)를 실행하는데， 현재 영상 정보 내 복수 개의 관심 영역이 존재하는 경우，관심 영역 중 대상 관심 영역 과, 대상 관심 영역을 제외한 나머지 관심 영역 중 대상 관심 영역과 비교되는 비 교 관심 영역을 설정한다. 현재 영상 정보 내 모든 관심 영역이 상호 비교되는바， 대상 관심 영역과 비교 관심 영역은 제어 흐름에서 순차적으로 교체되는 것이 바람 직하다.

먼저， 노드 분포 유사도 산출 단계 (S2511)는 현재 영상 정보 내 관심 영역의 노드 분포 간의 유사도를 산출하는데, 현재 영상 정보 내 포함되는 모든 관심 영역 상호간의 노드 분포 유사도를 산출한다. 도 25에는 노드 분포 유사도 산출 단계 (S2511)의 세부 흐름이 도시되는데， 노드 분포 유사도 산출 단계 (S2511)는 노드 거 리 연산 단계 (S25111)와, 노드쌍 비교 확인 단계 (S25113)와， 대상 관심 영역 회전 단계 (S25115)와, 대상 관심 영역 회전 완료 판단 단계 (S25117)와, 노드 분포 유사 도 연산 단계 (S25119)을 구비한다. 본 실시예에서는， 천장 임의 형상 특성 활용 이동 로봇 장치의 회전 상태에 따라 현재 영상 정보에서 얻어지는 관심 영역에서의 노드들의 위치도 함께 회전하기 때문에 대상 관심 영역의 중점 (Pmean)을 중심으로 0도부터 360도까지 회전시키면서 비교되는 다른 관심 영역의 노드 분포와의 차이를 최소화시키는 지점을 찾는 최소 오차 계산 방식을 취한다.

본 실시예에서는， 대상 관심 영역을 0도부터 360도까지 사전 설정 각도만큼 회전시키면서 다른 비교되는 관심 영역의 노드 분포와의 거리가 사전 설정된 최소 노드 거리보다 작은 값을 갖는 경우 해당되는 노드들을 노드쌍으로 지정하고 이러 한 노드들의 좌표와 노드쌍들의 개수를 저장한 후， 대상 관심 영역이 0도부터 360 도까지의 회전을 완료한 경우 저장된 해당 회전 각도에서의 노드쌍의 개수 및 노드 쌍을 이루는 노드들의 좌표로부터 유사도를 연산하게 된다.

보다 상세하게, 제어부 (300)는 노드 거리 연산 단계 (S25111)를 실행하는데， 노드 거리는 노드 간의 극좌표 정보를 이용하여 연산한다. 그런 후， 제어부 (300) 는 노드 거리를 저장부 (400)에 사전 설정되어 저장된 유사 범위 거리 (dsim)와 비교 하여 노드 거리 (d)가 유사 범위 거리 (dsim)보다 작은 노드쌍의 개수 (N)를 확인하고 노드쌍의 좌표 정보를 저장하는 노드쌍 비교 확인 단계 (S25115)를 실행한다.

그런 후， 제어부 (300)는 대상 관심 영역을 중점 (Pmean)을 중심으로 사전 설 정된 각도만큼 대상 관심 영역을 회전시키는 관심 영멱 회전 단계 (S25115)를 실행 한다. 관심 영역 회전 단계 (S25115)에서 제어부 (300)는 대상 관심 영역의 중점 (Pmean)을 중심으로 사전 설정된 각도 (본 실시예에서는 1도로 설정되었으나 이에 한정되지는 않음)만큼 대상 관심 영역을 회전시킨다. 그런 후， 제어부 (300)는 단 계 S25117을 실행하여 대상 관심 영역의 회전 각도가 360도에 도달하였는지 여부를 확인하는 관심 영역 회전 완료 판단 단계를 실행한다. 단계 S25117에서 대상 관심 영역의 회전 각도가 360도에 도달하지 않았다고 판단된 경우， 제어부 (300)는 제어 흐름을 단계 S2511U노드 거리 연산 단계)로 전환하여 회전된 대상 관심 영역과 나 머지 비교되는 관심 영역 간의 노드 거리 및 노드쌍 확인 과정을 반복적으로 실행 한다. 반면， 단계 S25117에서 대상 관심 영역의 회전 각도가 360도에 도달하였다 고 판단되는 경우， 제어부 (300)는 제어 흐름을 단계 S25119로 진행하여 대상 관심 영역과 비교 관심 영역 간의 노드 분포 유사도를 연산한다.

도 26에는 회전 각도만큼 회전되기 전후의 대상 관심 영역의 노드 분포와 비 교 관심 영역의 노드 분포가 도시된다. 여기서, Θ shi ft는 대상 관심 영역의 회전 각도를 나타내고, 회전을 이루는 대상 관심 영역의 노드를 nj, 비교 관심 영역의 노드를 ni라고 할 때， 이들 간의 거리는 다음과 같이 표현될 수 있다.

여기서， ni=(ei,ri)와 nj=(ej + eshift, rj)는 각각 대상 관심 영역 노드와 비교 관심 영역의 노드의 극좌표를 의미하고， k는 픽셀 단위로 표현되는 r과 Θ의 스케일올 맞추기 위한 상수이다.

이와 같이 d가 dsim보다 작은 노드 짝의 개수를 노드 쌍의 개수 (N)로 설정하 고 N과 d(ni,nj)의 값을 사용하여 노드 분포 유사도 (S;S(M,Q))를 다음과 같이 산출 한다.

여기서， N은 노드 쌍의 총 개수를， Snode(M,Q)는 대상 관심 영역 (M)과 비교 관심 영역 (Q)의 노드 분포 간의 유사도를 의미한다.

이와 같은 노드 분포 유사도 산출 단계 (S2511)가 완료 된 후, 제어부 (300)는 크기 유사도 산출 단계 (S2513) 및 방위 유사도 산출 단계 (S2515)를 실행하는데， 크 기 유사도 및 방위 유사도는 다음과 같이 연산돨 수 있다.

여기서， AQ,AM은 각각 비교 및 대상 관심 영역의 크기 (내부 픽셀 개수)를 나 타내고， RQ,RM은 각각 비교 및 대상 관심 영역의 방위의 강인성 (주축 길이의 비율) 을 나타낸다. 상기 ¾0(16，3^26，50^를 사용하여 대상 관심 영역과 비교 관심 영 역 간의 유사도 (S)를 다음과 같이 산출할 수 있다 (S2517).

W node^ node + W size ^ size + ori^ ori

^ total

여기서, 皿 ode,wsize,wori ,wtotal은 각각 노드, 크기， 방위 (방위 강인성)에 대한 가중치 및 이들의 총합을 의미한다.

한편, 상기 언급한 바와 같이 관심 영역의 노드는 극좌표 방식이외 직교좌표 방식으로도 표현될 수 있는데， 이 경우 제어부 (300)가 연산부를 통하여 노드 거리 연산 단계 (S25111 도 29 참조)를 실행함에 있어 노드 거리는 노드에 대한 직교좌 표 정보를 이용하여 연산된다. 그런 후， 제어부 (300)는 노드 거리를 저장부 (400) 에 사전 설정되어 저장된 유사 범위 거리 (dsim)와 비교하여 노드 거리 (d)가 유사 범위 거리 (dsim)보다 작은 노드쌍의 개수 (N)를 확인하고 노드쌍의 좌표 정보를 저 장하는 노드쌍 비교 확인 단계 (S25115g)를 실행한다.

그런 후， 제어부 (300)는 대상 관심 영역을 중점 (Pmean)을 중심으로 사전 설 정된 각도만큼 대상 관심 영역을 회전시키는 관심 영역 회전 단계 (S25115g)를 실행 한다. 관심 영역 회전 단계 (S25115g)에서 제어부 (300)는 대상 관심 영역의 중점 (Pmean)을 중심으로 사전 설정된 각도 (본 실시예에서는 1도로 설정되었으나 이에 한정되지는 않음)만큼 대상 관심 영역을 회전시킨다. 그런 후， 제어부 (300)는 단 계 S25117g을 실행하여 대상 관심 영역의 회전 각도가 360도에 도달하였는지 여부 를 확인하는 관심 영역 회전 완료 판단 단계를 실행한다. 단계 S25117g에서 대상 관심 영역의 회전 각도가 360도에 도달하지 않았다고 판단된 경우， 제어부 (300)는 제어 흐름올 단계 S25111g (노드 거리 연산 단계)로 전환하여 회전된 대상 관심 영 역과 나머지 비교되는 관심 영역 간의 노드 거리 및 노드쌍 확인 과정을 반복적으 로 실행한다. 반면， 단계 S25117g에서 대상 관심 영역의 회잔 각도가 360도에 도 달하였다고 판단되는 경우， 제어부 (300)는 제어 흐름을 단계 S25119g로 진행하여 대상 관심 영역과 비교 관심 영역 간의 노드 분포 유사도를연산한다.

도 30에는 회전 각도만큼 회전되기 전후의 대상 관심 영역의 노드 분포와 비 교 관심 영역의 노드 분포가 도시되고， 도 31에는 대상 관심 영역과 비교 관심 영 역의 중심을 일치시킨 영상 좌표계 상에서의 노드 좌표 관계가 도시된다. 여기서， Θ는 대상 관심 영역의 회전 각도를 나타내고， 비교 관심 영역을 ROIa, b b

Pmean=( ^m , "^을 중심으로 회전을 이루는 대상 관심 영역을 ROIb, ν₇.(θ)

( J， )와 ( J\ ^J ³ ) 각각 회전 : 전후의 노드의 위치 a a

( ^m ' )는 ROIa의 중심을， ni=(ui,vi)와 nj=(uj,vj)는 노드 쌍 내의 노 드 i와 j의 좌표, 그리고 ( ^ζ , ^와 ( ^{J\ J} , ^J\ )는 영상 좌표계 상의 관심 영역의 중심을 일치시킨 경우의 노드 좌표를 나타낸다.

간의 거리는 다음과 같이 표현될 수 있다.

이와 같이 대상 관심 영역의 노드들이 모두 Θ만큼 회전되어 비교 대상 노드 들과의 거리가 계산되는데， 이때 MSE mean squared error)를 계산하여 관심 영역의 대응되는 두 노드 분포의 차이값 (차이가 최소가 되는 지점에서의 차이값)을 산출할 수 있다. 2

여기서， D는 분포의 차이， N은 노드 쌍의 개수， P는 노드 쌍의 집합을 나타 내고， 이를 이용하여 비교 관심 영역인 ROIa와 대상 관심 영역인 ROIb에 대한 노드 분포 유사도 (Snode(b,a))를 다음과 같이 산출한다.

여기서,

상수를， Snode(b,a)는 비교 관심 영역 (ROIa) 및 대 상 관심 영역 (ROIb)에 대한 노드 분포의 유사도를 나타낸다.

이와 같은 노드 분포 유사도 산출 단계 (S2511g)가 완료 된 후, 제어부 (300) 는 크기 유사도 산출 단계 (S2513g) 및 방위 유사도 산출 단계 (S2515g)를 실행하는 데， 크기 유사도 및 방위 유사도는 다음과 같이 연산될 수 있다.

\Λ_α-Α

max(A_a,A_b)

여기서， Aa,Ab는 각각 비교 및 대상 관심 영역의 크기 (내부 픽셀 개수)를 나 타내고， Rod, a, Rori,b는 각각 비교 및 대상 관심 영역의 방위의 강인성 (주축 길 이의 비율)을 나타낸다. 상기 10(^，5^26，301^를 사용하여 대상 관심 영역과 비 교 관심 영역 간의 유사도 (S)를 다음과 같이 산출할 수 있다 (S2517g). w node S nod je +w si .ze S si .ze +w o S on

Sfi,a

total

여기서， wnode,wsize,wori,wtotal은 각각 노드， 크기， 방위 (방위 강인성)에 대한 가중치 및 이들의 총합을 의미한다.

그런 후， 제어부 (300)는 비교 관심 영역 잔여 판단 단계 (S2518)를 실행하여 현재 영상 내 관심 영역 중 대상 관심 영역과 비교되지 않은 잔여 비교 관심 영역 이 존재하는지 여부를 판단한다. 즉， 비교 관심 영역 계수 (Q)가 Mroi보다 큰 자 여부를 판단하는데， Q가 Mroi이하이면 (잔여 비교 관심 영역이 존재한다면)， 제어부 (300)는 제어 흐름올 단계 (S2518-1)로 전환하여 Q를 증분시키고 단계 S2510-2로 이 동시킨다.

반면, 단계 S2518에서 비교 관심 영역 계수 (Q)가 Mroi보다 크다고 판단된 경 우， 즉 잔여 비교 관심 영역이 존재하자 않는다고 판단된다면 제어부 (300)는 제어 흐름을 단계 (S2519)로 진행시켜 관심 영역 잔여 판단 단계 (S2519)를 실행한다. 즉 , 현재 영상 내 관심 영역 중 대상 관심 영역으로 선정되지 못한 나머지 잔여 관심 영역이 존재하는지 여부를 판단하는데, 제어부 (300)는 대상 관심 영역 계수 (M)가 Mroi보다 큰 지 여부를 판단하여 대상 관심 영역 계수 (M)가 Mroi보다 크다면 더이 상의 잔여 관심 영역이 존재하지 않는 것으로 판단하여 단계 S251을 종료하고， 대 상 관심 영역 계수 (M)가 Mroi이하라면 잔여 관심 영역이 존재하는 것으로 판단하고 단계 S2519-1에서 대상 관심 영역 계수 (M)를 1만큼 증분시킨 후 제어 흐름을 단계 S2510-2로 이동시켜 과정을 반복시킨다.

상기 실시예에서 단계 S2518에서 Q,M,Mroi 등이 사용되었으나 상기한 바와 같이 직교 좌표계 상에서의 표현시 !，1^01는 a,b,broi로 대체될 수 있다.

단계 S251이 종료된 후 제어부 (300)는 제어 흐름을 단계 S253으로 진행하여 관심 영역 유일성 산출 단계 (S253)를 실행한다. 즉， 제어부 (300)는 현재 영상 내 관심 영역의 어느 관심 영역과 다른 관심 영역 간의 유사도에 가증치를 부여하여 산출되는 관심 영역 유일성 (U)을 산출한다. 관심 영역 유일성을 산출하는 이유는 어느 하나의 관심 영역에 인접한 위치에 유사한 형상의 다른 관심 영역이 존재하는 경우 추후 위치 인식 단계에서 사용되는 특징으로서의 효용성이 저하되어 위치 인 식의 안정성이 손상되는 문제점을 해결하기 위함이다.

도 27에는 관심 영역 간의 유클라디언 거리 함수에 따른 가우시언 가중치 선 도가 도시되고， 도 28에는 유클라디언 거리에 따른 유일성 선도가 도시된다. 관심 영역 유일성 (U)은 다음과 같이 산출된다.

U(F_int)=min{l-S(F_int,F_a4l) · g{D{F _inPF _adj))}

여기서， Fint=(uint, vint)는 현재 비교하고자 하는 관심 영역을, Fadj=(uadj,vadj)는 Fint에 인접한 특징을, S는 앞서 서술된 관심 영역 유사도를， D는 Fint와 Fadj 사이의 유클리디언 거리 함수 (도 28 참조), g는 거리에 따른 가우 시안 가중치를 계산하는 함수를 나타내고， U는 관심 영역 유일성을 나타낸다.

이와 같이 산출된 관심 영역 유일성에 대하여， 제어부 (300)는 사전 설정되어 저장된 저장부 (400) 내의 사전 설정 유일성 (U_thre)와 비교하여 특징으로서의 안정성 을 구비하는지 여부를 판단하기 위한 유일성 판단 단계 (S255)를 실행하고， 단계 S255의 판단 결과에 따른 관심 영역의 특징으로의 활용 여부를 확정하는 관심 영역 강인성 확인 단계 (S257,S259)를 실행하는데, 단계 S255에서 관심 영역 유일성이 사 전 설정 유일성보다 크다고 판단된 경우 제어부 (300)는 관심 영역이 강인성을 구비 하여 특징으로서 활용 가능하다고 확인하여 추후 위치 인식 단계에서의 특징으로서 의 활용 가능성을 확인하고 (S257), 반면 단계 S255에서 관심 영역 유일성이 사전 설정 유일성이하라고 판단된 경우 제어부 (300)는 관심 영역이 강인성을 구비하지 못하여 특징으로서 활용 가능하지 않다고 확인하여 추후 위치 인식 단계에서 특징 으로 활용을 차단한다 (S257).

이와 같은 과정을 거쳐 강인성을 구비하는 관심 영역을 추출된 특징으로 인 식하고 제어부 (300)는 위치 인식 단계 (S30)를 실행한다. 단계 S30에서 제어부 (300)는 임의 형상 특징을 포함하는 추출된 임의 형상 특징들을 사용하여 이동 로봇 장치 (10)의 위치 인식을 실행하는데， 위차 인식 단계 (S30)는 예측 단계 (S31)와 특징 정합 단계 (S32)와 추정 단계 (S34)를 포함한다. 이 와 같은 예측， 특징 정합 및 추정 단계는 칼만 필터 또는 확장 칼만 필터 (EKF)의 통상적인 방식을 따르나 본 실시예에 따른 위치 인식 단계는 임와 형상 특징을 특 성을 사용하고 임의 형상 특징에 부여되는 서술자를 통하여 특징 정합을 이룬다는 점에서 차이가 있다.

즉， 이동 로봇 장치 (10)의 영상 정보로부터 추출한 임의 형상 특징을 포함하 는 특징이 사용되는데， 본 실시예에 구비되는 영상 입력부 (110)는 모노카메라로 구 현되어 특징까지의 거리를 직접적으로 측정하지 못하고 표식쎄 대한 방위 정보만 알 수 있기 때문에， 수 회의 추정 과정을 거쳐 확률적으로 특징까지의 거리를 연산 하게 된다. 이와 같은 영상 입력부 (110)는 자체적인 관측 오차가 수반될 수 밖에 없기 때문에 특징이 존재할 수 있는 영역， 즉 불확실성 영역은 도 41에 도시된 바 와 같이 가우시안 분포의 타원 형태로 표현되며 위치를 달리하며 수 회 관측되는 경우 특징에 대한 불확실성이 도 42 및 도 43에 도시된 바와 같아 수렴하게 된다. 이와 같이 이동 로봇 장치 (10)의 위치는 관측한 특징의 위치를 기반으로 추정된다. 이러한 추정을 위하여 사용되는 특징을 포함하는 EKF의 상태 백터는 다음과 같이 표현될 수 있다. =1 ，치 1， · · ^Cn^Ll^ · ·

¾⁼[ ^Gx_R, ^G _R, ^σθ_Λ]

여기서, XR은 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 위치 (절대좌 표계 상의 위치와 방위각)를, XL은 3차원 공간 상에서의 임의 형상 특징의 위치 (절 대좌표계 상의 위치와 방위각)를， XC는 3차원 공간 상의 코너 특징의 위치를 나타 내는데， 본 실시예에서 XC를 부가하였으나 배제되거나 조명 특징과 같이 다른 특징 이 추가되는 구조로 형성될 수도 있는 등 다양한 변형이 가능하다.

전역 좌표계에서 임의 형상 특징의 위치 는 영상 입 력부로부터의 영상 정보에서 극좌표

전역 좌표계의 X축

(도 45 참조) 기준의 임의 형상 특징의 방위

입력부로부터의 영상 I

정보에서 V축 기준의 방위 Φ L

로 표현될 수 있다. 상기와 같은 상태 백터에 대 한 불확실성을 나타내는 공분산 행렬은:

여기서， PR은 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 위치 (위치 및 방위각)에 대한 공분산을， PC와 PL은 각각 코너 특징 및 임의 형상 특징의 위치 (위 치 및 /또는 방위각)에 대한 공분산을 나타낸다. 공분산 행렬 P의 비대각 원소 (off-diagonal element)인 ？，？^，ᄄ^ ：ᄂ ， 는 ？，；， 과 관련된 교차 공 분산 (cross covariance) 행렬을 의미한다.

먼저， 예측 단계 (S31)에서 제어부 (300)는 감지부 (100)의 영상 입력부 (110)로 부터의 영상 정보로부터 산출된 전단계에서의 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 추정 위치 및 임의 형상 특징의 추정 영상과， 전단계로부터 현단계까지 의 이동시 얻어진 엔코더 감지부 (200)의 신호에 기초하여， 현단계에서의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 임의 형상 특징에 대한 예측 영상을 생성한 다.

이와 같은 현단계에서의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 임 의 형상 특징에 대한 예측 영상은 EKF의 예측 상태백터로부터 도출된다. 즉， 전단 계인 시간 t-1에서 추정한 추정 위치를 포함하는 상태백터에， 시간 t-1에서 시간 t 사이에 변화된 이동 거리 및 이동 각도인 오도메트리 정보를 적용하여 시간 t인 현 단계에서의 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 예측 위치 및 예측 위 치에서의 임의 형상 특징에 대한 예측 영상을 도출할 수 있는데， 상태백터 와

P：

공분산 행렬 의 관계는 다음과 같이 표시된다.

여기서, f는 천장 임와 형상특성 활용 이동 로봇 장치 (10)의 동역학적 모델 을 의미하고，

는 전단계인 시간 t-i에서 현단계인 시간 t 사이의 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 좌우 구동휠와 이동거리 (ᅀ^ ， 는 우측 구동휠의 이동거리, ᅀ ^는 좌측 구동휠의 이동거리)를, b는 구동휠 사 이의 거리를,

각각 시간 t-1에서 추정한 임의 형상 특징의 추정 위치 (위치 및 방위)와 코너 특징의 추정 위치를 나타내는데, 코너 특징 등 다른 특 징을 사용하지 않는 경우 이와 관련된 상태 변수를 제거할 수도 있다. 또한, 이러 한 임의 형상 특징의 추정 위치로부터 전단계에서의 임의 형상 특징에 대한 추정 영상을 도출할수 있다. 또한， Q는 프로세스 잡음을,

각각 비선형 관계인 f의 자코비안 행렬을 나타내고, 위첨자 는 갱신되지 않은 예측된 상태를 나타내고， kr과 kl은 각각 우측 및 좌측 구동휠과 천장 임의 형상 특성 활용 이동 로봇 장치 (10)가 가동되는 바닥면 간의 상호작용에 관한 상수를 지 시한다.

즉， 제어부 (300)는 엔코더 감지부로부터의 신호로 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 이동 거리인 ut 및 영상 입력부 (110)로부터의 영상 정보로부 터 산출된 전단계에서의 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 추정 위 치인 를 이용하여， 현단계에서의 이동로봇 장치의 예측 위치를 포함하는 현단 계에서의 예측 상태백터 를 산출하고， 이로부터 임의 형상 특징에 대한 예측 위치를 파악하여 현상태 (시간 t)에서의 임의 형상 특징에 대한 예측된 예측 영상을 연산부 (500)를 통하여 연산산출할 수 있다. 그런 후, 제어부 (300)는 특징 정합 단계 (S32)를 실행하는데， 제어부 (300)는 예측 단계 (S31)에서 얻어진 전단계에서의 천장 임의 형상 특성 활용 이동 로봇 장 치 (10)의 추정 상태백터를 사용하여 얻어진 예측 상태백터로 되는 예측 영상 내 특 징 중 특히 임의 형상 특징과， 영상 입력부를 통하여 얻어져 처리된 현재: 영상 정 보 내에서 상기 특징 추출 단계에서 추출되어 얻어진 임의 형상 특징을 비교하여 정합 여부를 확인한다. 즉， 예측 영상 내 임의 형상 특징과 현재 영상 내 임의 영 역 특징을 비교하여 정합 여부를 확인한다. 이를 위하여 특징 정합 단계 (S32)는 예측 영상 특징 추출 단계 (S321)와， 예측 영상 특징 서술자 생성 단계 (S323)와, 예 측 영상 특징 정합 단계 (S325)를 포함하는데， 특징 정합 단계 (S32)에서 예측 영상 내 임의 형상 특징과， 영상 감지부로부터 얻어진 영상 정보에서 단계 S20의 특징 추출 단계를 거쳐 추추로딘 임의 형상 특징이 정합되지 않은 것으로 제어부 (300)가 판단하는 경우 영상 감지부로부터의 영상 정보 내 임의 형상 특징은 저장부 (400)에 저장되는 특징 지도 상에 저장되어 있지 않은 새로운 특징으로 판단하여 특징 지도 에 새로운 특징으로 설정하여 저장된다.

특징 정합 단계 (S32)의 예측 영상 특징 추출 단계 (S321)에서 예측 영상 내 임의 형상 특징이 추출되고, 그런 후 제어부 (300)는 단계 S323에서 예측 영상 특징 서술자 생성을 실행한다. 여기서， 예측 영상 내 특징이 추출되고 서술자를 생성한 다는 표현을 사용하였으나， 전단계에서의 이동 로봇 장치 (10)의 추정 위치 및 추정 영상으로부터 예측 영상 내 존재하는 임의 형상 특징에 대한 정보를 알 수 있는바， 저장부 (400)에 저장된 특징 지도 상 내 임의 형상 특징을 포함하는 특징 정보로부 터 예측 영상 내 임의 형상 특징 여부와， 예측 영상 내 임의 형상 특징에 대한 저 장부 (400)에 저장된 특징 정보로부터 서술자를 신속하게 도출할수 있다.

그런 후, 제어부 (300)는 예측 영상 특징 정합 단계 (S325)를 실행하는데， 특 징 추출 단계 (S20)에서 추출된 영상 정보 내 임의 형상 특징과， 단계 S321.323을 통하여 도출된 예측 영상 내 임의 형상 특징을 비교하여 정합 여부를 확인한다. 예측 영상 특징 정합 단계 (S325)는 예측 교차 개수 확인 단계 (S3251)와, 예 측 교차 개수 판단 단계 (S3252)와， 예측 특징 유사도 산출 단계 (S3254)와， 특징 유 사도 비교 단계 (S3255)와， 특징 정합 확인 단계 (S3256,S3257)를 포함한다. 먼저, 제어부 (300)는 예측 교차 개수 확인 단계 (S3251)에서 영상 정보 내 추출된 임의 형 상 특징이 예측 영상 내 임의 형상 특징의 불확실성 영역에 교차되는 예측 교차 채 수를 확인한다. 즉, 예측 영상 내 임의 형상 특징은 확를적 분포로서의 불확실성 영역 내에 존재하게 되는데， 현재 영상 정보 내 임의 형상 특징의 위치가 예측 영 상 내 임의 형상 특징에 대한 불확실성 영역에 존재하여 교차되는 개수의 유무를 제어부 (300)가 확인한다 (S3251). 예측 교차 개수 판단 단계에서 예측 교차 개수가 영이라고 판단한 경우, 제어부 (300)는 현재 영상 정보 내 존재하는 임의 형상 특징 이 예측 영상 내 임의 형상 특징 어느 것과도 일치할 가능성이 없는 무정합 상태로 판단 확인하는데 (S3253), 이는 이동 로봇 장치가 극단적인 경우， 즉 외부 층격 등 과 같은 비정상 작동을 이룬다고 판단하고 제어부 (300)는 제어 흐름을 단계 S40으 로 전환하여 하기되는 위치 복구 단계 (S40)를 실행한다.

반면, 단계 S3252에서 예측 교차 개수가 영이 아니라고 판단한 경우, 제어부 (300)는 현재 이동 로봇 장치 (10)가 정상적인 이동 상태를 이룬다고 판단하여 제어 흐름을 단계 S3254를 진행시켜 예측 특징 유사도 산출 단계 (S3254)를 실행한다. 예측 특징 유사도 산출 단계 (S3254)는 노드 분포 유사도 산출 단계 (S32541)와， 크 기 유사도 산출 단계 (S32543)와 방위 유사도 산출 단계 (S32545)와 특징 유사도 연 산 단계 (S32547)를 포함하는데, 이는 앞서 기술된 관심 영역 유사도 산출 단계 (S251)의 관심 영역이 임의 형상 특징으로， 비교 대상이 동일 현재 영상 내 관심 영역간의 비교로부터 현재 영상 정보 내 임의 형상 특징과 예측 영상 내 임의 형상 특징의 불확실성 영역 내 교차 대상으로 변경되는 사항이외에는 단계 S251과 거의 유사하다. 먼저, 노드 분포 유사도 산출 단계 (S32541)는 현재 영상 정보 내 임의 형상 특징과 예측 영상 내 임의 형상 특징의 불확실성 영역에 교차된 대상 간의 노드 분 포 간의 유사도를 산출하는데， 현재 영상 정보 내 포함되는 모든 관심 영역 상호간 의 노드 분포 유사도를 산출한다. 도 40에는 노드 분포 유사도 산출 단계 (S32541) 의 세부 흐름이 도시되는데, 노드 분포 유사도 산출 단계 (S32541)는 노드 거리 연 산 단계 (S325411)와， 노드쌍 비교 확인 단계 (S325413)와， 현재 영상 정보 내 임의 형상툭징 회전 단계 (S325415)와， 현재 영상 정보내 임의 형상 특징 회전 완료 판 단 단계 (S325417)와, 노드 분포 유사도 연산 단계 (S325419)을 구비한다.

제어부 (300)는 노드 거리 연산 단계 (S325413)를 실행하는데， 노드 거리는 노 드 간의 극좌표 정보를 이용하여 연산한다. 그런 후， 제어부 (300)는 노드 거리를 저장부 (400)에 사전 설정되어 저장된 유사 범위 거리 (dsim)와 비교하여 노드 거리 (d)가 유사 범위 거리 (dsim)보다 작은 노드쌍의 개수 (N)를 확인하고 노드쌍의 좌표 정보를 저장하는 노드쌍 비교 확인 단계 (S325415)를 실행한다.

그런 후， 제어부 (300)는 현재 영상 정보 내 비교 대상인 임의 형상 특징의 중점 (Pmean)을 중심으로 사전 설정된 각도만큼 비교 대상인 현재 영상 정보 내 임 의 형상 특징을 회전시키는 현재 영상 정보 내 임의 형상 특징 회전 단계 (S325415) 를 실행한다. 단계 S325415에서 제어부 (300)는 현재 영상 정보 내 임의 형상 특징 의 중점 (Pmean)을 중심으로 사전 설정된 각도 (본 실시예에서는 1도로 설정되었으나 이에 한정되지는 않음)만큼 회전시킨다. 그런 후， 제어부 (300)는 단계 S325417을 실행하여 특징의 회전 각도가 360도에 도달하였는지 여부를 확인하는 현재 영상 정 보 내 임의 형상 특징 회전 완료 판단 단계를 실행한다. 단계 S325417에서 임의 형상 특징의 회전 각도가 360도에 도달하지 않았다고 판단된 경우, 제어부 (300)는 제어 흐름을 단계 S32541K노드 거리 연산 단계)로 전환하여 회전된 대상 관심 영 역과 나머지 비교되는 관심 영역 간의 노드 거리 및 노드쌍 확인 과정을 반복적으 로 실행한다. 반면, 단계 S325417에서 임의 형상 특징의 회전 각도가 360도에 도 달하였다고 판단되는 경우, 제어부 (300)는 제어 흐름을 단계 S325419로 진행하여 임의 형상 특징과 예측 영상 내 임의 형상 특징 간의 노드 분포 유사도를 연산한 다. 노드 분포 유사도의 연산은 앞선 단계 S25119에서와 동일하다. 또한， 크기 및 방위 강인성에 대하여도 비교 대상이 현재 영상 정보 내 임의 형상 특징과 교차 되는 예측 영상 내 임의 형상 특징 간에 이루어진다는 점을 제외하고 앞서 설명된 유사도 산출 방법과 동일하다. 이러한, 노드 분포 유사도， 크기 및 방위 강인성을 종합한 최종적인 유사도 (Sf)에 대한 산출 식도 상기와 동일한 바 이에 대한 증복된 설명은 생략한다. 그런 후 제어부 (300)는 현재 영상 정보 내 임의 형상 특징과 예측 영상 내 임의 형상 특징에 대한 유사도 (Sf)와 저장부 (400)에 사전 설정되어 저장된 예측 특 징 유사도 (Sth)를 비교하는 특징 유사도 비교 단계 (S3255)를 실행한다. 단계 S3255에서 비교 결과， 유사도 (Sf)가 예측 특징 유사도 (Sth)이하라고 판단된 경우 제어부 (300)는 현재 영상 정보 내 임의 형상 특징과 예측 영상 내 임의 형상 특징 이 서로 비정합이라고 판단하고 특징 정합 확인 단계 (S3257)에서 비정합 확인을 실 행하여 정합 여부에 대한 정합 정보를 생성하는데， 이를 통하여 추후 제어부 (300) 는 현재 영상 정보 내 임의 형상 특징은 특징 지도에 저장되어 있지 않은 새로운 특징으로 판단하고 이를 저장부 (400)에 새로운 특징으로 저장된다.

반면， 제어부 (300)가 단계 S3255에서 유사도 (Sf)가 예측 특징 유사도 (Sth)보 다 크다고 판단한 경우 제어부 (300)는 현재 영상 정보 내 임의 형상 특징은 예측 영상 내 임의 형상과 일치하여 정합된 것으로 판단하고, 특징 정합 확인 단계 (S3256)에서 정합 확인을 실행하여 정합 여부에 대한 정합 정보를 생성한다.

이러한， 과정은 현재 영상정보 내 임의 형상툭징과 예측 영상 내 임의 형 상 특징의 불확실성 영역에 교차되는 대상에 대하여 모두 진행된다. 한편， 단계 S3253에서 무정합으로 확인되고 제어 흐름이 단계 S40으로 전환 된 경우， 제어부 (300)는 위치 복구 단계 (S40)를 실행한다. 위치 복구 단계 (S40)는 복구 특징 정합 단계 (S47)와 이동 로봇 장치 방위 확인 단계 (S48)와 우선 후보지 선정 단계 (S49)를 포함한다. 복구 특징 정합 단계 (S47)는 영상 정보 내 임의 형상 특징과 저장부 (400)에 저장된 특징 간의 서술자를 모두 비교하여 정합되는 다른 특 징의 존재 여부를 확인하고， 정합된 다른 특징 주변으로 이동 로봇 장치의 후보지 를 부여한다. 즉, 위치 복구 단계는 이동 로봇 장치가 예상치 못한 외력 또는 미 끄러짐 등에 의한 위치 인식 실패가 발생하는 경우 실행된느데， 기작성된 특징 지 도를 기반으로 이동 로봇 장치의 현재 위치를 찾기 위해서 영상 정보에서 관측된 특징을 특징 지도와 비교하여 가장 적합한 위치를 찾는 방식으로， 현재 영상 정보 내 임의 형상 특징과 저장부 (40)에 저장된 모든 특징을 비교하여 정합 여부를 확인 하는데， 정합 여부는 상기한 바와 같이 서술자를 비교하고 유사도를 산출하고 기저 장된 유사도에 대한 유사도 기준값 (앞서 기술된 예측 특징 유사도를 사용할 수도 있음)과 비교하여 특징 간의 정합 여부를 판단하게 된다. 이와 같이 정합되는 특징이 도출되는 경우， 제어부 (300)는 정합되는 특징 지 도 내 특징의 위치 정보를 활용하여 도 48 및 도 48와 같은 이동 로봇 장치 (10)의 위치 후보지를 선정할 수 있다. 도 48은 정합된 특징이 위치 정보만 가지고 있는 경우로 이동 로봇 장치의 후보지는 원형을 이루는 위치가 선정되는 반면， 도 49은 정합된 특징이 방위 정보도 함께 갖는 경우를 도시하는데， 이동 로봇 장치의 후보 지는 서로 대척되는 두 개의 지점으로 축소된다.

그런 후， 제어부 (300)는 이동 로봇 장치 방위 확인 단계를 실행하는데, 이동 로봇 장치의 방위는 다음과 같은 식을 통하여 산출될 수 있다.

특징의 2차원 좌표를,

^ ^yR" ^{yR7 R)}는 후보지 위치의 이동 로봇 장치의 위치 /방위를，中 은 영상 정보 내 영상 좌표계 상에서의 V축을 기준으로 한 특징까지의 각도를 나타 낸다 (도 44 참조).

이와 같이 정합된 특징에 대한 이동 로봇 장치 (10)의 위치에 대한 후보지가 교차할 경우 1차적으로 높은 확률을 부여하고， 교차된 지점에서 이동 로봇 장치 (10)의 방위가 일치할 경우 도 50 및 도 51에 도시된 바와 같이 로봇 방위가 일치 하는 지점에 대하여 더 높은 확율을 부여함으로써 우선 후보지 선정 단계에서 위치 정보， 방위 정보를 통하여 후보지에 대한 우선 순위를 부여하여 우선 후보지를 선 정하는 우선 후보지 선정 단계 (S49)를 실행할 수 있다. 그런 후, 제어부 (300)는 추정 단계 (S34)를 실행한다. 본 실시예에서의 추정 단계는 보다 정확하고 신속한 추정을 이루기 위하여 특징의 바위 유무에 따른 관측 모델을 변경하는 구성을 취할 수도 있다. 즉， 추정 단계 (S34)는 추정 관측 모델 설정 단계 (S341)와 추정 갱신 단계 (S343)을 포함할 수 있는데， 추정 관측 모델 설 정 단계 (S341)에서 특징의 방위 여부에 따른 관측 모델을 설정하고 추정 갱신 단계 (S343)에서 설정된 관측 모델을 사용하여 보정을 실행한다.

제어부 (300)는 추정 관측 모델 설정 단계 (S341)를 실행하는데， 제어부 (300) 는 추정 관측 모델 설정 단계 (S341)에서 상기 특징 추출 과정 상에서 서술자로서의 방위 확인 단계 중 사전 설정 주축 길이 비교 단계 (S2353)에서의 비교 결과를 활용 하여 해당 관심 영역이 임의 형상 특징으로 활용되는 경우 이에 대하여 저장된 서 술자로서의 방위 정보를 활용할 수 있는데, 사전 설정 주축 길이 비교 단계에서의 비교 결과에 따라 관측 모델을 선택하여 이동 로봇 장치 (300)의 예측 위치 및 예측 위치에서의 임의 형상 특징에 대한 예측 위치 및 예측 영상과 같은 예측값을 갱신 할 수도 있다. 여기서， 예측값의 갱신은 예측 상태 백터를 갱신하여 현시간에서의 추정 백터를 형성하는 것으로， 예측값은 이동 로봇 장치의 예측 위치와 임의 형상 특징에 대한 예측 위치와， 예측 영상을 포함할 수 있는데， 보다 상세하게는 이동 로봇 장치는 이동 거리로 인하여 전단계에서의 추정위치로부터 도출되는 예측 위치 가 갱신되고, 임의 형상에 대한 예측 위치는 전역 좌표계 상에서의 고정점으로 볼 수 있는바 전단계 (시간 t-1)에서의 임의 형상 특징에 대한 추정 위치가 동일하게 사용되어 현단계 (시간 t)에서의 임의 형상 특징에 대한 추정 위치로 사용될 수 있 다. 이동 로봇 장치의 예측 위치의 실질적 갱신으로 인하여 이동 로봇 장치에서 바라본 임의 형상 특징에 대한 예측 위치， 즉 이동 로봇 장치의 갱신된 예측 위치 에서의 임의 형상 특징에 대한 예측 위치 및 이와 연계되는 예측 영상도 보정될 수 있다. 즉， 경우에 따라， 추정 관측 모델 설정 단계 (S341)는 도 44 및 도 45에 도시 된 바와 같이 방향 확인 단계 (S3411)와 위치 방향 관측 모델 설정 단계 (S3413)와 위치 관측 모델 설정 단계 (S3415)를 포함할 수도 있는데， 위치 방향 관측 모델 설 정 단계 (S3413)와 위치 관측 모델 설정 단계 (S3415)는 방향 확인 단계 (S3411)에서 의 확인 결과에 따라 택일적으로 선택된다.

방향 확인 단계 (S3411)에서 제어부 (300)는 사전 설정 주축 길이 비교 단계 (S2353)에서의 비교 결과에 따른 임의 형상 특징의 방향 유무를 확인한다. 즉， 단 계 S2353에서의 비교 결과에 따라 단계 S2355에서 설정된 임의 형상 특징 (특징 확 정전 관심 영역)에 대한 설정값에 따라 임의 형상 특징이 방향성이 있다고 판단되 는 경우 임의 형상 특징의 위치 및 방향에 대한 위치 방향 관측 모델 (hL)을 설정하 는 위치 방향 관측 모델 설정 단계 (S3413)을 실행한다. 반면, 단계 S2353에서 제 어부 (300)가 임의 형상 특징에 대한 방향성이 없다고 판단하는 경우 (S2357) 임의 형상 특징의 위치에 대한 위치 관측 모델 (hLl)을 설정하는 위치 관측 모델 설정 단 계 (S3415)를 실행한다.

위치 방향 관측 모델 (hL)은 현단계 (시간 t)에서 예측한 상태백터를 기준으로 천장 임의 형상 특성 활용 이동 로봇 장치 (10) 상의 좌표계 상에서 예측한 임의 형 상 특징의 위치 및 방위를 나타내도록 하는 관측 모델이다.

도 46 및 도 48에는 영상 입력부 (110)에서 취득되는 영상 정보 내 임의 형상 특징을 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 좌표계 (U-V) 상에서 표현 한 관계 및 전역 좌표계 (X— Y-Z) 에서의 임의 형상 특징 (내지 코너 특징)에 대한 관 계를 도시하는 상태도가 도시되는데, 여기서 fcam은 영상 입력부 (110)와 초점 거리 를 지시하고， xoff는 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 회전 중심으 로부터 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 정면으로의 영상 입력부

Γ ¹ r ⁷Θ ⁷6 1

(no)의 위치 오프셋을 나타내고， ^Vl" ^l, 은 영상 입력부 (110)로부터 얻어진 영상 정보 내에서의 임의 형상 특징의 위치 (위치와 방위)를 나타낸다.

상기와 같은 위치 방향 관측 모델 (hL) 및 예측 단계에서 얻어진 시간 t (현단 겨 1)의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 임의 형상 특징에 대한 예

측 영상올 도출 할 수 있는 예측한 )를 사용하여， 현단계 (시간 t)에 서 예측한 상태 백터를 기준으로 천장 임의 형상 특성 활용 이동 로봇 장치 (10) 내 지 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 영상 입력부 (110)의 좌표계 (U-

V) 상에서 예측한 임의 형상 특징을 포함하는 특징의 위치 (위치 및 방위)를 나타내

Z= ( X_t ^~)

는 관측값 ^{1 f} 을 도출할 수 있다.

한편， 임의 형상 특징의 방향성이 없는 것으로 판단되어 임의 형상 특징의 방향성 없음으로 설정된 값을 활용하는 경우, 제어부 (300)는 단계 S321에서 단계 S325로 제어 흐름을 전환하여， 단계 S325를 통하여 상기와 같은 위치 관측 모델 (hLl) 및 예측 단계에서 얻어진 시간 현단겨 1)의 이동 로봇 장치의 예측 위치 및 예측 위치에서의 방향성이 없는 임의 형상 특징에 대한 추정 영상을 도출 할 수 있

ᅳ

는 예측 상태백터( ^를 사용하여， 현단계 (시간 t)에서 예측한 상태 백터를 기 준으로 천장 임의 형상 특성 활용 이동 로봇 장치 (10) 내지 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 영상 입력부 (110)의 좌표계 (u-v) 상에서 예측한 임의

형상 특징을 포함하는 특징의 위치 (위치)를 나타내는 관측값

도출할 수 있다.

이때 사용되는 위치 관측 모델 (hLl)은 상기 위치 방향 관측 모델 (hL)로부터 방위를 나타내는 변수가 제거된 구조를 이루는데， 이때 임의 형상 특징에 대한 상

의 구조를 이룬다.

여기서， 기술되지는 않으나 특징에 임의 형상 특징 이외 코너 특징이 포함되 는 경우， 코너 특징에 대한 관측 모델은 상기 방향성이 없는 임의 형상 특징에 대 한 관측 모델과 거의 동일하다.

그런 후， 제어부 (300)는 추정 관측 모델 설정 단계 (S341)에서 설정된 관측 모델을 사용하여 예측값을 갱신하는 추정 갱신 단계 (S343)를 실행하는데, 특징 정 합 단계 (S32)에서 제어부 (300)가 비정합이라고 판단한 경우 (S3257), 제어부 (300)는 임의 형상 특징이 새로운 특징으로 파악하는 특징 정보를 생성하여 추정 단계 (S34) 에서 별도의 천장 임의 형상 특성 활용 이동 로봇 장치 (10)의 예측 위치 둥을 포함 하는 예측 백터를 갱신하지 않고 새로운 특징으로 파악하여 이동 로봇 장치의 위치 및 임의 형상 특징의 위치 (위치 및 방위)를 포함하는 상태 백터 및 공분산 행렬에 대하여 새로운 특징을 부가한다.

반면， 특징 정합 단계 (S32)에서 제어부 (300)가 정합이라는 정합 정보를 생성 한 경우 (S3256), 제어부 (300)는 추정 단계 (S34)의 추정 갱신 단계 (S343)에서 임의 형상 특징을 활용하여 천장 임의 형상 특성 활용 이동 로봇 장차 (10)의 예측 위치 및 예측 위치에서의 임의 형상 특징에 대한 예측값 (임의 형상 특징의 예측 위치 및

/또는 방위, 예측 영상)을 보정한다. 즉， 제어부 (300)는 임의 형상 특징의 위치 및 방향을 고려한 예측이 정확하게 이루어진 것으로 판단하고， 천장 임의 형상 특 성 활용 이동 로봇 장치 (10)의 예측 위치 및 예측 위치에서의 임의 형상 특징의 예 측 영상을 보정， 보다 정확하게는 칼만 이득 (Kalman gain)을 연산 이용하여 상태 백터와 공분산 행렬을 보정하는 다음과 같은 과정을 추정 단계 (S34)에서 실행한다.

K = P;¹ H_t ^T{H_tP_t ^l H_t ^T+R_t

X_t= X_t +K_t{Z_t- Z_t)

현단계 (시간 t)에서의 영상 정보로부터 얻어진 임의 형상특징에 대한 위치 를 포함하는실측값 (zt)와， 현단계 (시간 t)에서 예측한 상태 백터를 기준으로 천장 임의 형상 특성 활용 이동 로봇 장치 (10) 내지 천장 임의 형상 특성 활용 이동 로 봇 장치 (10)의 영상 입력부 (100)의 좌표계 (u-v) 상에서 예측한 임의 형상 특징을 포함하는 특징의 위치 (위치 및 방위)를 나타내는 관측값 ^{t ί} 의 차이 를 사용함으로써 보정된 현단계 (시간 t)에서의 이동 로봇 장치 (10)의 추정 위치, 임의 형상 특징의 추정 위치를 포함하는 추정 백터를 도출할 수 았고, 이는 다음 시간에서의 위치 인식 단계에서의 추정값으로사용될 수 있다. 상기 실시예들은 본 발명을 설명하기 위한 일예들로， 본 발명이 이에 국한되 는 것은 아니다. 임의 형상 특징의 서술자가 부여되어 정확하고 우수한 고려한 위 치 인식 방법을 취하는 범위에서 다양한 변형이 가능하다.

【산업상 이용 가능성】

본 발명의 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법은 천장의 임 의 형상을 이용한 위치 인식을 이루는 가정용 로봇, 산업용 로봇 등실내 환경에서 가동하는 이동 로봇에 다양한 적용될 수 있다.

Claims

【청구의 범위】

【청구항 1】

영상 입력부와, 엔코더 감지부와， 연산부와， 제어부와, 저장부와, 구동부를 구비하는 천장 임의 형상 특성 활용 위치 인식 이동 로봇 장치를 제공하는 제공 단 계와，

상기 영상 입력부를 통하여 입력된 영상 정보에서 추출되는 윤곽선으로부터 임의 형상 특징을 포함하는 특징을 추출하는 특징 추출 단계와,

상기 추출된 특징을 사용하여 상기 이동 로봇 장치의 위치를 인식하는 위치 인식 단계를 포함하고，

상기 특징 추출 단계에서 상기 임의 형상 특징의 특성을 나타내는 서술자를 부여하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방 법.

【청구항 2]

제 1항에 있어서，

상기 특징 추출 단계는:

상기 영상 정보로부터 윤곽선을 검출하고 레이블링시켜 관심 영역 (region of interest ;R0I)를 추출하는 관심 영역 추출 단계와，

상기 관심 영역에 대하여 상기 관심 영역의 특성을 나타내는 서술자를 부여 하는 관심 영역 서술자 생성 단계와，

상기 관심 영역 서술자와 상기 저장부에 저장된 사전 설정 기준으로부터 상 기 관심 영역을 상기 위치 인식 단계에서 활용할 특징으로의 설정 여부를 확인하는 관심 영역 강인성 확인 단계를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 3]

제 2항에 있어서,

상기 관심 영역 추출 단계는:

상가영상 정보를 이진화하는 영상 이진화 단계와,

이진화된 상기 이진화 영상 정보로부터 윤곽선을 검출하는 윤곽선 검출 단계 와,

상기 윤곽선 검출 단계에서 검출된 윤곽선으로 연결된 영역을 그룹화하는 레 이블링 단계와,

상기 레이블링 단계에서 그룹화된 영역을 관심 영역으로 설정하는 관심 영역 설정 단계를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법.

【청구항 4】

제 3항에 있어서，

상기 레이블링 단계는 팽창 연산을 사용하고， 상기 팽창 연산에는 사전 설정 된 반경을 갖는 원형 원도우가 사용되는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 .

【청구항 5】

제 2항에 있어서，

상기 관심 영역 서술자 생성 단계는:

상기 관심 영역의 외곽 모서리를 관심 영역 노드로 설정하고， 상기 관심 영 역의 중심으로부터 상기 관심 영역 노드의 좌표를 확인하는 관심 영역 노드 분포 확인 단계와，

상기 관심 영역의 크기를 확인하는 관심 영역 크기 확인 단계와，

상기 관심 영역의 방위를 확인하는 관심 영역 방위 확인 단계를 포함하는 것 을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 6】

제 5항에 있어서,

상기 관심 영역 노드의 좌표는 극좌표인 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 7】

제 5항에 있어서，

상기 관심 영역 노드의 좌표는 직교좌표인 것을 특징으로 하는 천장 임의 형 상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 8】 ₍

제 2항에 있어서，

상기 관심 영역 강인성 확인 단계는:

상기 현재 영상 내 관심 영역 간의 유사성을 정의하는 유사도를 산출하는 관 심 영역 유사도 산출 단계와，

상기 현재 영상 내 관심 영역의 인접한 다른 관심 영역간의 유사도에 가중치 를 부여한 관심 영역 유일성을 산출하는 관심 영역 유일성 산출 단계와，

상기 관심 영역 유일성과， 사전 설정되어 상기 저장부에 저장된 사전 설정 유일성을 비교하여 특징으로서의 안정성을 구비하는지 여부를 판단하는 유일성 판 단 단계와，

상기 유일성 판단 단계의 결과에 따라 상기 관심 영역의 특징으로의 활용 여 부를 확정하는 관심 영역 강인성 확인 단계를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 9]

제 8항에 있어서，

상기 관심 영역 유사도 산출 단계는:

상기 현재 영상 내 관심 영역올 확인하는 관심 영역 확인 단계와， 상기 관심 영역으로부터 대상 관심 영역과 비교 관심 영역을 설정하는 관심 영역 설정 단계와，

상기 대상 관심 영역과 비교 관심 영역 간의 노드 분포 유사도를 산출하는 노드 분포 유사도 산출 단계와，

상기 대상 관심 영역과 비교 관심 영역 간의 크기 유사도를 산출하는 크기 유사도 산출 단계와，

상기 대상 관심 영역과 비교 관심 영역 간의 방위 유사도를 산출하는 방위 유사도 산출 단계와,

상기 노드 분포 유사도， 상기 크기 유사도 및 상기 방위 유사도로부터 관심 영역 유사도 (S)를 최종 산출하는 관심 영역 유사도 연산 단계와,

상기 현재 영상 내 관심 영역 중 상기 대상 관심 영역과 비교되지 않는 잔여 비교 관심 영역이 존재하는지 여부를 판단하는 비교 관심 영역 잔여 판단 단계과, 상기 비교 관심 영역 잔여 판단 단계에서 상기 잔여 비교 관심 영역이 존재 하지 않는다고 판단되는 경우， 상기 현재 영상 내 관심 영역 중 대상 관심 영역으 로 설정되지 않은 잔여 관심 영역이 존재하는지 여부를 판단하는 관심 영역 잔여 판단 단계를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위 치 인식 방법 .

【청구항 10】

제 9항에 있어서，

상기 노드 분포 유사도 산출 단계는:

상기 대상 관심 영역과 비교 관심 영역 간의 노드 분포 간의 거리를 연산하 는 노드 거리 연산 단계와，

상기 노드 거리를 상기 저장부에 사전 설정되어 저장된 유사 범위 거리를 비 교하여 상기 노드 거리가 상기 유사 범위 거리보다 작은 노드쌍의 개수 (N)를 확인 하고 상기 노드쌍의 좌표 정보를 저장하는 노드쌍 비교 확인 단계와， ^■ 상기 대상 관심 영역의 중점을 중심으로 사전 설정된 각도만큼 상기 대상 관 심 영역을 회전시키는 대상 관심 영역 회전 단계와，

상기 대상 관심 영역의 회전 각도가 360도에 도달하였는지 여부를 확인하는 대상 관심 영역 회전 완료 판단 단계와，

상기 관심 영역 회전 완료 판단 단계에서 상기 대상 관심 영역이 360도 회전 이 이루어졌다고 판단되는 경우， 상기 최소 노드 거리 및 노드쌍 개수를 사용하여 상기 대상 관심 영역과 상기 비교 관심 영역의 노드 분포 유사도를 연산하는 노드 분포 유사도 연산 단계를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 11】

제 1항에 있어서,

상기 위치 인식 단계는:

상기 영상 입력부로부터의 영상 정보에 기초하여 산출된 전단계에서의 상기 이동 로봇 장치의 추정 위치 및 임의 형상 특징의 추정 영상과 상기 엔코더 감지부 의 신호에 기초하여 현단계에서의 상기 이동 로봇 장치의 예측 위치 및 상기 예측 위치에서의 임의 형상 특징에 대한 예측 영상을 생성하는 예측 단계와,

상기 특징 추출단계에서 추출된 상기 임의 형상 특징과 상기 예측 영상 내 임의 형상 특징 사이에 정합이 이루어졌는지를 여부를 확인하여 정합 정보를 생성 하는 특징 정합 단계와,

상기 특징 정합 단계의 정합 정보에 따라 상기 이동 로봇 장치의 예측 위치 및 임의 형상 특징에 대한 예측값을 보정하는 추정 단계를 포함하는 천장 임의 형 상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 12]

제 11항에 있어서，

상기 특징 정합 단계에서 상기 예측 영상 내 임의 형상 특징 및 상기 영상 감지부로부터의 영상 정보로부터 추출된 상기 임의 형상 특징이 정합되지 않은 것 으로 판단되는 경우， 상기 영상 감지부로부터의 영상 정보 내 임의 형상 특징은 새 로운 특징으로 설정하여 저장되는 것을 특징으로 하는 천장 임의 형상 특성 활용 로봇 위치 인식 방법.

【청구항 13] 제 11항에 있어서，

상기 특징 정합 단계는:

상기 예측 영상 내 임의 형상 특징을 추출하는 예측 영상 특징 추출 단계와， 상기 예측 영상 내 임의 형상 특징에 대하여 상기 임의 형상 특징의 특성올 나타내는 서술자를 부여하는 예측 영상 특징 서술자 생성 단계와，

상기 특징 추출 단계에서 추출된 영상 정보 내 상기 임의 형상 특징과 상기 예측 영상 내 임의 형상 특징을 비교하는 예측 영상 특징 정합 단계를 포함하는 것 을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법.

【청구항 14】

제 13항에 있어서，

상기 예측 영상 특징 정합 단계는:

상기 영상 정보 내 추출된 상기 임의 형상 특징이 상기 예측 영상 내 임의 형상 특징의 불확실성 영역에 교차되는 예측 교차 개수를 확인하는 예측 교차 개수 확인 단계와，

상기 예측 교차 개수 확인 단계에서 예측 교차 개수가 1이상인지 여부를 판 단하는 예측 교차 개수 판단 단계와,

상기 예측 교차 개수 판단 단계에서 예측 교차 개수가 1이상인 경우, 상기 영상 정보 내 임의 형상 특징과 상기 예측 영상 내 임의 형상 특징 간의 유사성을 정의하는 예측 특징 유사도를 산출하는 예측 특징 유사도 산출 단계와

상기 예측 특징 유사도와, 사전 설정되어 상기 저장부에 저장된 사전 설정 특징 유사도를 비교하는 특징 유사도 비교 단계와，

상기 특징 유사도 비교 단계에서의 비교 결과에 따라 상기 영상 정보 내 임 의 형상 특징과 상기 예측 영상 내 임의 형상 특징의 정합 여부를 확인하는 특징 정합 확인 단계를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로 봇 위치 인식 방법.

【청구항 15]

제 14항에 있어서，

상기 예측 교차 개수 판단 단계에서 추정 교차 개수가 영인 경우， 제어 흐름 이 위치 복구 단계로 전환되고，

상기 위치 복구 단계는:

상기 영상 정보 내 상기 임의 형상 특징과 상기 저장부에 저장된 특징간의 서술자를 비교하여 정합되는 저장된 다론 특징을 확인하고, 정합된 다른 특징 주변 으로 상기 이동 로봇 장치의 후보지를 부여하는 복구 특징 정합 단계와， 상기 정합된 다른 특징에 대한 전역 좌표계 상에서의 2차원 좌표， 상기 후보 지 위에서의 상기 이동 로봇 장치의 위치， 및 상기 영상 정보 내 기준 좌표축으로 부터 상기 정합된 다른 특징까지의 각도를 사용하여 상기 이동 로봇 장치의 방위를 확인하는 이동 로봇 장치 방위 확인 단계와，

상기 정합된 다른 특징에 대한 위치 정보, 방위 정보 및 상기 이동 로봇 장 치의 방위 정보로부터 상기 후보지에 우선 순위를 부여하는 우선 후보지 선정 단계 를 포함하는 것을 특징으로 하는 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 .