KR100904805B1 - 상호작용 로봇 및 그 제어방법과, 그를 위한 컴퓨터 판독 가능 매체 - Google Patents

Abstract

상호작용 로봇은 시각적 감지 수단, 조작 수단 및 컴퓨팅 수단을 포함한다.

상기 컴퓨팅 수단은,

메모리에 저장되는 원시 객체들을 생성하기 위하여 시각적 감지 수단으로부터의 출력 신호들을 처리하고 - 상기 원시 객체들은 적어도 3d 위치 라벨에 의하여 상기 시각적 감지 수단의 입력 필드 내에서 관심 있는 블로브들을 나타냄 -,

상이한 행위 특정 제한들에 대하여 상기 원시 객체들의 평가에 기초하여 상기 객체의 카테고리에 관한 객체 가정들을 형성하고,

동작에 대한 타겟으로서 적어도 하나의 원시 객체 및 상기 가정들에 기초하여, 상기 시각적 감지 수단의 시각적 트랙킹 동작, 상기 로봇의 몸체의 동작 및/또는 상기 조작 수단의 동작 중 적어도 하나를 결정하도록

설계된다.

로봇, 시각적 감지 수단, 조작 수단, 컴퓨팅 수단, 원시 객체

Description

상호작용 로봇 및 그 제어방법과, 그를 위한 컴퓨터 판독 가능 매체{EVALUATING VISUAL PROTO-OBJECTS FOR ROBOT INTERACTION}

도 1은 본 발명에 따른 시스템의 통신 경로 및 작업의 분배의 개략도.

도 2는 스테레오 이미지 획득 시스템의 좌표들이 평행 배열된 축들로 변환되는 것을 도시하는 도면.

인간에 가까운 로봇들에 대한 연구는 점차로, 자율 의사결정(autonomous decision making) 및 복합적으로 코디네이트된 행위(complexed coordinated behaviour)를 포함하여 복합 환경들에서의 상호작용에 촛점을 맞추고 있다.

시각적 정보, 특히 스테레오 정보를 평가하는 로봇들은 로봇들의 행위를 제어하기 위한 환경에 대하여 그렇게 얻어진 정보를 이용하는 것으로 알려져 있다.

본 발명은 여러 가지의 간단한 또는 복잡한 동작들을 수행할 수 있도록 충분한 자유도(degrees-of-freedom)를 갖는 로봇들에 관한 것이다.

따라서, 본 발명은 로봇의 환경에 대한 시각적 정보에 기초하여 그 환경과 로봇의 상호작용을 향상시키는 기술을 제안한다.

본 목적은 독립 청구항들의 특징들에 의하여 달성된다. 종속항들은 본 발명의 중심 사상을 더 전개한다.

본 발명은 예를 들면, 간단한 의사결정 및 코디네이트된 전체 몸체 동작을 이용하여 시각적 인식에 의하여 구동된 환경과 상호작용할 수 있는 로봇으로 구현될 수 있다.

본 발명에 의하여 제안된 한 양상은 보다 장기의(long term) 타겟들을 처리하도록 용이하게 확장 가능한 아키텍쳐의 기본 구성요소들을 구현하기 위하여, 예를 들면, 임의의 신장된 채색된 객체(elongated coloured object)와 같은 시각적 타겟 객체들의 정의를 이용하는 시스템을 구축하는 것이다.

본 발명의 실시예들의 양상들은 다음과 같다.

● 예를 들면 원시 객체들(proto-objects)을 3d로 시각적 트랙킹하기 위해, 또는 내밀기(reaching) 및 붙잡기(grasping)를 위하여 필요한 경우 안정한 객체 가정들을 형성하기 위해 원시 객체들이 미가공 형태로 이용될 수 있도록, 단기 감지 메모리에 원시 객체들로서 인식 정보를 저장.

● 감지 정보 및 내부 예측에 기초하여 행위 및 동작 대안들을 평가하는 결정 메커니즘들.

● 광범위한 가능한 타겟 기술들(target descriptions)에 의하여 구동될 수 있고 영공간 기준(null space criteria)으로서 비용 함수 세트를 이용하여 부드럽게 잘 코디네이트된 전체 몸체 동작들을 확실하게 하는 동작 제어 시스템.

인식 시스템은 컬러 및 스테레오 기반 3d 정보를 이용하여 관련된 시각적 자극을 검출하고 이 정보를 단기 감지 메모리에 원시 객체들로서 유지한다.

이 감지 메모리는 그 후 시각적 트랙킹을 위한 타겟들을 도출하고 내밀기 동작들을 위한 동작 타겟들이 도출될 수 있는 안정한 객체 가정들을 형성하는데 이용된다. 예측 기반 결정 시스템은 최적의 동작 전략을 선택하고 그것을 실시간 실행한다. 실행된 동작들뿐만 아니라 내부 예측은 영공간의 비용 함수 이외에 태스크 공간의 플렉시블 타겟 기술(flexible target description)을 이용하여 양호하게 코디네이트되고 부드러운 전체 몸체 동작을 달성하는 통합된 제어 시스템을 이용한다.

발명의 개요

본 발명의 일 양상은 시각적 감지 수단, 조작 수단 및 컴퓨팅 수단을 포함하는 상호작용 로봇에 관한 것이다. 컴퓨팅 수단은,

- 메모리에 저장되어 있고, 적어도 3d 위치 라벨에 의하여 시각적 감지 수단의 입력 필드 내에서 관심 있는 블로브들(blobs)을 나타내는 원시 객체들을 생성하기 위하여 시각적 감지 수단으로부터의 출력 신호들을 처리하고,

- 상이한 행위 특정 제한들에 대한 원시 객체들의 평가에 기초하여 객체의 카테고리에 대한 객체 가정들을 형성하며,

- 동작을 위한 타겟으로서 적어도 하나의 원시 객체 및 상기 가정들에 기초하여, 시각적 감지 수단의 시각적 트랙킹 동작, 로봇의 몸체의 동작 및/또는 조작 수단의 동작 중 적어도 하나를 결정하도록 설계된다.

블로브들은 또한 크기, 방향(orientation), 감지의 시간 및 정확도 라벨 중 적어도 하나에 의하여 표시될 수 있다.

조작 수단의 동작은 붙잡기(grasping) 동작 및 찍기(poking) 동작 중 적어도 하나를 포함할 수 있다.

컴퓨팅 수단은 최근에(in the recent past) 생성된 원시 객체들만을 고려하도록 설계될 수 있다.

원시 객체들에 대한 적어도 하나의 평가 기준은 그들의 신장(elongation)일 수 있다.

원시 객체들에 대한 적어도 하나의 평가 기준은 행위 특정 기준점(behavior-specific reference point)에 대한 그들의 간격일 수 있다.

원시 객체들에 대한 적어도 하나의 평가 기준은 시간에 따른 그들의 안정도이다.

본 발명의 다른 양상은 시각적 감지 수단, 붙잡기(grasping) 수단 및 컴퓨팅 수단을 포함하는 상호작용 로봇을 제어하는 방법에 관한 것이다. 상기 방법은,

원시 객체들을 생성하기 위하여 시각적 감지 수단으로부터의 출력 신호들을 처리하는 단계 - 상기 원시 객체들은 적어도 3d 위치 라벨에 의하여 시각적 감지 수단의 입력 필드 내에서 관심 있는 블로브들을 나타냄 -,

원시 객체들을 평가함으로써 객체의 카테고리에 대한 가정들을 형성하는 단계,

동작에 대한 타겟으로서 적어도 하나의 원시 객체 및 상기 가정들에 기초하 여, 시각적 감지 수단의 시각적 트랙킹 동작, 로봇의 몸체의 동작 및/또는 조작 수단의 동작 중 적어도 하나를 결정하는 단계

를 포함한다.

본 발명의 추가적인 목적들, 특징들 및 장점들은 첨부도면과 함께 본 발명의 비제한적인 실시예의 이하의 상세한 설명으로부터 자명해질 것이다.

일반적으로 본 발명은 보다 장기의 타겟들을 처리하도록 용이하게 확장 가능한 아키텍쳐의 기본 구성요소들을 구현하기 위하여, 시각적 타겟 객체들, 예를 들면, 임의의 신장된 채색된 객체의 정의를 이용하는 시스템을 만드는 것을 제안한다.

도 1에 도시된 본 발명의 일 실시예의 구성요소들은 다음과 같다:

● 예를 들면 원시 객체들을 3d로 시각적 트랙킹하기 위해, 또는 내밀기(reaching) 및 붙잡기(grasping)를 위하여 필요한 경우 안정한 객체 가정들을 형성하기 위해 원시 객체들이 미가공 형태로 이용될 수 있도록, 단기 감지 메모리에 원시 객체들로서 인식 정보를 저장.

● 감지 정보 및 내부 예측에 기초하여 행위 및 동작 대안들을 평가하는 결정 메커니즘들.

● 광범위한 가능한 타겟 기술들(target descriptions)에 의하여 구동될 수 있고 영공간 기준(null space criteria)으로서 비용 함수 세트를 이용하여 부드럽게 잘 코디네이트된 전체 몸체 동작들을 확실하게 하는 동작 제어 시스템.

인식 시스템은 컬러 및 스테레오 기반 3d 정보를 이용하여 관련된 시각적 자 극을 검출하고 이 정보를 단기 감지 메모리에 원시 객체들로서 유지한다.

이 감지 메모리는 그 후 시각적 트랙킹을 위한 타겟들을 도출하고 내밀기 동작들을 위한 동작 타겟들이 도출될 수 있는 안정한 객체 가정들을 형성하는데 이용된다. 예측 기반 결정 시스템은 최적의 동작 전략을 선택하고 그것을 실시간 실행한다. 실행된 동작들 뿐만 아니라 내부 예측은 영공간의 비용 함수 이외에 태스크 공간의 플렉시블 타겟 기술을 이용하여 양호하게 코디네이트되고 부드러운 전체 몸체 동작을 달성하는 통합된 제어 시스템을 이용한다.

A. 시스템 개요

도 1은 상호작용 자율 로봇을 제어하도록 설계된 컴퓨팅 유닛의 통신 경로 및 처리의 분배를 도시한다.

스테레오 컬러 이미지들(도 2 참조)은 이미지 획득 유닛에 의하여 연속 획득되고 그 후 두 개의 평행 통로들(pathways)에서 처리된다. 제1 통로는 관심 있는 영역들(이하 "블로브들(blobs)"로 호칭함)을 추출하도록 설계된 컬러 구분 유닛이다.

도 2는 좌측 카메라(인덱스 "1") 및 우측 카메라(인덱스 "r")로부터의 초기의 비정렬된 좌표들을 평행 방식으로 정렬하기 위하여 그들이 어떻게 변환되는지를 도시한다.

제2 통로는 3d 정보 추출 유닛을 포함하며, 이것은 또한 스테레오 계산 블럭으로 호칭될 수 있고, 각각의 픽셀에 대하여 이미지 획득 유닛으로의 시각적 간격을 계산한다.

두 통로들의 결과들이 재결합되어 단기 감지 메모리에 시간에 따라 안정화되어 있는 3d 블로브 형태의 원시 객체들을 형성한다.

정의된 기준을 이용하여, 감지 메모리에 저장된 현재 원시 객체들을 평가함으로써 객체 가정들이 생성된다. 이 가정들은 그 후 타겟들로서 상이한 행위들에 의하여 이용될 수 있다. 행위들은 예를 들면, 다음 중 하나 이상이다:

- 헤드의 검색 또는 트랙킹 행위

- 로봇의 다리들의 워킹 또는 휴식 행위

- 로봇의 팔의 내밀기, 붙잡기 또는 찍기 행위.

헤드 타겟들, 즉 헤드의 검색 또는 트랙킹 행위를 위한 타겟들은 피트니스 함수(fitness function)를 이용하여 선택된다. 피트니스 함수는 정의된 로봇 관련 객체들 및 멀티플 객체들의 관점에서 상이한 행위들의 "피트니스"를 평가한다. 피트니스 함수를 적용함으로써 대응하는 스칼라 피트니스 값이 발생된다.

팔 및 몸체 타겟들은 가장 적합한 내부 예측을 선택함으로써 생성될 수 있다.

시야 방향, 손의 위치와 방위 및 다리 동작을 제어하기 위한 타겟들은 모터 커맨드들을 발생시키는 전체 몸체 동작 시스템에 공급된다.

전체 몸체 동작 시스템은 운동학(kinematics)에 기초한 충돌 검출 시스템에 의한 지원을 받아 로봇이 손상되는 것을 방지할 수 있다.

시각적 타겟들을 행위에 통합하기 위하여, 시각적 데이터 및 로봇 자세들은 시간 라벨된다. 주어진 시간에 대하여 로봇 자세에 액세스하는 메커니즘들이 제공 된다. 이것은 또한 이미지 획득과 동작 서브 시스템들 사이의 시간 동기화를 요구한다.

시스템의 수 개의 구성요소들이 이하에 더욱 상세히 기술될 것이다.

비전 및 제어 처리는 실시간 환경에서 데이터 구동 방식으로 상호작용하는 수 개의 보다 작은 모듈들로 나누어진다.

B. 비전

개요

처리의 체인은 새로 획득된 컬러 스테레오 이미지들로 개시한다. 이 이미지들은 컬러 및 그레이 스케일 이미지들을 이용하는 두 개의 독립한 평행 통로들로 공급된다. 컬러 처리는 다시 컴팩트 영역들로 구분되는 컬러 유사성의 픽셀 방식 마스크를 구성하는 컬러 이미지의 컬러 구분으로 구성된다. 3D 정보를 추출하기 위하여 좌측과 우측 이미지들 간의 이미지 불일치들을 계산하는데 그레이 스케일 이미지들이 이용될 수 있다.

획득된 비전 데이터로부터 3차원 "원시 객체"를 구성하기 위하여, 각각의 컬러 세그먼트는, 예를 들면 기본 방위(principal orientation) 및 개별 크기들을 평가하는 픽셀 위치들의 2차원 PCA(Principal Component Analysis)를 이용하여 블로브(예를 들면, 방향이 정해진 타원(oriented ellipse))로 변환된다. 스테레오 계산들로부터의 불일치들의 중앙값을 이용하여, 이 블로브는 3d 표현으로 변환된다. 너무 작거나 주어진 범위 밖의 깊이를 가지는 블로브들은 무시된다.

이 3d 블로브가 시간적 및 공간적으로 안정화되기 위하여, 월드 좌표 들(world coordinates)로 변환되는데, 그것은 획득의 시간 이후 로봇이 이동했을 가능성이 있기 때문이다. 이미지 획득시에 로봇의 자세에 액세스하기 위하여, 시스템은 최신의 자세들로 계속 업데이트되는 링 버퍼로서 조직된 자세 버퍼 및 비전 데이터의 시간 스탬프를 이용한다.

월드 좌표들 내의 3d 블로브들은 물리 객체들일 수 있는 것에 대한 예비적인 대략적 표현이기 때문에, 원시-객체들로 호칭된다. 시간상의 안정화를 위하여, 감지 메모리는 원시 객체 측정들의 현재 리스트를 새로운 시간 스텝에 대한 기존의 원시 객체들의 예측과 비교한다. 블로브 위치, 크기, 및 방위의 메트릭(metric)을 이용하여, 감지 메모리는 기존의 원시 객체들을 업데이트하거나, 새로운 원시 객체들을 예시하거나, 또는 소정의 시간 이후 확인되지 않은 원시 객체들을 삭제한다. 후자는 폐색된(occluded) 객체들뿐 아니라 분리물들(outliers)이 메모리에 너무 오래 잔류하지 않는 것을 확실히 한다.

블로브들에 기초한 원시 객체 들의 생성의 상세한 설명

시각적 원시 객체 데이터로부터 객체 가정들의 생성에 대한 상세한 설명이 이하에 주어질 것이다.

전술된 바와 같은 원시 객체는 불명확한 상태로 유지될 수 있고 복수의 평가 방법들을 가능하게 한다. 그러나, 각각의 객체 가정은 이 데이터의 평가의 단지 하나의 특정한 방법에 기초한다. 상상할 수 있는 로봇 상호작용 응용에서 본 발명에 따른 시스템은 예를 들면, 하나의 특정한 신장된 객체에 대하여 붙잡기 동안 헤드 동작에 의하여 임의의 유형의 구분 가능한 객체 또는 영역을 추적하기 위하여, 동시에 다양한 평가 방법들에 관하여 시각적 원시 객체 데이터를 평가한다.

획득의 시간으로 라벨된 컬러 이미지들의 쌍들을 이용하는 것이 제안된다. 이 이미지들은, 이미 전술되고 도 1에 도시된 바와 같이, 두개의 평행한 경로들에서 처리된다:

1. 스테레오 불일치 계산:

컬러 이미지 쌍들로부터 강도(intensity) 이미지 쌍들이 생성된다. 이미지들은 수정, 즉 변형되며 결과는 예를 들면 동일선상 이미지 로우들(collinear image rows)을 갖는 두 개의 핀홀 카메라들로 캡쳐된 이미지들에 대응한다(도 2 참조). 두 이미지들 내의 대응하는 특징들 간의 수평 방향 불일치들은, 그 특징들이 충분히 중요하다면, 계산된다.

2. 컬러 구분(colour segmentation):

상기 쌍들 중 하나의 컬러는 상기와 같이 수정되고 예를 들면 HLS(Hue, Luminance, Saturation) 컬러 공간으로 변환된다. 모든 픽셀들은 HLS 공간의 특정 볼륨내에 있는지 여부에 대하여 평가되며 그 결과는 픽셀의 한 클래스의 작은 영역들을 제거하는 형태학적 연산들(morphological operations)을 거친다. HLS 볼륨 내에 있는 결과 픽셀들은 이미지면 내에서 연속적인 영역들로 그룹화된다. 추가적인 처리를 위하여 최소 크기를 초과하는 최대의 결과적인 그룹들이 선택된다.

컬러 구분으로부터의 그룹들의 각각에 대하여 이미지면 내의 영역의 중심 X_p, Y_p 및 모든 그 픽셀들의 불일치들 d의 중앙값이 계산된다. 또한 그룹 영역이 이미지 경계들을 터치하는지 여부가 검출되며, 만일 그렇다면 그 영역에 대응하는 현실 객체의 부분들은 아마도 관찰하는 필드의 외부에 있기 때문에 데이터는 부정확한 것으로 라벨된다.

픽셀 위치들의 상관 매트릭스(correlation matrix)의 PCA(principal component analysis)를 이용하여 각각의 그룹에 대하여 이미지면 내의 픽셀들의 표준 편차들 σ_p1 σ_p2 및 기본 축 ω의 방위가 계산된다.

카메라 시스템의 기하학적 구조를 이용하여 좌표들 (x_p, y_p, d) 및 σ_p1 및 σ_p2 는 메트릭 좌표들 (x_c, y_c, z_c) 및 메트릭 표준 편차들 σ_c1 및 σ_c2 로 변환된다.

이미지들의 시간 라벨을 이용하여 이미지 캡쳐시 로봇 자세 및 위치가 도출되어 위치를 월드 좌표들

로 변환하고 기본축 방위 ω를 월드 좌표 내의 방위 벡터

로 변환하는데 이용된다.

따라서 블로브는 전술된 바와 같이 시간 라벨, 위치

, 방위

, 표준 편차들 σ_c1 및 σ_c2, 및 데이터의 정확 여부를 나타내는 라벨을 포함하는 데이터의 세트로서 정의될 수 있다.

감지 메모리 내의 원시 객체 들의 저장:

인커밍 블로브 데이터를 취하고 그것을 감지 메모리의 내용들과 비교함으로써 블로브 데이터로부터 원시 객체들이 도출된다.

메모리가 빈 상태라면 새로운 원시 객체에 고유 식별자를 할당하고 인커밍 블로브 데이터를 그 안에 삽입함으로써 블로브 데이터로부터 원시 객체가 생성된다.

감지 메모리가 이미 하나 이상의 원시 객체들을 포함한다면 블로브 데이터로서 각각의 원시 객체에 대한 예측이 생성된다. 이 예측된 블로브 데이터는 원시 객체에 포함되어 있는 모든 블로브 데이터에 기초하며 현재 시간에 대하여 생성된다.

각각의 인커밍 블로브는 기존의 원시 객체 또는 인커밍 블로브와 예측된 블로브 사이의 최소 간격에 기초하여 새로 생성된 객체에 삽입되어 모든 인커밍 블로브들이 고유 식별자들에 할당된다.

간격 계산을 위한 메트릭은 유클리드 간격(Euclidean distance) 및 상대적 회전각 양자에 기초한다.

삽입된 블로브 데이터도 수정되어 새로운 블로브의 방위 간격은 항상 90도 이하이다. 이것은 180도 플립들에 관하여 블로브 방위 기술(blob orientation description)이 모호하기(ambiguous) 때문에 가능하다.

처리에 의하여 새로운 인커밍 블로브 데이터가 생성될 때마다, 그 시간 라벨은 모든 원시 객체들 내의 블로브 데이터의 시간 라벨들과 비교되고 소정 임계치보다 더 오래된 모든 블로브 데이터는 삭제된다. 이것은 이미지 처리가 이미지 쌍들 내에서 어떠한 블로브들도 발견하지 않은 경우에도 수행된다. 원시 객체가 어떠한 블로브 데이터도 포함하지 않으면 역시 감지 메모리로부터 삭제된다.

상기 비교를 위하여 필요한 바와 같은 예측은 위치

, 방위

, 및 표준 편차들 σ_c1 σ_c2 에 대한 원시 객체 내의 블로브 데이터로부터 로우 패스 필터에 의해 도출된다.

C. 행위 선택

객체 가정들은 특정 기준에 대하여 감지 메모리 내에 저장된 원시 객체들을 평가함으로써 생성된다. 예를 들면, 객체 가정들에 대한 평가 기준으로 원시 객체들의 신장이 선택될 수 있는 것으로서, 즉 타원체들의 반지름들에 기초하여, 신장된 원시 객체들이 행위 타겟들로서 평가되는 한편, 보다 구형의 원시 객체들은 무시된다. 이 신장된 객체 가정들의 존재는 행위 선택 메커니즘들 내의 주요 기준이다.

예를 들면, 다음의 두 선택 메커니즘들이 이용되어 두 개의 주 행위 그룹들을 제어할 수 있다:

- 검색 및 트랙 행위들은, 예를 들면, 1999년 뉴럴 네트웍스, T. Bergener, C. Bruckhoff, P. Dahm, H. Janssen, F. Joublin, R. Menzner, A. Steinhage, 및 W. von Seelen의 "Complex behaviour by means of dynamical systems for an anthropomorphic robot"에 기재된 바와 같은 피트니스 함수에 기초하여 선택될 수 있다.

감지 메모리의 출력은 예를 들면 두 개의 상이한 헤드 행위들을 구동하는데 사용될 수 있다:

1) 객체들 검색 및

2) 객체들 또는 블로브들 응시 또는 트랙킹.

이 행위들과 별도로 항상 어느 행위가 활성되어야 하는지를 결정하는 결정예(decision instance) 또는 "조정자(arbiter)"가 제공된다. 조정자의 결정은 오직, 행위들의 자극으로부터 공급되는 스칼라 값에 기초하며, 이 스칼라 값은 "피트니스 값"이다. 이 피트니스 값은 항상 행위가 얼마나 잘 수행될 수 있는 지를 나타낸다. 이 구체적인 경우에 트랙킹은 응시 방향을 가리키는 적어도 하나의 부정확한 블로브 위치를 필요로 하지만, 물론 전체 객체 가정(full object hypothesis)을 이용할 수도 있다. 따라서, 트랙킹 행위는 어떠한 블로브 또는 객체라도 존재하면 1의 피트니스를 출력할 것이고 다른 경우라면 0의 피트니스를 출력할 것이다. 검색 행위는 필요조건들을 전혀 갖지 않으므로 그 피트니스는 1에 고정된다. 이 매우 간단한 행위 셋업의 경우, 조정(arbitration)은 물론 사소한 것이다. 그러나, 본 발명은 확장성을 위하여 99년 Bergener 등(상기 참조)에 기술된 것과 유사한 경쟁 역학 시스템(competitive dynamic system)을 이용하는 것을 제안한다. 따라서 조정자는 각각의 행위에 대한 활성 값을 계산하는 경쟁 역학에 대한 입력으로서, 모든 행위들의 자극으로부터 발생하는 스칼라 피트니스 값들로부터 만들어진 벡터를 이용한다. 경쟁 역학은 지시된 금지(inhibition) - 행위 A는 행위 B를 금지하지만 그 반대는 아님 - 를 인코드하여 행위 우선화 및 심지어 행위 주기들을 특정하는데 이용될 수 있는 사전 특정된 금지 매트릭스를 이용한다. 이 경우 트랙킹은 그렇게 지시된 금지에 의하여 검색으로 우선화될 수 있다.

검색 행위는 간단한 이완 역학(relaxation dynamics)을 갖는 리턴 맵의 과도한 저해상(5 by 7) 금지를 이용하여 실현된다. 검색 행위가 활성으로 되고 새로운 비전 데이터가 이용 가능하게 되면 맵에서의 현재 응시 방향의 값을 증가시키고 새로운 응시 타겟으로서 맵 내의 최저 값을 선택할 것이다. 또한 전체 맵은 0으로의 이완 및 적은 부가적인 노이즈를 겪는다.

이것은 즉시 모든 시각적 정보를 고려하는 고정들의 랜덤 시퀀스(random sequence of fixations)을 갖는 시각적 검색 패턴을 발생시키고 관련 객체들의 효율적이고 빠른 검색을 발생시킨다. 리턴 맵의 금지의 크기는 팬/틸트 동작 범위(pan/tilt movement range)에 대한 카메라의 관찰의 필드(field of view)로부터 도출된다. 보다 높은 해상도가 검색을 크게 변경시키지는 않을 것이다. 이완 시상수(relaxation time constant)가 제2 범위 내에 설정되어, 금지 맵을 효과적으로 무효화시킬 로봇의 동작은 문제가 되지 않는다.

트랙킹 행위는 3차원 포인트들의 멀티 트랙킹으로서 구현될 수 있다. 상기 행위는 모든 관련 원시 객체들과 객체 가정들을 고려하여 그들을 관찰의 필드 중심에 있도록 하기 위한 팬/틸트 각도들을 계산한다. 그 후 팬/틸트 좌표들 내의 사다리꼴 형상(trapezoidal shape)을 갖는 비용 함수가 이용되어 카메라들의 유효 관찰 필드 내에 최대 수의 객체들을 유지할 팬/틸트 각도를 검색하고 이것은 팬/틸트 커맨드로서 보내진다. 트랙킹 행위는 항상 감지 메모리의 안정화된 출력을 이용하므로 로봇은 블로브가 잠시 사라진 경우에도 특정한 위치를 여전히 응시할 것이다. 이것은 전체 시스템의 성능을 크게 향상시킨다.

내부 예측들에 기초한 하드 코드된 기준들을 이용하는 다른 행위들이 다음 섹션에서 논의될 것이다.

이 선택 메커니즘들을 이용하여, 시스템은 신장된 객체들을 검색하거나 그들 중 하나 이상을 트랙킹할 수 있다. 동시에, 로봇은 손바닥이 객체의 기본 축에 정렬된 상태로 가장 적절한 팔을 이용하여 신장된 객체에 도달할 수 있으며, 만일 객체가 너무 가까이 있거나 너무 멀리 있다면, 또한 적절한 워킹 동작을 선택할 것이다. 이용 가능한 타겟이 없다면, 로봇은 워킹을 중단하고 그 팔들을 휴식 위치로 이동시킬 것이다.

평가들은 또한 모든 원시 객체들의 블로브 데이터 예측들에 기초된다. 이 예측의 라벨은 원시 객체 내의 최근 블로브 데이터가 예측 시간보다 더 오래된 것이라면 "기억된(memorised)"으로 설정된다. 다른 경우에는, 원시 객체 내의 최근 블로브 데이터의 라벨로 설정된다.

고정 및 트랙킹의 행위에 대하여 이미 충분한 최소 기준은 부정확한 것으로 라벨된 블로브이다. 부정확한 것으로 라벨된 어떠한 블로브도 접근 행위를 위하여 이용될 수 있다. 만일 안정한 값들 σ_c1 과 σ_c2 및 불충분한 비전 데이터에 의존하는 것을 피하기 위한 최대 간격과 같은 보다 엄격한 기준을 고려한다면 안정한 객체 가정들을 추출한다. "풍선 찍기(poke balloon)"와 같은 조작 행위들을 실행하기 위하여 대략적인 구형 형상 ((σ_c1 - σ_c2 )/σ_c1 < 임계치) 및 행위의 가장 용이한 실행(예를 들면, 몸체의 정면에서의 찍기(poking)를 위한 행위 특정 기준 점으로의 최소 간격)과 같은 부가적인 제한들이 안정한 객체 가정들에 붙여질 수 있다. "객체 감싸 잡기(power grasp object)"와 같은 행위는 붙잡기 안정성을 위한 최소 신장 ((σ_c1 - σ_c2 )/σ_c1 > 임계치) 및 적절한 직경 (임계치 < σ_c2 < 임계치)을 필요로 할 것이다.

E. 전체 몸체 동작 및 예측

헤드, 팔, 및 다리에 대한 타겟들을 이용하여, 시스템은, 2005년 휴머노이드의, M. Gienger, H. Janssen, 및 C. Goerick, "Task oriented whole body motion for humanoid robots"에 그 기초가 기술되어 있는 전체 몸체 제어기에 의해 모터 커맨드들을 생성할 수 있다.

전체 몸체 동작의 원리는 태스크 공간의 플렉시블 기술(flexible description)을 이용하고 영공간을 이용하여 질량 중심 이동 보상 및 조인트 한계의 회피와 같은 몇 가지 최적화 기준을 충족하는 것이다.

전체 몸체 동작에 대한 계산 비용들이 충분히 낮으므로, 로봇 동작을 직접 발생시키는데 이용될 수 있을 뿐만 아니라 그 신속한 수렴(convergence)으로 인하여 실시간보다 더 빠른 시간 스케일로 상이한 행위들을 시뮬레이션할 수 있다.

이로 인하여, 워킹 및 팔 동작들의 행위 선택을 지원하는데 이용된다. 4개의 내부 시뮬레이션들은 스탠딩 또는 워킹 중 좌측 팔 또는 우측팔 양자를 이용하여 연속적으로 현재의 자세로부터 타겟 객체에 도달하려고 시도한다. 그 후 메트릭이 이용되어 실시간으로 실행되는 최적의 행위를 선택한다.

F. 충돌 검출

동작중 로봇의 안전을 확보하기 위하여, 실시간 충돌 검출 알고리즘이 이용된다. 충돌 검출은 로봇의 세그먼트들(팔다리들 및 몸체 부분들) 사이의 간격을 계산하기 위하여 운동학적 정보와 함께 이용되는 구형들(spheres) 및 구형 스위프된(sphere-swept) 라인들에 관한 로봇 몸체의 내부 계층 기술(internal hierarchical description)을 이용한다. 이 간격들 중 어느 것이라도 임계치보다 작으면 고레벨 동작 제어는 디스에이블되어, 양발 워킹(bipedal walking)의 역학적 안정화만이 여전히 활성 상태일 것이다.

충돌 검출은 최후 안전 조치로서 기능하며 로봇의 정상 동작중에는 트리거되지 않는다.

또한, 간단한 충돌 회피는 모든 동작 타겟들의 위치를 제한하므로, 예를 들면, 몸체 내부 또는 몸체에 매우 가까운 손목 타겟 위치들은 결코 생성되지 않는다.

V. 요약

인간에 가까운 로봇이 다리와 팔 모두를 이용하여 그 시각적 환경과 상호작용할 수 있는 시스템의 설계 및 구현이 도입된다.

상호작용을 위한 타겟들은 시각적으로 추출된 원시 객체들에 기초한다. 제어 시스템은 로봇이 그 상호작용의 범위를 증가시키고, 동시에 복수의 타겟들을 달성하며, 원하지 않는 자세들을 회피하는 것을 허용한다. 임의의 시간 및 자세에서 상이한 종류의 행위들 사이에서 전환하기 위하여 수 개의 상이한 선택 메커니즘들 이 이용된다.

본 발명에 따르면 로봇의 환경에 대한 시각적 정보에 기초하여 그 환경과 로봇의 상호작용을 향상시킬 수 있다.

Claims (16)

1. 시각적 감지 수단, 조작 수단 및 컴퓨팅 수단을 포함하는 상호작용 로봇으로서, 상기 시각적 감지 수단은 상기 컴퓨팅 수단에 신호들을 출력하도록 구성되어 있고, 상기 컴퓨팅 수단은,

   메모리에 저장되는 원시 객체들(proto-objects)을 생성하기 위하여 상기 시각적 감지 수단으로부터의 상기 출력 신호들을 처리하고 - 상기 원시 객체들은 적어도 3d 위치 라벨에 의하여 상기 시각적 감지 수단의 입력 필드 내에서 관심 있는 블로브들(blobs)을 나타냄 -,

   상이한 행위 특정 제한들에 대하여 상기 원시 객체들의 평가에 기초하여 객체의 카테고리에 관한 객체 가정들을 형성하고,

   동작을 위한 타겟으로서 적어도 하나의 원시 객체 및 상기 객체 가정들에 기초하여, 상기 시각적 감지 수단의 시각적 트랙킹 동작, 상기 로봇의 몸체의 동작 및/또는 상기 조작 수단의 동작 중 적어도 하나를 결정하도록

   설계되는 상호작용 로봇.
2. 제1항에 있어서,

   상기 블로브들은 또한 크기, 방위, 감지의 시간 및 정확도 라벨 중 적어도 하나에 의하여 표현되는 상호작용 로봇.
3. 제1항 또는 제2항에 있어서,

   상기 조작 수단의 동작은 붙잡기(grasping) 및 찍기(poking) 동작 중 적어도 하나를 포함하는 상호작용 로봇.
4. 제1항 또는 제2항에 있어서, 상기 컴퓨팅 수단은 최근에(in the recent past) 생성된 원시 객체들만 고려하도록 설계되는 상호작용 로봇.
5. 제1항 또는 제2항에 있어서, 상기 원시 객체들에 대한 적어도 하나의 평가 기준은 그들의 신장(elongation)인 상호작용 로봇.
6. 제1항 또는 제2항에 있어서, 상기 원시 객체들에 대한 적어도 하나의 평가 기준은 행위 특정 기준점에 대한 그들의 간격인 상호작용 로봇.
7. 제1항 또는 제2항에 있어서, 상기 원시 객체들에 대한 적어도 하나의 평가 기준은 시간에 따른 그들의 안정도인 상호작용 로봇.
8. 시각적 감지 수단, 조작 수단 및 컴퓨팅 수단을 포함하는 상호작용 로봇을 제어하는 방법으로서,

   원시-객체들을 생성하기 위하여 상기 시각적 감지 수단으로부터의 출력 신호들을 처리하는 단계 - 상기 원시 객체들은 적어도 3d 위치 라벨에 의하여 상기 시각적 감지 수단의 입력 필드 내에서 관심 있는 블로브들을 나타냄 -,

   상기 원시 객체들을 평가함으로써 객체의 카테고리에 대한 가정들을 형성하는 단계,

   동작에 대한 타겟으로서 적어도 하나의 원시 객체 및 가정들에 기초하여, 상기 시각적 감지 수단의 시각적 트랙킹 동작, 상기 로봇의 몸체의 동작 및/또는 상기 조작 수단의 동작 중 적어도 하나를 결정하는 단계

   를 포함하는 상호작용 로봇 제어 방법.
9. 제8항에 있어서,

   정해진 시간 주기의 경과후 또는 상기 로봇의 몸체의 동작이 정해진 임계치에 도달한 경우 원시 객체들을 폐기하는 단계를 포함하는 방법.
10. 제8항 또는 제9항에 있어서,

    상기 블로브들은 또한 크기, 방위, 감지의 시간 및 정확도 라벨 중 적어도 하나에 의하여 표현되는 방법.
11. 제8항 또는 제9항에 있어서, 상기 조작 수단의 동작은 붙잡기 및 찍기 동작 중 적어도 하나를 포함하는 방법.
12. 제8항 또는 제9항에 있어서,

    상기 컴퓨팅 수단은 최근에 생성된 원시 객체들만 고려하도록 설계되는 방법.
13. 제8항 또는 제9항에 있어서,

    상기 원시 객체들에 대한 적어도 하나의 평가 기준은 그들의 신장인 방법.
14. 제8항 또는 제9항에 있어서,

    상기 원시 객체들에 대한 적어도 하나의 평가 기준은 행위 특정 기준점에 대한 그들의 간격인 방법.
15. 제8항 또는 제9항에 있어서,

    상기 원시 객체들에 대한 적어도 하나의 평가 기준은 시간에 따른 그들의 안정도인 방법.
16. 상호작용 로봇의 컴퓨팅 장치에서 실행되는 경우 제8항 또는 제9항의 방법을 지원하는 컴퓨터 소프트웨어 프로그램 제품을 저장하는 컴퓨터 판독 가능 기록매체.

Images