KR101860200B1

KR101860200B1 - 카메라를 이용한 장치 또는 물체의 선택

Info

Publication number: KR101860200B1
Application number: KR1020160061560A
Authority: KR
Inventors: 게르하르트 히트만
Original assignee: 쿠카 도이칠란트 게엠베하
Priority date: 2015-05-29
Filing date: 2016-05-19
Publication date: 2018-05-23
Also published as: KR20160140400A; CN106182042B; EP3098034B1; DE102015209899B4; US20160346936A1; US10095216B2; DE102015209899A1; EP3098034A1; CN106182042A

Abstract

본 발명은 휴대용 단말기를 이용하여 매니퓰레이터 시스템을 액추에이팅하기 위한 방법, 상응하는 휴대용 단말기, 및 로봇 시스템에 관한 것이다. 상기 휴대용 단말기는 바람직하게는 3D 카메라를 포함하고, 상기 3D 카메라는 그 밖에 바람직하게는 플렌옵틱 카메라이다. 이때, 본 발명에 따른 방법은 무엇보다도 상기 액추에이팅되어야 하는 매니퓰레이터 시스템의 적어도 하나의 부분에 대하여 상기 휴대용 단말기의 상기 3D 카메라를 이용한 3차원적 이미지의 캡처, 및 상기 매니퓰레이터 시스템의 적어도 하나의 액추에이팅 가능한 물체의 확인을 포함한다.

Description

카메라를 이용한 장치 또는 물체의 선택 {SELECTION OF A DEVICE OR AN OBJECT BY MEANS OF A CAMERA}

본 발명은 휴대용 단말기를 이용하여 매니퓰레이터 시스템 (manipulator system) 을 선택하기 위한 그리고 액추에이팅하기 위한 방법, 상응하는 휴대용 단말기, 및 매니퓰레이터 시스템에 관한 것이다.

매니퓰레이터 그리고 특히 산업용 로봇은 자유로이 프로그래밍 가능한, 프로그램 제어된 (program-controlled) 핸들링 장치이다. 이러한 매니퓰레이터는 움직일 수 있는, 서로 잇달아 사슬 연결된 다수의 부재들 또는 축들로 구성될 수 있고, 이를 통해 운동학적 사슬 (kinematic chain) 이 정의된다.

매니퓰레이터를 이용할 수 있기 위해, 그는 통상적으로 가동 개시되어야 하고, 프로그래밍되어야 한다. 가동 개시 단계 동안, 추후에 뒤따르는 매니퓰레이터 프로그램의 프로그래밍을 위한 전제조건들이 만들어진다. 이로써, 가동 개시에 있어서 무엇보다도 예컨대 매니퓰레이터는 조정되고, 상기 매니퓰레이터의 엔드 이펙터 (end effector) 또는 공구 (예컨대 그립퍼 (gripper)) 는 매개변수화되고, 이동형 플랫폼의 하나 또는 다수의 레이저 스캐너는 캘리브레이션되고 (calibrated), 매니퓰레이터의 작업 영역 및 차단 영역이 정의되고, 로봇에 의해 안내되는 또는 고정형 카메라들이 매개변수화되고, 또는 좌표계들, 예컨대 베이스 좌표계 (base coordinate system) 가 정의된다.

매니퓰레이터 프로그램을 컴파일링할 때, 장치들 및/또는 물체들을 이용하기 위한 여러 가지 명령들이 만들어질 수 있고, 원하는 연속으로 수행될 수 있다. 이때, 예컨대 매니퓰레이터가 특정한 방식으로 출발점과 목표점 사이에서 이동해야 한다는 것, 이동형 플랫폼이 특정한 경로를 따라서 움직여야 한다는 것, 엔드 이펙터가 원하는 동작을 실행해야 한다는 것, 또는 카메라를 통해 이미지들 (images) 이 촬영되어야 한다는 것 등등이 정의될 수 있다.

매니퓰레이터의 가동 개시 또는 프로그래밍은 자주 현장에서 휴대용 조작 장치의 도움으로 실행된다. 상기 매니퓰레이터의 실행되어야 하는 과제들 및/또는 제어 가능한 물체들을 구조화하기 위해, 상기 조작 장치의 조작 표면은 통상적으로 트리 구조 (tree structure)/또는 메뉴 구조를 이용한다. 그는 이때 여러 가지로 특색 있을 수 있고, 예컨대 기능에 맞추어 또는 물체에 맞추어 또는 장치에 맞추어 분류될 수 있다. 하지만, 이러한 트리 구조의 사용은 대개 전체를 조망하기 어려운데, 왜냐하면 통상적으로 보다 큰 개수의 장치들, 물체들 및/또는 과제들이 모사되어야 하고 또는 제공되어야 하기 때문이다. 이로써, 사용자가 실행하고 싶은 상응하는 과제를 위한 정확한 메뉴항목 탐색은 자주 힘이 들게 된다: 사용자 또는 조작자는 그가 알맞은 요소를 찾을 때까지 노력을 들여 상기 트리 구조를 두루 네비게이트 (navigate) 해야 한다.

그러므로, 본 발명의 목적은 매니퓰레이터 제어 과제의 간단한 그리고 직관적인 선택을 가능하게 하는 방법을 제공하는 것이다. 이때, 특히 본 발명의 목적은 큰 노력 없이 매니퓰레이터 또는 로봇이 직접적으로 액추에이팅될 수 있게 하는 방법을 제공하는 것이다. 그 밖에, 본 발명의 목적은 매니퓰레이터가 액추에이팅될 수 있게 하는, 이때 상기 언급된 단점들이 적어도 부분적으로 제거되는 조작 장치 또는 매니퓰레이터 시스템을 제공하는 것이다.

이 목적들, 및 하기의 설명을 읽을시 알 수 있는 그 밖의 목적들은 주 청구항의 대상과 종속항들의 대상을 통해 달성된다.

본 발명의 일 양상은 휴대용 단말기를 이용하여 매니퓰레이터 시스템을 액추에이팅하기 위한 방법을 포함한다. 이때, 상기 매니퓰레이터 시스템은 다수의 매니퓰레이터들 또는 로봇들을 포함할 수 있고, 예컨대 자율주행 무인 운반차량 위에 설치된 다관절 로봇을 포함할 수 있다. 상기 휴대용 단말기는 또 한편으로는 예컨대 로봇 조작 장치일 수 있고, 또는 이동 소비자 장치 (예컨대 태블릿 PC, 스마트폰, 스마트워치, 또는 이와 유사한 것) 일 수도 있다. 어느 경우든 상기 휴대용 단말기는 바람직하게는 카메라를 포함하고, 상기 카메라는 대상의 이미지들을 캡처 (capture) 하는 것을 허용한다. 특히 바람직하게는, 상기 카메라는 대상의 3차원적 이미지들을 캡처하는 것을 허용하는 3D 카메라이다.

본 발명에 따른 방법은 상기 액추에이팅되어야 하는 매니퓰레이터 시스템의 적어도 하나의 부분에 대하여 상기 휴대용 단말기의 상기 카메라를 이용한 이미지의 캡처를 구비한다. 예컨대 상기 매니퓰레이터 시스템의 로봇암 (robot arm) 이 캡처될 수 있고, 또는 예컨대 액추에이팅되어야 하는 그립퍼가 캡처될 수 있다. 바람직하게는, 액추에이팅되어야 하는 상기 매니퓰레이터 시스템의 부분의 이미지가 캡처된다.

그 밖에, 상기 방법은 상기 캡처된 이미지에 근거하여 상기 매니퓰레이터 시스템의 피처 (feature) 의 검출을 포함한다. 이때, 상기 매니퓰레이터 시스템의 상기 피처 또는 특징은 상기 매니퓰레이터 시스템에게 특유한 것이고, 따라서 그는 상기 검출된 피처를 근거로 할당 (확인 (identify)) 될 수 있다.

그 밖에도, 상기 방법은 상기 검출된 피처에 근거한 상기 매니퓰레이터 시스템의 적어도 하나의 액추에이팅 가능한 물체의 확인을 포함한다. 이로써, 상기 검출된 피처를 근거로, 액추에이팅 가능한 물체 (예컨대 상기 매니퓰레이터의 그립퍼) 가 확인된다.

이로써, 본 발명에 따른 방법은 예컨대 애플리케이션 과제의 컴파일링의 각각의 단계에서 매니퓰레이터 시스템의 필요해진 장치 또는 필요해진 물체를 직관적으로 선택하고 액추에이팅하는 것을 허용하는데, 왜냐하면 예컨대 이 물체를 위해 매개변수화, 동작, 진단 또는 그와 같은 것을 실행하기 위해서이다. 이때, 메뉴 트리들 및/또는 명령 목록들을 힘들게 탐색하는 것이 필요하지 않다. 상기 휴대용 단말기의 사용자는 상기 카메라를 이용해 이미지만을 캡처해야 하고, 그 후 상기 매니퓰레이터 시스템의 하나 또는 다수의 액추에이팅 가능한 물체가 확인된다. 이때, 사용자는 바람직하게는 상기 매니퓰레이터 시스템에 대한 각각의 위치 및 배향에서 서 있을 수 있고, 언제라도 예컨대 상기 카메라의 활성화를 통해 매니퓰레이터를 위한 또는 상기 매니퓰레이터 시스템의 물체 또는 장치를 위한, 콘텍스트 (context) 관련된 또는 콘텍스트에 의존하지 않는 기능들 또는 정보들을 얻을 수 있다.

바람직하게는, 상기 카메라는 3D 카메라이고, 이 3D 카메라를 이용해 캡처된 이미지는 3차원적 이미지이다. 이때, 3D 카메라의 사용은 무엇보다도 상기 휴대용 단말기의 조작자가 상기 액추에이팅되어야 하는 매니퓰레이터 시스템에 대해 보다 큰 (그리고 이로써 안전한) 거리에 있을 수 있다는 장점을 갖는다. 유리하게는, 하나의 이미지만 캡처되어야 하는데, 왜냐하면 본 발명에 따른 방법을 실행하기 위해 상기 결과로서 생기는 3차원적 이미지가 충분히 정보들을 포함하기 때문이다.

바람직하게는, 본 발명에 따른 방법은 그 밖에도 상기 액추에이팅되어야 하는 매니퓰레이터 시스템의 기준-데이터 레코드들 (reference-data records) 의 제공을 포함한다. 특히 바람직하게는, 기준-데이터 레코드들의 이 제공은 상기 휴대용 단말기를 이용하여 상기 매니퓰레이터 시스템의 적어도 상기 액추에이팅 가능한 물체를 학습시킴을 포함할 수 있다. 예컨대, 사용자는 학습 모드에서 매니퓰레이터 시스템의 하나 또는 모든 장치 또는 물체를 학습시킬 수 있다. 이때, 예컨대 상기 3D 카메라를 이용하여 각각의 장치 또는 물체는 다수의 방향들로부터 모사되고, 각각의 장치 또는 물체는 상기 모사들을 근거로 정의된다. 이 기준-데이터 레코드들은 후에 상기 액추에이팅되어야 하는 매니퓰레이터 시스템을 또는 상기 시스템의 물체들을 확인하는 데에 쓰인다.

바람직하게는, 상기 매니퓰레이터 시스템의 상기 피처의 검출은 그 밖에 이미지 인식 과정의 실행을 포함하고, 상기 이미지 인식 과정은 상기 캡처된 3차원적 이미지를 근거로 그리고 상기 바람직하게 제공된 기준-데이터 레코드들을 근거로 상기 피처를 인식한다. 이로써, 예컨대 상기 제공된 기준-데이터 레코드들과 상기 3차원적 이미지와의 비교를 통해 피처가 인식되고, 상기 피처는 상기 3차원적 이미지 안에도 포함되어 있다. 예컨대, 이 피처는 그립퍼의 부분일 수 있고, 상기 부분은 이 그립퍼에게 특유한 것이다. 이로써, 상기 매니퓰레이터 시스템을 큰 조작 노력 없이 액추에이팅하는 것이 가능하다.

바람직하게는, 상기 휴대용 단말기는 디스플레이 장치를 포함하고, 상기 디스플레이 장치는 또 한편으로는 바람직하게는 터치 패널을 포함한다. 이 터치 패널 (또는 터치 스크린, 터치 디스플레이, 접촉에 민감한 스크린 또는 접촉 스크린) 은 조합된 입출력 장치이고, 조작자는 상기 패널의 또는 스크린의 부분들을 터치함으로써 상기 입출력 장치와 상호 작용할 수 있다. 그 밖에, 상기 방법은 바람직하게는 상기 휴대용 단말기의 상기 디스플레이 장치 위에서의 상기 캡처된 3차원적 이미지의 디스플레이를 포함한다. 이로써, 상기 휴대용 단말기의 사용자는 즉시 상기 액추에이팅되어야 하는 매니퓰레이터 시스템의 상기 적어도 하나의 부분의 이미지를 볼 수 있고, 유리하게는, 알맞은 이미지가 캡처되었는지 아닌지의 여부, 즉 예컨대 액추에이팅되어야 하는 상기 매니퓰레이터 시스템의 물체가 캡처되었는지의 여부를 밝혀낼 수 있다.

그 밖에 바람직하게는, 상기 방법은 그 밖에도 상기 휴대용 단말기의 상기 디스플레이 장치 위에서의 광학적 마킹 (optical marking) 의 디스플레이를 구비하고, 상기 광학적 마킹은 상기 매니퓰레이터 시스템의 상기 확인된 물체를 명시 (specify) 한다. 이로써, 상기 디스플레이 장치 위에, 어떤 물체가 확인되었는지가 또는 인식되었는지가 직접적으로 시각화된다. 그 결과, 간단한 그리고 직관적인 방식으로 직접적인 회답 또는 직접적인 피드백이 사용자에게 제공된다.

그 밖에 바람직하게는, 상기 매니퓰레이터 시스템의 액추에이팅은 상기 휴대용 단말기의 사용자를 통한 상기 매니퓰레이터 시스템의 상기 확인된 물체의 선택을 포함한다. 즉, 사용자는 능동적으로, 상기 휴대용 단말기를 이용하여, 바람직하게는 액추에이팅되어야 하는 상기 확인된 물체를 선택한다. 이를 위해, 사용자는 터치 패널 위에서, 바람직하게는 확인된 그리고 그 밖에 바람직하게는 상기 디스플레이 장치, 즉 상기 터치 패널 위의 상응하는 광학적 마킹으로 표시된 그리고 명시된 물체 (예컨대 그립퍼) 를 살짝 건드릴 수 있다. 그 후, 예컨대 상기 그립퍼는, 상기 살짝 건드림에 반응하여, 개방하거나 또는 폐쇄할 수 있다. 바람직하게는, 상기 매니퓰레이터 시스템의 상기 확인된 물체의 선택은 이로써 상기 휴대용 단말기의 상기 디스플레이 장치 위의 상기 광학적 마킹의 선택을 포함한다. 즉, 사용자는 상기 디스플레이된 이미지의 어떤 물체들이 선택되고 액추에이팅될 수 있는지를 직접적으로 인식할 수 있다.

바람직하게는, 상기 매니퓰레이터 시스템의 적어도 2개의 물체가 확인되고, 적어도 2개의 광학적 마킹이 상기 휴대용 단말기의 상기 디스플레이 장치 위에 나타내지고, 이때 각각의 광학적 마킹은 상기 매니퓰레이터 시스템의 상기 확인된 물체들 중 하나를 명시한다. 그 결과, 상기 매니퓰레이터 시스템은 적어도 2개의 액추에이팅 가능한 물체들을 구비하고, 사용자는 그가 어떤 물체들을 선택하고 액추에이팅할 수 있는지를 직관적으로 직접적으로 인식할 수 있고, 이때 유리하게는 메뉴 트리들 및 그와 같은 것을 힘들게 탐색하는 것이 생략된다.

바람직하게는, 상기 매니퓰레이터 시스템의 액추에이팅은 상기 매니퓰레이터 시스템의 상기 확인된 물체의 액추에이팅을 포함한다. 즉, 바람직하게는 정확히 상기 확인된 물체가 액추에이팅된다. 예컨대, 사용자는, 물체, 예컨대 그립퍼의 3차원적 이미지가 캡처되고, 상기 그립퍼가 확인되고, 직접적으로 액추에이팅되는 식으로 상기 휴대용 단말기를 정렬할 수 있고, 따라서 상기 그립퍼는 예컨대 그가 개방되어 있었으면 폐쇄되고, 또는 반대의 경우에도 또한 같다. 이러한 방식으로, 힘들게 메뉴 트리들 또는 명령 트리들에서 네비게이트할 필요없이, 특수한 과제들을 위해 상기 매니퓰레이터 시스템의 매우 직관적인 그리고 효율적인 사용이 실현될 수 있다. 하나를 초과하는 액추에이팅 가능한 물체가 확인되었을 경우에는, 바람직하게는, 상기 캡처된 3차원적 이미지의 이미지 중앙에 대해 가장 가까이 있는 물체가 직접적으로 액추에이팅될 수 있다. 이로써, 사용자는 상기 3D 카메라의 적합한 정렬을 통해, 상기 매니퓰레이터 시스템의 어떤 물체가 본 발명에 따른 방법을 이용해 액추에이팅되어야 하는지에 영향을 미칠 수 있다.

바람직하게는, 상기 매니퓰레이터 시스템의 액추에이팅은 상기 매니퓰레이터 시스템의 데이터의 리퀘스트, 할당, 컴파일링 및/또는 변경을 포함하고, 이때 이 데이터는 바람직하게는 다음의 것들 중 적어도 하나를 기술한다: 매니퓰레이터 시스템의 조정 및/또는 배향, 엔드 이펙터의 매개변수화, 상기 매니퓰레이터의 그리고/또는 상기 엔드 이펙터의 캘리브레이션 (calibration), 작업 영역의 정의, 상기 매니퓰레이터 시스템의 상기 물체의 매개변수화, 좌표계의 정의 또는 프로그램 흐름. 상기 좌표계는 이때 예컨대 베이스 좌표계, 로봇 좌표계, 공구 좌표계 또는 플랜지 좌표계일 수 있고, 이때 이 목록은 최종적인 것이 아니다. 그 결과, 본 발명에 따른 방법을 이용해 직관적으로 매니퓰레이터의 가동 개시가 실행될 수 있다. 상기 프로그램 흐름은 상기 방법을 이용해 특히 매니퓰레이터의 프로그래밍에 있어서 컴파일링될 수 있다. 이러한 프로그램 흐름은 개별적인 경로점들 및 그들 사이의 운동들을 기술할 수 있다. 예컨대 프로그램 흐름을 기술하는 데이터의 컴파일링 및/또는 변경을 통해, 프로그래머는 상기 방법을 이용해 간단히 그리고 직관적으로 매니퓰레이터의 프로그래밍을 실행할 수 있다. 이때, 당업자는, 프로그래머가 상기 매니퓰레이터의 프로그래밍을 예컨대 오프라인으로 실행함으로써 그리고 상기 매니퓰레이터가 보다 늦은 시점에 상기 컴파일링된 프로그램 흐름을 근거로 움직여짐으로써 상기 매니퓰레이터 시스템의 액추에이팅이 간접적으로 수행될 수 있다는 것을 이해한다.

바람직하게는, 상기 매니퓰레이터 시스템의 액추에이팅은 기능의 또는 프로그램의 컴파일링, 변경 및/또는 실행을 포함하고, 이를 통해 바람직하게는 다음의 것들 중 적어도 하나가 실행된다: 엔드 이펙터의 동작 (예컨대 그립퍼의 개방 또는 폐쇄), 상기 매니퓰레이터 시스템의 상기 물체의 운동, 상기 매니퓰레이터 시스템의 상기 물체의 제어, 매니퓰레이터의 운동, 상기 매니퓰레이터의 제어, 또는 프로그램 흐름의 변경. 이로써, 매니퓰레이터의 프로그래밍은 쉽게 그리고 직관적으로 실행될 수 있다.

바람직하게는, 상기 방법은 그 밖에 상기 디스플레이 장치를 이용한, 상기 검출된 피처를 고려하여 콘텍스트에 의존하는 데이터의 디스플레이를 포함한다. 이때, 상기 콘텍스트에 의존하는 데이터의 디스플레이는 바람직하게는 그 밖에 사용자 입력 (user input) 을 고려하여 수행된다. 이렇게, 상기 디스플레이 장치 위에서의 디스플레이는 예컨대 가동 개시 모드 또는 프로그래밍 모드가 선택되어 있는지의 여부에 의존할 수 있다. 가동 개시 모드에서, 그립퍼가 선택되어 있으면, 그립퍼의 기하학적 치수들, 무게값들, 질량 중심점들, 관성값들, 부피 모델들, 입력/출력의 할당 등등이 나타내질 수 있다. 예컨대 레이저 스캐너의 선택을 통해, 이 레이저의 캘리브레이션을 위한 메뉴가 나타내질 수 있다. 이와 달리 프로그래밍 모드에서는, 만일 그립퍼가 선택되어 있으면, 상기 그립퍼로 실행 가능한 동작들 (예컨대 그립퍼 개방/폐쇄) 이 나타내질 수 있다. 프로그래밍 모드에서의 로봇암의 선택을 통해, 상기 로봇암이 실행할 수 있는 가능한 동작들 (예컨대 선형 운동) 이 나타내질 수 있다. 콘텍스트에 의존하는 이 정보들은 조작자를 추가적으로 도와주고, 직관적인 작업을 허용한다.

바람직하게는, 상기 3D 카메라는 라이트 필드 센서들 (light field sensors) 의 원리에 근거를 둔 플렌옵틱 카메라 (plenoptic camera) 이다. 이러한 유형의 라이트 필드 센서들은 마이크로 렌즈들의 필드로 구성되고, 촬영된 물체의 빛과 색을 기록한다. 그 밖에, 광선이 들어오는 방향도 캡처된다. 이로써, 라이트 필드 센서들의 도움으로 무엇보다도 이미지의 초점이 추후에 변경될 수 있고, 촬영된 물체들의 3D 모델들이 만들어내질 수 있다. 바람직하게는, 상기 3차원적 이미지의 캡처는 상기 액추에이팅되어야 하는 매니퓰레이터 시스템의 적어도 하나의 부분에 대하여 상기 플렌옵틱 카메라를 이용한 4차원적 라이트 필드의 캡처를 포함한다. 이로써, 상기 매니퓰레이터 시스템의 피처는 상기 캡처된 이미지에 근거하여 높은 정확성을 갖고 검출될 수 있다.

본 발명의 그 밖의 양상은 카메라와 디바이스 제어기를 포함하는 휴대용 단말기에 관한 것이고, 이때 상기 디바이스 제어기는 매니퓰레이터 시스템을 액추에이팅하기 위한 본 발명에 따른 방법을 실행하도록 셋업된다. 이때, 상기 휴대용 단말기는 유리하게는 작은 크기를 가질 수 있는데, 왜냐하면 트리 구조들의 번거로운 표시가 필요하지 않기 때문이다. 바람직하게는, 상기 카메라는 3D 카메라이다.

본 발명의 그 밖의 양상은 매니퓰레이터와 휴대용 단말기를 포함하는 매니퓰레이터 시스템에 관한 것이고, 상기 휴대용 단말기는 카메라를 포함하고, 이때 상기 매니퓰레이터 시스템은 그 밖에 매니퓰레이터 제어기를 구비하고, 상기 매니퓰레이터 제어기는 상기 매니퓰레이터 시스템을 액추에이팅하기 위한 본 발명에 따른 방법을 실행하도록 셋업된다. 바람직하게는, 상기 카메라는 3D 카메라이다. 특히 바람직하게는, 상기 휴대용 단말기의 상기 카메라는 플렌옵틱 카메라이다.

이하, 본 발명은 첨부된 도면들을 근거로 상세히 기술된다.

도 1 은 예시적으로 매니퓰레이터 시스템을 나타내고;
도 2 및 도 3 은 휴대용 단말기의 예시적인 도면들을 나타내고,
도 4 는 매니퓰레이터 시스템을 액추에이팅하기 위한 본 발명에 따른 방법의 예시적인 흐름을 도식적으로 나타낸다.

도 1 에는 예시적으로 매니퓰레이터 시스템 (10) 이 도시되고, 상기 매니퓰레이터 시스템은 무엇보다도 다관절 로봇 (11) 과 자율주행 운반차량 (13) 으로 구성된다. 이때, 매니퓰레이터 시스템 (10) 은 다수의 액추에이팅 가능한 물체들, 예컨대 다관절 로봇 (11) 자체, 다관절 로봇 (11) 의 그립퍼 (12), 자율주행 운반차량 (13) 자체, 또는 여러 가지의 센서들 (14, 15, 16) 을 포함하고, 상기 센서들은 예컨대 레이저 스캐너를 포함할 수 있다. 매니퓰레이터 시스템 (10) 을 본 발명의 의미에서 액추에이팅하기 위해, 3D 카메라를 포함하는 휴대용 단말기의 사용자는 상기 3D 카메라를 이용해 이미지를 촬영한다.

도 2 에는 이러한 휴대용 단말기 (20) 가 예시적으로 도시되고, 상기 휴대용 단말기는 터치 디스플레이 (21) 를 구비하고, 조작자 (30) 에 의해 조작된다. 터치 디스플레이 (21) 위에, 휴대용 단말기 (20) 를 이용해 캡처된, 도 1 로부터의 매니퓰레이터 시스템 (10) 의 이미지가 도시된다. 본 발명의 의미에서, 매니퓰레이터 시스템 (10) 의 다수의 액추에이팅 가능한 물체들이 확인되었고, 상응하는 마킹들 (41, 42, 43, 44, 45, 46) 을 통해 상기 터치 디스플레이에 표시되고 또는 명시된다. 상기 확인된 물체들 중 하나를 선택하기 위해, 사용자 (30) 는 예컨대 상기 터치 디스플레이 위의 상기 액추에이팅되어야 하는 물체의 원하는 마킹을 살짝 건드릴 수 있는데, 왜냐하면 상기 물체를 직관적으로 선발하고, 상응하여 액추에이팅하기 위해서이다. 도 3 에 참조부호 (43') 를 통해 도시된 바와 같이, 상기 선택된 액추에이팅 가능한 물체는 특별한 마킹으로 표시될 수 있고, 그의 색은 예컨대 나머지 마킹들과 구별된다. 예컨대, 자율주행 운반차량 (13) 이 선택되었고, 상기 자율주행 운반차량은 이제 마킹 (43') 을 통해 표시되고, 상기 마킹은 색과 관련하여 다른 마킹들과 구별된다. 대안적으로, 이미지 중앙에 대해 가장 가까이 있는 물체가 자동적으로 선발될 수도 있다.

휴대용 단말기 (20) 는 3D 카메라 (도시되지 않음) 와 여러 가지 버튼들 (22) 을 구비하고, 상기 버튼들은 상기 휴대용 단말기를 제어하기 위해, 예컨대 줌 (zoom) 하기 위해, 카메라 기능을 활성화시키기 위해 또는 여러 가지 과정들을 제어하기 위해, 예컨대 매니퓰레이터 시스템을 액추에이팅하기 위한 본 발명에 따른 방법의 개별적인 과정들을 제어하기 위해 사용될 수 있다.

도 4 에는 매니퓰레이터 시스템을 액추에이팅하기 위한 본 발명에 따른 방법의 예시적인 흐름이 도시된다. 이 방법은 하기에서 나머지 도면들에 도시된 구성요소들과 관련하여 기술되고, 하지만 이에 제한되지 않는다.

상기 방법은 단계 (51) 에서 시작하고, 상기 단계에서 애플리케이션 셀 (application cell) 의 장치들 또는 물체들이 학습된다. 이를 위해, 상기 장치들 또는 물체들 (예컨대 매니퓰레이터 시스템 (10) 의 액추에이팅 가능한 구성요소들) 은 휴대용 단말기 (20) 의 상기 3D 카메라를 이용해 다수의 방향들로부터 촬영되고, 상기 장치들 또는 물체들은 이 촬영들을 근거로 학습된다.

단계 (52) 에서, 사용자는 이 학습된 물체들을 위해 추가적으로 부분 물체들을 정의할 수 있다. 예컨대, 로봇암이 액추에이팅 가능한 물체로서 학습되었으면, 상기 로봇암의 개별적인 관절들은 부분 물체들로서 정의될 수 있다. 마찬가지로, 예컨대 그립퍼의 왼쪽 또는 오른쪽 그립핑 조들 (gripping jaws) 은 상기 그립퍼의 부분 물체들로서 정의될 수 있다. 단계 (S53) 에서, 상기 학습된 물체들에 또는 상기 정의된 부분 물체들에 특정한 동작들 또는 과제들이 할당될 수 있다.

단계 (S54) 에서, 원하는 물체를 위해 동작 또는 과제가 선택되어야 한다는 점이 또는 실행되어야 한다는 점이 밝혀진다. 본 예에서 자율주행 운반차량 (13) 이 액추에이팅되어야 한다. 이를 위해, 상기 3D 카메라의 카메라 기능을 활성화시키기 위해 조작자 (30) 는 휴대용 단말기 (20) 의 상응하는 버튼 (22) 을 누른다. 상기 카메라의 파인더는 상기 액추에이팅되어야 하는 물체를 가리키는 또는 포함하는 상기 매니퓰레이터 시스템 (10) 의 부분을 향하게 된다. 단말기 (20) 의 디스플레이 부품 또는 터치 디스플레이 (21) 는 선택된 이미지 부분을 디스플레이한다.

단계 (S55) 에서는 매니퓰레이터 시스템 (10) 의 적어도 하나의 피처가 상기 캡처된 3차원적 이미지에 근거하여 검출되고, 상기 캡처된 이미지 안에 포함된 상기 매니퓰레이터 시스템의 모든 액추에이팅 가능한 물체들이 확인되고, 상기 터치 디스플레이 위에 상응하여 표시되고, 예컨대 파란색 기호들을 통해 표시된다. 그 후, 조작자 (30) 는 상기 원하는 액추에이팅되어야 하는 물체를 선택하고, 상기 물체는 액추에이팅된다. 이를 위해, 예컨대, 터치 디스플레이 (21) 를 살짝 건드림으로써 선택한 후, 가능한 동작들의 목록이 터치 디스플레이 (21) 위에 나타내지고, 상기 목록은 예컨대 동작“물체의 회전”을 포함한다. 이러한 동작의 선택을 통해, 선택된 자율주행 운반차량 (13) 은 상응하는 제어를 통해 그가 회전하는 식으로 액추에이팅된다.

10 : 매니퓰레이터 시스템
11 : 다관절 로봇
12 : 그립퍼
13 : 자율주행 운반차량
14, 15, 16 : 센서들
20 : 휴대용 단말기
21 : 터치 디스플레이 (터치 패널)
22 : 버튼
30 : 조작자
41, 42, 43, 43', 44, 45, 46 : 마킹

Claims

휴대용 단말기 (20) 를 이용하여 매니퓰레이터 시스템 (10) 을 액추에이팅하기 위한 방법으로서,
상기 휴대용 단말기 (20) 는 카메라를 포함하고,
상기 방법은:
액추에이팅되어야 하는 상기 매니퓰레이터 시스템 (10) 의 적어도 하나의 부분에 대하여 상기 휴대용 단말기 (20) 의 상기 카메라를 이용하여 이미지를 캡처하는 단계 (10);
상기 캡처된 이미지에 근거하여 상기 매니퓰레이터 시스템 (10) 의 피처 (feature) 를 검출하는 단계;
상기 검출된 피처에 근거하여 상기 매니퓰레이터 시스템 (10) 의 적어도 하나의 액추에이팅 가능한 물체 (11, 12, 13, 14, 15, 16) 를 확인 (identify) 하는 단계, 및
상기 매니퓰레이터 시스템 (10) 을 액추에이팅하는 단계를 갖고,
액추에이팅되어야 하는 상기 매니퓰레이터 시스템 (10) 의 기준-데이터 레코드들을 제공하는 것을 추가로 구비하고,
상기 매니퓰레이터 시스템 (10) 의 상기 피처를 검출하는 단계는 이미지 인식 과정을 실행하는 것을 추가로 포함하고, 상기 이미지 인식 과정은 상기 캡처된 이미지를 근거로 그리고 제공된 상기 기준-데이터 레코드들을 근거로 상기 피처를 인식하며,
상기 기준-데이터 레코드들을 제공하는 것은 상기 휴대용 단말기 (20) 를 이용하여 상기 매니퓰레이터 시스템 (10) 의 적어도 액추에이팅 가능한 상기 물체 (11, 12, 13, 14, 15, 16) 를 학습시키는 것을 포함하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
삭제
제 1 항에 있어서,
상기 카메라는 3D 카메라이고, 상기 캡처된 이미지는 3차원적 이미지인, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
삭제
제 1 항에 있어서,
상기 휴대용 단말기 (20) 는 디스플레이 장치를 포함하고,
상기 방법은 상기 휴대용 단말기 (20) 의 상기 디스플레이 장치에서 상기 캡처된 이미지를 디스플레이하는 것을 추가로 포함하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 5 항에 있어서,
상기 휴대용 단말기 (20) 의 상기 디스플레이 장치에서 광학적 마킹 (optical marking, 41, 42, 43, 43', 44, 45, 46) 을 디스플레이하는 것을 추가로 포함하고, 상기 광학적 마킹은 상기 매니퓰레이터 시스템 (10) 의 확인된 상기 물체 (11, 12, 13, 14, 15, 16) 를 명시 (specify) 하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 6 항에 있어서,
상기 매니퓰레이터 시스템 (10) 을 액추에이팅하는 단계는 상기 휴대용 단말기 (20) 의 사용자 (30) 를 통해 상기 매니퓰레이터 시스템 (10) 의 확인된 상기 물체 (11, 12, 13, 14, 15, 16) 를 선택하는 것을 포함하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 7 항에 있어서,
상기 매니퓰레이터 시스템 (10) 의 확인된 상기 물체 (11, 12, 13, 14, 15, 16) 를 선택하는 것은 상기 휴대용 단말기 (20) 의 상기 디스플레이 장치에서 상기 광학적 마킹 (41, 42, 43, 43', 44, 45, 46) 을 선택하는 것을 포함하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 5 항에 있어서,
상기 매니퓰레이터 시스템 (10) 의 적어도 2개의 액추에이팅 가능한 물체들 (11, 12, 13, 14, 15, 16) 이 확인되고, 적어도 2개의 광학적 마킹들 (41, 42, 43, 43', 44, 45, 46) 이 상기 휴대용 단말기 (20) 의 상기 디스플레이 장치에 디스플레이되고,
각각의 광학적 마킹 (41, 42, 43, 43', 44, 45, 46) 은 상기 매니퓰레이터 시스템 (10) 의 확인된 상기 물체들 (11, 12, 13, 14, 15, 16) 중 하나를 명시하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 1 항에 있어서,
상기 매니퓰레이터 시스템 (10) 을 액추에이팅하는 단계는 상기 매니퓰레이터 시스템 (10) 의 확인된 상기 물체 (11, 12, 13, 14, 15, 16) 를 액추에이팅하는 것을 포함하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 1 항에 있어서,
상기 매니퓰레이터 시스템 (10) 을 액추에이팅하는 단계는 상기 매니퓰레이터 시스템 (10) 의 데이터의 리퀘스트, 할당, 컴파일링 및/또는 변경을 포함하고, 상기 데이터는 다음의 것들 중 적어도 하나를 나타내는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법:
- 매니퓰레이터의 조정 및/또는 배향,
- 엔드 이펙터의 매개변수화,
- 상기 매니퓰레이터의 그리고/또는 상기 엔드 이펙터의 캘리브레이션,
- 작업 영역의 정의,
- 상기 매니퓰레이터 시스템 (10) 의 상기 물체의 매개변수화,
- 좌표계의 정의,
- 프로그램 흐름.
제 1 항에 있어서,
상기 매니퓰레이터 시스템 (10) 을 액추에이팅하는 단계는 기능의 또는 프로그램의 컴파일링, 변경 및/또는 실행을 포함하고, 이를 통해 다음의 것들 중 적어도 하나가 실행되는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법:
- 엔드 이펙터의 동작,
- 상기 매니퓰레이터 시스템 (10) 의 상기 물체의 운동,
- 상기 매니퓰레이터 시스템 (10) 의 상기 물체의 제어,
- 매니퓰레이터의 운동,
- 상기 매니퓰레이터의 제어,
- 프로그램 흐름의 변경.
제 5 항에 있어서,
상기 방법은 상기 검출된 피처를 고려하여 콘텍스트에 의존하는 데이터를 디스플레이하는 것을 추가로 포함하고,
상기 콘텍스트에 의존하는 데이터를 디스플레이하는 것은 사용자 입력 (user input) 을 고려하여 추가로 수행되는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
제 1 항에 있어서,
상기 카메라는 플렌옵틱 카메라이고, 상기 이미지의 캡처는 상기 액추에이팅되어야 하는 매니퓰레이터 시스템 (10) 의 적어도 하나의 부분에 대하여 상기 플렌옵틱 카메라를 이용한 4차원적 라이트 필드 (light field) 를 캡처하는 것을 포함하는, 매니퓰레이터 시스템을 액추에이팅하기 위한 방법.
카메라와 디바이스 제어기를 포함하는 휴대용 단말기 (20) 로서,
상기 디바이스 제어기는 제 1 항, 제 3 항 및 제 5 항 내지 제 14 항 중 어느 한 항에 따른 방법을 실행하도록 셋업되는 휴대용 단말기 (20).
매니퓰레이터 (10) 와 휴대용 단말기 (20) 를 포함하는 매니퓰레이터 시스템으로서,
상기 휴대용 단말기는 카메라를 포함하고,
상기 매니퓰레이터 시스템은 매니퓰레이터 제어기를 추가로 구비하고, 상기 매니퓰레이터 제어기는 제 1 항, 제 3 항 및 제 5 항 내지 제 14 항 중 어느 한 항에 따른 방법을 실행하도록 셋업되는 매니퓰레이터 시스템.
제 15 항에 있어서,
상기 카메라가 3D 카메라인, 휴대용 단말기 (20).
제 16 항에 있어서,
상기 카메라가 3D 카메라인, 매니퓰레이터 시스템.