KR20140148473A

KR20140148473A - 산업용 로봇을 조작하기 위한 방법

Info

Publication number: KR20140148473A
Application number: KR1020147030992A
Authority: KR
Inventors: 프란츠 솜
Original assignee: 라이스 그룹 홀딩 게엠베하 운트 컴퍼니 카게
Priority date: 2012-04-05
Filing date: 2013-04-05
Publication date: 2014-12-31
Also published as: EP2834051A1; WO2013150136A1; CN104302452B; EP2834051B1; DE102012103032B3; ES2603205T3; CN104302452A; US20150057804A1; DK2834051T3; US9387590B2; KR101536106B1

Abstract

본 발명은 조작 디바이스(10)에 의해서 산업용 로봇(12)을 조작하기 위한 방법에 관한 것으로서, 상기 방법은 그래픽 사용자 인터페이스의 터치 디스플레이(20)의 가상 조작 요소를 터치하는 단계로 이루어진다. 상기 가상 조작 요소가 터치될 때 상기 조작 요소와 연계된 기능이 개시되고, 상기 산업용 로봇(12)의 이동은 로봇 좌표계에 관해서 실행되고 상기 터치 디스플레이(20) 상의 이동은 디스플레이 좌표계에 관해서 실행된다. 상기 조작 디바이스의 좌표계와 상기 산업용 로봇의 좌표계를 서로 간단하게 정렬할 수 있게 하기 위하여, 상기 터치 디스플레이(20) 상의 조작자의 손가락의 안내 이동에 의해서 상기 로봇 좌표계에 대한 상기 조작 디바이스(10)의 상대 이동 이후에, 상기 디스플레이 좌표계는 재보정되고, 상기 재보정은 가상 조작 요소를 작동시킴으로써 작동되고, 상기 로봇 좌표계의 선택 방향인 상기 터치 디스플레이(20) 상의 상기 손가락의 안내 이동이 검출되고, 상기 손가락이 들어올려진 후에 제 1 접촉점과 해제점 사이에서 상기 재보정을 위해 사용된 벡터 방향이 계산된다.

Description

산업용 로봇을 조작하기 위한 방법{METHOD FOR OPERATING AN INDUSTRIAL ROBOT}

본 발명은 그래픽 사용자 인터페이스의 터치 디스플레이의 가상 조작 요소를 터치하는 단계를 포함하는, 산업용 로봇의 조작 방법에 관한 것으로서, 상기 조작 요소와 연계된 기능은 가상 조작 요소가 터치될 때 개시되고, 상기 산업용 로봇의 이동은 로봇 좌표계에 대해서 실행되고 상기 터치 디스플레이 상의 이동은 디스플레이 좌표계에 대해서 실행된다.

수동 제어 디바이스의 형태의 산업용 로봇을 제어하기 위한 디바이스가 DE 10 2010 039 540 A1호에 설명되어 있다. 수동 제어 디바이스는 산업용 로봇을 프로그램하거나 제어하기 위해 로봇 제어부에 결합될 수 있다.

수동 제어 디바이스는 로봇 제어부와 통신하는 것을 가능하게 하기 위해 마이크로프로세서를 갖는 전자장치를 포함한다. 더욱이, 수동 제어 디바이스는 터치스크린 디자인 내의 디스플레이, 비상 정지키 및 로크(lock)로서 설계된 변환 스위치를 포함한다. 예를 들어, 로봇 아암을 수동으로 이동시키기 위해, 수동 제어 디바이스는 서로 독립적으로 수동으로 작동할 수 있고, 예를 들어 6D 마우스 또는 터치 키로서 설계되는 여러 입력 수단 또는 횡단 수단을 포함한다. 터치스크린을 이용하여, 그 자신의 기준 좌표계와 각각의 횡단 수단을 연계하는 가능성이 존재한다.

그러나, 공지의 실시예에서, 산업용 로봇의 제어는 수동으로 작동 가능한 입력 수단을 거쳐서만 발생하여, 수동 제어 디바이스가 제조가 고가이고 조작이 까다롭게 된다.

산업용 로봇을 조작하기 위한 다른 디바이스가 DE 10 2010 025 781 A1호에 설명된다. 휴대폰의 형태의 소형 디바이스는 한편으로는 로봇 제어부로부터 정보를 출력하기 위한, 특히 사용자 인터페이스를 표시하기 위한 출력 수단으로서 기능하는 동시에 키들을 거쳐 제어 명령을 입력하기 위한 명령 입력 수단으로서 기능하는 터치스크린을 구비한다.

소형 디바이스는 예를 들어 자동차들 내에 휴대폰들을 유지하기 위해 원리적으로 공지된 바와 같이 클램핑 디바이스에 의해 휴대용 안전 디바이스에 착탈식으로 체결되고, USB 인터페이스에 의해 휴대폰에 접속된다. 안전 입력 장치는 비상 정지 버튼, 확인 버튼 및 조작 유형을 위한 선택기 스위치를 포함한다. 이 실시예의 단점은 가상키들을 안전하게 조작하기 위해 조작자가 오입력들을 회피하기 위해 터치스크린을 주시하도록 항상 강요된다는 것이다. 동일한 것이 예를 들어 터치스크린의 조작을 더 어렵게 할 강한 입사광 또는 어둠과 같은 열악한 환경적 조건들의 경우에도 적용된다.

DE 10 2010 039 540 A1은 로봇을 수동으로 이동시키기 위한 수동 제어 디바이스를 도시한다. 수동 제어 디바이스는 로봇 아암을 이동시키기 위한 기준 좌표계와 연계되는 기계적 입력 수단 및 횡단 수단을 구비한다.

DE 10 2010 007 455 A1의 요지는 3차원 공간에서 제스처들의 무접촉 검출 및 인식을 위한 시스템 및 방법이다.

인용 문헌 마크 존 미시어(Mark John Micire)의 2010년 12월자 박사 논문: "로봇 명령 및 제어를 위한 멀티-터치 상호 작용(Multi-Touch Interaction for robot Command and Control)"은, 터치 스크린의 도움으로 로봇을 제어하기 위한 방법을 제시한다. 상기 로봇의 이동은 터치 스크린 상에서 손가락을 이동시킴으로써 제어될 수 있다.

로봇을 제어하기 위한 소형 디바이스는 US 5,617,515 A에 제시된다. 좌표계에 대한 소형 디바이스의 위치설정은 로봇을 제어하기 위하여 통신 디바이스의 도움으로 확인된다.

산업용 로봇을 프로그램하기 위한 방법 및 디바이스는 DE 10 2007 029 398 A1에 기재되어 있다. 이 방법에서, 수동 프로그램 디바이스는 규정될 좌표계가 취하도록 의도된 원하는 방위에 대응하는 공간에서 방위설정된다.

로봇을 작동하기 위한 소형 디바이스는 EP 1 795 315 A1에 공지되어 있다. 이 경우에, 로봇의 좌표계에 대한 소형 디바이스의 좌표계는 좌표계에 대한 변형을 착수하기 위하여 검출된다.

본 발명의 목적은 산업용 로봇을 작동시킬 때 안전성을 증가시키기 위하여 상술한 종류의 방법을 추가로 규정하는 것이다.

이 목적을 달성하기 위하여, 본 발명은 로봇 좌표계에 관해서 조작 디바이스의 상대 이동을 추종하고, 디스플레이 좌표계는 터치 디스플레이 상의 조작자의 손가락의 안내 이동에 의해서 재보정되고, 상기 재보정은 가상 조작 요소를 작동시킴으로써 작동되고, 상기 로봇 좌표계의 선택 방향인 상기 터치 디스플레이 상의 상기 손가락의 안내 이동이 검출되고, 상기 손가락이 들어올려진 후에 제 1 접촉점과 해제점 사이에서 상기 재보정을 위해 사용된 벡터 방향이 계산된다.

특히, 상기 터치 디스플레이 상에서 상기 손가락의 안내 이동의 결과로서, 데카르트 좌표계의 x-축 또는 y-축과 같은 기본축에 대응하는 상기 로봇 좌표계의 선택 방향이 재설정되는 것이 제공된다.

추가 한정으로서, 본 발명은 상기 기본축은 상기 로봇의 바닥 공간 상의 마크에 의해서 표시되는 것을 제공한다.

계산된 벡터 방향, 상기 로봇 좌표계의 선택 방향 및 공유 z- 벡터를 이용하여, 회전 매트릭스가 계산되고, 상기 터치 디스플레이 상의 상기 손가락의 모든 이동들이 가로방향 설정(traverse setting)으로서 로봇 제어부로 송신되기 전에 상기 회전 매트릭스를 통하여 변형된다.

특히, 본 발명은 조작 디바이스에 의해서 산업용 로봇을 조작하기 위한 방법으로서, 상기 방법이 그래픽 사용자 인터페이스의 터치 디스플레이의 가상 조작 요소를 터치하는 단계를 포함하고, 상기 가상 조작 요소가 터치될 때 상기 조작 요소와 연계된 기능이 개시되고, 상기 산업용 로봇의 이동은 로봇 좌표계에 관해서 실행되고 상기 터치 디스플레이 상의 이동은 디스플레이 좌표계에 관해서 실행되고, 로봇 좌표계에 관해서 조작 디바이스의 상대 이동을 추종하고, 디스플레이 좌표계는 터치 디스플레이 상의 조작자의 손가락의 안내 이동에 의해서 재보정되고, 상기 재보정은 가상 조작 요소를 작동시킴으로써 작동되고, 상기 로봇 좌표계의 선택 방향인 상기 터치 디스플레이 상의 상기 손가락의 안내 이동이 검출되고, 상기 손가락이 들어올려진 후에 제 1 접촉점과 해제점 사이에서 상기 재보정을 위해 사용된 벡터 방향이 계산되고, 상기 로봇 좌표계의 선택 방향의 계산된 벡터 방향 및 공유 z- 벡터를 이용하여, 회전 매트릭스가 계산되고, 상기 터치 디스플레이 상의 상기 손가락의 모든 이동들이 가로방향 설정으로서 로봇 제어부로 송신되기 전에 상기 회전 매트릭스를 통하여 변형된다.

양호하게는, 상기 재보정된 디스플레이 좌표계의 방향은 특히 배향된 포인터에 의해서 상기 터치 디스플레이 상에 그래픽으로 표시된다.

본 발명에 따라서, 수동 재보정은 센서없이 행해진다. 상기 로봇의 조작 영역에서 사전규정된 마크와 평행하게 배향되는 안내된 짧은 손가락 이동은 재보정을 위하여 충분하다. 안내된 손가락 이동의 결과로 인하여, 벡터가 계산되고 재보정은 상기 벡터에 기초한다.

특히, 마크는 로봇의 조작 영역에서 연장되고 양호하게는 데카르트 좌표계의 x-축 또는 y-축과 같은 로봇 좌표계의 축과 일치한다. 이 축은 예를 들어 로봇의 바닥 공간에서 마크될 수 있거나 또는 로봇의 조작 영역에 있는 화살표와 같은 다른 마크일 수 있다. 안내된 짧은 손가락 이동은 특히 디스플레이 상의 포인터로서 표시되거나 또는 포인터는 마크와의 시각적 비교할 수 있게 하기 위하여 안내된 손가락 이동으로 배향된다.

상기 재보정은 특히 양호하게는 또한 프레임들과 같은 임의의 다른 자유롭게 규정가능한 좌표계에 대해서 사용될 수 있다.

이 경우에 터치 스크린은 저항성 터치 스크린이 또한 가능하지만, 양호하게는 용량성 터치 스크린으로서 설계되는 평탄한 표면을 갖는 양호하게는 표준 터치 스크린이라는 것을 주목해야 한다.

본 방법의 다른 실시예에 따라서, 가상 조작 요소의 터치는 접촉점의 제 1 좌표를 확인함으로써 터치 디스플레이 상의 표면에서 검출되고, 터치 디스플레이의 표면과의 접촉 상태로 잔류한 후에 접촉점의 제 1 좌표는 조작자에 의해서 수동 조치의 결과로서 규정된 좌표 공간을 남겨둘 때, 가상 조작 요소의 기능이 개시된다.

이 경우에, 수동 조치는 조작자의 제스처들에 의해서 개시될 수 있다. 제스처들은 규정된 좌표 공간 안으로 또는 규정된 좌표 공간 밖으로 터치 디스플레이 상에서 조작사의 손가락의 끌림에 의해서 실행될 수 있다. 양호하게는, 제스처들은 규정된 방향으로 실행되고, 손가락 이동에 대한 반응 감도, 제스처들의 강도는 연속적으로 조정된다.

또한, 본 발명은 소형 디바이스를 갖는 산업용 로봇을 조작하기 위한 독창적인 방법에 관한 것이다. 이 경우에, 터치 기능의 개시는 터치 디스플레이 상에서 조작자에 의한 수동 조치를 필요로 한다. 비의도적인 터치에 의한 가상 조작 요소들의 부주의한 개시를 방지하기 위하여, 터치 디스플레이를 터치한 후에, 특정한 작은 제스처들, 예를 들어 규정된 방향으로 손가락을 끄는 것이 실행되면, 기능이 단지 개시된다. 그 결과는 "신뢰성있는 터치"이다.

기능을 개시하기 위해 필요한 제스처들, 즉 제스처들의 필요한 강도 또는 유형은 연속적으로 조정될 수 있다: 이들은 손가락의 단순한 터치, 터치 디스플레이의 일반적인 조작으로부터 규정전 제스처까지 범위에 걸쳐 있다. 디스플레이 에지의 손가락 오목부들의 특정 형상과 같은 햅틱 마커들은 손가락이 연속적인 손가락 오목부들에서 터치 디스플레이 상으로 활주할 수 있게 하고 기능을 개시할 수 있게 한다. 조작자가 부적절하게 기능을 개시했다는 것을 알았다면, 그는 손가락을 본래 위치로 후퇴시켜서 기능의 개시를 억제할 수 있다.

본 발명에 따른 디바이스는 특히 하드웨어 구성요소들의 수가 절대 최소값으로 감소된다는 점에서 종래 기술로부터 구별된다. 모든 조작 기능들은 안전에 관한 비상 정지, "확인" 스위치를 제외한 상태에서 터치 소프트웨어에서 일치되게 실현된다. 멤브레인 키이, 스위치 또는 신호 램프와 같은 다른 전기 구성요소들이 필요하지 않다.

성취된 공간 절약들의 장점은 대형의 편안한 터치 디스플레이이다. 터치 디스플레이 상에 표시된 가상 조작 요소들 및 지시들은 산업적 사용을 위해 설계되고, 신뢰적인 조작이 가능하도록 대형 디스플레이에서 큰 콘트라스트 및 대형 방식으로 표시된다.

본 발명의 다른 상세들, 장점들 및 특징들은 청구범위, 이들로부터 얻어진 특징들 - 단독으로 그리고/또는 조합하여 - 로부터 뿐만 아니라, 도면들로부터 얻어진 예시적인 실시예들의 이하의 설명으로부터 야기된다.

도 1은 산업용 로봇을 조작하기 위한 소형(hand-held) 프로그램 가능 디바이스를 도시하는 도면.
도 2는 터치 디스플레이에 접하는 소형 프로그래가능 디바이스의 디스플레이 프레임의 섹션을 도시하는 도면.
도 3은 터치 디스플레이에 접하는 디스플레이 프레임의 제 2 섹션을 도시하는 도면.
도 4는 터치 디스플레이에 접하는 디스플레이 프레임의 제 3 섹션을 도시하는 도면.
도 5는 소형 프로그램 디바이스의 후면도.
도 6은 조작 디바이스를 갖는 산업용 로봇을 조작하기 위한 개략적인 방법을 도시하는 도면.
도 7은 가상 작동 요소들을 갖는 조작 디바이스의 사용자 인터페이스의 부분도.
도 8은 그래픽 정보를 갖는 화상을 구비한 조작 디바이스의 사용자 인터페이스의 부분도.
도 9는 여러 횡단 표면들을 포함하는 조직 디바이스의 사용자 인터페이스를 도시하는 도면.
도 10은 조작 디바이스의 좌표계를 재보정하는 가상 조작 요소를 도시하는 도면.

도 1은 산업용 로봇(12)을 조작하기 위한 소형 프로그램 디바이스 형태의 디바이스(10)를 도시한다. 이를 위해, 소형 디바이스(10)는 무선 또는 유선 통신 접속부(14)에 의해 로봇 제어부(16)에 접속된다. 소형 디바이스(10)는 이하에 터치 디스플레이라 칭하는 터치 감응식 디스플레이(20)용 그래픽 사용자 인터페이스(18)를 포함한다. 터치 디스플레이(20)는 산업용 로봇(12)을 제어하고, 프로그램하거나 조작하기 위한 기능을 표현하는 적어도 하나의 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)를 표시하는데 사용되고, 관련 기능은 사용자가 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)를 조작자의 손가락으로 또는 스타일러스(stylus)로 터치할 때, 개시된다.

소형 디바이스(10)는 그래픽 사용자 인터페이스(18)를 제어하기 위한 그리고 로봇 제어부(16)와 통신하기 위한 제어 유닛(30) 뿐 아니라, 조작 디바이스의 위치 및 각도를 결정하기 위한 위치 센서를 더 포함한다.

터치 디스플레이(20)를 갖는 그래픽 사용자 인터페이스(18)는 하우징(32) 내에 제어 유닛(30)과 함께 배열된다. 하우징(32)은 에지들 상에 터치 디스플레이(20)를 둘러싸는 디스플레이 프레임(34)을 형성한다. 게다가, 안전-관련 "비상 정지" 스위치(26)가 하우징(32)의 상부측에 배열된다.

가상 조작 요소들(22.1 ... 22.n, 24.1 ... 24.n)은 각각 디스플레이 프레임의 프레임 섹션(36, 28)을 따라 터치 디스플레이(20)에 인접하여 배열된다. 가상 조작 요소들(22.1 ... 22.n, 24.1 ... 24.n)의 블라인드 조작을 가능하게 하기 위해, 본 발명의 제 1 특징적 개념에 따라, 햅틱 마크들(40.1 ... 40.n, 42.1 ... 42.n)이 프레임 섹션들(36, 38) 내에 각각 배열된다. 각각의 햅틱 마크(40.1 ... 40.n, 42.1 ... 42.n)는 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)와 연계된다.

이 구성에서, 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)는 특히 햅틱 마크(40.1 ... 40.n, 42.1 ... 42.n)에 바로 인접하여, 햅틱 마크(40.1 ... 40.n, 42.1 ... 42.n)로부터 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)로의 직접적인 전이가 발생하게 된다. 따라서, 사실상 동일 이동 시에, 손가락은 햅틱 마크(40.1 ... 40.n 또는 42.1 ... 42.n)를 따라 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)로 안내된다. 이 과정에서, 조작 오류들을 방지하거나 또는 최소화한다: 먼저, 가상 조작 요소의 위치는 햅틱 마크의 도움으로 감지되고, 이후에 기능은 가상 조작 요소를 터치함으로써 개시된다. 더욱이, 터치스크린 즉, 디스플레이(20)를 구체적으로 구성할 필요는 없다. 특히, 종래 기술과는 대조적으로, 그 결과 투명성의 손실들이 발생할 수 있는 특정의 오버레이된 재료들이 터치 디스플레이 상에 도포될 필요는 없다.

햅틱 마크들(40.1 ... 40.n, 42.1 ... 42.n)은 그에 의해 조작자의 손가락이 연계된 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)로 안내되는 가이드를 형성한다.

도 2는 조작 요소들(22.1 ... 22.n) 및 이들과 연계된 마크들(40.1 ... 40.n)의 확대도를 도시한다.

햅틱 마크들(40.1 ... 40.n, 42.1 ... 42.n)을 구비하는 프레임 섹션들(36, 38)을 따른 가상 조작 요소들(22.1 ... 22.n, 24.1 ... 24.n)의 배열로 인하여, 가상 조작 요소들의 안전한 조작이 보장된다. 이러한 배열에서, 오프셋 그리고 특정하게 구별된 프레임 섹션(36, 38)은 터치 디스플레이(20) 상의 촉각 배향을 위한 기능을 한다.

도 2에 도시된 예시적인 실시예에서, 햅틱 마크들(40.1 ... 40.n, 42.1 ... 42.n)은 이들이 손가락들로 신뢰적으로 감지될 수 있고 연계된 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)의 방향에서 프레임 섹션들(36, 38)로부터 손가락의 안내를 보장할 수 있는 이러한 방식으로 형성된 손가락 홈들로서 설계된다.

더욱이, 닙플(nipple)로서 설계된 햅틱 마크들(43.1 ... 43.n)이 제공되고 디스플레이 프레임(34)의 표면 상에 배열된다.

이 과정에서, 한편으로 이는 터치 디스플레이(20)의 원칙적으로 결핍된 햅틱을 보상하고, 다른 한편으로는 수동 조작 디바이스 또는 수동 조작 디바이스(10)를 주시할 필요 없이 프로세스에 산업용 로봇 상에 조작자의 시각적 주의를 유도할 수 있고, 그 결과로서 조작 안전성이 전체적으로 증가된다. 이는 "블라인드 조작"을 가능하게 한다.

도 3은 터치 디스플레이(20)에 인접한 디스플레이 프레임(34)의 프레임 코너(46)로서 햅틱 마크(44)의 실시예를 도시한다. 디스플레이 프레임(34)의 코너(46)는 터치 디스플레이(20) 상의 명백한 정확한 위치를 규정한다. 예를 들어 디스플레이측 프레임 섹션(50)을 따라 또는 프레임 코너(44)의 다른 프레임 섹션(52)을 따라 선형 방향으로 이동되는 가상 슬라이드 요소(48)가 이들 선택된 위치들에 대해서 터치 디스플레이(20) 상에 제공된다.

도 4는 디스플레이 프레임(34)의 디스플레이측 섹션(56)으로서 설계된 햅틱 마크(54)의 다른 실시예를 도시한다. 조작자의 손가락은 프레임 섹션(56)을 따라 연장하는 가상 슬라이드 요소(60)가 위로 이동될 수 있는 프레임 섹션(56)을 따라 슬라이드 동작을 실행할 수 있다.

도 1 및 도 2에 도시되고 손가락 홈들로서 구성된 햅틱 마크들(40.1 ... 40.n, 42.1 ... 42.n)은, 이들이 손가락 홈들에 바로 인접하여 위치하기 때문에, 예를 들어 가상 조작 요소들(22.1 ... 22.n, 24.1 ... 24.n)의 위치들의 감지를 위해 고분해능을 갖는 디스플레이 에지의 햅틱 배향을 형성한다. 각각의 손가락 홈은 가상 조작 요소와 명백하게 연계될 수 있다. 손가락 홈들(22.1 ... 22.n, 24.1 ... 24.n)은 손가락이 터치 디스플레이(20) 상의 홈으로서 안내되는 것처럼 슬라이드할 수 있고 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)의 기능을 거기서 개시할 수 있도록 터치 디스플레이(20)의 방향에서 절반 형태로 개방되거나 개방된다.

본 발명의 독립적인 개념에 따르면, 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)와 연계된 기능의 개시는 터치 디스플레이(20) 상의 조작자의 수동 작용을 필요로 하는 것이 제공된다. 의도되지 않은 터치에 의한 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)의 의도되지 않은 개시를 방지하기 위해, 기능은 예를 들어 규정된 방향에서 손가락을 이동시키는 것과 같은 사전 규정된 제스처가 터치 디스플레이(20) 상의 가상 조작 요소의 터치 후에 수행될 때에만 개시된다. 손가락 이동에 대한 반응의 감도는 조절기에 의해 연속적으로 조정될 수 있다. 이 과정에서, 기능들을 개시하기 위한 요구된 제스처의 강도는 연속적으로 조정될 수 있다. 이는 터치 디스플레이(20) 상의 간단한 손가락 접촉, 일반적으로 통상적인 조작으로부터 특정의 작은 제스처로 확장한다. 디스플레이 프레임의 프레임 섹션들(36, 38) 내의 손가락 홈들(22.1 ... 22.n, 24.1 ... 24.n)의 특정 형상으로 인하여, 손가락은 터치 디스플레이 상의 손가락 홈들의 연속부에서 슬라이드할 수 있어, 기능을 개시한다. 조작자가 기능의 의도되지 않은 개시를 개시하는 것을 주목하면, 조작자는 그 손가락을 원래 위치로 후퇴시킴으로써 기능의 개시를 억제할 수 있다.

조작자가 예를 들어 손가락 홈(40.n)으로부터 시작하여 그의 손가락으로 가상 조작 요소(22.n)를 터치하면, 터치 디스플레이 상의 접촉점의 대응 좌표들이 제어 유닛(30)에 의해 검출된다. 조작자의 손가락이 소정의 좌표 영역을 떠나거나 사전 규정된 좌표 영역에 도달할 때에만 연계된 기능이 사전 설정된 제스처의 정의에 기초하여 개시된다. 가상 조작 요소가 편향되고 따라서 개시의 준비가 될 때(개시는 손가락이 해제될 때 발생함), 이는 광학적 인식에 의해, 예를 들어 착색된 에징에 의해 조작 요소 상에 표시된다. 의도되지 않은 편향이 조작 요소가 재차 그 원점으로 후퇴되는 점에서 재차 상쇄되면, 이는 이 광학적 인식의 소멸에 의해 알려지게 된다.

본 발명의 다른 특징적 발명적 개념에 따르면, 예를 들어 디스플레이 프레임(34)의 프레임 코너(46) 내에 배치된 가상 조작 요소(48)는 특정 제스처 제어부에 링크된다. 이들은 예를 들어 도 3에 도시된 바와 같이, 2개의 방향(62, 64)에서 프레임 섹션들(50, 52)을 따라 이동될 수 있다. 각각의 이동 방향(62, 64)은 선택 가능한 기능과 연계된다. 따라서, 예를 들어 프레임 섹션(52)을 따라 이동할 때 기능 "A" 및 프레임 섹션(50)을 따라 이동할 때 기능 "B"를 활성화하는 것이 가능하다. 편향도가 평가되고 2개의 평가 가능성들이 제공된다.

제 1 평가 가능성에 따르면, 편향도는 기능으로의 속도의 지시와 같은 아날로그 파라미터로서 즉시 전송된다. 손가락이 확장된 위치로 해제되면, 유사값은 즉시 제로로 점프한다. 손가락이 초기 위치(66) 내로 슬라이딩 방식으로 재차 안내되면, 파라미터는 편향에 유사하게 재차 제로로 설정된다. 이 기능은 예를 들어 이 때 포지티브 또는 네거티브 방향에서 이동 프로그램을 시동하고 점진적인 방식으로 속도를 변경하기 위해 사용될 수 있다.

제 2 평가 선택에 따르면, 규정 가능한 임계치가 초과할 때 스위칭 기능이 개시되는 것을 제공한다. 기능의 활성화는 확장된 위치에서 손가락이 터치 디스플레이(20)를 떠날 때까지 발생하지 않는다. 그러나, 손가락이 프레임 섹션들(50, 52)의 해제 없이 제로 위치로 재차 후퇴되면, 기능의 개시가 방지된다.

본 발명의 다른 특징적인 발명적 개념은 도 4에 도시된 변위 조작 요소(60)에 의해 실현되는 소위 오버라이드 기능(속도 조절기)의 실현에 관한 것이다. 이를 위해, 슬라이딩 조작 요소(60)는 프레임 섹션(56)에 인접하여 햅틱 마크(43)로 중심으로 배치된다. 이 과정에서 프레임 섹션(56)을 따라 손가락을 슬라이딩함으로써 슬라이딩 조작 요소(60)의 위치를 느끼고 조정할 수 있다. 블라인드 조정은 부가적으로 프레임 섹션(38, 56)의 햅틱 마크들(42.1 ... 42.n, 43, 54)에 의해 지지된다. 소위 오버라이드는 규정된 양, 예를 들어 20%만큼 2개의 햅틱 마크들 사이에서 시프트함으로써 조정될 수 있다. 프로세스 파라미터들과 같은 심지어 다른 유사한 크기들이 에지측 상에 배열된 슬라이드 조작 요소(60)에 의해 블라인드 조작에서 조정될 수 있다.

다른 특징적인 본 발명의 특징은 터치 디스플레이(20)의 길이방향 및/또는 가로방향 축에 대한 햅틱 마크들(22.1 ... 22.n, 24.1 ... 24.n)의 대칭 배열에 관련한다. 이 경우에, 길이방향 중간축은 디스플레이 프레임(34)의 조작 프레임 측부들에 평행하게 중심으로 연장하는 직선이다. 가로방향 중간축은 그에 수직으로, 따라서 디스플레이 프레임(34)의 더 짧은 가로방향 측부들 사이로 이들에 평행하게 중심으로 연장한다. 이는 소형 디바이스(10)가 오른손 조작 및 또한 왼손 조작을 위해 적합되는 것을 보장한다. 이는 특히 그래픽 조작자 인터페이스의 결과적인 무버튼 디자인에 의해 그리고 햅틱 마크들의 대칭적 배열에 의해 성취된다. 따라서, 그래픽 조작자 인터페이스는 오른손 조작으로부터 왼손 조작까지 간단한 셋업 기능에 의해 스위칭될 수 있다. 이 경우 가상 조작 요소(22.1 ... 22.n, 24.1 ... 24.n)의 모든 위치들은 터치 디스플레이(20)의 길이방향 축 상에서 여기서 경면 대칭된다.

도 5는 하우징(32)의 이면(66)을 도시한다. 파지부들(70, 72)이 이면(66) 상에 그리고 길이방향 축(68)에 대칭으로 배열되고, 소형 디바이스(10)는 한손 또는 양손으로 이들 스트립들에 의해 확실히 파지될 수 있다. 파지부들(70, 72)은 원통형 섹션들에 대응하는 외부 기하학적 형상을 가질 수 있고, 파지부들(70, 72)은 외부 에지로부터, 즉 디스플레이 프레임(34)의 길이방향 에지들로부터 나와야 한다. 확인 스위치 또는 확인 버튼(74, 76)은 각각의 파지부(70, 72)에 일체화되고, 이들 중 하나는 산업용 로봇의 이동을 자유롭게 하기 위해 선택적으로 활성화되어야 한다.

이 대칭 배열은 확인 스위치 요소들(74, 76)이 왼손 또는 오른손으로 교대로 활성화될 수 있기 때문에, 손들이 피곤해지는 것을 방지한다. 한손이 피곤해지면, 다른 손이 로봇의 이동을 위해 가로방향 해제에 방해되지 않고 확인할 수 있다.

본 발명의 다른 특징적인 발명적 실시예는, 로봇 조작 유형 "구성", "자동", "자동 테스트"의 선택을 위한 이전의 통상의 키 스위치가 소프트웨어 기능으로 대체되어 있는 점에서 구별된다. 특수한 형태는 페일세이프(failsafe) 기술을 사용하여 데이터 처리에서 다른 것들 중에 발견된다. 터치 디스플레이(20)는 기본적으로 단일-채널이고 따라서 비안전 디바이스이다. 소프트웨어의 안전 기능성은 도 6에 따른 로봇 제어부(16) 내에 일체화된, 이하에 안전 제어기(78)라 칭하는 안전 제어부(78)의 도움으로 보장된다. 안전 제어기(78)는 그 개시 내용이 그 완전한 정도로 본 출원에 포함되어 있는 유럽 특허 출원 035 953호에 설명되어 있다.

터치 디스플레이(20)에서, 사용자 인터페이스(18)는 도 7에 도시된 바와 같이 소프트 키이로서 가상 사용자 인터페이스들(80, 82, 84)의 형태의 상이한 조작 유형 옵션들의 선택을 제공한다. 조작자는 이들 소프트키들(80, 82, 84) 중 하나를 터치함으로써 새로운 조작 유형 "X"를 선택한다. 사용자 인터페이스의 소프트웨어로부터, 새롭게 선택된 조작 유형은 안전 제어기(78)로 명령 "새로운 조작 유형 X 요청"으로서 전송된다. 안전 제어기(78)는 그 메모리(86)로부터 이 조작 유형에 대응하는 아이콘(88)과 같은 그래픽 정보를 취하고 이를 더 큰 화상(90) 내의 임의로 결정된 디스플레이 위치에 배치한다. 화상(90) 내의 아이콘(88)의 위치는 단지 안전 제어기(78)에만 공지된다. 이 화상(90)은 도 8에 도시된 바와 같이, 비트맵과 같은 화상 파일로서 사용자 인터페이스(18)에 전송되고, 규정된 위치에서 거기에 표시된다.

조작자는 도시된 아이콘(88) 상에 손가락끝에 의해 안전 제어기(78)에 의해 인식된 조작 유형을 확인해야 한다. 터치 디스플레이 상의 터치 위치는 터치 좌표의 형태로 검출되고 안전 제어기(78)에 재차 전송된다. 안전 제어기는 접촉 위치를 안전 제어기를 배제한 것, 즉 안전 제어기(78)에 알려진 화상(90) 내의 아이콘(88)의 임의 표시 위치와 비교한다. 이러한 비교는 터치 디스플레이(20) 상의 화상(90)의 알려진 위치를 고려하여 발생한다. 터치 위치(규정된 공차 내의)가 표시 위치에 동일하면, 조작 유형의 개시된 변화가 수행된다. 다르게는, 조작 유형의 변화가 거절되고 이전의 조작 유형이 보유된다.

이 방법은 조작자와 안전 제어기(78) 사이의 안전 능동 회로를 생성하는데:

- 조작자는 조작 유형을 선택하고,

- 안전 제어기(78)는 조작 디바이스(10) 상의 인식된 조작 유형을 표시하고,

- 조작자는 안전 제어기(78)에 표시된 조작 유형의 정확성을 확인하고,

- 안전 제어기(78)는 새로운 조작 유형을 설정한다.

전술된 방법에 대한 대안으로서, 안전 제어기(78)는 조작자에 의해 인식되고 표시된 키패드를 거쳐 숫자로서 입력되어야 하는 아이콘 표시된 수치 코드를 표시할 수 있다. 키패드의 표시된 숫자의 터치 위치는 입력의 정확성을 점검하는 안전 제어기에 전송된다.

아이콘(80, 82, 84)은 안전 제어기(78) 내에 보안 기술로 저장된다.

조작 유형의 변화를 위한 요구는 선택적으로 또한 하드웨어 키 스위치를 거쳐 올 수 있다.

조작 유형 선택 스위치 내로/로부터 키의 삽입/회수는 PIN에 의할 로그인/로그아웃 방법에 의해 모방된다.

터치 디스플레이(20)의 터치 후에, 손가락의 다소의 "끌림"의 가능성은 산업용 로봇(12)을 설정하는 유사한 가로방향 설정을 생성하기 위해 특징적인 본 발명의 방법에 따라 사용된다. 이 방식으로, 산업용 로봇(12)은 예를 들어, X, Y, Z 및 도구(91)의 배향(A, B, C)과 같은 6개의 자유도로 도 6에 따라 민감하게 제어될 수 있다.

조작자 손가락의 편향에 의해, 노트북의 터치패드에 의한 커서 제어와 유사한 방식으로 산업용 로봇(12)에 위치 설정을 제공하는 것이 가능하다. 산업용 로봇(12)은 이 경우에 예를 들어, 데카르트 좌표계의 X 및 Y 방향과 같은 2개의 좌표 방향에서 동시에 횡단할 수 있다.

다른 모드에서, 산업용 로봇(12)을 위한 속도 설정은 손가락의 편향에 의해 생성되고, 손가락이 더 많이 편향될수록, 로봇이 더 신속하게 이동한다.

도 9에 도시된 선택된 가로방향 면(100)을 터치한 후에, 사용자는 터치점의 영역에 위치된 가상 조작 요소(92)를 작동한다. 가상 조작 요소(92)는 이후에 터치 디스플레이(20) 상에, 심지어 경계(94) 상에 손가락에 의해 끌어당겨지고, 따라서 이동 설정을 생성할 수 있다. 산업용 로봇을 해제할 때, 산업용 로봇(12)은 즉시 정지한다. 새로운 가로방향 설정을 위하여, 원하는 표면(100)이 재차 타격되어야 한다.

손가락 이동에 대한 반응의 감도는 위치 설정을 위해 그리고 또한 속도 설정을 위해 슬라이드 조절기(오버라이드)와 같은 가상 조작 요소(96)에 의해 연속적으로 조정될 수 있다.

2-D 이동을 위한 감응면(100)은 손가락에 의해(예를 들어, 펼쳐진 엄지손가락으로) 디스플레이 에지로 명백한 거리로 여전히 즉시 도달될 수 있도록 디스플레이 에지(36)의 부근에 배치된다.

제 3 좌표 방향(예를 들어, 데카르트 좌표계의 Z 좌표)으로 횡단하는 것이 또한 가능하기 위해, 대략 손가락만큼 넓은 필드(101)가 가상 조작 요소(98)로 디스플레이 에지(36) 상에 직접 측방향으로 배치되어 필드(101)는 손가락, 특히 엄지손가락이 디스플레이 에지(36)를 따라 안내되는 점에서 손가락으로 "감각"될 수 있게 된다. 이 필드는 예를 들어 Z 방향에서 1차원 횡단 설정을 생성한다.

특정 배열의 결과로서, 조작자는 2개의 가로방향 필드(100, 101)를 분명하게 구별하고 이들에 블라인드식으로 도달할 수 있는데: 손가락이 하우징 에지와 지각 가능한 접촉을 갖는 디스플레이 에지(36) 상에 바로 있는 필드(101)는 제 3 차원(Z 차원)을 위한 이동 설정을 작동한다. 대략적으로 하나의 손가락 폭 또는 디스플레이 에지(36)에 인접한 엄지손가락 폭으로 배치되는 필드(100)는 2차원(X-Y 차원)으로 동시 횡단 설정으로 작동한다.

산업용 로봇(12)은 6개의 자유도를 갖는다. 3개의 각도(A, B, C)를 갖는 도구(91)의 배향의 조정을 위해, 전술된 것과 동일한 방법이 사용된다. 이를 위해, 디스플레이는 2개의 구역으로 분할된다. 차원 1 내지 3(예를 들어, X, Y, Z)을 위한 이동 필드(100, 101)가 예를 들어, 상부 구역에 위치된다. 차원 4 내지 6, 예를 들어 A, B, C를 위한 이동 필드(102, 103)가 예를 들어 하부 구역에 위치된다. 2개의 필드(100, 101, 102, 103)는 닙플(108, 110, 112)의 형태의 햅틱 마크에 의해 블라인드식으로 구별될 수 있다.

가로방향 필드(102,103)에 터치함으로써, 가로방향 필드 내의 가상 조작 요소(104,106)가 작동되고, 상기 가상 조작 요소는 접촉점의 영역 내에 자동으로 위치된다. 가상 조작 요소(104,106)는 또한 그때 전체 터치 디스플레이(20)를 가로질러 끌려질 수 있고 이 과정에서 도구(91)의 배향의 조정이 발생된다.

멀티-터치 디스플레이(20)에 의해서, 산업용 로봇(12)은 모든 6개의 자유도로 동시에 횡단할 수 있다. 단일-터치 디스플레이에서, 횡단 기능들은 단지 순차적으로만 사용될 수 있다.

전술된 터치 모션 기능을 사용하는 방법에서, 터치 디스플레이는 이상적으로는 산업용 로봇의 좌표계에 동일 선상에 정렬된다. 이 경우에, 로봇 이동은 선택적으로 터치 디스플레이 상의 손가락 이동에 일치한다.

그러나, 사용자가 조작 디바이스(10)로 측면으로 전환하면, 이 일치성은 더 이상 제공되지 않는다. 로봇이 이동 방향은 이어서 손가락의 이동 방향과 더 이상 일치하지 않는다.

이 경우에, 터치 디스플레이의 좌표계는 로봇의 좌표계로 재차 재보정되어야 한다.

본 발명의 특징적 발명적 실시예에 따르면, 포인터(116)를 갖는 특정 가상 조작 요소(114)가 이를 위해 터치 디스플레이(20)에 제공된다. 이 조작 요소(114)는 먼저 손가락으로 터치되어야 하고, 이후에 손가락은 예를 들어, X 방향과 같은 로봇 좌표계의 선택된 방향에 평행하게 터치 디스플레이와 영구 접촉하여 끌어당겨진다. 조작자의 시각적 지원을 위해, 예를 들어 X 방향과 같은 로봇 좌표계의 선택된 방향이 예를 들어 바닥면의 마크에 의해 표시될 수 있다. 조작 요소(114) 상의 손가락의 이동 및 그에 따른 포인터(116)의 정렬은 로봇의 조작 영역에 나타난 마크와 평행하게 된다. 이러한 마크는 도면부호 "200"으로 도 6에 예로서 표시된다. 손가락이 터치 디스플레이(20)로부터 들어올려진 후에, 벡터 방향은 제 1 터치점과 해제점 사이에서 계산된다. 벡터, 선택된 로봇 좌표 축과 공유 z 벡터를 이용하여, 회전 매트릭스가 계산되고, 손가락들의 모든 이동들이 로봇 제어부로 횡단 설정으로서 송신되기 전에 상기 회전 매트릭스를 통하여 변형된다. 따라서, 재보정은 가능한 하나의 단일 제스처로 신속하게 실행된다. 재보정 후에, 양자의 좌표계들은 서로에 대해서 동일 선형으로 조정되고 효과적으로 순서로 배열된다. 더욱 양호한 입증을 위하여, 보정된 디스플레이 좌표계의 방향은 터치 디스플레이 상에서 그래픽으로 나타난다.

로봇을 위한 좌표계는 도 6에 도시된다. 마크(200)는 x-축과 평행하게 연장되는 것을 볼 수 있다. y-축은 로봇(12)의 바닥 공간의 평면에서 연장된다. z-축은 그에 평행하게 연장되고, 로봇(12)은 상기 z-축 주위로 회전한다(화살표 A1).

로봇(12)과 도구(91)를 파지하는 아암의 피봇 및 회전 이동은 화살표(1,2,3,4,5,6 및 A1,A2,A3,A4,A5,A6)에 의해서 식별된다. 따라서, 예시적인 실시예에서, 로봇(12)은 6개의 자유도로 도구(91)를 이동시킬 수 있다.

이 보정 방법은 예를 들어 자유롭게 규정된 프레임과 같은 임의의 다른 좌표계를 위해 또한 사용될 수 있다.

Claims

조작 디바이스(10)에 의해서 산업용 로봇(12)을 조작하기 위한 방법으로서, 상기 방법이 그래픽 사용자 인터페이스의 터치 디스플레이(20)의 가상 조작 요소를 터치하는 단계를 포함하고, 상기 가상 조작 요소가 터치될 때 상기 조작 요소와 연계된 기능이 개시되고, 상기 산업용 로봇(12)의 이동은 로봇 좌표계에 관해서 실행되고 상기 터치 디스플레이(20) 상의 이동은 디스플레이 좌표계에 관해서 실행되는, 상기 조작 방법에 있어서,
상기 로봇 좌표계에 관해서 상기 조작 디바이스(10)의 상대 이동을 추종하고, 상기 디스플레이 좌표계는 상기 터치 디스플레이(20) 상의 조작자의 손가락의 안내 이동에 의해서 재보정되고, 상기 재보정은 가상 조작 요소를 작동시킴으로써 작동되고, 상기 로봇 좌표계의 선택 방향인 상기 터치 디스플레이(20) 상의 상기 손가락의 안내 이동이 검출되고, 상기 손가락이 들어올려진 후에 제 1 접촉점과 해제점 사이에서 상기 재보정을 위해 사용된 벡터 방향이 계산되는 것을 특징으로 하는 조작 방법.
제 1 항에 있어서,
상기 터치 디스플레이(20) 상의 상기 손가락의 안내 이동의 결과로서, 데카르트 좌표계(Cartesian coordinate system)의 x-축 또는 y-축과 같은 기본축에 대응하는 상기 로봇 좌표계의 선택 방향은 재설정되는 것을 특징으로 하는 조작 방법.
제 1 항 또는 제 2 항에 있어서,
상기 기본축은 예를 들어 상기 로봇(12)의 바닥 공간 상의 마크(200)에 의해서 표시되는 것을 특징으로 하는 조작 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 로봇 좌표계의 선택 방향의 계산된 벡터 방향 및 공유 z- 벡터를 이용하여, 회전 매트릭스가 계산되고, 상기 터치 디스플레이(20) 상의 상기 손가락의 모든 이동들이 가로방향 설정(traverse setting)으로서 로봇 제어부로 송신되기 전에 상기 회전 매트릭스를 통하여 변형되는 것을 특징으로 하는 조작 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 보정된 디스플레이 좌표계의 방향은 특히 배향된 포인터로서 상기 터치 디스플레이(20) 상에 그래픽으로 표시되는 것을 특징으로 하는 조작 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 재보정은 자유 한정가능한 프레임들과 같은 임의의 다른 좌표계들에 대해서 사용되는 것을 특징으로 하는 조작 방법.