KR102403021B1 - 로봇 교시 장치 및 이를 이용한 로봇 교시 방법 - Google Patents

로봇 교시 장치 및 이를 이용한 로봇 교시 방법 Download PDF

Info

Publication number
KR102403021B1
KR102403021B1 KR1020210084687A KR20210084687A KR102403021B1 KR 102403021 B1 KR102403021 B1 KR 102403021B1 KR 1020210084687 A KR1020210084687 A KR 1020210084687A KR 20210084687 A KR20210084687 A KR 20210084687A KR 102403021 B1 KR102403021 B1 KR 102403021B1
Authority
KR
South Korea
Prior art keywords
robot
area
image
control
specific joint
Prior art date
Application number
KR1020210084687A
Other languages
English (en)
Inventor
박종훈
이웅용
강동엽
김원태
정구희
Original Assignee
주식회사 뉴로메카
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴로메카, 한국전자통신연구원 filed Critical 주식회사 뉴로메카
Priority to KR1020210084687A priority Critical patent/KR102403021B1/ko
Application granted granted Critical
Publication of KR102403021B1 publication Critical patent/KR102403021B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Abstract

본 발명은 프로그래밍 가능한(Programmable) 로봇을 제어하기 위한 로봇 교시 장치에 관한 것으로, 보다 상세하게는, 로봇 프로그래밍, 시뮬레이션 및 제어를 위한 로봇 교시 장치에 관한 것이다.

Description

로봇 교시 장치 및 이를 이용한 로봇 교시 방법{ROBOT TEACHING APPARATUS AND METHOD FOR TEACHING ROBOT USING THE SAME}
본 발명은 프로그래밍 가능한(Programmable) 로봇을 교시하기 위한 로봇 교시 장치에 관한 것으로, 보다 상세하게는, 로봇 프로그래밍, 시뮬레이션 및 제어를 위한 로봇 교시 장치(티칭 팬던트(Teaching pendant))에 관한 것이다.
산업용 프로그래밍 가능한 로봇은 일반적으로 알려져 있다. 이러한 로봇을 프로그래밍하는 일반적인 방법은 예컨대, 공간에 최초 포인트로부터 로봇 암 상의 엔드 이펙터(end effector) 및 툴(tool)과 같이 로봇의 특정 부분을 안내하고, 엔드 이펙터의 최종 목적지인 픽업-위치(pick-up location)로 원하는 경로를 통해 보내는 방식이 사용될 수 있다.
로봇 또는 외부 제어 장치들은 최초 위치로부터 최종 위치로의 움직임과 관련된 정보를 저장하고 있다. 이러한 학습 세션 이후에, 로봇은 위 절차들(procedures)을 반복하고, 수행해야 할 태스크를 수행할 수 있다
다만, 이러한 로봇 교시에 있어서, 로봇을 교시하기 위한 로봇 교시 장치는 사용 방법이 복잡하고 어려워 초보자들이 사용하기 어렵다. 이로 인하여, 로봇 교시 장치의 활용성이 떨어지는 문제가 있다.
본 발명은 구동가능한 로봇의 복수의 부위들 중 특정 부위에 대한 선택적 교시가 직관적으로 이루어질 수 있도록 하는 유저 인터페이스를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 사용자의 실제 시선과 로봇의 특정 부위에 대한 교시가 실시간으로 연동되어 이루어질 수 있는 유저 인터페이스를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 로봇의 일부분만 선택적으로 교시하는 경우에도 로봇 전체의 3차원 공간상의 움직임을 직관적으로 인지할 수 있도록 하는 유저 인터페이스를 제공하는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명은 시뮬레이션 영역 및 제어 영역을 포함하는 로봇 교시 인터페이스에서의 로봇 교시 방법을 제공한다. 구체적으로, 본 발명에 따른 로봇 교시 방법은 상기 시뮬레이션 영역에, 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하는 단계, 상기 시뮬레이션 영역에서, 상기 로봇 이미지의 적어도 일 부분을 선택하는 사용자 입력을 수신하는 단계, 상기 제어 영역에, 상기 사용자 입력에 의해 선택된 상기 로봇 이미지의 적어도 일 부분에 대응되는 특정 관절을 제어하기 위한 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘을 출력하는 단계, 상기 확대 이미지 또는 상기 제어 아이콘 중 적어도 하나에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 상기 로봇의 동작을 제어하기 위한 제어 신호를 생성하는 단계 및 상기 제어 신호에 따른 상기 로봇의 동작에 대한 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 상기 로봇 이미지를 이용하여 제공하는 단계를 포함하는 것을 특징으로 하는 로봇 교시 방법을 제공한다.
일 실시 예에 있어서, 상기 사용자 입력에 근거하여, 상기 특정 관절은 상기 로봇 이미지와 상기 확대 이미지에서 동기화(synchronized)되어 움직일 수 있다.
일 실시 예에 있어서, 사용자를 기준으로 상기 로봇을 바라보는 사용자 시점을 감지하고, 상기 로봇 이미지 및 확대 이미지에서 상기 특정 관절은 상기 사용자 시점을 기준으로 움직이는 방향이 설정될 수 있다.
일 실시 예에 있어서, 상기 사용자 입력에 의해 선택된 상기 로봇 이미지의 상기 로봇 이미지의 적어도 일 부분은 강조 표시되며, 상기 확대 이미지는 강조 표시된 상기 로봇 이미지의 적어도 일 부분을 포함할 수 있다.
일 실시 예에 있어서, 상기 제어 영역은 상기 확대 이미지 및 상기 제어 아이콘이 출력되는 제1영역을 구비하고, 상기 확대 이미지의 적어도 일측에는 어느 일 방향으로 상기 특정 관절의 움직임을 제어하는 보조 제어 아이콘이 배치될 수 있다.
일 실시 예에 있어서, 상기 제어 아이콘은 복수의 방향에 대하여 상기 특정 관절의 움직임을 제어하도록 상기 복수의 방향에 각각 대응하는 아이콘들을 구비하고, 상기 보조 제어 아이콘은 상기 아이콘들 중 어느 하나와 연동될 수 있다.
일 실시 예에 있어서, 본 발명은 상기 제어 신호를 이용한 상기 로봇의 동작의 시뮬레이션 결과를 상기 제어 영역 상에 상기 특정 관절의 확대 이미지로 표시하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 본 발명은 상기 제어 영역에, 상기 확대된 이미지에 대응하는 공간의 3차원 좌표축 각각을 안내하는 그래픽 객체 출력하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 본 발명은 상기 제어 신호를 이용한 상기 로봇의 동작의 시뮬레이션 결과에 기반하여 상기 로봇이 구동하는 방향이 안내되도록, 상기 그래픽 객체 중 적어도 일부를 강조하여 표시하는 단계를 더 포함 할 수 있다.
일 실시 예에 있어서, 상기 로봇 이미지의 적어도 일 부분에 상기 로봇 이미지에 대응하는 공간의 3차원 좌표축 각각을 안내하는 그래픽 객체를 오버랩하여 표시하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 본 발명은 상기 로봇의 구동 가능한 방향을 산출하는 단계 및 상기 산출 결과에 기반하여, 상기 그래픽 객체 중 상기 로봇이 구동 가능한 방향에 대응하는 축을 안내하는 그래픽 객체를 표시하는 단계를 더 포함할 수 있다.
또한, 본 발명은 시뮬레이션 영역 및 제어 영역을 포함하는 로봇 교시 인터페이스를 구현하는 로봇 교시 프로그램을 제공한다. 구체적으로, 본 발명은 상기 시뮬레이션 영역에, 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하는 단계, 상기 시뮬레이션 영역에서, 상기 로봇 이미지의 적어도 일 부분을 선택하는 사용자 입력을 수신하는 단계, 상기 제어 영역에, 상기 사용자 입력에 의해 선택된 상기 로봇 이미지의 적어도 일 부분에 대응되는 특정 관절을 제어하기 위한 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘을 출력하는 단계, 상기 확대 이미지 또는 상기 제어 아이콘 중 적어도 하나에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 상기 로봇의 동작을 제어하기 위한 제어 신호를 생성하는 단계 및 상기 제어 신호에 따른 상기 로봇의 동작에 대한 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 상기 로봇 이미지를 이용하여 제공하는 단계를 수행하는 것을 특징으로 하는 로봇 교시 프로그램을 제공한다.
또한, 본 발명은 시뮬레이션 영역 및 제어 영역을 포함하는 로봇 교시 인터페이스를 포함하는 로봇 교시 장치를 제공한다. 구체적으로, 본 발명은 상기 시뮬레이션 영역에, 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하는 디스플레이부, 상기 시뮬레이션 영역에서, 상기 로봇 이미지의 적어도 일 부분을 선택하는 사용자 입력을 수신하는 사용자 입력부, 상기 제어 영역에, 상기 사용자 입력에 의해 선택된 상기 로봇 이미지의 적어도 일 부분에 대응되는 특정 관절을 제어하기 위한 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘이 출력되도록 상기 디스플레이부를 제어하고, 상기 확대 이미지 또는 상기 제어 아이콘 중 적어도 하나에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 상기 로봇의 동작을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따른 상기 로봇의 동작에 대한 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 상기 로봇 이미지를 이용하여 제공하는 제어부를 포함하는 것을 특징으로 하는 로봇 교시 장치를 제공한다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명에 따르면, 로봇의 형태 및 구동 상태를 나타내는 로봇 이미지의 특정 부위가 확대 표시된 상태에서 로봇의 구동 및 제어에 필요한 정보를 입력하는 것이 가능해지기 때문에, 사용자는 현재 교시 중인 로봇의 부위를 명확히 인지하면서 직관적으로 특정 부위에 대한 선택적 교시를 수행할 수 있게 된다.
또한, 본 발명에 따르면, 로봇 교시 작업 중 로봇의 전체 형태 및 구동 상태를 나타내는 로봇 이미지와 로봇 이미지의 확대 이미지가 실시간으로 연동되며 함께 표시되기 때문에, 사용자는 로봇 전체에 대한 교시와 특정 부위에 대한 선택적 교시를 동시에 수행할 수 있게 되며, 특정 부위에 대한 교시가 로봇 전체에 미치는 영향을 한눈에 확인할 수 있게 된다.
또한, 본 발명에 따르면, 로봇의 형태 및 구동 상태를 나타내는 로봇 이미지의 확대 이미지와 3차원 좌표축을 안내하는 그래픽 객체가 함께 표시된 상태에서 특정 부위에 대한 교시 작업이 이루어지기 때문에, 사용자가 로봇 일부분에 대한 이미지만 보면서 교시 작업을 수행하더라도 로봇 전체의 3차원 공간상의 움직임을 명확하게 인지할 수 있게 된다.
또한, 본 발명에 따르면, 로봇 이미지 또는 로봇 이미지 확대 이미지의 3차원 좌표축을 안내하는 그래픽 객체가 로봇의 구동 가능한 방향, 현재 입력 중인 정보와 관련된 구동 방향을 안내하기 때문에, 3차원 공간상에서의 직관적인 교시가 가능해진다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 로봇 교시 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 로봇 교시 장치(티칭 펜던트)에 포함된 구성요소들을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 로봇 교시 장치(티칭 펜던트)의 메인 화면을 나타낸 개념도이다.
도 4는 본 발명의 일 실시예에 따른 로봇 교시 장치에 의해 제어되는 프로그래밍 가능한 로봇의 동작을 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 로봇 교시 방법의 일 실시 예를 나타내는 순서도이다.
도 6a, 6b, 7a 및 7b는 본 발명에 따른 로봇 교시 방법의 일 실시 예를 나타내는 개념도이다.
도 8a 및 8b는 본 발명에 따른 제1영역을 활용하는 방법을 나타내는 개념도이다.
도 9a, 9b, 9c, 10a, 10b, 11a, 11b 및 12는 본 발명에 따른 로봇 교시 장치가 제1영역에 3차원 좌표축을 안내하는 그래픽 객체를 표시하는 일 실시 예를 나타내는 개념도이다.
도 13a 및 13b는 본 발명의 일 실시 예에 따른 로봇 교시 장치가 주변 물체와 로봇이 상호작용하는 모습 출력하는 일 실시 예를 나타내는 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
로봇 교시를 위해서는 3가지 방식이 사용될 수 있는데, 상기 3가지 방식은 오프라인 프로그래밍(offline programming), 온라인 프로그래밍(online programming), 직접 교시(direct teaching) 방식을 포함할 수 있다. 오프라인 프로그래밍은 시뮬레이터를 기반으로 동작하는 프로그래밍 방식으로, 경로 생성 및 검증을 수행시 주로 사용되며, 이더캣 마스터 제어기를 통해 실행되는 프로그래밍 방식이다.
온라인 프로그래밍은 로봇 교시 장치를 이용하는 방식으로, 로봇 운동 명령, 경로 생성/반복 작업에 주로 사용되고 이를 로봇 교시 장치와 로봇의 유선 또는 무선 연결에 의해 이루어지는 방식이다.
직접 교시는 사용자(또는 조작자)가 로봇을 직접 조작하여 경로를 학습시키는 방법으로 제어 알고리즘의 지원이 필요할 수 있다. 이는 로봇의 목표 궤적을 사용자가 직관적을 결정할 수 있도록 하는 시스템으로, 사용자가 로봇의 말단 부분을 잡고 직접 로봇에 힘과 모멘트를 인가하여 로봇을 자신의 의도대로 운전하는 방식이다. 이로 인해, 사용자는 간단히 로봇의 목표 궤적 정보를 생성할 수 있고, 로봇은 이 경로를 기억한 후, 자동운전시 이를 추종하도록 하여 제어되는 방식이다.
본 발명의 일 실시예에 따른 로봇 교시 장치는 로봇을 제어하기 위한 사용자 인터페이스 장치로써, 티칭 펜턴드(TP: Teaching Pendant)를 포함할 수 있다. 티칭 펜던트는 산업용 장비 또는 로봇에 사용되는 장비로, 주로 모니터 및 마우스를 사용할 수 없는 산업 현장 및 특별한 조작이 필요없는 자동화 장비에서 사용자의 편의를 위해 터치 패드(또는 키버튼)과 디스플레이 스크린(예컨대, LCD, LED 스크린이 포함될 수 있음)을 사용하여 태블릿 PC 형태로 구현 가능하며, 로봇에 유선 또는 무선으로 연결되어 사용될 수 있다.
로봇 교시 시스템
도 1은 본 발명의 일 실시예에 따른 로봇 교시 시스템을 개략적으로 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 로봇 교시 시스템은 (a) 오프라인 프로그래밍 기반 및 (b) 온라인 프로그래밍 기반으로 프로그래밍할 수 있다. 본 발명의 일 실시 예에 따른 로봇 교시 시스템은 로봇 교시 장치(100: 예컨대 티칭 펜던트일 수 있음), 마스터 제어기 및 로봇(300) 중 적어도 하나를 포함할 수 있다. 본 발명은 온라인 프로그래밍 기반의 로봇 교시 시스템 및 오프라인 프로그래밍 기반의 로봇 교시 시스템에 모두 사용될 수 있다. 또한, 상기 로봇 교시 시스템은 교시를 기준으로 시스템을 정의한 용어로서, 로봇을 기준으로 한 로봇 시스템으로 지칭될 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 오프라인 프로그램밍 제어에 있어서, 로봇 교시 장치(100)와 마스터 제어기(200)는 제어 신호를 또는 프로그래밍 데이터를 로봇(300)의 제어 시스템(미도시)에 전달하여 로봇(300)을 구동시킬 수 있다. 로봇(300)의 제어 시스템은 이를 각 로봇의 부분을 구동시키는 구동 수단에 전류를 인가하여 프로그래밍에 상응하는 동작이 수행되도록 제어할 수 있다.
본 발명의 일 실시예에 따른 로봇 교시 장치(100)는 터치 기반의 티칭 펜던트일 수 있다. 즉, 온라인 프로그래밍에 사용되는 티칭 펜던트의 기능에 시뮬레이터를 탑재하여 오프라인 프로그래밍 기능을 제공할 수 있다.
일 실시 예에 있어서, 로봇 교시 장치(100)에 활용되는 소프트웨어는 윈도우 또는 리눅스 등 다양한 운영체계에서 실행될 수 있다. 로봇 교시 장치(100)는 시뮬레이터를 통해 충돌 회피 알고리즘, 최적 경로 계산 알고리즘을 검증할 수 있다.
로봇 교시 장치(100)는 로봇(300)의 엔드 이펙터를 포함하여 로봇(300)의 부분들의 기능들 및 움직임들을 제어 하는데 사용될 수 있다. 이를 위해, 로봇 교시 장치(100)는 로봇(300)이 동작하는 주변 환경 및 로봇(300)에 의해 핸들링되는 물체들에 대한 관련 정보뿐만 아니라 미리 저장된 로봇 관련 움직임 및 기능을 구현하기 위해 필요한 정보를 저장하는 저장부를 포함할 수 있다. 로봇 교시 장치(100)는 로봇(300)의 프로그래밍 동안 로봇(300)과 통신할 수 있고, 로봇(300)을 제어할 수 있다. 또한, 로봇(300)의 움직임들의 패턴 및 미리 프로그래밍된 시나리오를 검색할 수도 있다. 따라서, 이러한 시나리오 또는 로봇 관련 정보들은 새로운 테스트를 위한 로봇을 재-프로그래밍하는데 필요한 설정 내에서 서로 다른 태스크를 수행하는데 사용될 수 있다.
일 실시 예에 있어서, 마스터 제어기(200)는 사물인터넷(IoT) 서비스가 즉시 가능한 게이트웨이(IGoT: Internet Gateway of Things)를 이용하여 분산된 다수의 센서 및 구동기들을 이더넷 통신을 통해 실시간으로 제어하기 위한 필드버스일 수 있다.
다른 일 실시 예에 있어서, IGoT는 사물인터넷 서비스가 즉시 가능한 게이트웨이로 산업용 사물인터넷을 위해 필드버스인 RS485 및 CAN 기반의 센서들을 활용하고 실시간 분산 제어를 위해 이더캣(EtherCAT)을 활용하는 것이 가능하다. 즉, 마스터 제어기(200)는 이더캣을 지원하는 리눅스 기반의 실시간 제어기일 수 있다.
다른 일 실시 예에 있어서, 마스터 제어기(200)는 로봇 교시 장치(100)와 USB를 통해 연결되고, 로봇 교시 장치(100)로부터 프로그래밍 데이터 또는 제어 신호를 받아 로봇을 구동시킬 수 있다. 마스터 제어기(200)는 STEP(Science and Technology Embedded Platform)을 포함할 수 있다. 마스터 제어기(200)는 반드시 실시간으로 로봇 교시 장치(100) 및 로봇(300)의 제어를 수행할 필요는 없다.
한편, 후술할 로봇 교시 장치에서 수행되는 일부 제어들은 마스터 제어기(200)에서 수행된 후 그 수행 결과가 로봇 교시 장치(100)로 전달될 수 있다. 예를 들어, 사용자로부터 정보를 입력 받아 로봇의 움직임을 시뮬레이션하는 경우, 상기 시뮬레이션은 로봇 교시 장치(100)에서 수행될수도 있고, 마스터 제어기(200)에서 수행될 수 있다. 본 명세서에서는 설명의 편의를 위하여, 특정 기능의 수행 주체를 로봇 교시 장치(100)로만 설명하나, 로봇 교시 장치(100)에서 수행되는 기능은 마스터 제어기(200)에서도 수행될 수 있다.
온라인 프로그래밍 제어에 있어서, 로봇 교시 장치(100)는 이더캣을 이용하여 온라인으로 로봇(300)을 제어할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 실시간 로봇제어기와 통합된 형태의 로봇 교시 장치(100)를 구현하여 온라인 프로그래밍과 오프라인 프로그래밍을 통합 수행할 수 있다.
로봇 교시 장치(티칭 펜던트)
도 2는 본 발명의 일 실시예에 따른 로봇 교시 장치(티칭 펜던트)에 포함된 구성요소들을 나타내는 블록도이고, 도 3은 본 발명의 일 실시예에 따른 로봇 교시 장치(티칭 펜던트)의 메인 화면을 나타낸 개념도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 로봇 교시 장치(100)는 디스플레이부(110), 사용자 입력부(120), 제어부(130), 저장부(140), 통신부(150) 및 시뮬레이션부(160)를 포함할 수 있다.
디스플레이부(110)는 로봇의 프로그래밍 동안 사용자에 의해 수행되어질 프로그래밍 단계들과 관련된 메뉴들 및/또는 로봇의 프로그래밍 동안, 실제 동작 또는 테스트 실행 동안 상기 로봇의 형상을 나타내는 로봇 이미지를 디스플레이할 수 있다. 디스플레이부(110)는 시간 축과 로봇의 부분들 중 적어도 하나의 움직임의 정도 값을 나타내는 움직임 정보 축으로 구성된 그래프를 표시할 수 있다. 한편, 디스플레이부(110)에는 사용자의 작업을 보조하기 위한 다양한 메시지가 표시될 수 있다. 이에 대하여는 후술한다.
사용자 입력부(120)는 로봇에 대한 제어 시스템에 프로그래밍된 지시어를 입력할 수 있다. 사용자 입력부(120)는 사용자로부터 지시어를 입력받을 수 있고, 이는 터치 스크린을 포함할 수 있다. 터치 스크린은 터치 펜 또는 사용자 손 등을 통해 사용자 입력을 입력받을 수 있다. 터치 스크린은 로봇의 3D 표현이 로봇의 특정 부분을 임의의 위치에 위치시키고 배향시키기(positioning and orienting) 위한 다양한 아이콘들과 함께 표시되도록 하고, 아이콘들에 대한 클릭을 입력받을 수 있다.
제어부(130)는 로봇에 대한 프로그래밍 및 제어를 위한 프로세서이다. 이는 하드웨어 프로세서로 구성될 수 있다. 제어부(130)는 사용자 입력부(120)에서 입력된 지시어에 따라 로봇에 입력되는 프로그래밍 코드를 생성할 수 있다. 또는 로봇을 제어할 수 있는 제어 신호를 생성할 수 있다. 제어부(130)는 로봇의 각 부분의 움직임 또는 좌표 값을 기반으로 시간에 따른 흐름을 분석하여 시간축과 움직임 정도 값으로 구성된 그래프를 생성할 수 있다. 또한, 그래프를 이용하여 시간, 대상 로봇 부분 및 웨이포인트를 특정하여 해당 부분의 움직임 정도 값의 변화를 통해 웨이포인트의 위치를 변화시킬 수도 있고, 새로운 웨이포인트를 추가할 수도 있다. 제어부(130)는 로봇의 주변 환경, 예컨대, 장애물 및 금지 구역 등을 파악하여, 로봇의 최적 경로를 계산할 수 있다. 또한, 웨이포인트들의 시퀀스들을 통해 또는 공간 상의 경로를 통해 로봇의 하나 이상의 조인트들 또는 툴을 이동시킴으로써 로봇의 위치 또는 공간적 영역의 상세 좌표를 획득할 수 있다.
일 실시 예에 있어서, 제어부(130)에는 기본적으로 각 팔에 대한 역동역학 제어 알고리즘, 임피던스 제어 알고리즘, 컴플라이언스 제어 알고리즘, 암 조작에 따른 충돌 검출 및 회피 알고리즘, Object 임피던스 제어 알고리즘 및 Internal force 임피던스 제어알고리즘을 탑재할 수 있고, 이러한 알고리즘의 검증을 시뮬레이션부(160)의 시뮬레이션을 통해 수행할 수 있다.
또한, 제어부(130)는 각 메뉴 및 아이콘의 클릭에 따라 이전 및 다음 메뉴 및 아이콘이 표시되도록 디스플레이부(110)을 제어할 수 있다. 제어부(130)는 적어도 로봇의 프로그래밍 동안, 특정 동작들과 관련하여, 로봇과 관련된 움직임, 액션들 및 다른 특징들을 설명하는 미리 프로그래밍된 템플릿(templates)의 액세스를 가질 수 있다. 이때, 테플릿은 로봇의 차후 프로그래밍을 최적화하고, 촉진시키기 위해 로봇의 서로 다른 동작들을 정의할 수 있다. 상기 템플릿은 저장부(140)에 저장될 수 있다.
저장부(140)는 로봇의 프로그래밍 및 동작들과 관련된 정보를 저장할 수 있고, 로봇의 이동 동안 피해야 할 장애물 정보 및/또는 공간 상의 금지된 영역과 같은 로봇 주변에 관한 정보도 저장할 수 있다. 이는 RAM, ROM 등 의 플래시 메모리 및/또는 하드 메모리 등의 비휘발성 메모리를 포함할 수 있다. 저장부(140)는 툴의 최초 위치를 나타내는 정보, 최초 위치에서의 툴의 활성화/트리거링 파라미터들, 툴의 최종 위치, 최종 위치에서의 활 성화/트리거링 파라미터들 및 최초 위치와 최종 위치 사이의 공간 상의 경로와 관련된 정보를 저장할 수 있다.
통신부(150)는 실제 로봇에 부착된 센서 등으로부터 로봇의 움직임 정보 또는 위치 정보 등의 로봇 관련 정보를 수신할 수 있다. 이는 통신 프로세서로 구현가능하다. 또한, 통신부(150)는 로봇 간에 데이터 송수신을 수행하도록 이루어질 수 있다.
시뮬레이션부(160)는 실제 로봇으로부터 수신되는 정보 또는 로봇 교시 장치의 외부 센서로부터의 정보를 기반 으로 실제 로봇의 움직임을 로봇 이미지(예컨대, 3D CAD 이미지) 로 생성하여 시뮬레이션이 이루어지도록 할 수 있다. 또한, 실제 로봇과 별개로, 제어부(130)에서 생성된 프로그래밍에 따라 로봇의 로봇 이미지를 생성하여 가상으로 로봇의 움직임을 시뮬레이팅할 수 있다. 이러한 시뮬레이션 로봇 이미지는 디스플레이부(110)로 전송되어 디스플레이될 수 있다.
본 발명에서는 설명의 편의를 위하여, 로봇 교시 장치에서 수행되는 기능 또는 과정을 “로봇 교시 장치가 정보를 출력한다”와 같이, “로봇 교시 장치”를 주체로 하여 표현하도록 한다. 여기에서, “제어 하에”있다는 것은, 로봇 교시 장치와 마스터 제어기 및 로봇과의 통신을 통해, 데이터를 송수신하여, 이에 기반하여 일련의 과정이 수행되는 것을 의미할 수 있다.
또한, “제어 하에”있다는 것은, 실질적으로는 로봇 교시 장치의 제어부가, 본 발명에 따른 로봇 교시 장치에서 제공되는 명령어, 프로그램 또는 기능에 기반하여, 이하에서 설명되는 기능을 수행할 수 있음을 의미할 수 있다.
본 발명에 따른 로봇 교시 장치는 디스플레이부(110) 상에 다양한 화면 정보를 표시할 수 있다.
구체적으로, 도 3을 참조하면, 디스플레이부에는 로봇 교시 장치(100)에서 실행 가능한 기능과 연관된 복수의 아이콘들(111)이 표시될 수 있다. 사용자는 상기 아이콘들 중 어느 하나를 터치함으로써, 특정 기능을 실행할 수 있다.
한편, 디스플레이부(110)는 로봇에 대한 로봇 이미지(112)가 출력될 수 있다. 여기서, 로봇 이미지(112)란 로봇의 구동 및 제어와 관련된 시뮬레이션 정보이다. 상기 로봇 이미지(112)는 사용자로부터 인가된 정보를 기반으로 시뮬레이션부(160) 또는 마스터 제어기(200)에서 수행된 시뮬레이션 결과물을 이미지화 한 것이다. 본 명세서에서는 상기 로봇 이미지(112)가 표시되는 영역을 시뮬레이션 영역이라 한다.
상기 로봇 이미지는 실제 로봇과 동일한 형상으로 표시되며, 제어하고자 하는 로봇의 종류가 달라질 경우, 로봇 이미지(112) 또한 달라질 수 있다. 로봇 교시 장치(100)는 상기 로봇 이미지(112)를 이용하여 사용자에게 로봇의 형상 및 특정 제어명령에 따른 로봇의 예상 움직임을 제공할 수 있다. 즉, 로봇 이미지(112)는 정지 영상만을 포함하는 것이 아니라 동영상도 포함한다.
또한, 로봇 교시 장치(100)는 상기 로봇 이미지(112)의 일부분(112’)을 강조 표시함으로써, 사용자가 로봇의 특정 부위에 문제가 있음을 인지할 수 있도록 할 수 있다. 로봇 이미지(112)를 활용하는 실시 예에 대하여는 후술한다.
한편, 디스플레이부(110)에는 프로젝트의 정보를 입력할 수 있는 영역(113)이 표시될 수 있다.
한편, 디스플레이부(110)에는 로봇에 인가하는 제어명령의 종류를 선택할 수 있는 복수의 탭(114)이 표시될 수 있다. 사용자는 복수의 탭들 중 어느 하나를 터치하여 로봇에 인가할 제어 명령의 종류를 선택할 수 있다. 사용자가 선택한 탭의 종류에 따라 제어명령 입력창(115)에 입력해야하는 정보가 달라질 수 있다.
본 명세서에서는 복수의 아이콘들(111), 프로젝트의 정보를 입력할 수 있는 영역(113), 상술한 복수의 탭(114) 및 입력창(115)을 제어 영역이라 칭한다. 이에 따라, 본 발명에 따른 로봇 교시 장치의 디스플레이부에 출력되는 화면 정보는 시뮬레이션 영역과 제어 영역을 포함한다.
상술한 디스플레이부에 표시되는 화면 정보는 본 발명에 따른 일 실시 예를 나타낸 것일 뿐 디스플레이부에 표시되는 정보가 상기 나열한 내용들에 한정되지는 않는다.
로봇의 동작
도 4는 본 발명의 일 실시예에 따른 로봇 교시 장치에 의해 제어되는 프로그래밍 가능한 로봇의 동작을 설명하기 위한 개념도이다.
로봇은 복수 개의 개별 암 섹션들을 포함할 수 있고, 근접한 암 섹션들은 각 조인트에 의해 인터커넥션되어 있다. 상기 조인트들의 적어도 일부에는 구동가능한 구동수단이 들어있을 수 있다. 또한 로봇은 이러한 구동회로를 제어하는 제어 시스템을 포함할 수 있다. 상기 조인트는 안전 브레이크를 포함할 수 있고, 모터 회전축과 관련하여 회전할 수 있는 환상 멤버(annular member)를 포함할 수 있다.
로봇은 로봇 교시 장치로부터 수신되는 지시어를 디코딩하기 위한 디코더를 포함할 수 있고, 로봇의 각 부분의 위치 및 움직임과 관련된 정보를 센싱하기 위한 센서(예컨대, 힘/토크 센서(F/T sensor), 위치 센서, 비전 센서 (vision sensor))를 포함할 수 있다. 이러한 센서는 로봇 주변을 센싱할 수도 있다. 또한, 상기 움직임 관련 정보를 인코딩하기 위한 인코더를 포함할 수 있다.
로봇은 적어도 다음의 동작들을 수행할 수 있다: 픽-앤-플레이스 동작(pick-and-place operation), 파일링 동작 (filing operation), 팩-인-홀 동작(peg-in-hole operation), 조립 동작(assembly operation), 팔레타이징 동 작(palletizing operation), 직적 교시, 디버링 동작(deburring operation), 스프레잉, 웰딩 동작(spraying, welding operation) 및 휴먼 인터랙션(human interaction)을 수행할 수 있다. 이는 기본적인 기능에 의해 수행될 수 있다: 위치의 특정(specification of position), 트랙킹, 움직임 패턴, 트리거(triggers) 및 이벤트/액션들에 의해 구현될 수 있다.
도 4를 참조하면, 로봇(300)은 다자유도의 움직임을 실현하기 위해 복수의 관절(320, 330, 340, 350, 360, 370)을 포함한다. 도 4에는 다자유도 협동 로봇의 일예로서, 6개의 관절(320, 330, 340, 350, 360, 370)을 이용해 6 자유도를 갖도록 구성된 로봇(300)을 도시하였다.
제1 관절(320)은 베이스(310)의 상부에 회전 가능하게 결합되며, 제1 관절(320)은 Z축(도 4를 기준으로 수직 방향)을 중심으로 회전하게 된다. 제1 관절(320)의 일단면(베이스(310)와 마주하는 면)과 타단면(제2 관절(330)과 마 주하는 면)은 서로 수직한 평면 상에 위치한다. 제2 관절(330)은 제1 관절(320)의 타단부에 회전 가능하게 결합된다. 제1 관절(320)의 일단면과 타단면이 서로 수 직한 평면 상에 위치하므로, 제2 관절(330)은 제1 관절(320)의 회전축에 대해 수직 방향의 축을 중심으로 회전하게 된다. 제2 관절(330)의 일단면(제1 관절(320)과 마주하는 면)과 타단면(제3 관절(340)과 마주하는 면)은 서로 평행하거나 일치하는 평면 상에 위치한다.
제3 관절(340)은 제2 관절(330)의 타단부에 회전 가능하게 결합된다. 제2 관절(330)의 일단면과 타단면이 서로 평행하거나 일치하는 평면 상에 위치하므로, 제3 관절(340)은 제2 관절(330)의 회전축과 평행한 축을 중심으로 회전하게 된다. 제3 관절(340)의 일단면(제2 관절(330)과 마주하는 면)과 타단면(제4 관절(350)과 마주하는 면)은 서로 수직한 평면 상에 위치한다.
제4 관절(350)은 제3 관절(340)의 타단부에 회전 가능하게 결합된다. 제3 관절(340)의 일단면과 타단면이 서로 수직한 평면 상에 위치하므로, 제4 관절(350)은 제3 관절(340)의 회전축에 대해 수직 방향의 축을 중심으로 회전하 게 된다. 제4 관절(350)의 일단면(제3 관절(340)과 마주하는 면)과 타단면(제5 관절(360)과 마주하는 면)은 서로 수직한 평면 상에 위치한다.
제5 관절(360)은 제4 관절(350)의 타단부에 회전 가능하게 결합된다. 제4 관절(350)의 일단면과 타단면이 서로 수직한 평면 상에 위치하므로, 제5 관절(360)은 제4 관절(350)의 회전축에 대해 수직 방향의 축을 중심으로 회전하 게 된다. 제5 관절(360)의 일단면(제4 관절(350)과 마주하는 면)과 타단면(제6 관절(370)과 마주하는 면)은 서로 수직한 평면 상에 위치한다.
제6 관절(370)은 제5 관절(360)의 타단부에 회전 가능하게 결합된다. 제5 관절(360)의 일단면과 타단면이 서로 수직한 평면 상에 위치하므로, 제6 관절(370)은 제5 관절(360)의 회전축에 대해 수직 방향의 축을 중심으로 회전하 게 된다. 제5 관절(360)의 일단면(제4 관절(350)과 마주하는 면)과 타단면은 서로 수직한 평면 상에 위치한다.
제6 관절(370)의 타단부에는 부가 장치(미도시)가 장착된다. 부가장치는 로봇(300)이 수행하는 작업 등에 따라 다양한 종류가 존재하며, 제6 관절(370)의 타단부는 다양한 부가 장치가 교체 장착되도록 구성된다.
상기 부가 장치는, 로봇의 작업을 위한 툴(tool)이나 상기 로봇에 장착되는 센서 등이 될 수 있다. 상기 부가 장치는 엔드 이펙터를 포함할 수 있다.
본 발명은 상술한 로봇 교시 장치를 통해 로봇을 제어할 수 있도록 한다. 상술한 로봇은 본 발명의 일 실시 예를 나타낸 것일 뿐 본 발명에 따라 제어할 수 있는 로봇의 구조가 상술한 로봇에 한정되지는 않는다.
이하, 구동가능한 로봇의 복수의 부위들 중 특정 부위에 대한 선택적 교시가 직관적으로 이루어질 수 있도록 하는 로봇 교시 방법에 대하여 구체적으로 설명한다.
도 5는 본 발명에 따른 로봇 교시 방법의 일 실시 예를 나타내는 순서도이고, 도 6a, 6b, 7a 및 7b은 본 발명에 따른 로봇 교시 방법의 일 실시 예를 나타내는 개념도이고, 도 8a 및 8b는 본 발명에 따른 제1영역을 활용하는 방법을 나타내는 개념도이다.
도 5를 참조하면, 시뮬레이션 영역에 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하는(S110)가 진행된다.
이 경우에, 상기 로봇 이미지를 출력하는 단계(S110)에 앞서, 상기 로봇의 동작을 교시하도록, 로봇 교시 장치에서 교시 인터페이스를 출력하는 단계가 수행될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 상기 교시 인터페이스를 출력함과 동시에 로봇 이미지가 출력(S110)되는 것도 가능하다.
상기 교시 인터페이스는 로봇 교시 장치에서 사용자와의 인터랙션을 위하여 출력되는 인터페이스로서, 그래픽 유저 인터페이스, 음향 인터페이스 등을 포함한다. 보다 구체적으로, 상기 교시 인터페이스는 도 3을 참조하여 전술한, 시뮬레이션 영역과 제어 영역을 모두 포함한 의미로 해석될 수 있다. 상기 로봇과 로봇 교시 장치의 통신 정보는 유선 또는 무선 신호를 이용한 상기 로봇과 로봇 교시 장치의 통신 연결과 관련된 정보가 될 수 있다. 이하, 본 명세서에서는 설명의 편의를 위하여 주로 무선 통신를 예시로서 설명한다
상기 로봇 이미지는 로봇의 형상을 3차원으로 구현한 정지영상이거나, 로봇의 움직임을 3차원으로 구현한 동영상일 수 있다.
상기 시뮬레이션 영역에서, 상기 로봇 이미지의 일 영역을 선택하는 사용자 입력을 수신하는 단계 (S120)가 진행된다.
도 4에서 설명한 바와 같이, 로봇은 구동 가능한 복수의 관절을 포함하며, 로봇 교시 장치는 구동 가능한 로봇의 관절을 포함하는 로봇 이미지를 출력한다.
나아가, 로봇 교시 장치는 구동 가능한 로봇의 엔드 이펙터를 포함하는 로봇 이미지를 출력할 수 있다.
로봇 교시 장치는 로봇 이미지의 전체 영역 중 구동 가능한 관절에 대응하는 일부분이 표시된 영역에 인가되는 사용자 입력을 수신한다.
이때, 로봇 교시 장치는 로봇의 구동 가능한 부위에 대응하는 일부분을 강조표시할 수 있다. 이를 통해, 본 발명은 사용자가 구동가능한 로봇 부위를 직관적으로 인지할 수 있도록 한다. 나아가, 로봇 이미지에 엔드 이펙터에 대한 이미지가 포함된 경우, 로봇 교시 장치는 상기 엔드 이펙터에 대한 이미지도 강조 표시할 수 있다.
이후, 상기 제어 영역에 포함된 제1영역에, 상기 사용자 입력에 의해 선택된 상기 로봇 이미지의 일 영역에 대응되는 특정 관절을 제어하기 위한 제어 정보를 출력하는 단계(S130)가 진행된다.
여기서, 상기 제어 정보는 로봇 이미지의 적어도 일 부분에 대응되는 특정 관절을 제어하기 위한 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘을 포함한다.
한편, 상기 제1영역은 다양한 제어 정보들을 포함할 수 있다. 구체적으로, 제1영역은 로봇의 구동 및 제어에 활용되는 정보를 입력 받는 입력 영역, 상기 확대 이미지를 축소 또는 확대할 수 있도록 하는 그래픽 객체, 상기 확대 이미지에 대응하는 3차원 좌표축을 안내하는 그래픽 객체, 상기 확대 이미지의 적어도 일측에 표시되며, 어느 일 방향으로 상기 특정 관절의 움직임을 제어하는 보조 제어 아이콘 중 적어도 하나를 포함할 수 있다.
여기서, 보조 제어 아이콘은 상기 로봇의 동작 가능한 범위를 안내하도록 표시될 수 있다. 구체적으로, 상기 입력 영역은 로봇 부위의 회전 가능한 방향, 회전 가능한 각도, 이동 가능한 방향 및 이동 가능한 거리를 나타내는 그래픽 객체의 형태로 표시될 수 있다. 이때, 보조 제어 아이콘은 상기 확대 이미지와 오버랩되어 표시될 수 있다.일 실시 예에 있어서, 상기 보조 제어 아이콘은 3차원 화살표 형태로 표시되며, 상기 3차원 화살표는 상기 확대 이미지의 일부와 오버랩되어 표시되며, 로봇이 회전 가능한 방향으로, 회전 가능한 지점까지 연장된다. 사용자는 상기 화살표에 대한 터치 입력을 통해 로봇의 회전 각도를 설정할 수 있게 된다. 예를 들어, 상기 제1영역에 특정 관절에 대한 확대 이미지가 표시되는 경우, 상기 화살표는 상기 확대 이미지와 오버랩되어 표시될 수 있다.
다른 일 실시 예에 있어서, 상기 보조 제어 아이콘은 제1영역에 표시되는 이미지의 종류에 따라 달라질 수 있다. 구체적으로, 제1영역에 특정 관절에 대한 확대 이미지가 표시되는 경우, 상기 보조 제어 아이콘은 로봇의 회전 각도를 설정할 수 있는 화살표일 수 있다. 이와 달리, 상기 제1영역에 엔드 이펙터에 대한 확대 이미지가 표시되는 경우, 상기 보조 제어 아이콘은 3차원 좌표축을 안내하는 그래픽 객체일 수 있다. 이에 대한 구체적인 설명은 도 9a 내지 9c에서 설명한다.
일 실시 예에 있어서, 상기 제1영역은 팝업창 형태로 표시되며, 상기 제1영역의 표시 위치는 변경될 수 있다. 예를 들어, 제1영역(400)의 전체 영역 중 화면 정보가 표시되지 않은 일 지점에 터치 입력이 인가된 후, 상기 터치 입력이 디스플레이부 표면에서 특정 방향을 따라 이동하는 경우, 상기 제1영역은 상기 터치 입력을 따라 이동할 수 있다. 이에 따라, 제1영역과 오버랩되어 표시되지 않았던 교시 인터페이스의 일부 영역이 표시되며, 교시 인터페이스의 다른 영역이 제1영역과 오버랩되어 표시되지 않는다.
이 경우, 사용자는 제1영역을 이동시켜 교시 인터페이스에 포함된 모든 기능들을 사용할 수 있다. 예를 들어, 사용자는 제1영역을 다른 위치로 이동 시킨 후, 새롭게 표시된 제어영역에서 특정 메뉴를 선택하거나, 로봇의 구동 및 제어를 위한 정보를 입력할 수 있다. 즉, 사용자는 로봇 전체에 대한 교시 및 특정 부위에 대한 교시를 동시에 수행할 수 있다.
일 실시 예에 있어서, 도 6a 및 6b를 참조하면, 디스플레이부에는 로봇 이미지(112)가 출력되며, 로봇의 구동 가능한 부위에 대응하는 일부분은 강조 표시(401)될 수 있다.
한편, 제어 영역은 로봇의 구동 및 제어에 활용되는 정보를 입력 받는 그래픽 객체(403), 로봇 교시 장치에서 수행 가능한 기능들 각각과 매칭된 아이콘(404)들을 포함한다.
상기 강조 표시된 영역(401)들 중 어느 하나(401’)에 대한 터치 입력이 인가되는 경우, 제1영역(400) 상에 상기 로봇 이미지의 일 영역에 대응되는 특정 관절을 제어하기 위한 제어 정보가 출력된다. 제1영역(400)에는 사용자의 터치 입력이 인가된 위치에 표시된 로봇 이미지의 일부분에 대한 확대 이미지(402)가 표시된다. 또한, 제1영역(400)에는 로봇의 구동 및 제어에 활용되는 정보를 입력 받는 그래픽 객체(403)가 표시된다.
한편, 로봇의 구동 및 제어에 활용되는 정보를 입력 받는 그래픽 객체(403) 중 일부만 강조 표시(403’)될 수 있다. 구체적으로, 로봇 교시 장치는 로봇이 구동 가능한 제어와 관련된 그래픽 객체만 강조 표시한다. 로봇 교시 장치는 강조 표시된 그래픽 객체에 인가되는 사용자 입력에만 제어 신호를 생성하고, 강조 표시되지 않는 그래픽 객체에 인가되는 사용자 명령에는 제어 신호를 생성하지 않는다. 로봇의 자세 및 동작이 변함에 따라 로봇이 구동 가능한 범위가 달라질 경우, 상기 강조 표시 되는 그래픽 객체가 변화될 수 있다.
한편, 사용자의 터치 입력이 인가된 위치에 표시된 로봇 이미지의 일부분은 강조 표시(401’)될 수 있다. 이를 통해, 본 발명은 사용자가 선택한 로봇의 부위를 직관적으로 인지할 수 있도록 한다.
다음으로, 상기 제1영역에 포함된 상기 제어 정보에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 로봇의 동작을 제어하기 위한 제어 신호를 생성하는 단계(S140)가 진행된다.
사용자는 제어 영역을 통해 입력할 수 있는 정보들을 상기 제1영역을 통해 입력할 수 있다. 로봇 제어 장치는 제1영역에 포함된 입력 영역을 통해 사용자로부터 정보를 입력 받는다.
도 7a 및 7b를 참조하면, 제1영역(400)에 포함된 입력 영역에 터치 입력(500)이 인가되는 경우, 로봇 교시 장치는 터치 입력이 인가된 횟수 또는 시간에 근거하여 특정 제어와 관련된 설정 값을 산출한다.
정보 입력을 위한 그래픽 객체(403’)에는 산출된 값이 표시될 수 있으며, 상기 산출된 값만큼 그래픽 객체(403’)의 형태가 변형될 수 있다. 한편, 상기 특정 관절에 제어를 위한 설정값이 적용됨에 따라, 로봇 전체에 대한 설정값이 변화하는 경우, 로봇 전체에 대한 제어와 관련된 그래픽 객체(404)의 일부가 변경되어 표시될 수 있다.
마지막으로, 상기 제어 신호를 이용하여 상기 로봇의 동작의 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 로봇 이미지로 출력하는 단계(S150)가 진행된다.
사용자는 상기 시뮬레이션 결과가 제1영역에만 표시되거나, 제1영역 및 시뮬레이션 영역에 모두 표시되도록 설정할 수 있다. 이를 위해, 제어 영역에는 시뮬레이션 결과가 표시되는 영역을 선택할 수 있는 그래픽 객체가 표시될 수 있다. 상술한 바와 같이, 상기 시뮬레이션 결과는 제1영역에 확대된 로봇 이미지로 표시될 뿐 아니라, 시뮬레이션 영역 상에 로봇 전체에 대한 이미지로 표시될 수 있다.
한편, 상기 제1영역(400)에 표시된 이미지는 사용자 요청에 의해 변경될 수 있다. 구체적으로, 제1영역(400)에는 표시된 이미지를 확대 또는 축소할 수 있는 그래픽 객체, 이미지의 표시하는 시점을 변경할 수 있는 그래픽 객체 및 현재 표시중인 부위와 다른 부위를 확대하여 표시할 수 있도록 하는 그래픽 객체 중 적어도 하나가 표시될 수 있으며, 제1영역(400)에 표시된 이미지를 변경할 수 있는 다양한 그래픽 객체들이 표시될 수 있다. 로봇 교시 장치는 상술한 그래픽 객체에 인가되는 사용자 입력에 근거하여 제1영역에 포함된 이미지를 변경하여 표시할 수 있다.
일 실시 예에 있어서, 도 8a 및 8b를 참조하면, 제1영역(400)에는 이미지를 확대 또는 축소할 수 있는 그래픽 객체(405)가 표시될 수 있다. 확대 버튼에 사용자 입력이 인가되면, 로봇 교시 장치는 기존에 표시중인 이미지보다 확대된 이미지(402’)를 표시한다. 이와 함께, 로봇 교시 장치는 기존에 표시중인 이미지 대비 확대된 비율을 표시할 수 있다.
상술한 바와 같이 본 발명에 따르면, 로봇의 형태 및 구동 상태를 나타내는 로봇 이미지의 특정 부위가 확대 표시된 상태에서 로봇의 구동 및 제어에 필요한 정보를 입력하는 것이 가능해지기 때문에, 사용자는 현재 교시 중인 로봇의 부위를 명확히 인지하면서 직관적으로 특정 부위에 대한 선택적 교시를 수행할 수 있게 된다.
한편, 본 발명은 사용자의 실제 시선과 로봇의 특정 부위에 대한 교시가 실시간으로 연동되어 이루어질 수 있는 유저 인터페이스를 제공한다.
로봇 교시 장치는 사용자 요청에 응답하여 상기 로봇 이미지를 변경하여 표시할 수 있다. 구체적으로, 로봇 교시 장치는 상기 로봇 이미지가 표시된 영역에 인가되는 사용자 입력에 근거하여, 기존에 표시 중인, 특정 방향에서 바라본 로봇 이미지를 다른 방향에서 바라본 로봇 이미지로 변경할 수 있다. 즉, 로봇 교시 장치는 서로 다른 시점에서 바라본 로봇 형상을 로봇 이미지로 표시할 수 있다. 본 명세서에서는 특정 시점에서 바라본 로봇의 3차원 이미지를 표시할 경우, 상기 특정 시점을 ‘기준 시점’으로 하여 로봇 이미지를 표시한다고 표현한다. 이에 따르면, 로봇 교시 장치는 사용자 요청에 응답하여 로봇 이미지를 표시하는 기준 시점을 변경할 수 있다.
사용자 요청에 의해 로봇 이미지의 기준 시점이 변경될 경우, 제1영역에 표시된 이미지의 기준 시점도 변경되어 표시된다. 구체적으로, 로봇 교시 장치는 로봇 이미지 및 제1영역에 표시된 이미지 각각의 기준 시점이 동일하도록 동기화 한다. 즉, 로봇 교시 장치는 사용자 입력에 근거하여, 로봇에 포함된 특정 관절이 상기 로봇 이미지와 상기 확대 이미지에서 동기화(synchronized)되어 움직이도록 한다.
한편, 로봇 교시 장치는 사용자를 기준으로 상기 로봇을 바라보는 사용자 시점을 감지하고, 상기 로봇 이미지 및 확대 이미지에서 상기 특정 관절은 상기 사용자 시점을 기준으로 움직이는 방향이 설정되도록 한다. 즉, 본 발명은 사용자의 시점에 따라 로봇 이미지가 다르게 표시되도록 한다.
상술한 바와 같이, 본 발명에 따르면, 로봇 교시 작업 중 로봇의 전체 형태 및 구동 상태를 나타내는 로봇 이미지와 로봇 이미지의 확대 이미지가 실시간으로 연동되며 함께 표시되기 때문에, 사용자는 로봇 전체에 대한 교시와 특정 부위에 대한 선택적 교시를 동시에 수행할 수 있게 되며, 특정 부위에 대한 교시가 로봇 전체에 미치는 영향을 한눈에 확인할 수 있게 된다.
한편, 본 발명은 로봇의 일부분만 선택적으로 교시하는 경우에도 로봇 전체의 3차원 공간상의 움직임을 직관적으로 인지할 수 있도록 하는 유저 인터페이스를 제공한다.
도 9a, 9b, 9c 10a, 10b, 11a, 11b 및 12는 본 발명에 따른 로봇 교시 장치가 제1영역에 3차원 좌표축을 안내하는 그래픽 객체를 표시하는 일 실시 예를 나타내는 개념도이다.
로봇 교시 장치는 제1영역에 상기 확대된 이미지에 대응하는 3차원 좌표축을 안내하는 그래픽 객체를 더 표시할 수 있다. 상기 로봇 이미지 및 제1영역에 표시된 확대된 이미지는 모두 3차원 이미지이다. 3차원 이미지는 3개의 축으로 이루어진 가상의 공간 상에 구현된다. 로봇 이미지를 표시하는 기준 시점이 달라지더라도 가상의 공간 상의 3개의 축과 로봇 이미지 간의 상대적인 관계는 유지되기 때문에, 로봇 이미지의 기준 시점이 달라질 경우 사용자는 가상 공간의 좌표 축을 인지하는데 어려움을 느낄 수 있다. 이를 방지하기 위해, 시뮬레이션 영역에는 로봇 이미지가 구현되는 가상 공간의 좌표축을 안내하는 그래픽 객체가 표시될 수 있다. 상기 그래픽 객체는 영상의 기준 시점이 변경되는 경우, 변경된 기준 시점에 대응하는 3개의 축을 안내하도록 그 형태가 변경된다. 이를 통해, 상기 그래픽 객체는 사용자가 로봇이 존재하는 공간을 보다 명확하게 인지할 수 있도록 한다.
한편, 본 발명은 상기 그래픽 객체가 제1영역에도 표시되도록 한다. 이때, 제1영역에 표시되는 그래픽 객체는 로봇 이미지가 아닌 확대된 이미지가 구현되는 가상 공간의 좌표축을 안내하도록 표시된다. 구체적으로, 로봇 이미지와 확대된 이미지 각각의 기준 시점은 동일하도록 동기화되나, 사용자 요청에 의해 상기 로봇 이미지와 확대된 이미지 각각의 기준 시점이 달라지거나, 3차원 영상을 확대하는 과정에서 기준 시점이 다소 변경될 수 있다. 본 발명은 확대된 이미지를 기준으로 3차원 좌표축을 안내하는 그래픽 객체를 제1영역 상에 표시함으로써, 로봇 형상의 일부분만 인지한 상태로 교시 작업을 수행하는 경우에도 사용자가 로봇의 3차원 상의 자세 및 움직임을 명확하게 인지할 수 있도록 한다.
사용자 요청에 의해 상기 확대된 이미지의 기준 시점이 변경되는 경우, 상기 그래픽 객체는 변경된 이미지의 3차원 좌표축을 안내하도록 그 형태가 변화한다.
일 실시 예에 있어서, 상기 그래픽 객체는 한 점에서 세 개의 방향으로 각각 연장되는 세 개의 직선을 포함할 수 있다. 상기 세 개의 직선 각각의 말단에는 각각의 직선에 대응하는 축의 명칭(예를 들어, x축, y축, z축)이 표시될 수 있다. 다만, 상술한 그래픽 객체는 3차원 좌표축을 안내하는 일 실시 예일 뿐, 사용자가 3차원 좌표를 인지할 수 있도록 하는 어떠한 형태로도 표시될 수 있다. 다만, 설명의 편의를 위하여, 본 명세서에서는 3차원 좌표축을 안내하는 그래픽 객체를 상술한 세 개의 직선을 포함하는 형태로만 설명한다.
일 실시 예에 있어서, 도 9a 내지 9c를 참조하면, 디스플레이부에는 로봇 이미지(112)가 출력되며, 로봇의 구동 가능한 부위에 대응하는 일부분은 강조 표시될 수 있다. 여기서, 구동 가능한 부위는 로봇의 관절 및 엔드 이펙터를 포함할 수 있다. 로봇의 관절에 대응하는 일부분(401a 내지 401f) 및 엔드 이펙터에 대응하는 일부분(401g)은 강조 표시될 수 있다.
도 9b를 참조하면, 사용자가 엔드 이펙터에 대응되는 영역을 선택하는 경우, 제1영역(400)에는 엔드 이펙터가 확대된 이미지(402)와 상기 확대된 이미지에 대응하는 3차원 좌표축을 안내하는 그래픽 객체(406)가 표시될 수 있다. 상기 그래픽 객체는 한 점을 기준으로 세 방향으로 연장되는 직선을 포함한다. 상기 직선 각각은 가상의 3차원 공간 상의 축을 의미한다. 각각의 직선 말단에는 각각의 축의 명칭이 표시된다. 상기 확대된 이미지(402)의 기준 시점이 변경되는 경우, 상기 세 개의 직선이 변화된 3차원 좌표축을 안내하도록, 한 점을 기준으로 기존의 연장 방향과 다른 방향으로 연장된다.
한편, 도 9c를 참조하면, 사용자가 특정 관절에 대응되는 영역을 선택하는 경우, 제1영역(400)에는 특정 관절이 확대된 이미지(402’)와 상기 확대된 이미지에 대응하는 회전 방향을 안내하는 그래픽 객체(406’)가 표시될 수 있다. 회전 방향을 안내하는 그래픽 객체(406’)는 특정 관절의 회전 가능한 방향을 안내함과 동시에, 회전 각도를 설정할 수 있도록 이루어질 수 있다. 상기 그래픽 객체(406’)는 화살표 형태로 이루어질 수 있으며, 사용자는 상기 화살표에 터치를 인가하여 특정 관절의 회전 각도를 설정할 수 있다.
한편, 도 9c를 참조하면, 제1영역에 특정 관절에 대한 확대 이미지(402’) 표시되는 중, 상기 특정 관절이 움직이는 중 고정 시킬 부위를 선택받을 수 있다. 이를 위해, 디스플레이부에는 고정될 부위를 선택 받기 위한 안내 메시지(406’’)가 출력될 수 있다. 사용자는 강조 표시된 영역 중 기 선택된 영역을 제외한 다른 영역을 선택하여, 특정 관절이 움직일 때 선택된 영역에 대응되는 부위가 고정되도록할 수 있다. 예를 들어, 사용자는 엔드 이펙터에 대응되는 영역을 선택하여, 특정 관절이 회전할 때, 엔드 이펙터가 현재 위치에 고정되도록 할 수 있다.
이하, 상술한 3차원 좌표축을 안내하는 그래픽 객체를 활용한 다양한 실시 예들에 대하여 구체적으로 설명한다.
본 발명은 상기 그래픽 객체를 통해 사용자가 입력하는 정보에 의해 로봇이 3차원 공간 상의 어느 방향으로 움직이는지 인지하도록 한다. 구체적으로, 로봇 교시 장치는 상기 그래픽 객체가 표시된 상태에서 상기 로봇의 동작 및 제어 중 적어도 하나에 활용되는 정보를 입력 받고, 상기 입력 받은 정보에 기반하여 상기 로봇이 구동하는 방향이 안내되도록, 상기 그래픽 객체의 적어도 일부를 강조하여 표시할 수 있다.
로봇 교시 장치는 제1영역을 통해 사용자로부터 정보를 입력 받아 로봇이 특정 방향으로 구동되도록 한다. 상기 정보에 의해 로봇은 x, y, z축 중 어느 하나의 축 상에서 움직이거나, x, y, z축 중 복수의 축 상에서 움직일 수 있다. 로봇 교시 장치는 사용자로부터 입력받은 정보를 이용하여 로봇이 움직이는 궤적을 시뮬레이션 하고, 상기 궤적이 어느 축 상에 있는지 분석한다. 이후, 로봇 교시 장치는 상기 그래픽 객체 중 상기 궤적에 대응하는 축을 안내하는 적어도 일부분을 강조하여 표시한다.
나아가, 로봇 교시 장치는 사용자로부터 로봇과 관련된 사용자 입력을 터치 입력을 통해 수신할 수 있다. 이 경우, 로봇 교시 장치는 터치 입력의 이동 거리, 터치 입력의 세기 중 적어도 하나에 기반하여, 로봇 제어와 관련된 입력 값의 크기를 결정할 수 있다. 예를 들어, 로봇 교시 장치는 터치 입력의 세기에 비례하여 특정 관절의 회전 각도가 설정되도록 할 수 있다.
여기서, 그래픽 객체의 적어도 일부를 강조 표시한다 함은 그래픽 객체의 적어도 일부의 형상, 색상을 변경하는 것 일 수 있다.
일 실시 예에 있어서, 도 10a 및 10b를 참조하면, 로봇 교시 장치는 제1영역(400)에 포함된 제어 영역에 인가되는 터치 입력(500)의 횟수 또는 시간에 기반하여, 로봇의 구동 및 제어에 활용할 값을 산출한다. 이후, 로봇 교시 장치는 산출된 값을 이용하여 로봇의 동작을 시뮬레이션 한다. 로봇 교시 장치는 상기 시뮬레이션 결과에 기반하여 상기 그래픽 객체(406)를 구성하는 세 개의 직선 중 일부(406a)의 굵기를 증가시켜 표시한다.
한편, 사용자의 입력 값이 실시간으로 변경되는 경우, 상기 시뮬레이션은 실시간으로 이루어지며, 강조 표시되는 영역 또한 실시간으로 변경될 수 있다. 예를 들어, 입력 영역에 인가된 슬라이딩 터치의 이동거리가 실시간으로 증가함에 따라, 강조 표시되는 그래픽 객체의 영역이 실시간으로 달라질 수 있다.
한편, 3차원 좌표축을 안내하는 그래픽 객체는 시뮬레이션 영역 상에 표시될 수 있다. 구체적으로, 상기 그래픽 객체는 상기 확대된 이미지에 대응하는 일부분과 오버랩되도록 표시될 수 있다.
일 실시 예에 있어서, 도 11a 및 11b를 참조하면, 사용자가 로봇 이미지의 전체 영역 중 강조 표시된 일부 영역을 터치하면, 상기 제1영역에는 로봇 이미지의 일부가 확대된 이미지와 3차원 좌표 축을 안내하는 그래픽 객체가 표시된다. 또한, 사용자의 터치가 인가된 영역에 3차원 좌표축을 안내하는 그래픽 객체(407)가 표시된다. 이때, 사용자의 터치가 인가된 영역에 표시되는 그래픽 객체(407)는 로봇 이미지가 구현되는 가상 공간을 기준으로 표시된다. 이에 따라, 제1영역에 표시되는 그래픽 객체와 사용자의 터치가 인가된 영역에 표시되는 그래픽 객체의 형상은 다를 수 있다. 사용자는 상술한 두 개의 그래픽 객체를 모두 확인함으로써, 로봇의 일부분에 인가한 제어명령이 로봇이 배치된 전체 공간에서 어떻게 움직이는지 인지할 수 있게 된다.
한편, 상기 그래픽 객체는 로봇의 구동 가능한 방향을 안내하도록 표시될 수 있다. 구체적으로, 로봇 제어 장치는 제1영역에 표시된 확대된 이미지에 대응하는 로봇의 부위의 구동 가능한 방향을 모니터링하고, 모니터링 결과에 근거하여, x, y, z축 중 적어도 일부를 안내하는 그래픽 객체를 표시한다.
예를 들어, 확대된 이미지에 대응하는 로봇의 부위의 구동 가능한 방향이 y 축으로만 한정되는 경우, 제1영역에는 한점으로부터 일 방향으로 연장되는 직선 그래픽 객체가 표시될 수 있다. 직선의 말단에는 상기 직선에 대응하는 축의 명칭이 표시될 수 있다.
한편, 로봇의 구동 가능한 방향을 안내하는 그래픽 객체는 시뮬레이션 영역 상에 표시될 수 있다. 구체적으로, 상기 그래픽 객체는 상기 확대된 이미지에 대응하는 일부분과 오버랩되도록 표시될 수 있다.
일 실시 예에 있어서, 도 12를 참조하면, 제1영역에는 로봇 이미지의 일부가 확대된 이미지와 로봇의 구동 가능한 방향을 안내하는 그래픽 객체(406a)가 표시된다. 또한, 사용자의 터치가 인가된 영역에 로봇의 구동 가능한 방향을 안내하는 그래픽 객체(407a)가 표시된다. 이때, 사용자의 터치가 인가된 영역에 표시되는 그래픽 객체(407a)는 로봇 이미지가 구현되는 가상 공간을 기준으로 표시된다. 이에 따라, 제1영역에 표시되는 그래픽 객체와 사용자의 터치가 인가된 영역에 표시되는 그래픽 객체의 형상은 다를 수 있다. 사용자는 상술한 두 개의 그래픽 객체를 모두 확인함으로써, 로봇의 구동 가능한 방향을 다각도에서 확인할 수 있게 된다.
상술한 바와 같이 본 발명에 따르면, 로봇의 형태 및 구동 상태를 나타내는 시뮬레이션 이미지의 확대 이미지와 3차원 좌표축을 안내하는 그래픽 객체가 함께 표시된 상태에서 특정 부위에 대한 교시 작업이 이루어지기 때문에, 사용자가 로봇 일부분에 대한 이미지만 보면서 교시 작업을 수행하더라도 로봇 전체의 3차원 공간상의 움직임을 명확하게 인지할 수 있게 된다.
또한, 본 발명에 따르면, 시뮬레이션 이미지 또는 시뮬레이션 이미지 확대 이미지의 3차원 좌표축을 안내하는 그래픽 객체가 로봇의 구동 가능한 방향, 현재 입력 중인 정보와 관련된 구동 방향을 안내하기 때문에, 3차원 공간상에서의 직관적인 교시가 가능해진다.
한편, 본 발명은 제1영역을 통해, 로봇이 주변 물체와 어떻게 상호작용하는지 예상할 수 있도록 한다.
도 13a 및 13b는 본 발명의 일 실시 예에 따른 로봇 교시 장치가 주변 물체와 로봇이 상호작용하는 모습을 출력하는 일 실시 예를 나타내는 개념도이다.
제1영역에는 로봇의 확대 이미지 뿐 아니라 로봇 주변 물체에 대응하는 이미지가 표시될 수 있다. 상기 주변 물체에 대응하는 이미지는 기 저장된 사진, 로봇 교시 장치를 통해 촬영된 사진, 로봇으로부터 수신된 사진을 통해 형성될 수 있다.
상기 주변 물체에 대응하는 이미지에 대한 사용자 입력이 수신되는 경우, 로봇 교시 장치는 상기 주변 물체에 대응하는 이미지에 대한 표시 위치를 변경할 수 있다.
상기 주변 물체에 대응하는 이미지가 표시된 상태에서, 로봇 교시 장치는 제어 영역에 대한 사용자 입력을 수신하고, 수신된 사용자 입력에 기반하여 로봇의 동작을 시뮬레이션한다. 이때, 로봇 교시 장치는 로봇과 상기 주변 물체간의 상호 작용을 함께 시뮬레이션한 후, 제1영역 상에 출력한다.
여기서, 상기 로봇과 상기 주변 물체간의 상호 작용을 시뮬레이션한 결과는 제1영역에만 출력될 수 있으며, 추후 로봇 교시 장치가 상기 시뮬레이션 결과를 적용하고자하는 사용자 입력을 수신하는 경우, 상기 시뮬레이션 결과에 대응하는 설정 값이 로봇에 적용될 수 있다.
도 13a 및 13b를 참조하면, 제1영역에는 로봇의 확대 이미지(408)와 주변 물체에 대응하는 이미지(408’)가 함께 표시될 수 있다. 로봇 교시 장치는 입력 영역으로 인가된 사용자 입력을 수신하고, 수신된 사용자 입력에 기반하여 로봇의 동작을 시뮬레이션 한다. 이때, 로봇 교시 장치는 로봇과 주변 물체간의 상호 작용을 시뮬레이션 한 후, 그 결과를 제1영역에 출력한다. 상기 시뮬레이션 결과가 출력되는 상태에서 ‘적용’ 버튼에 대한 사용자 입력이 수신되면, 로봇 교시 장치는 상기 시뮬레이션 결과가 시뮬레이션 영역에도 표시되도록 할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (13)

  1. 시뮬레이션 영역 및 제어 영역을 포함하는 로봇 교시 인터페이스에서의 로봇 교시 방법에 있어서,
    상기 시뮬레이션 영역에, 구동 가능한 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하고, 사용자가 상기 로봇의 구동 가능한 부위를 직관적으로 인지할 수 있도록, 상기 로봇 이미지에서 상기 구동 가능한 복수의 관절에 각각 대응하는 복수의 영역을 강조 표시하는 단계;
    상기 시뮬레이션 영역에서, 상기 강조 표시된 복수의 영역들 중 어느 하나의 영역에 대한 사용자 입력을 수신하는 단계;
    상기 제어 영역에, 상기 사용자 입력에 의해 선택된 어느 하나의 영역에 대응되는 상기 로봇의 특정 관절을 제어하기 위하여, 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘을 출력하는 단계;
    상기 시뮬레이션 영역에서, 상기 사용자 입력에 의해 선택된 상기 특정 관절이 상기 사용자에게 직관적으로 인지되도록, 상기 강조 표시된 복수의 영역들 중 상기 특정 관절에 대응되는 영역의 강조 표시를 다른 관절들에 대응되는 영역들의 강조 표시와 다르게 처리하는 단계;
    상기 제어 영역에 출력된, 상기 특정 관절에 대응되는 상기 확대 이미지 또는 상기 특정 관절을 제어하기 위한 상기 제어 아이콘 중 적어도 하나에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 상기 로봇의 동작을 제어하기 위한 제어 신호를 생성하는 단계; 및
    상기 제어 신호에 따른 상기 로봇의 동작에 대한 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 상기 로봇 이미지를 이용하여 제공하는 단계를 포함하고,
    상기 제어 영역에 출력된 상기 확대 이미지의 일부에는,
    상기 확대 이미지에 대응되는 상기 특정 관절의 회전 가능한 방향, 회전 가능한 각도, 이동 가능한 방향 및 이동 가능한 거리 중 적어도 하나를 나타내는 그래픽 객체가 오버랩 되어 표시되고,
    상기 그래픽 객체는, 상기 확대 이미지에 대응되는 특정 관절의 종류에 따라 달라지는 것을 특징으로 하는 로봇 교시 방법.
  2. 제1항에 있어서,
    상기 사용자 입력에 근거하여, 상기 특정 관절은 상기 로봇 이미지와 상기 확대 이미지에서 동기화(synchronized)되어 움직이는 것을 특징으로 하는 로봇 교시 방법.
  3. 제2항에 있어서,
    사용자를 기준으로 상기 로봇을 바라보는 사용자 시점을 감지하고,
    상기 로봇 이미지 및 확대 이미지에서 상기 특정 관절은 상기 사용자 시점을 기준으로 움직이는 방향이 설정되는 것을 특징으로 하는 로봇 교시 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 제어 영역은 상기 확대 이미지 및 상기 제어 아이콘이 출력되는 제1영역을 구비하고,
    상기 확대 이미지의 적어도 일측에는 어느 일 방향으로 상기 특정 관절의 움직임을 제어하는 보조 제어 아이콘이 배치되는 것을 특징으로 하는 로봇 교시 방법.
  6. 제5항에 있어서,
    상기 제어 아이콘은 복수의 방향에 대하여 상기 특정 관절의 움직임을 제어하도록 상기 복수의 방향에 각각 대응하는 아이콘들을 구비하고,
    상기 보조 제어 아이콘은 상기 아이콘들 중 어느 하나와 연동되는 것을 특징으로 하는 로봇 교시 방법.
  7. 제1항에 있어서,
    상기 제어 신호를 이용한 상기 로봇의 동작의 시뮬레이션 결과를 상기 제어 영역 상에 상기 특정 관절의 확대 이미지로 표시하는 단계를 더 포함하는 것을 특징으로 하는 로봇 교시 방법.
  8. 제1항에 있어서,
    상기 제어 영역에, 상기 확대된 이미지에 대응하는 공간의 3차원 좌표축 각각을 안내하는 그래픽 객체 출력하는 단계를 더 포함하는 것을 특징으로 하는 로봇 교시 방법.
  9. 제8항에 있어서,
    상기 제어 신호를 이용한 상기 로봇의 동작의 시뮬레이션 결과에 기반하여 상기 로봇이 구동하는 방향이 안내되도록, 상기 그래픽 객체 중 적어도 일부를 강조하여 표시하는 단계를 더 포함하는 로봇 교시 방법.
  10. 제8항에 있어서,
    상기 로봇 이미지의 적어도 일 부분에 상기 로봇 이미지에 대응하는 공간의 3차원 좌표축 각각을 안내하는 그래픽 객체를 오버랩하여 표시하는 단계를 더 포함하는 로봇 교시 방법.
  11. 제10항에 있어서,
    상기 로봇의 구동 가능한 방향을 산출하는 단계; 및
    상기 산출 결과에 기반하여, 상기 그래픽 객체 중 상기 로봇이 구동 가능한 방향에 대응하는 축을 안내하는 그래픽 객체를 표시하는 단계를 더 포함하는 것을 특징으로 하는 로봇 교시 방법.
  12. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능하며, 시뮬레이션 영역 및 제어 영역을 포함하는 로봇 교시 인터페이스를 구현하는 로봇 교시 프로그램에 있어서,
    상기 시뮬레이션 영역에, 구동 가능한 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하고, 사용자가 상기 로봇의 구동 가능한 부위를 직관적으로 인지할 수 있도록, 상기 로봇 이미지에서 상기 구동 가능한 복수의 관절에 각각 대응하는 복수의 영역을 강조 표시하는 단계;
    상기 시뮬레이션 영역에서, 상기 강조 표시된 복수의 영역들 중 어느 하나의 영역에 대한 사용자 입력을 수신하는 단계;
    상기 제어 영역에, 상기 사용자 입력에 의해 선택된 어느 하나의 영역에 대응되는 상기 로봇의 특정 관절을 제어하기 위하여, 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘을 출력하는 단계;
    상기 시뮬레이션 영역에서, 상기 사용자 입력에 의해 선택된 상기 특정 관절이 상기 사용자에게 직관적으로 인지되도록, 상기 강조 표시된 복수의 영역들 중 상기 특정 관절에 대응되는 영역의 강조 표시를 다른 관절들에 대응되는 영역들의 강조 표시와 다르게 처리하는 단계;
    상기 제어 영역에 출력된, 상기 특정 관절에 대응되는 상기 확대 이미지 또는 상기 특정 관절을 제어하기 위한 상기 제어 아이콘 중 적어도 하나에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 상기 로봇의 동작을 제어하기 위한 제어 신호를 생성하는 단계; 및
    상기 제어 신호에 따른 상기 로봇의 동작에 대한 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 상기 로봇 이미지를 이용하여 제공하는 단계를 포함하고,
    상기 제어 영역에 출력된 상기 확대 이미지의 일부에는,
    상기 확대 이미지에 대응되는 상기 특정 관절의 회전 가능한 방향, 회전 가능한 각도, 이동 가능한 방향 및 이동 가능한 거리 중 적어도 하나를 나타내는 그래픽 객체가 오버랩 되어 표시되고,
    상기 그래픽 객체는, 상기 확대 이미지에 대응되는 특정 관절의 종류에 따라 달라지는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장 가능한 로봇 교시 프로그램.
  13. 시뮬레이션 영역 및 제어 영역을 포함하는 로봇 교시 인터페이스를 포함하는 로봇 교시 장치에 있어서,
    상기 시뮬레이션 영역에, 구동 가능한 복수의 관절을 포함하는 로봇에 대응되는 로봇 이미지를 출력하고, 사용자가 상기 로봇의 구동 가능한 부위를 직관적으로 인지할 수 있도록, 상기 로봇 이미지에서 상기 구동 가능한 복수의 관절에 각각 대응하는 복수의 영역을 강조 표시하는 디스플레이부;
    상기 시뮬레이션 영역에서, 상기 강조 표시된 복수의 영역들 중 어느 하나의 영역에 대한 사용자 입력을 수신하는 사용자 입력부; 및
    상기 제어 영역에, 상기 사용자 입력에 의해 선택된 어느 하나의 영역에 대응되는 상기 로봇의 특정 관절을 제어하기 위하여, 상기 특정 관절에 대한 확대 이미지와 상기 특정 관절을 제어하는 제어 아이콘이 출력되도록 상기 디스플레이부를 제어하며,
    상기 시뮬레이션 영역에서, 상기 사용자 입력에 의해 선택된 상기 특정 관절이 상기 사용자에게 직관적으로 인지되도록, 상기 강조 표시된 복수의 영역들 중 상기 특정 관절에 대응되는 영역의 강조 표시를 다른 관절들에 대응되는 영역들의 강조 표시와 다르게 처리하고,
    상기 제어 영역에 출력된, 상기 특정 관절에 대응되는 상기 확대 이미지 또는 상기 특정 관절을 제어하기 위한 상기 제어 아이콘 중 적어도 하나에 대한 사용자 입력에 근거하여, 상기 특정 관절을 중심으로 상기 로봇의 동작을 제어하기 위한 제어 신호를 생성하고,
    상기 제어 신호에 따른 상기 로봇의 동작에 대한 시뮬레이션 결과를 상기 시뮬레이션 영역 상에 상기 로봇 이미지를 이용하여 제공하는 제어부를 포함하며,
    상기 제어 영역에 출력된 상기 확대 이미지의 일부에는,
    상기 확대 이미지에 대응되는 상기 특정 관절의 회전 가능한 방향, 회전 가능한 각도, 이동 가능한 방향 및 이동 가능한 거리 중 적어도 하나를 나타내는 그래픽 객체가 오버랩 되어 표시되고,
    상기 그래픽 객체는, 상기 확대 이미지에 대응되는 특정 관절의 종류에 따라 달라지는 것을 특징으로 하는 로봇 교시 장치.
KR1020210084687A 2021-06-29 2021-06-29 로봇 교시 장치 및 이를 이용한 로봇 교시 방법 KR102403021B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210084687A KR102403021B1 (ko) 2021-06-29 2021-06-29 로봇 교시 장치 및 이를 이용한 로봇 교시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210084687A KR102403021B1 (ko) 2021-06-29 2021-06-29 로봇 교시 장치 및 이를 이용한 로봇 교시 방법

Publications (1)

Publication Number Publication Date
KR102403021B1 true KR102403021B1 (ko) 2022-05-30

Family

ID=81796745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210084687A KR102403021B1 (ko) 2021-06-29 2021-06-29 로봇 교시 장치 및 이를 이용한 로봇 교시 방법

Country Status (1)

Country Link
KR (1) KR102403021B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116604561A (zh) * 2023-06-09 2023-08-18 上海奔曜科技有限公司 机器人控制方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003039357A (ja) * 2001-07-30 2003-02-13 Matsushita Electric Ind Co Ltd ロボットの教示装置
JP2017100234A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ ティーチング結果表示システム
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
JP2021024028A (ja) * 2019-08-05 2021-02-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、および物品の製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003039357A (ja) * 2001-07-30 2003-02-13 Matsushita Electric Ind Co Ltd ロボットの教示装置
JP2017100234A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ ティーチング結果表示システム
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
JP2021024028A (ja) * 2019-08-05 2021-02-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、および物品の製造方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116604561A (zh) * 2023-06-09 2023-08-18 上海奔曜科技有限公司 机器人控制方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Ong et al. Augmented reality-assisted robot programming system for industrial applications
Wang et al. Interactive and immersive process-level digital twin for collaborative human–robot construction work
US11724388B2 (en) Robot controller and display device using augmented reality and mixed reality
US9415509B2 (en) Robot teach device with 3-D display
JP4680516B2 (ja) ロボットの情報を現実環境の画像へとフェードインするための方法、およびロボットの情報を現実環境の画像に視覚化するための装置
Gadre et al. End-user robot programming using mixed reality
Fang et al. Novel AR-based interface for human-robot interaction and visualization
US9984178B2 (en) Robot simulator, robot teaching apparatus and robot teaching method
US10737396B2 (en) Method and apparatus for robot path teaching
US7373220B2 (en) Robot teaching device
TWI592776B (zh) Robot action program generation method and robot action program generation device
KR101876845B1 (ko) 로봇 제어 장치
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
US20150273689A1 (en) Robot control device, robot, robotic system, teaching method, and program
US20150321351A1 (en) Intuitive Motion Coordinate System for Controlling an Industrial Robot
JP2003117863A (ja) ロボットシミュレーション装置
Andersen et al. Intuitive task programming of stud welding robots for ship construction
KR20220128655A (ko) 제조 또는 산업 환경에서 협동 로봇과의 상호작용을 위한 가상/증강 현실 사용 시스템 및 방법
KR102403021B1 (ko) 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
Beeson et al. Cartesian motion planning & task programming with CRAFTSMAN
KR102567361B1 (ko) 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
US20240058963A1 (en) Multi-mode robot programming
Matour et al. Towards Intuitive Extended Reality-Based Robot Control and Path Planning: Comparison of Augmented Reality and Mixed Reality-Based Approaches

Legal Events

Date Code Title Description
GRNT Written decision to grant