KR102379245B1 - 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 - Google Patents

웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR102379245B1
KR102379245B1 KR1020207030337A KR20207030337A KR102379245B1 KR 102379245 B1 KR102379245 B1 KR 102379245B1 KR 1020207030337 A KR1020207030337 A KR 1020207030337A KR 20207030337 A KR20207030337 A KR 20207030337A KR 102379245 B1 KR102379245 B1 KR 102379245B1
Authority
KR
South Korea
Prior art keywords
hand
virtual
manipulator
gesture
pose
Prior art date
Application number
KR1020207030337A
Other languages
English (en)
Other versions
KR20200140834A (ko
Inventor
펑 지
펑잉 마
마오용 차오
빈펑 왕
민 리
Original Assignee
치루 유니버시티 오브 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910363155.4A external-priority patent/CN109955254B/zh
Priority claimed from CN201910363168.1A external-priority patent/CN110039545B/zh
Application filed by 치루 유니버시티 오브 테크놀로지 filed Critical 치루 유니버시티 오브 테크놀로지
Publication of KR20200140834A publication Critical patent/KR20200140834A/ko
Application granted granted Critical
Publication of KR102379245B1 publication Critical patent/KR102379245B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법을 제공하며, 제1 제어 방법의 프로세스는 조작자 제스처의 포즈-가상 제스처 모델의 포즈-가상 매니퓰레이터 엔드 포즈-다자유도 매니퓰레이터 엔드 포즈이고, 조작자 제스처 포즈와 다자유도 매니퓰레이터 엔드 포즈의 구동 관계를 구축함으로써, 다자유도 매니퓰레이터 엔드 포즈의 연속 제어를 구현한다. 제2 방법은 제어할 때 조작자의 다른 손을 사용하여 슬레이브 로봇의 다른 동작 부분을 제어하고, 왼손과 오른손을 각각 제어하여 슬레이브 로봇이 명령 동작을 실행하는 정확도를 더욱 높게 만든다. 제3 방법은 연결 손모양을 통하여 조작자가 물리적 컨트롤러에 대한 의존에서 벗어나도록 한다. 제스처 유형만 사용하여 로봇 동작에 대한 이산 제어를 구현하는 것에 비해, 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있다.

Description

웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법
본 발명은 이동 로봇의 원격 제어와 관련된 기술 분야에 관한 것으로, 더욱 상세하게는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법에 관한 것이다.
이 부분의 설명은 본 발명과 관련된 배경 기술 정보를 제공할 뿐이며 반드시 선행 기술을 구성하는 것은 아니다.
이동 정찰 로봇은 통상적으로 이동 로봇 차체와 차량 탑재 정찰 시스템으로 구성되며, 이는 전장 접근 정찰 감시, 잠행 급습, 위치 지정 소탕, 핵 생화학 처리 및 테러 방지와 폭발물 처리 등 다양한 전투 미션을 수행할 수 있다. 종래의 차량 탑재 정찰 시스템은 통상적으로 카메라와 2자유도의 짐벌로 구성되며, 그 제어 방식은 일반적으로 조이스틱의 피치(pitch) 각도와 요(yaw) 각도의 각도 정보를 통해 짐벌의 피치 제어를 구현한다. 다자유도 정찰 시스템이 탑재된 이동 정찰 로봇의 경우, 그 정찰 시스템은 일반적으로 다자유도 매니퓰레이터와 정찰 카메라로 구성되며, 그중 정찰 카메라는 다자유도 매니퓰레이터 엔드에 고정 연결된다. 로봇의 엔드 포즈는 지정 좌표계에서 로봇 엔드 이펙터의 위치와 자세를 말하며, 이동 정찰 로봇의 엔드 이펙터는 카메라이고, 정찰 로봇 엔드 포즈는 다자유도 매니퓰레이터의 엔드 포즈에 의해 결정되며, 다자유도 매니퓰레이터의 엔드 포즈 제어는 통상적으로 버튼 또는 조이스틱 결합 버튼의 제어 방식이 사용되는데, 조작자는 각 버튼과 차량 탑재 다자유도 매니퓰레이터 각 관절의 대응 관계를 기억해야 하므로, 이러한 조작 방식은 복잡도가 높고 직관적이지 않다.
최근 제스처를 사용해 차량 탑재 다자유도 정찰 시스템 엔드 포즈를 제어하는 방식이 개시되었다. 비교적 일반적인 제스처 제어 방식은 데이터 글러브 또는 관성 구성 요소를 사용하는 것인데, 이는 인식률이 높고 안정성이 우수한 장점이 있으나, 차량 탑재 다자유도 정찰 시스템 엔드 위치는 제어할 수 없고 자세만 제어할 수 있으며 입력 디바이스가 비싸고 착용하기 불편하다는 단점이 있다. 다른 제스처 제어 방식은 시각 기반의 제어 방식이며, 이러한 제어 방식은 이미지 분류 기반의 제어 방식과 이미지 처리 기반의 제어 방식으로 나눌 수 있다. 전자는 일반적으로 시각 센서 결합 모드 인식 방법을 통해 제스처의 유형을 분석한 후, 제스처의 유형 정보에 따라 차량 탑재 다자유도 정찰 시스템 엔드 포즈의 모션 제어, 예를 들어 상향 이동, 하향 이동 등을 구현하는데, 이는 차량 탑재 다자유도 정찰 시스템 엔드 포즈에 대한 연속적인 제어를 빠르고 정확하게 구현할 수 없다는 단점이 있다. 후자는 일반적으로 시각 센서 결합 이미지 처리 방법을 통해 제스처의 모션 궤적을 분석한 후, 궤적의 위치 정보에 따라 차량 탑재 다자유도 정찰 시스템 엔드의 위치 제어를 구현하는데, 이는 차량 탑재 다자유도 정찰 시스템 엔드 자세에 대한 제어를 구현할 수 없다는 단점이 있다.
또한 종래의 이동 로봇의 원격 제어 시스템은 통상적으로 조이스틱과 버튼이 있는 제어 박스 또는 제어함으로 구현된다. 다자유도 매니퓰레이터가 탑재된 이동 로봇의 경우 제어 박스의 버튼이 더욱 복잡하며, 조작자는 각 버튼과 이동 로봇 및 차량 탑재 매니퓰레이터의 대응 관계를 기억해야하므로 제어 방식이 상당히 직관적이지 않다. 이동 로봇과 차량 탑재 정찰 시스템은 모두 조이스틱에 대한 의존에서 벗어날 수 없으며, 조이스틱은 제어 박스 및 관련 하드웨어 디바이스의 지원이 필요하므로, 종래의 이동 정찰 로봇의 컨트롤러는 모두 일반적으로 부피가 비교적 커서 휴대 및 운송이 불편한 문제가 있다.
제스처는 인류가 소통하는 수단 중 비교적 자연스러운 수단 중 하나이며, 특히 특수 부대 군인의 경우 수화는 팀원과의 의사소통과 명령 전달에 필수적인 수단이다. 특히 음성으로 소통하기가 불편할 때 제스처는 특수 부대 군인 간의 의사소통과 명령 전달의 유일한 수단이다. 현재 인체 제스처를 기반으로 한 인간-기계 상호 작용 원격 제어는 주로 데이터 글러브나 관성 구성요소를 착용하는 방식을 채택하고 있는데, 이는 인식률이 높고 안정성이 우수한 장점이 있는 반면 입력 디바이스가 비싸고 착용이 불편하다는 단점이 있다. 따라서 완전 무장 군인의 경우 지상 무장 정찰 로봇의 인간-기계 상호 작용 원격 조작 제어 시스템의 휴대성과 조작 직관성을 향상시킬 수 있는 방법이 매우 시급하다.
최근에는 터치스크린 태블릿의 제어 방식도 등장했으며 이러한 제어 방식은 조이스틱과 버튼 대신 터치스크린 제스처를 채택하는데, 이는 컨트롤러의 부피가 크게 줄었으나 조작자의 양손을 차지한다는 단점이 여전히 있다. 특히 전장에서 완전 무장한 군인에게 일정한 중량과 일정한 부피를 가진 물리적 컨트롤러는 적지 않은 부담이 될 수 있으며, 이는 완전 무장한 군인이 전투 상태(휴대용 무기)와 조작 상태(휴대용 컨트롤러) 사이에서 빠르게 전환하는 데에 방해가 된다.
이러한 문제점을 해결하기 위해, 본 발명에서는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법을 제공한다. 다자유도 매니퓰레이터가 탑재된 이동 로봇을 위한 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법을 제공하며, 자유로운 착탈을 통해 다자유도 매니퓰레이터 엔드 위치와 자세의 연속 제어를 구현함으로써, 종래의 이동 정찰 로봇 차량 탑재 다자유도 정찰 시스템 제어에서 제어 방식이 복잡하고 직관적으로 차량 탑재 다자유도 정찰 시스템 엔드 포즈를 제어할 수 없는 문제를 해결한다.
상기 목적을 달성하기 위해 본 발명은 다음과 같은 기술적 해결책을 채택한다.
본 발명의 제1 양상은 웨어러블 디바이스 기반의 이동 로봇 제어 시스템을 제공하며, 여기에는 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇이 포함되고, 상기 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇은 무선으로 통신하고, 상기 마스터 웨어러블 원격 제어 장치는 조작자 몸에 착용되어 제어 명령을 전송하고 슬레이브 로봇이 수집한 데이터를 수신하도록 구성되며,
마스터 웨어러블 원격 제어 장치는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이, 원격 조작 컨트롤러 및 마스터 무선 통신 디바이스를 포함하고, 상기 원격 조작 컨트롤러는 각각 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이 및 마스터 무선 통신 디바이스에 연결되고, 웨어러블 양안 카메라 장치는 조작자 제스처의 이미지를 수집하도록 구성되고, 상기 헤드 마운트 가상 디스플레이는 슬레이브 로봇이 촬영한 이미지를 표시하고 슬레이브 로봇 매니퓰레이터의 가상 모델과 조작자 제스처의 가상 모델을 표시하도록 구성된다.
조작자의 머리에 웨어러블 양안 카메라 장치와 헤드 마운트 가상 디스플레이를 장착하여 이중 시야각 이미지의 수집을 구현할 수 있고, 헤드 마운트 가상 디스플레이 설치는 가상 모델과 수집된 정찰 이미지를 동시에 구현할 수 있어, 조작자가 현장에 직접 가 있는 느낌을 받을 수 있으며 슬레이브 로봇의 직관적인 제어를 원격으로 구현할 수 있고, 웨어러블 장치의 설치는 조작자의 양손을 자유롭게 하여 조작자의 부담을 덜어준다.
본 발명의 제2 양상은 상기 이동 로봇 제어 시스템 기반의 로봇 엔드 포즈에 대한 원격 조작 제어 방법을 제공하며, 여기에는 다음 단계가 포함된다.
단계 101: 견인 손모양과 분리 손모양을 설정한다.
단계 102: 가상 매니퓰레이터와 가상 제스처 모델을 구축하고, 가상 매니퓰레이터와 가상 제스처 모델을 헤드 마운트 가상 디스플레이 뷰잉 볼륨(viewing volume)의 전단에 표시한다.
단계 103: 양안 카메라의 이중 시야각 이미지를 수집한다.
단계 104: 제스처 검출 알고리즘을 이용하여 이중 시야각 이미지에 조작자의 제스처가 존재하는지 판단하고, 그렇다면 단계 105를 실행하고, 그렇지 않다면 단계 103을 실행한다.
단계 105: 손모양 인식 알고리즘을 이용하여 제스처에 대한 손모양 인식을 수행하고, 견인 손모양이 나타났는지 판단하며, 그렇다면 단계 106을 실행하고, 그렇지 않다면 단계 103을 실행한다.
단계 106: 촬영된 이중 시야각 이미지를 처리하고 웨어러블 양안 카메라 장치 좌표계에서 제스처의 포즈(
Figure 112020111779057-pct00001
)를 구하고, 포즈(
Figure 112020111779057-pct00002
)를 헤드 마운트 가상 디스플레이의 스크린 좌표계에서의 포즈 설명(
Figure 112020111779057-pct00003
)으로 변환하고, 변환된 포즈(
Figure 112020111779057-pct00004
)를 사용해 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동한다.
단계 107: 가상 제스처 모델의 포즈(
Figure 112020111779057-pct00005
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00006
)의 차이가 소정의 역치보다 작은지 판단하고, 그렇다면 단계 108을 실행하고, 그렇지 않다면 단계 103을 실행한다.
단계 108: 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 한다.
단계 109: 분리 손모양이 나타났는지 판단하고, 그렇다면 다자유도 매니퓰레이터의 포즈는 조작자의 견인 손모양 포즈에 따라 바뀌는 것을 정지하고 단계 103을 실행하며, 그렇지 않다면 단계 108을 실행한다.
본 발명의 제2 양상에서 설치된 로봇 엔드 포즈의 원격 조작 제어 방법은, 견인 손모양이 검출되면, 조작자 손모양 포즈와 다자유도 매니퓰레이터 엔드 포즈의 구동 관계를 구축함으로써 다자유도 매니퓰레이터 엔드 포즈의 연속 제어를 구현하고, 분리 손모양이 검출되면, 분리하여 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양에 따라 바뀌는 것을 중지시킨다. 동시에 헤드 마운트 가상 디스플레이에 가상 매니퓰레이터 엔드와 가상 제스처 모델의 견인 과정과 분리 과정을 표시하여 제어 과정을 더욱 직관적으로 만든다. 대응하는 제스처가 슬레이브 로봇의 다자유도 매니퓰레이터에 대한 제어를 시작 및 중지하도록 설치함으로써 제어 방법을 간단하고 신뢰할 수 있도록 한다.
본 발명의 제3 양상은 상기 이동 로봇 제어 시스템 기반의 제어 방법을 제공하며, 각각 조작자의 왼손과 오른손 동작을 수집하고, 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하며, 여기에는 다음 단계가 포함된다.
단계 201: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.
단계 202: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 201을 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득한다.
단계 203: 좌우 양손 판별 알고리즘을 이용하여 획득된 핸드 피스가 왼손 피스인지 오른손 피스인지 판단하여, 동작하는 것이 왼손인지 오른손인지 결정한다.
단계 204: 그 중 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한 후 단계 201을 실행한다.
본 발명의 제3 양상에서 제공하는 제어 방법은 제어 시 조작자의 다른 손으로 슬레이브 로봇의 다른 동작 부위를 제어하여, 노면 상에서 차체의 이동과 다자유도 매니퓰레이터 엔드의 동작을 각각 제어한다. 좌우 양손으로 각각 제어하면 슬레이브 로봇이 명령 동작을 보다 정확하게 수행하게 만들어 슬레이브 로봇의 오류율을 줄일 수 있다.
본 발명의 제4 양상은 상기 이동 로봇 제어 시스템 기반의 제어 방법을 제공하며, 로봇 차량 탑재 다자유도 매니퓰레이터의 광역 이동의 제어 방법에는 다음 단계가 포함된다.
단계 301: 연결 손모양과 대응하는 제스처 동작을 설정하고, 다른 손모양은 슬레이브 로봇의 다른 동작에 대응하도록 설정하고, 연결 손모양은 차량 탑재 다자유도 매니퓰레이터 엔드가 현재 위치에서 다음 명령을 대기하도록 설정할 수 있다.
단계 302: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.
단계 303: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 302를 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하고, 다음 단계를 실행한다.
단계 304: 손모양 인식 알고리즘을 이용하여 전처리된 핸드 피스에 대해 손모양 인식을 수행하고 손모양 정보를 획득한다.
단계 305: 획득한 손모양 정보가 연결 손모양인지 판단하고, 그렇다면 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속으로 실행하고 단계 302를 실행하며, 그렇지 않다면 다음 단계를 실행한다.
단계 306: 상응하는 손모양에 따라 상응하는 동작을 실행하고 단계 302를 실행한다.
본 발명의 제4 양상에 따른 제어 방법은 연결 손모양을 설정함으로써, 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있으며, 제어가 인간의 조작 습관에 더욱 부합한다.
종래 기술과 비교한 본 발명의 유익한 효과는 다음과 같다.
(1) 본 발명의 제1 양상은 조작자의 머리에 웨어러블 양안 카메라 장치와 헤드 마운트 가상 디스플레이를 장착하여 이중 시야각 이미지의 수집을 구현할 수 있고, 헤드 마운트 가상 디스플레이 설치는 가상 모델과 수집된 정찰 이미지를 동시에 구현할 수 있어, 조작자가 현장에 직접 가 있는 느낌을 받을 수 있으며 슬레이브 로봇의 직관적인 제어를 원격으로 구현할 수 있고, 웨어러블 장치의 설치는 조작자의 양손을 자유롭게 하여 조작자의 부담을 덜어준다.
(2) 본 발명의 제1 양상에서 제공하는 시스템은 웨어러블 양안 카메라 장치와 헤드 마운트 가상 디스플레이를 포함하는 웨어러블 디바이스 설치를 통해, 제어의 직관성을 향상시키고 로봇 조작자의 양손을 자유롭게 하였으며, 장치 구조가 단순하고 착용하기 쉬우며 조작자가 로봇을 작동하는 동시에 무기를 손에 쥐거나 다른 손 동작을 진행하기가 용이하다.
(3) 본 발명의 제2 양상에서 제공하는 제어 방법은, 제어 프로세스가 조작자 제스처의 포즈-가상 제스처 모델의 포즈-가상 매니퓰레이터 엔드 포즈-다자유도 매니퓰레이터 엔드 포즈이고, 조작자 제스처 포즈와 다자유도 매니퓰레이터 엔드 포즈의 구동 관계를 구축함으로써, 다자유도 매니퓰레이터 엔드 포즈의 연속 제어를 구현한다. 동시에 헤드 마운트 가상 디스플레이에 가상 매니퓰레이터 엔드와 가상 제스처 모델의 견인 과정을 표시하여 제어 과정을 더욱 직관적으로 만든다. 대응하는 제스처가 슬레이브 로봇의 다자유도 매니퓰레이터에 대한 제어를 시작 및 중지하도록 설치함으로써 제어 방법을 간단하고 신뢰할 수 있게 만든다.
(4) 본 발명의 제3 양상에서 제공하는 제어 방법은 제어 시 조작자가 다른 손으로 슬레이브 로봇의 다른 동작 부위를 제어한다. 좌우 양손으로 각각 제어하면 슬레이브 로봇이 명령 동작을 보다 정확하게 수행하도록 만들 수 있으며, 슬레이브 로봇의 상이한 부위에 상이한 제스처 유형을 설정하여 제어함으로써, 제스처와 모션 궤적을 각각 인식시킨 후 제어하는 것이 이동 로봇 차체인지 차량 탑재 다자유도 매니퓰레이터인지 구분함으로써, 슬레이브 로봇의 오작동률을 줄인다. 동시에 조작자의 두 손 동작은 상이한 유형의 동작이므로 조작자에게 혼란을 주지 않으며, 제어 로직이 간단하여 기억하기 쉽고 조작하기 용이하다.
(5) 본 발명의 제4 양상에서 제공하는 제어 방법은 연결 손모양 설정을 통해 조작자 귀걸이형 촬영 시야 범위 내의 영역을 하나의 가상 터치스크린 영역으로 바꾸어, 조작자가 물리적인 컨트롤러에 대한 의존성에서 벗어나게 만든다. 손모양 유형만 사용해 로봇 동작에 대한 이산 제어를 구현하는 것에 비해, 본 발명은 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있어 인간의 조작 습관에 더욱 부합한다.
(6) 본 발명은 이미지 내의 특정 제스처의 회전 각도를 측정함으로써 이동 정찰 로봇 차량 탑재 다자유도 매니퓰레이터 정찰 방향을 정밀하게 제어할 수 있다.
본 출원의 일부분을 구성하는 명세서 첨부 도면은 본 출원에 대한 이해를 돕기 위해 사용되며, 본 출원의 예시적인 실시예 및 그 설명은 본 출원을 설명하기 위한 것으로 본 출원을 제한하지 않는다.
도 1은 본 발명 실시예 2에 따른 가상 착용 모식도이다.
도 2는 본 발명 실시예 2에 따른 가상 분리 모식도이다.
도 3은 본 발명 실시예 2에 따른 제어 방법의 흐름도이다.
도 4는 하나 이상의 실시예에 따른 시스템의 구조도이다.
도 5는 본 발명 실시예 1에 따른 마스터 웨어러블 원격 제어 장치의 블록도이다.
도 6은 본 발명 실시예 1에 따른 슬레이브 로봇의 블록도이다.
도 7은 본 발명 실시예 3에 따른 방법의 흐름도이다.
도 8은 본 발명 실시예 4에 따른 방법의 흐름도이다.
도 9는 본 발명 실시예 4에 따른 조작자가 이동 로봇 차체 모션을 제어하는 제스처의 모식도이다.
도 10은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 좌회전을 제어하는 제스처의 모식도이다.
도 11은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 우회전을 제어하는 제스처의 모식도이다.
도 12는 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 상측 이동을 제어하는 제스처의 모식도이다.
도 13은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 하측 이동을 제어하는 제스처의 모식도이다.
도 14는 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 올려보기를 제어하는 제스처의 모식도이다.
도 15은 본 발명 실시예 4에 따른 조작자가 차량 탑재 다자유도 매니퓰레이터 엔드의 내려보기를 제어하는 제스처의 모식도이다.
이하에서는 첨부 도면과 실시예를 참고하여 본 발명을 더욱 상세하게 설명한다.
이하의 상세한 설명은 모두 예시적인 것이며 본 출원의 추가 설명을 제공하기 위한 것임에 유의해야 한다. 달리 명시되지 않는 한, 본 명세서에서 사용되는 모든 기술 및 과학 용어는 본 출원이 속하는 기술 분야의 통상의 기술자가 일반적으로 이해하는 것과 동일한 의미를 갖는다.
여기에서 사용되는 용어는 구체적인 실시예를 설명하기 위한 것으로, 본 출원에 따른 예시적 실시예를 제한하려는 의도가 아님에 유의해야 한다. 본 명세서에서 사용된 바와 같이, 문맥상 달리 명시되지 않는 한, 단수형은 복수형도 포함하는 것으로 의도되며, 본 명세서에서 “포함하는” 및/또는 “포괄하는”이라는 용어가 사용되는 경우, 이는 특징, 단계, 조작, 장치, 구성 요소 및/또는 이들의 조합이 존재하는 것을 의미한다. 본 발명의 실시예 및 실시예의 특징은 상충되지 않는 한 서로 결합될 수 있음에 유의해야 한다. 이하에서는 첨부 도면을 통해 실시예를 더욱 상세하게 설명한다.
로봇은 엔드 이펙터에 따라 여러 유형으로 나뉠 수 있으며, 엔드 이펙터는 로봇 매니퓰레이터의 엔드에 고정되어 상응하는 미션을 수행하도록 구성되고, 엔드 이펙터는 민첩한 손과 그리퍼, 카메라 등과 같으며, 정찰 로봇의 엔드 이펙터는 정찰 카메라이고, 본 실시예에서는 정찰 로봇을 예로 들어 설명하나, 본 발명의 로봇 엔드 포즈의 연속 제어 방법은 정찰 로봇에만 한정되지 않으며 모든 로봇의 제어에 적용될 수 있다.
실시예 1
하나 이상의 실시예에 개시된 기술적 해결책에 있어서, 도 1 및 도 2에 도시된 바와 같이, 이동 로봇 제어 시스템을 제공하며, 여기에는 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇이 포함되고, 상기 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇은 무선으로 통신하고, 상기 마스터 웨어러블 원격 제어 장치는 조작자 몸에 착용되어 제어 명령을 전송하고 슬레이브 로봇이 수집한 데이터를 수신하도록 구성되고,
마스터 웨어러블 원격 제어 장치는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이, 원격 조작 컨트롤러 및 마스터 무선 통신 디바이스를 포함하고, 상기 원격 조작 컨트롤러는 각각 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이 및 마스터 무선 통신 디바이스에 연결되고, 웨어러블 양안 카메라 장치는 조작자 제스처의 이미지를 수집하도록 구성되고, 상기 헤드 마운트 가상 디스플레이는 슬레이브 로봇이 촬영한 이미지를 표시하고 슬레이브 로봇의 매니퓰레이터의 가상 모델과 조작자 제스처의 가상 모델을 표시하도록 구성된다. 양안 카메라 장치가 이중 시야각 이미지를 수집할 수 있도록 설치한다.
원격 조작 컨트롤러는 웨어러블 컴퓨터일 수 있고, 상기 웨어러블 컴퓨터는 웨어러블 양안 카메라 장치가 촬영한 제스처의 이중 시야각 이미지를 실시간으로 수집하고, 제스처의 이중 시야각 이미지에 따라 조작자 제스처의 포즈 정보를 계산하며, 제스처 포즈 정보에 따라 비디오 안경의 투시 뷰잉 볼륨 전단에 실시간으로 하나의 가상 제스처 모델을 표시할 수 있고,
웨어러블 양안 카메라 장치는 양안 카메라(N5)일 수 있으며, 상기 양안 카메라(N5)는 조작자 제스처의 이중 시야각 이미지를 수집하는 데 사용된다. 조작자는 양안 카메라(N5)의 시야 범위 내에서 제스처 포즈를 사용하여 차량 탑재 다자유도 정찰 시스템 엔드 포즈의 제어를 구현한다.
헤드 마운트 가상 디스플레이는 비디오 안경(N4)일 수 있고, 슬레이브 로봇 정찰 카메라(N3)가 촬영한 정찰 이미지를 표시하고 다자유도 매니퓰레이터(N2)의 가상 모델과 조작자 제스처의 가상 모델을 표시하는 데 사용되고, 여기에서 정찰 이미지는 비디오 안경의 투시 뷰잉 볼륨의 후단에 위치할 수 있고, 다자유도 매니퓰레이터(N2)의 가상 모델과 조작자 제스처의 가상 모델은 비디오 안경의 투시 뷰잉 볼륨의 전단에 위치하고, 본 실시예에서는 투시 뷰잉 볼륨 표시를 채택하였으며 다른 뷰잉 볼륨을 채택할 수 있다. 투시 뷰잉 볼륨은 투시 투영을 통한 뷰잉 볼륨이며, 투시 투영된 뷰잉 볼륨은 꼭대기부와 바닥부가 모두 절단된 피라미드, 즉 프리즘과 유사하며 그 특징은 가까운 것은 크고 먼 것은 작다는 것이다.
슬레이브 로봇은 이동 로봇 본체(N1), 다자유도 매니퓰레이터(N2), 정찰 카메라(N3), 슬레이브 무선 통신 디바이스 및 차량 탑재 컨트롤러를 포함하고, 상기 차량 탑재 컨트롤러는 각각 이동 로봇 본체(N1), 다자유도 매니퓰레이터(N2), 정찰 카메라(N3) 및 슬레이브 무선 통신 디바이스에 연결된다. 정찰 카메라(N3)는 다자유도 매니퓰레이터(N2) 엔드에 장착되어 정찰 데이터 수집에 사용되고, 이동 로봇 본체(N1)는 차체 구동 모터 유닛과 모터 드라이버를 더 포함하고, 상기 모터 드라이버는 각각 차량 탑재 컨트롤러와 구동 모터 유닛에 연결된다. 이동 로봇 본체(N1)는 차량 탑재 컨트롤러를 통해 마스터 웨어러블 원격 제어 장치의 제어를 받아 위치를 이동시킨다. 차량 탑재 컨트롤러는 제어 명령을 모터 드라이버에 전송하고, 모터 드라이버는 구동 모터 유닛의 상응하는 모터를 제어하여 슬레이브 로봇 위치의 이동을 구현한다.
다자유도 매니퓰레이터(N2)는 마스터 웨어러블 원격 제어 장치의 제어를 받아 상응하는 동작을 실행하고, 상기 다자유도 매니퓰레이터(N2)는 연결 로드 기구, 매니퓰레이터 드라이버 및 매니퓰레이터 구동 모터 유닛을 포함한다. 차량 탑재 컨트롤러는 제어 명령을 매니퓰레이터 드라이버에 전송하고, 매니퓰레이터 드라이버는 매니퓰레이터 구동 모터 유닛의 상응하는 모터를 구동하여, 연결 로드 기구 각도와 위치의 이동을 구현함으로써, 다자유도 매니퓰레이터(N2) 각 관절의 관절 각도 정보를 변경한다.
슬레이브 로봇의 매니퓰레이터의 가상 모델은 다자유도 매니퓰레이터(N2)의 가상 모델이다. 상기 다자유도 매니퓰레이터(N2)의 가상 모델은 다자유도 매니퓰레이터(N2)의 D-H 매개 변수에 따라 제도된 가상 매니퓰레이터(N6)일 수 있다.
조작자는 양안 카메라(N5)의 시야 범위 내에서 제스처 포즈를 사용하여 차량 탑재 다자유도 정찰 시스템 엔드 포즈의 제어를 구현한다.
더 나아가, 도 4에 도시된 바와 같이, 웨어러블 디바이스 기반의 로봇 원격 제어 시스템은 무선으로 연결된 마스터 웨어러블 원격 제어 장치(100)와 슬레이브 로봇(200)을 포함하고, 상기 마스터 웨어러블 원격 제어 장치(100)는 조작자에게 착용되어 제어 명령을 전송하고 슬레이브 로봇(200)으로부터 수집된 데이터를 수신하는 데 사용된다.
상기 마스터 웨어러블 원격 제어 장치(100)는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이(104), 마스터 무선 통신 디바이스 및 원격 조작 컨트롤러(101)를 포함하고, 상기 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이(104)와 마스터 무선 통신 디바이스는 각각 원격 조작 컨트롤러에 연결되고, 웨어러블 양안 카메라 장치는 조작자 머리 위치에 착용되어 조작자의 동작을 수집하는 데 사용되고, 원격 조작 컨트롤러(101)는 상응하는 동작에 따라 제어 명령을 생성하여 슬레이브 로봇(200)으로 전송한다.
도 5에 도시된 바와 같이, 웨어러블 양안 카메라 장치는 적어도 하나가 설치되고, 웨어러블 양안 카메라 장치는 좌측 웨어러블 시각 디바이스(102)와 우측 웨어러블 시각 디바이스(103)를 포함하며, 각각 조작자 머리 좌우 양측에 착용되고, 조작자 전방의 이미지를 촬영할 수 있고, 조작자의 손 동작 정보를 수집하는 데 사용된다. 손 동작 정보는 이미지에서 손의 위치 정보와 손모양 정보를 포함할 수 있다. 좌측 웨어러블 시각 디바이스와 우측 웨어러블 시각 디바이스는 구체적으로 귀걸이형 카메라일 수 있다.
상기 헤드 마운트 가상 디스플레이(104)는 슬레이브 로봇(200)이 탑재된 감시 카메라로 촬영한 화면을 표시할 수 있고, 원격 조작 컨트롤러는 슬레이브 로봇(200)이 촬영한 화면 정보를 수신하고, 헤드 마운트 가상 디스플레이(104)를 제어하여 현장에서 촬영한 화면을 표시하며, 헤드 마운트 가상 디스플레이(104)는 구체적으로 비디오 안경일 수 있다.
마스터 무선 통신 디바이스는 무선 전송 모듈을 통해 무선 전송을 구현하며, 데이터 전송을 위한 무선 데이터 전송 디바이스(106)와 이미지 비디오 데이터를 전송하기 위한 무선 이미지 전송 디바이스(107)로 나눌 수 있고, 마스터 웨어러블 원격 제어 장치(100)와 슬레이브 로봇(200) 사이의 정보 전송을 구현하며, 구체적으로 제어 명령을 슬레이브 로봇(200)에 전송하고 슬레이브 로봇(200)에서 반송하는 센서 데이터를 수신하며 슬레이브 로봇(200)으로부터 반송된 이미지 데이터를 수신하는 데 사용된다. 상기 무선 전송 모듈은 이미지 데이터를 전송하기 위한 이미지 전송 스테이션과 제어 명령을 전송하기 위한 데이터 전송 스테이션, 예를 들어 5.8GHz 무선 이미지 전송 스테이션과 433MHz 무선 데이터 전송 스테이션을 포함할 수 있다. 원격 제어 거리가 비교적 짧은 경우 WIFI 통신 모듈을 채택하여 이미지 전송과 제어 명령 전송을 동시에 구현할 수 있다.
상기 마스터 웨어러블 원격 제어 장치(100)는 무선 오디오 프롬프트 디바이스(105)를 더 포함할 수 있고, 무선 오디오 프롬프트 디바이스(105)는 원격 조작 컨트롤러(101)와 연결되어, 조작자에게 실행할 제어 명령을 프롬프트하는 데 사용된다.
슬레이브 로봇(200)은 구체적으로 지면 무장 정찰 로봇으로 정찰 미션을 실행하는 데 사용될 수 있고, 이동 로봇 차체와 차량 탑재 다자유도 매니퓰레이터를 포함한다.
더 나아가, 도 6에 도시된 바와 같이, 상기 이동 로봇 차체는 이동 로봇 본체(202), 차체 구동 모터 유닛(213), 모터 드라이버(211), 정찰 카메라(207), 라이다(lidar)(208), 슬레이브 무선 통신 디바이스 및 차량 탑재 컨트롤러(201)를 포함할 수 있고, 슬레이브 무선 통신 디바이스는 각각 데이터 및 이미지를 저장 및 전송하기 위한 슬레이브 무선 데이터 전송 디바이스(209)와 슬레이브 무선 이미지 전송 디바이스(210)를 포함한다. 마스터 웨어러블 원격 제어 장치(100)의 제어 하에서 이동하여 조작자가 위험 지역에 진입하여 전투 미션을 수행하는 것을 대신할 수 있다. 상기 모터 드라이버(211), 차체 구동 모터 유닛(213) 및 이동 로봇 본체(202)는 순차적으로 연결되고, 상기 모터 드라이버(211)는 마스터가 전송한 제어 명령에 따라 차체 구동 모터 유닛(213)을 제어하는 데 사용되고, 차체 구동 모터 유닛(213)은 이동 로봇 본체(202)를 연결하여 슬레이브 로봇(200)의 이동을 구현하고, 상기 차체 구동 모터 유닛(213)은 적어도 좌측 모터와 우측 모터를 포함하고, 상기 좌측 모터와 우측 모터는 동일한 방향으로 회전할 수 있으며, 로봇이 전진 및 후진하도록 제어할 수 있고, 상기 좌측 모터와 우측 모터는 다른 방향으로 회전할 수 있으며, 로봇을 좌회전 또는 우회전하도록 제어할 수 있다.
라이다(208)는 상기 슬레이브 지면 무장 정찰 로봇 주변의 장애물 정보를 측정하는 데 사용되며, 라이다(208)는 차량 탑재 컨트롤러(201)에 연결되고, 차량 탑재 컨트롤러(201)는 측정된 장애물 정보를 수신하고 마스터의 원격 조작 컨트롤러(101)로 장애물 정보를 전송하며, 마스터의 헤드 마운트 가상 디스플레이(104) 상에 장애물 정보를 표시할 수 있다. 슬레이브 무선 통신 디바이스와 마스터 무선 통신 디바이스의 구조는 동일할 수 있으며, 동일한 무선 전송 모듈을 선택할 수 있다. 상기 정찰 카메라(207)는 전장 환경 정보를 촬영하는 데 사용되고 차체에 직접 설치될 수 있으며, 상기 정찰 카메라(207)는 차량 탑재 컨트롤러(201)와 연결되어, 수집된 환경 이미지를 마스터 원격 조작 컨트롤러로 전송하는 데 사용된다.
차량 탑재 다자유도 매니퓰레이터는 연결 로드 기구(203), 매니퓰레이터 구동 모터 유닛(214), 매니퓰레이터 드라이버(212), 레이저 거리 측정 센서(205), 손 눈 감시 카메라(206) 및 무기 장치(204)를 포함하고, 연결 로드 기구(203)의 엔드에 손 눈 감시 카메라(206)가 고정 설치되고, 연결 로드 기구(203), 매니퓰레이터 구동 모터 유닛(214) 및 매니퓰레이터 드라이버(212)는 순차적으로 연결되고, 연결 로드 기구(203)는 적어도 두 구간의 연결 로드로 구성되고, 매니퓰레이터 드라이버(212)는 마스터가 전송한 제어 정보를 수신하여 제어 정보에 따라 매니퓰레이터 구동 모터 유닛(214)의 작업을 제어함으로써, 연결 로드 기구(203) 동작을 구동하여 조작자가 이동하려는 위치까지 이동하고, 연결 로드 기구(203) 엔드에 설치된 손 눈 감시 카메라(206)를 통해 관심 표적의 이미지 정보를 촬영한다.
레이저 거리 측정 센서(205)와 무기 장치(204)는 각각 매니퓰레이터 드라이버(212)와 정찰 및 타격 미션에 사용되며, 모두 연결 로드 기구(203)의 엔드에 설치될 수 있고, 상기 레이저 거리 측정 센서(205)는 표적을 타격하는 거리 정보를 측정하는 데 사용된다.
정찰 카메라(207)와 손 눈 감시 카메라(206)의 설치는 상이한 이미지를 수집하는 데 사용되는데, 정찰 카메라(207)는 환경 데이터를 수집하고, 슬레이브 로봇(200)의 이동을 통해 지나는 경로의 환경 이미지 수집을 구현하고, 손 눈 감시 카메라(206)는 조작자의 제어에 따라 중점 영역 또는 관심 영역의 이미지를 수집하는 데 사용되고, 두 카메라의 설치를 통해 사각 지대 없이 로봇 작업 현장 이미지를 수집할 수 있다.
차량 탑재 컨트롤러(201)는 라이다(208), 레이저 거리 측정 센서(205), 정찰 카메라(207) 및 손 눈 감시 카메라(206)의 데이터 수집을 제어하여 마스터 원격 조작 장치에 무선으로 전송할 수 있고, 상기 슬레이브 무선 통신 디바이스를 통해 마스터 원격 조작 장치가 전송하는 제어 명령을 수신하고, 제어 명령에 따라 상기 모터 드라이버(211) 또는 상기 매니퓰레이터 드라이버(212)를 통해 상응하는 상기 차체 구동 모터 유닛(213) 또는 상기 매니퓰레이터 구동 모터 유닛(214)을 제어할 수도 있다.
실시예 2
본 실시예는 실시예 1의 이동 로봇 제어 시스템 기반의 로봇 엔드 포즈의 원격 조작 제어 방법을 제공하며, 도 1 내지 도 3에 도시된 바와 같이, 구체적으로 제스처의 모션을 통해 매니퓰레이터 엔드 위치와 자세의 연속 제어를 구현할 수 있는 다자유도 매니퓰레이터 엔드 포즈 원격 조작 제어 방법을 제공한다. 여기에는 다음 단계가 포함된다.
단계 101: 견인 손모양과 분리 손모양을 설정한다.
상기 견인 손모양은 조작자가 이 손모양으로 감지되면, 가상 제스처 모델의 포즈와 비디오 안경 중의 가상 매니퓰레이터 엔드 포즈를 일치시키며, 조작자는 제스처의 포즈를 통해 비디오 안경(N4) 중의 가상 제스처 모델의 위치와 자세(즉 포즈)를 구동할 수 있고, 가상 제스처 모델은 가상 매니퓰레이터(N6) 엔드 포즈에 대하여 실시간 연속 제어를 수행할 수 있다.
제스처가 분리 제스처로 바뀌면, 가상 제스처 모델은 더 이상 조작자의 제스처를 따라 이동하지 않으며, 조작자 제스처도 가상 매니퓰레이터(N6)에 대하여 실시간 연속 제어를 수행할 수 없다.
견인 손모양과 분리 손모양은 임의 손모양일 수 있고, 필요에 따라 자체적으로 설정할 수 있다. 본 실시예에서는 견인 손모양이 카테시안(cartesian) 좌표계를 나타내는 손모양으로 설정할 수 있는데, 상기 손모양 중의 약지와 소지는 굽힌 상태이고, 엄지, 검지, 중지는 곧게 뻗은 상태이고, 세 손가락은 서로 수직으로 카테시안 좌표계를 구성한다. 분리 손모양은 한 손 주먹 손모양일 수 있다.
단계 101 이전에 초기화와 무선 연결 구축의 단계를 더 포함할 수 있으며 이는 다음과 같다.
원격 조작 컨트롤러와 슬레이브 로봇을 초기화한다.
원격 조작 컨트롤러와 슬레이브 로봇(N1) 사이에 무선 통신 채널을 구축한다.
단계 102: 가상 매니퓰레이터와 가상 제스처 모델을 구축하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시한다.
상기 단계 102에서 가상 매니퓰레이터를 구축하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시하는 방법은 구체적으로 다음의 단계를 포함한다.
1021) 슬레이브 로봇의 다자유도 매니퓰레이터의 각 관절의 관절 각도 정보를 판독하고,
다자유도 매니퓰레이터의 동작은 차량 탑재 컨트롤러에 의해 제어되고, 매니퓰레이터 드라이버는 매니퓰레이터 구동 모터 유닛의 상응하는 모터를 구동하여, 연결 로드 기구 각도와 위치의 이동을 구현함으로써, 다자유도 매니퓰레이터(N2)의 각 관절의 관절 각도 정보를 변경한다. 다자유도 매니퓰레이터의 각 관절의 관절 각도 정보는 차량 탑재 컨트롤러에서 직접 판독할 수 있다.
1022) 원격 조작 컨트롤러는 수집된 관절 각도 정보를 기반으로 다자유도 매니퓰레이터의 D-H 매개 변수를 계산한다.
1023) 다자유도 매니퓰레이터의 D-H 매개 변수에 따라 가상 매니퓰레이터를 구축하고, 가상 매니퓰레이터를 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시한다.
상기 가상 매니퓰레이터(N6)의 각 관절의 각도는 수신한 관절 각도 정보에서 제어하고, 가상 매니퓰레이터(N6)의 베이스 좌표계는 비디오 안경(N4)의 스크린 좌표계에서 설명하고, 가상 매니퓰레이터(N6)의 엔드 좌표계는
Figure 112020111779057-pct00007
로 표기하고, 가상 매니퓰레이터(N6)의 엔드의 포즈는
Figure 112020111779057-pct00008
로 표시하고, 위치 정보와 자세 정보를 포함한다.
가상 제스처 모델의 구축 방법은 구체적으로 다음과 같을 수 있다.
(1) 3D 모델링 소프트웨어를 사용하여 오프라인으로 견인 손모양의 3D 가상 제스처 모델을 구축한다.
(2) 실시간으로 상기 3D 가상 제스처 모델을 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 로드 및 렌더링하며, 이는 뷰잉 볼륨 중의 위치와 자세에서 조작자의 견인 손모양의 위치와 자세에 의해 구동된다.
조작자 조작의 목적성과 정확성을 향상시키기 위해, 비디오 안경(N4)에서 슬레이브 로봇이 위치한 지점의 정찰 환경 정보를 표시할 수 있는데, 구체적으로 정찰 카메라(N3)에서 수집한 정찰 이미지를 비디오 안경(N4)의 뷰잉 볼륨에 표시할 수 있고, 헤드 마운트 가상 디스플레이 상에 슬레이브 로봇에서 촬영한 이미지를 표시하는 단계를 포함할 수도 있다. 구체적으로는 슬레이브 로봇 엔드의 정찰 이미지를 수집하고, 원격 조작 컨트롤러가 정찰 이미지를 수신하여 이를 실시간으로 헤드 마운트 가상 디스플레이의 뷰잉 볼륨 후단에 표시한다.
단계 103: 양안 카메라(N5)의 이중 시야각 이미지를 수집하고, 양안 카메라(N5)를 통해 조작자의 손모양 정보를 수집한다. 이중 시야각 이미지는 좌우 두 시야각의 이미지를 포함한다.
단계 104: 제스처 검출 알고리즘을 이용하여 이중 시야각 이미지에 조작자의 제스처가 존재하는지 판단하고, 그렇다면 다음 단계를 실행하며, 그렇지 않다면 단계 103을 실행한다. 이중 시야각 이미지에 조작자의 제스처가 나타나기만 하면 단계 105를 실행한다.
제스처 검출 알고리즘은 구체적으로 피부색 역치 기반의 제스처 검출 알고리즘일 수 있다.
단계 105: 손모양 인식 알고리즘을 이용하여 제스처에 대한 손모양 인식을 수행하고, 견인 손모양이 나타났는지 판단하며, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행한다. 손모양 인식 알고리즘은 구체적으로 딥러닝 기반의 손모양 인식 알고리즘이다.
이중 시야각 이미지에서 견인 손모양이 검출되면, 이때 조작자의 손모양을 통해 다자유도 매니퓰레이터(N2)를 견인 제어해야 한다. 견인 손모양이 나타나지 않았다면, 다시 단계 3을 실행하여 양안 카메라(N5)를 통해 조작자의 손모양 정보를 수집한다.
단계 106: 촬영된 이중 시야각 이미지를 처리하고 웨어러블 양안 카메라 장치 좌표계에서 제스처의 포즈(
Figure 112020111779057-pct00009
)를 구하고, 포즈(
Figure 112020111779057-pct00010
)를 헤드 마운트 가상 디스플레이의 스크린 좌표계에서의 포즈 설명(
Figure 112020111779057-pct00011
)으로 변환하고, 변환된 포즈(
Figure 112020111779057-pct00012
)를 이용해 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동한다.
웨어러블 양안 카메라 장치 좌표계에서 견인 제스처의 포즈(
Figure 112020111779057-pct00013
)를 구하는 것은 DeepPrior++ 알고리즘을 이용할 수 있으며, DeepPrior++ 알고리즘은 입체 시각 하에서 제스처 포즈를 추정할 수 있다.
웨어러블 양안 카메라 장치 좌표계에서 견인 제스처의 포즈(
Figure 112020111779057-pct00014
)를 구하는 것은 다음 단계를 채택할 수 있다.
(1061) 견인 제스처 포즈(
Figure 112020111779057-pct00015
)는 위치 정보와 자세 정보를 포함하고, 여기에서 위치 정보는 좌우 뷰 중 제스처 검출 결과와 시차 원리를 사용해 구할 수 있다.
(1062) 견인 제스처 포즈(
Figure 112020111779057-pct00016
)의 자세 정보는 회귀 학습 기반의 방법을 사용하여 구현한다.
견인 제스처 포즈(
Figure 112020111779057-pct00017
)의 자세 정보는 회귀 학습 기반의 방법을 사용하여 구현하며, 구체적으로 다음과 같을 수 있다.
(1062.1) 먼저 이중 시야각 제스처 이미지와 대응하는 자세 데이터 세트를 수집한다. 휴대용 3축 자세 센서를 채택하여 이중 시야각 카메라 앞에서 각각 3축 자세 센서의 3개 축을 감싸며 회전 모션을 하고 자세 센서가 매회 출력하는 데이터에 대응하는 이중 시야각 제스처 검출 결과 이미지를 수집한다. 동시에 획득한 제스처 이미지 프레임 2개와 제스처 데이터 프레임 1개를 각각 입력 샘플과 출력 샘플로 사용한다. 수집된 이중 시야각 제스처 이미지와 대응하는 자세 데이터를 각각 입력 샘플 학습 세트와 출력 샘플 세트로 사용한다.
(1062.2) 회귀 학습 방법을 사용하여 이중 시야각 제스처 이미지와 자세 데이터의 매핑 관계를 맞춘다.
(1062.3) 상기 두 단계를 거친 후 곧바로 이중 시야각의 제스처 이미지를 통해 견인 제스처의 자세 정보를 구할 수 있다.
단계 106은 먼저 조작자의 견인 제스처와 가상 제스처 모델의 대응 관계를 구축하고, 대응 관계를 통해 포즈(
Figure 112020111779057-pct00018
)를 포즈(
Figure 112020111779057-pct00019
)로 변환한다. 구체적인 대응 관계는 정비례 관계일 수 있고, 웨어러블 양안 카메라 장치 좌표계에서 조작자의 견인 제스처의 포즈(
Figure 112020111779057-pct00020
)의 위치 정보와 포즈(
Figure 112020111779057-pct00021
)의 위치 정보는 정비례 관계이고, 포즈(
Figure 112020111779057-pct00022
)의 자세 정보와 포즈(
Figure 112020111779057-pct00023
)의 자세 정보도 정비례 관계이다.
상기 견인 제스처의 포즈(
Figure 112020111779057-pct00024
)는 양안 카메라(N5)의 좌표계에서 설명한 것이며, 견인 제스처의 손바닥을 원점으로 규정할 수 있고, 견인 제스처 손바닥 지점의 원점 좌표계는
Figure 112020111779057-pct00025
이고, 견인 제스처의 중지가 가리키는 방향은 X축 방향이고, 엄지가 가리키는 방향은 Y축 방향이고, 검지가 가리키는 방향은 Z축 방향이고, 여기에서 포즈(
Figure 112020111779057-pct00026
)의 위치 정보는 견인 제스처 손바닥의 원점(
Figure 112020111779057-pct00027
)에서 양안 카메라(N5) 좌표계 원점에 상대적인 오프셋으로 설명되고, 포즈(
Figure 112020111779057-pct00028
)의 자세 정보는 견인 제스처의 좌표계
Figure 112020111779057-pct00029
축,
Figure 112020111779057-pct00030
축 및
Figure 112020111779057-pct00031
축의 양안 카메라(N5) 좌표계 각 축의 회전으로 설명된다.
상기 견인 제스처의 포즈(
Figure 112020111779057-pct00032
)는 비디오 안경(N4)의 스크린 좌표계에서 설명한 것이며, 가상 견인 제스처의 손바닥을 원점으로 규정할 수 있고, 상기 가상 견인 제스처 손바닥 지점의 원점 좌표계는
Figure 112020111779057-pct00033
이고, 가상 견인 제스처의 중지가 가리키는 방향은 X축 방향이고, 엄지가 가리키는 방향은 Y축 방향이고, 검지가 가리키는 방향은 Z축 방향이고, 여기에서 포즈(
Figure 112020111779057-pct00034
)의 위치 정보는 가상 견인 제스처 손바닥의 원점(
Figure 112020111779057-pct00035
)에서 비디오 안경(N4)의 스크린 좌표계 원점에 상대적인 오프셋으로 설명되고, 포즈(
Figure 112020111779057-pct00036
)의 자세 정보는 가상 견인 제스처의 좌표계
Figure 112020111779057-pct00037
축,
Figure 112020111779057-pct00038
축 및
Figure 112020111779057-pct00039
축의 비디오 안경(N4)의 스크린 좌표계 각 축의 회전으로 설명된다.
다음으로, 변환된 포즈(
Figure 112020111779057-pct00040
)를 채택하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동하고, 가상 제스처 모델이 조작자의 제스처의 이동에 따라 이동하기 시작한다.
상기 구동 방법은 구체적으로 3D 가상 제스처 모델을 헤드 마운트 가상 디스플레이에 로드한 후, 이를 뷰잉 볼륨 중에서 실시간으로 제도할 때 필요한 위치 정보는 포즈(
Figure 112020111779057-pct00041
)의 위치 정보에서 곧바로 값이 할당되고, 이를 뷰잉 볼륨 중에서 실시간으로 제도할 때 필요한 자세 정보는 포즈(
Figure 112020111779057-pct00042
)의 위치 정보에서 곧바로 값이 할당된다.
가상 제스처 모델의 포즈는 포즈(
Figure 112020111779057-pct00043
)의 위치 정보와 자세 정보에서 실시간으로 값이 할당되기 때문에, 뷰잉 볼륨에서 가상 제스처 모델의 포즈는 포즈(
Figure 112020111779057-pct00044
)와 완전히 일치하므로, 가상 제스처 모델의 포즈는 포즈(
Figure 112020111779057-pct00045
)에서 구동된다고 이해할 수 있다.
단계 107: 가상 제스처 모델의 포즈(
Figure 112020111779057-pct00046
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00047
)의 차이가 소정의 역치보다 작은지 판단하고, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 3을 실행한다.
단계 107은 장착을 구현하는 과정이며, 구체적인 것은 가상 제스처 모델의 포즈(
Figure 112020111779057-pct00048
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00049
)의 거리가 가까워지도록 구현한다. 단계 6에서 조작자가 견인 제스처를 이동하면 가상 제스처 모델의 포즈(
Figure 112020111779057-pct00050
)가 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00051
)에 가까워질 때까지 가상 제스처 모델도 함께 이동한다.
단계 107의 구체적인 구현 과정은 다음과 같다. 즉, 조작자가 비디오 안경(N4)의 투시 뷰잉 볼륨 중 가상 견인 제스처 포즈(
Figure 112020111779057-pct00052
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00053
) 간의 상대적 관계를 관찰하고, 견인 제스처의 포즈(
Figure 112020111779057-pct00054
)를 끊임없이 이동시켜 비디오 안경(N4)의 투시 뷰잉 볼륨 중의 가상 견인 제스처의 포즈(
Figure 112020111779057-pct00055
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00056
)의 차이를 계속해서 작게 만들며, 상기 두 포즈의 차이는 아래 식으로 설명된다.
Figure 112020111779057-pct00057
가상 견인 제스처의 포즈(
Figure 112020111779057-pct00058
)와 가상 매니퓰레이터(N6) 엔드 포즈(
Figure 112020111779057-pct00059
)의 차이(d)가 소정의 역치보다 작으면, 가상 매니퓰레이터(N6) 엔드가 이미 가상 견인 제스처와 일치하는 것으로 간주되며, 이때 형상적으로 가상 매니퓰레이터(N6) 엔드가 가상 견인 제스처에 가상으로 장착된 것으로 간주할 수 있다. 이 과정에서 원격 조작 컨트롤러는 단계 103 내지 107을 여러 번 실행하여 구현한다. 장착 과정이 완료되면 다자유도 매니퓰레이터(N2)를 견인할 수 있다.
단계 108: 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 한다.
상기 단계 108의 단계는 구체적으로 다음과 같다.
가상 매니퓰레이터 엔드 포즈(
Figure 112020111779057-pct00060
)의 값과 가상 제스처 모델의 포즈(
Figure 112020111779057-pct00061
)를 같게 만들어, 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값을 구하며, 구체적으로 로봇 역운동학 알고리즘을 통해 가상 매니퓰레이터 엔드 포즈(
Figure 112020111779057-pct00062
)의 값과 가상 제스처 모델의 포즈(
Figure 112020111779057-pct00063
)가 같을 때, 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값을 실시간으로 구한다.
구한 가상 매니퓰레이터에 대응하는 각 관절 각도 값을 제어 명령으로 변환하고 슬레이브 로봇에 전송하여, 다자유도 매니퓰레이터 각 관절의 관절 각도가 가상 매니퓰레이터의 각 관절 각도 값과 같도록 만든다.
구체적으로 다음과 같을 수 있다. 즉, 원격 조작 컨트롤러는 가상 매니퓰레이터(N6) 각 관절 각도를 제어 명령으로 변환하고 무선 통신 채널을 통해 슬레이브 로봇(N1)에 전송하고, 슬레이브 로봇(N1)의 차량 탑재 컨트롤러로부터 수신된 제어 명령을 판독한 후, 제어 명령을 모터 구동 명령으로 변환한 다음, 매니퓰레이터 드라이버를 통해 다자유도 매니퓰레이터(N2)의 매니퓰레이터 구동 모터 유닛의 각 관절 모터가 회전하기 시작하도록 제어하여, 다자유도 매니퓰레이터(N2) 각 관절의 관절 각도와 가상 매니퓰레이터(N6)의 각 관절 각도가 동일하게 만들어, 다자유도 매니퓰레이터(N2)의 포즈가 조작자 제스처 포즈의 변화를 따르도록 한다.
조작자의 조작을 보다 직관적으로 만들기 위해 가상 매니퓰레이터의 위치를 자세로 조정할 수 있으며, 비디오 안경(N4)에 가상 매니퓰레이터(N6)의 포즈 변화를 실시간으로 표시되게 할 수 있다.
상기 단계 108은 구한 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값에 따라 뷰잉 볼륨에서 가상 매니퓰레이터(N6)에 대하여 다시 제도하는 단계를 더 포함한다. 로봇의 역운동학 알고리즘에 따라 획득된 가상 매니퓰레이터(N6)의 각 관절 각도 값은 비디오 안경(N4)의 투시 뷰잉 볼륨에서 가상 매니퓰레이터(N6)에 대하여 다시 제도되어, 가상 매니퓰레이터(N6) 엔드 포즈가 항상 가상 견인 제스처의 엔드 포즈와 동일하게 유지된다.
단계 109: 분리 손모양이 나타났는지 판단하고, 그렇다면 다자유도 매니퓰레이터의 포즈는 조작자의 견인 손모양 포즈에 따라 바뀌는 것을 정지하고 단계 103을 실행하며, 그렇지 않다면 단계 108을 실행한다. 견인 과정에서 조작자 제스처가 분리 제스처로 바뀌었는지 실시간으로 판단하며, 본 실시예는 분리 제스처를 왼손 주먹 상태로 설정할 수 있고, 조작자 제스처가 분리 제스처로 바뀌면 가상 매니퓰레이터(N6) 엔드 포즈는 더이상 조작자 제어를 받지 않으며, 이때 형상적으로 가상 매니퓰레이터(N6) 엔드가 이미 조작자의 제스처 상에서 가상으로 분리되었다고 간주된다. 분리 제스처는 임의 제스처일 수 있으며, 한 손 제스처 또는 양손 제스처일 수 있다. 여기까지 견인 과정이 종료하며, 종료되면 다른 명령을 실행할 수도 있다.
실시예 3
본 실시예는 실시예 1에 따른 로봇 제어 시스템 기반의 제어 방법을 제공하며, 각각 조작자의 왼손과 오른손 동작을 수집하고, 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한다.
원격 조작 컨트롤러는 웨어러블 양안 카메라 장치가 촬영한 이미지를 수집하고 이미지 중에 조작자의 좌우 손 및 그 손모양 유형과 위치 좌표가 있는지 분석하며, 조작자의 좌우 손이 검출되면 손모양 종류와 위치 좌표에 따라 무선 통신 디바이스를 통해 상응하는 제어 명령을 슬레이브 로봇(200)에 전송하여, 슬레이브 로봇(200)의 모션 및 차량 탑재 다자유도 매니퓰레이터의 모션을 제어하고, 제어 명령을 전송하기 전에 제어 명령의 명칭을 무선 오디오 프롬프트 디바이스를 통해 조작자에게 피드백하며, 그 이외에 무선 통신 디바이스가 수신한 슬레이브 로봇(200)에서 반송한 센서 데이터와 모니터링 이미지를 처리하여 헤드 마운트 가상 디스플레이(104)에 표시할 수도 있다.
구체적으로 도 7에 도시된 바와 같이 다음 단계를 포함할 수 있다.
단계 201: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.
웨어러블 양안 카메라 장치는 구체적으로 웨어러블 카메라일 수 있으며, 조작자의 머리에 설치하여 조작자 주변의 이미지를 수집할 수 있고, 하나의 카메라가 설치되면 조작자는 수행할 제어에 따라 상응하는 손으로 촬영 범위 내에서 상응하는 동작을 수행해야 한다. 작업자의 자유로운 조작을 용이하게 만들기 위해, 좌우에 모두 카메라를 설치하여 좌우 카메라가 각각 좌측 이미지와 우측 이미지를 수집할 수 있으며, 이미지 스티칭 방법을 채택하여 두 이미지의 중첩 부분을 잘라내어 하나의 넓은 시야 이미지, 즉 수집된 이미지로 스티칭할 수 있다.
단계 202: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 201을 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득한다.
수집된 이미지에 손이 있는지 판단하는 방법은 제스처 검출 알고리즘을 채택할 수 있으며, 제스처 검출 알고리즘은 구체적으로 피부색 기반의 제스처 검출 알고리즘을 채택할 수 있다.
수집된 이미지에 대하여 전처리를 수행하여 핸드 피스를 획득하는 구체적인 방법은 다음과 같다. 즉, 손의 존재를 검출하면 제스처 분할 알고리즘을 사용하여 손을 포함하는 영역 중의 배경을 제거하고, 나아가 스케일 정규화를 채택하여 손을 포함하는 이미지를 동일한 크기의 핸드 피스로 정규화한다.
단계 203: 좌우 양손 판별 알고리즘을 이용하여 획득된 핸드 피스가 왼손 피스인지 오른손 피스인지 판단하여, 동작하는 것이 왼손인지 오른손인지 결정한다.
좌우 손 판별 알고리즘을 채택하여 왼손 피스인지 오른손 피스인지 판단하는 방법은 구체적으로 다음과 같다.
좌우 손 판별 알고리즘은 2분류 문제이다. 먼저 왼손 이미지를 포함하는 학습 샘플 세트(예를 들어 태그가 0)와 오른손 이미지를 포함하는 학습 샘플 세트(예를 들어 태그가 1)를 준비하고, 분류기(예를 들어 콘볼루션 신경망)를 선택하여 태그가 있는 두 이미지 세트를 학습하며, 학습 방법은 오차 역전파 알고리즘을 이용하며, 학습 완료 후 하나의 좌우 손 2분류 분류기를 획득할 수 있고, 이 분류기를 사용하여 획득된 핸드 피스에 대하여 좌우 손 유형 판별을 수행할 수 있다.
단계 204: 그 중 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한 후 단계 201을 실행한다.
구체적으로 제스처와 손가락의 이동 궤적을 이용하여 슬레이브 로봇(200)의 어느 부분이 이동하는지 제어하는 것을 설정할 수 있으며, 본 실시예는 제스처를 통해 이동 로봇 차체의 이동을 제어하도록 설정하였고, 손가락의 이동 궤적을 통해 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하도록 설정하였다.
단계 204에서 그 중 한 손의 동작을 통해 이동 로봇 차체의 이동을 제어하며, 구체적인 단계는 다음과 같다.
단계 2041: 슬레이브 로봇(200)의 모션 제어 명령과 손모양 정보의 대응 관계를 설정하고, 손모양 정보는 조작자가 보여주는 제스처 정보이며 주먹, 가위 손, OK 제스처 등을 포함할 수 있고, 모션 제어 명령에는 전진, 후퇴, 좌회전, 우회전, 유턴이 포함된다. 구체적인 대응 관계는 구체적인 수요에 따라 설치할 수 있다. 상응하는 대응 테이블을 생성한다.
단계 2042: 인식된 핸드 피스가 이동 로봇 차체의 이동을 제어하도록 설정된 한 손인 경우, 손모양 인식 알고리즘을 이용하여 핸드 피스를 인식하여 손모양 정보를 획득하고;
제어 시 조작자의 다른 손을 사용해 슬레이브 로봇(200)의 다른 동작 부위를 제어한다. 좌우 손을 각각 제어하면 슬레이브 로봇(200)이 보다 정확하게 명령 동작을 수행할 수 있는데, 먼저 왼손인지 오른손인지 판단하고, 손의 구분을 통해 이동 로봇 차체를 제어할지 차량 탑재 다자유도 매니퓰레이터를 제어할지 구분하고, 두 손 제스처의 인식과 모션 궤적 인식은 다시 이동 로봇 차체의 제어인지 차량 탑재 다자유도 매니퓰레이터 제어인지 구분하므로 오조작율이 낮아진다. 동시에 조작자의 두 손 동작은 상이한 유형의 동작이므로 조작자에게 혼란을 주지 않으며, 제어 로직이 간단하여 기억하기 쉽고 조작하기 용이하다.
그 중 어느 한 손은 이동 로봇 차체의 이동을 제어하도록 설정할 수 있으며, 본 실시예는 왼손으로 선택할 수 있다. 왼손으로 이동 로봇 차체의 이동을 제어하도록 설정한 경우, 차량 탑재 다자유도 매니퓰레이터의 동작은 오른손으로 제어된다. 구체적으로 제스처와 손가락의 이동 궤적을 이용하여 슬레이브 로봇(200)의 어느 부분이 이동하는지 제어하는 것을 설정할 수 있으며, 본 실시예는 제스처를 통해 제어한다.
단계 2043: 슬레이브 로봇(200) 모션 제어 명령과 손모양 정보의 대응 관계 및 인식 획득된 손모양 정보에 따라 슬레이브 로봇(200) 모션 제어 명령을 생성하고, 모션 제어 명령을 슬레이브 로봇(200)에 전송하며, 슬레이브 로봇(200)은 제어 명령에 따라 상응하는 동작을 실행한다.
단계 2043은 다음 단계를 더 포함한다. 즉, 모션 제어 명령에 대응하는 모션 명칭을 설정하고, 슬레이브 로봇(200)의 모션 제어 명령을 생성한 후, 모션 제어 명령에 대응하는 모션 명칭을 무선 오디오 프롬프트 디바이스로 전송하고, 상기 무선 오디오 프롬프트 디바이스가 슬레이브 로봇(200)에 실행해야 할 동작을 알려준다. 조작자는 알림에 따라 수행할 동작이 올바른지 판단할 수 있다.
단계 204에서 다른 손의 동작을 통해 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하며, 구체적인 단계는 다음과 같다.
단계 204-1: 인식된 핸드 피스가 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하도록 설정된 한 손인 경우, 손끝 위치결정 알고리즘을 이용하여 이미지에서 임의 손끝의 모션 궤적을 분석하고;
단계 204-2: 모션 궤적에 따라 위치 추적 명령을 생성하고 위치 추적 명령을 슬레이브 로봇(200)에 전송하고;
단계 204-3: 슬레이브 로봇(200)은 위치 추적 명령에 따라 구체적인 동작의 위치 좌표를 생성하고, 연결 로드 기구(203) 엔드는 순차적으로 위치 좌표를 거쳐 조작자 손끝 모션 궤적을 추적한다.
손끝 위치결정 알고리즘을 사용하여 이미지에서 임의 손끝의 모션 궤적을 분석하고, 윤곽 곡률 기반의 손끝 위치결정 알고리즘과 볼록 껍질 분석 기반의 손끝 위치결정 알고리즘을 채택할 수 있다.
위치 좌표는 복수개일 수 있고, 설정된 위치 좌표의 밀도가 클수록 동작 궤적과 조작자의 손가락 동작 궤적 일치도가 높다. 위치 좌표의 설치는 연결 로드 기구(203)의 베이스를 원점으로 할 수 있다.
실시예 4
본 실시예는 실시예 1에서 설명한 웨어러블 디바이스 기반의 로봇 원격 제어 시스템에 기초한 다른 제어 방법을 제공하며, 실시에 3의 방법과 다른 점은, 좌우 손을 구분하여 제어할 필요가 없다는 것이다. 본 실시예는 상이한 제스처를 설정하여 이동 로봇 차체의 모션과 차량 탑재 다자유도 매니퓰레이터를 제어한다. 조작자의 웨어러블 양안 카메라 장치의 촬영 범위 외의 동작의 실행을 구현할 수 있다.
실시예 3의 방법에서, 손가락의 이동 궤적을 식별하여 차량 탑재 다자유도 매니퓰레이터를 제어할 때, 조작자 손의 이동 궤적은 완전히 촬영 범위 내에 있어야 하며, 조작자의 동작 폭은 웨어러블 양안 카메라 장치의 촬영 범위 내에 있어야 하고, 차량 탑재 다자유도 매니퓰레이터의 동작 폭이 제한된다. 본 실시예는 실시예 3보다 넓은 범위 내의 차량 탑재 다자유도 매니퓰레이터의 이동을 구현할 수 있다.
이동 로봇의 차체 제어의 경우, 조작자의 제스처가 전진 손모양을 나타내기만 하면 조작자 제스처가 정지 손모양으로 바뀌어 이동 로봇이 전진을 멈출 때까지 이동 로봇은 계속 전진한다. 즉, 이동 로봇 차체는 전진, 후퇴, 좌회전 및 우회전 과정에서 정지 손모양을 사용하여 이를 정지시킨다. 로봇 차체의 모션은 정지 신호가 나타날 때까지 유지 모션이므로, 그렇지 않으면 계속 움직인다.
매니퓰레이터 엔드 제어의 경우, 정지 손모양을 설정하지 않을 수 있으며, 매니퓰레이터 엔드의 피치 각도, 상측 이동 거리, 하측 이동 거리, 좌측 이동 거리 및 우측 이동 거리는 모두 피치 손모양 또는 엔드 견인 손모양을 따라 구현된다. 일단 피치 손모양 또는 엔드 견인 손모양이 연결 손모양으로 바뀌고 제스처가 카메라 범위를 벗어나는 등의 상황이 되면, 매니퓰레이터 엔드가 자연히 멈추므로, 매니퓰레이터 엔드를 제어하기 위해 정지 손모양을 따로 추가할 필요가 없다.
하나 이상의 실시예에 개시된 기술적 해결책에 있어서, 도 8에 도시된 바와 같이, 로봇 차량 탑재 다자유도 매니퓰레이터의 광역 이동을 제어하는 방법을 제공하며, 여기에는 다음의 단계가 포함된다.
단계 301: 연결 손모양과 대응하는 제스처 동작을 설정하고, 다른 손모양은 슬레이브 로봇(200)의 다른 동작에 대응하도록 설정하고, 연결 손모양은 차량 탑재 다자유도 매니퓰레이터 엔드가 현재 위치에서 다음 명령을 대기하도록 설정할 수 있다.
단계 302: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집한다.
단계 303: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 302를 실행하고, 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하고, 다음 단계를 실행한다.
단계 304: 손모양 인식 알고리즘을 이용하여 전처리된 핸드 피스에 대해 손모양 인식을 수행하여 손모양 정보를 획득한다.
단계 305: 획득한 손모양 정보가 연결 손모양인지 판단하고, 그렇다면 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속으로 실행하고 단계 302를 실행하며, 그렇지 않다면 다음 단계를 실행한다.
단계 306: 상응하는 손모양에 따라 상응하는 동작을 실행하고 단계 302를 실행한다.
단계 301 이전에 다음 단계가 더 포함된다.
3001: 원격 조작 컨트롤러와 슬레이브 로봇(200)에 대해 초기화 조작을 수행한다.
3002: 원격 조작 컨트롤러와 슬레이브 로봇(200) 사이에 무선 통신 채널을 구축한다.
3003: 슬레이브 로봇(200)은 로봇 카메라의 정찰 이미지를 수집한 후, 무선 통신 채널을 통해 원격 조작 컨트롤러에 전송하고, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 정찰 이미지를 수신한 후 정찰 이미지를 실시간으로 조작자가 장착한 비디오 안경 상에 표시한다.
상기 301 단계에서는 상이한 손모양이 슬레이브 로봇(200)의 상이한 동작에 대응하도록 설정하고, 대응하는 슬레이브 로봇(200)의 상응하는 동작에 상이한 손모양을 설정하여 제어하고, 조작자는 필요에 따라 자체적으로 설정할 수 있다. 슬레이브 로봇(200)의 동작은 차량 탑재 다자유도 매니퓰레이터 엔드 동작과 이동 로봇 차체 이동을 포함하고, 상기 이동 로봇 차체 이동의 이동은 정지, 전진, 후퇴, 좌회전, 우회전 등을 포함하며, 본 실시예에서 설치한 대응 손모양 및 그 대응하는 제스처 및 제어 명령의 대응 관계는 도 9에 도시된 바와 같을 수 있으며, 빈 손모양(H1)은 제어 명령 미전송에 대응하여 슬레이브 로봇(200)은 원래 지점에서 정지하고, 전진 손모양(H2)은 전진 명령에 대응하고, 이동 로봇 차체는 모터 드라이버(211)를 가동시켜 전방을 향해 이동한다. 같은 원리로 좌회전 손모양(H3), 우회전 손모양(H4), 후퇴 손모양(H5), 정지 손모양(H6)은 각각 이동 로봇 차체의 자회전, 우회전, 후퇴 및 정지 일체 동작에 대응한다. 상응하는 대응표를 구축할 수 있으며, 조작자는 자신의 습관에 따라 제스처와 제어 명령의 대응표를 변경할 수 있다.
상기 단계 303 및 단계 304의 방법은 실시예 2에서 설명된 방법과 동일할 수 있다.
단계 305에서 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속 실행하는 것은 구체적으로 다음과 같다.
차량 탑재 다자유도 매니퓰레이터 엔드가 직전 손모양에 대응하는 동작을 실행한 후, 현재 위치에서 정지하고;
단계 302 내지 단계 304를 실행하고, 연결 손모양의 다음 손모양을 검출하며, 차량 탑재 다자유도 매니퓰레이터 엔드는 현재 위치 동작으로부터 연결 손모양의 다음 손모양에 대응하는 동작을 실행한다.
본 실시예에서는 빈 손모양(H1)을 연결 제스처로 설정한 예시로 설명한다. 엔드 견인 손모양(H8)을 사용하여 차량 탑재 다자유도 매니퓰레이터 엔드 위치에 대해 증분식 좌우 편향 제어 또는 상하 위치 이동 제어를 실행할 수 있다. 먼저 엔드 견인 손모양(H8)을 이 손모양에서의 이동에 결합하여 차량 탑재 다자유도 매니퓰레이터 엔드의 상향, 하향, 좌향, 우향 이동에 대응한다고 정의한다.
조작자가 단일 제어에서 상향 이동해야 하는 거리가 촬영 범위를 벗어나는 경우, 연속 증분식의 상향 이동을 구현하기 위해 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 상향 이동할 수 있고, 도 12에 도시된 바와 같이, 조작자는 엔드 견인 손모양(H8)을 사용하여 먼저 상향 이동(U1, U1)이 소정의 역치보다 크게 만든 후, 조작자는 빈 손모양(H1)을 보여주고, 빈 손모양(H1)을 다시 조작자의 귀걸이형 카메라의 시야 범위 내로 이동시킨 다음, 다시 엔드 견인 손모양(H8)을 보여주고 다시 상향 이동(U2, U1)와 (U2)를 이동의 거리로 하며, 이동 거리는 소정의 역치보다 크며, 즉 조작자의 슬라이딩이 촬영 범위를 벗어나, 조작자 귀걸이형 카메라 시야 내에서 조작자의 엔드 견인 손모양(H8)의 총 이동 거리는 U=U1+U2이고, 다자유도 매니퓰레이터 엔드 상향 이동 거리는 K2*(U1+U2)이며, 원격 조작 컨트롤러는 차량 탑재 컨트롤러(201)를 향해 순차적으로 다자유도 매니퓰레이터 엔드 상향 이동 거리 K2*U1, 현재 위치에서 중지, 현재 위치로부터 상향 이동(K2*U1) 거리의 제어 명령을 전송한다. 여기에서 K2는 변위 계수이고, 견인 손모양(H8)의 상하 이동 거리와 다자유도 매니퓰레이터 엔드 위치 상하 이동 거리의 비례 관계를 조정하는 데 사용된다.
조작자가 단일 제어에서 하향 이동해야 하는 거리가 카메라 범위를 벗어나는 경우, 연속 증분식의 하향 이동을 구현하기 위하여, 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 하향 이동할 수 있으며, 도 13에 도시된 바와 같이, 이동 방향은 도 12와 반대이므로 여기에서 반복하여 설명하지 않는다.
조작자가 단일 제어에서 좌향 이동해야 하는 거리가 촬영 범위를 벗어나는 경우, 연속 증분식의 좌향 이동을 구현하기 위해, 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 좌향 이동할 수 있고, 도 10에 도시된 바와 같이, 조작자는 엔드 견인 손모양(H8)을 사용하여 먼저 좌향 이동(L1)이, (L1)의 소정의 역치보다 크게 만든 후, 조작자는 빈 손모양(H1)을 보여주고, 빈 손모양(H1)을 다시 조작자의 귀걸이형 카메라의 시야 범위 내로 이동시킨 다음, 다시 엔드 견인 손모양(H8)을 보여주고 다시 좌향 이동(L2, L1와 L2)을 이동의 거리로 하며, 조작자의 귀걸이형 카메라 시야 내에서 조작자의 엔드 견인 손모양(H8)의 총 이동 거리는 L=L1+L2이고, 다자유도 매니퓰레이터 엔드 좌향 이동 각도는
Figure 112020111779057-pct00064
이다. 원격 조작 컨트롤러는 차량 탑재 컨트롤러(201)를 향해 순차적으로 다자유도 매니퓰레이터 엔드 좌향 각도는
Figure 112020111779057-pct00065
이고, 현재 위치에서 중지, 현재 위치로부터 좌향 각도
Figure 112020111779057-pct00066
거리의 제어 명령을 전송한다. 여기에서 K1은 편향 계수이고, 엔드 견인 손모양(H8)의 좌우 이동 거리와 차량 탑재 다자유도 매니퓰레이터 엔드 좌우 편향 각도의 비례 관계를 조정하는 데 사용된다.
조작자가 단일 제어에서 우향 이동해야 하는 거리가 카메라 범위를 벗어나는 경우, 연속 증분식의 우향 이동을 구현하기 위하여, 엔드 견인 손모양 연결 손모양의 직전 손모양과 직후 손모양을 엔드 견인 손모양(H8)으로 설정하여 우향 이동할 수 있으며, 도 11에 도시된 바와 같이, 이동 방향은 도 10과 반대이므로 여기에서 반복하여 설명하지 않는다.
본 발명에서 제공하는 로봇 차량 탑재 다자유도 매니퓰레이터 광역 이동의 제어 방법은 조작자 귀걸이형 촬영 시야 범위 내의 영역을 하나의 가상 터치스크린 영역으로 바꾸어, 조작자가 물리적인 컨트롤러에 대한 의존성에서 벗어나게 만들며, 손모양 유형만 사용해 로봇 동작에 대한 이산 제어를 구현하는 것에 비해, 본 발명은 정찰 시스템 엔드 위치의 증분식 연속 정밀 제어를 구현할 수 있어 인간의 조작 습관과 더욱 부합한다.
단계 306에서 상응하는 손모양에 따라 상응하는 동작을 실행하고, 손모양은 개인의 습관이나 약정된 손모양에 따라 설정할 수 있으며, 손모양에 대응하는 동작의 대응 관계를 설정하고, 슬레이브 로봇 차체의 동작은 주로 전진, 후퇴, 좌회전, 우회전 및 정지를 포함하며, 본 실시예는 구체적으로 다음과 같을 수 있다.
(3061) 조작자의 손모양이 빈 손모양(H1)인 경우, 원격 조작 컨트롤러는 슬레이브 로봇(200)에 제어 명령을 전송하지 않으며 계속해서 단계 302를 실행한다.
(3062) 조작자의 손모양이 정지 손모양(H6)인 경우, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 정지 제어 명령을 전송하여 이동 정찰 로봇의 모션을 중지시킨 다음 단계 302를 실행한다.
(3063) 조작자의 손모양이 전진 손모양(H2), 후진 손모양(H3), 좌회전 손모양(H4) 또는 우회전 손모양(H5)인 경우, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 조작자가 정지 손모양(H6)을 보여줄 때까지 전진 명령, 후퇴 명령, 좌회전 명령 및 우회전 명령을 전송하며, 단계 302를 실행한다.
슬레이브 로봇 다자유도 매니퓰레이터의 동작은 주로 일정 각도의 편향과 상하 좌우 이동을 포함하며, 본 실시예는 구체적으로 다음과 같을 수 있다.
(3064) 도 14 및 도 15에 도시된 바와 같이, 조작자의 손모양이 차량 탑재 다자유도 매니퓰레이터 엔드 피치 각도를 제어하는 피치 손모양(H7)인 경우, 먼저 피치 손모양(H7)의 평면 내 앙각(α) 또는 부각(β)을 계산하고, 앙각(α) 또는 부각(β)은 수평면에 상대적인 각도이다. 그런 다음 피치 손모양(H7)의 피치 각도에 따라 차량 탑재 다자유도 매니퓰레이터 엔드의 피치 각도를 계산하고, 마지막으로 조작자가 다른 손모양을 보여줄 때까지 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 차량 탑재 다자유도 매니퓰레이터 엔드 피치 각도와 피치 손모양(H7)의 피치 각도를 일치시킬 수 있는 제어 명령을 전송한 후 단계 302를 실행한다. 본 발명은 이미지 내에서 피치 손모양(H7)과 같은 특정 제스처 유형의 회전 각도를 측정함으로써 다자유도 매니퓰레이터 엔드의 정찰 방향(수평면에 대한)을 정확하게 제어할 수 있으며, 카메라의 정찰 방향은 피치 손모양의 피치 각도와 같다.
(3065) 조작자의 손모양이 엔드 견인 손모양(H8)인 경우, 도 10, 도 11, 도 12 및 도 13에 도시된 바와 같이, 손모양의 변위 거리와 변위 방향을 더 검출하며, 조작자 변위 거리가 소정의 역치를 초과하지 않으면, 엔드 견인 손모양(H8)이 좌우 이동일 때, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 다자유도 매니퓰레이터 엔드의 좌향 또는 우향 각도가 각각
Figure 112020111779057-pct00067
또는
Figure 112020111779057-pct00068
일 수 있는 제어 명령을 전송하며, 여기에서 K1는 편향 계수이며, 엔드 견인 손모양(H8) 좌우 이동 거리와 차량 탑재 다자유도 매니퓰레이터 엔드 좌우 편향 각도의 비례 관계를 조정하는 데 사용되고, L과 R은 엔드 견인 손모양(H8)의 좌향 이동 거리와 우향 이동 거리이고, r은 차량 탑재 다자유도 매니퓰레이터 엔드가 그 베이스를 감싸는 회전 반경이고, 엔드 견인 손모양(H8)이 이동을 정지하거나 카메라 시야에서 벗어나는 경우, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 다자유도 매니퓰레이터 엔드가 좌우 편향을 정지할 수 있는 제어 명령을 전송한 후, 계속해서 단계 302를 실행한다. 엔드 견인 손모양(H8)이 연결 손모양으로 바뀌면 단계 305를 실행한다.
(3066) 엔드 견인 손모양(H8)이 상하 이동일 때, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 다자유도 매니퓰레이터 엔드 위치의 상향 또는 하향 거리가 각각 K2*U 또는 K2*D일 수 있는 제어 명령을 전송하며, 여기에서 K2는 변위 계수이며, 엔드 견인 손모양(H8) 상하 이동 거리와 다자유도 매니퓰레이터 엔드 위치 상하 이동 거리의 비례 관계를 조정하는 데 사용되고, U와 D는 각각 엔드 견인 손모양(H8)의 상향 이동 거리와 우향 이동 거리이고, 엔드 견인 손모양(H8)이 이동을 멈추고 카메라 시야를 벗어나면, 원격 조작 컨트롤러는 무선 통신 디바이스를 통해 차량 탑재 다자유도 매니퓰레이터 정찰 시스템이 상하 이동을 중지할 수 있는 제어 명령을 전송하고 단계 302를 실행한다. 엔드 견인 손모양(H8)이 연결 손모양으로 바뀌면 단계 305를 실행한다.
본 실시예에서 손모양은 예시적인 손모양일 뿐이며, 구체적인 손모양은 필요에 따라 자체적으로 설정할 수 있다.
실시예 5
메모리와 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행되는 컴퓨터 명령을 포함하며, 상기 컴퓨터 명령이 프로세서에 의해 실행될 때 실시예 2, 3 또는 4 중 어느 하나에 따른 방법의 상기 단계를 완료하는 전자 디바이스이다.
실시예 6
프로세서에 의해 실행될 때 실시예 2, 3 또는 4 중 어느 하나에 따른 방법의 상기 단계를 완료하는 컴퓨터 명령을 저장하도록 구성되는 컴퓨터 판독 가능 저장 매체이다.
상기 내용은 본 출원의 바람직한 실시예일 뿐이고 본 출원을 제한하지 않으며, 본 기술 분야에서 통상의 지식을 가진 자는 다양한 수정 및 변경을 진행할 수 있다. 본 출원의 사상과 원칙 내에서 이루어진 모든 수정, 동등한 교체, 개선 등은 모두 본 출원의 보호 범위에 포함된다.
상기에서 첨부 도면을 참고하여 본 발명의 구체적인 실시예를 설명하였으나, 본 발명의 보호 범위를 제한하지 않으며, 본 기술 분야의 통상의 지식을 가진 자가 본 발명의 기술적 해결책을 기반으로 창의적인 작업 없이 진행한 모든 수정 또는 변경은 본 발명의 보호 범위 내에 속한다.
N1: 이동 로봇 본체
N2: 다자유도 매니퓰레이터
N3: 정찰 카메라
N4: 비디오 안경
N5: 양안 카메라
N6: 가상 매니퓰레이터
100: 마스터 웨어러블 원격 제어 장치
101: 원격 조작 컨트롤러
102: 좌측 웨어러블 시각 디바이스
103: 우측 웨어러블 시각 디바이스
104: 헤드 마운트 가상 디스플레이
105: 무선 오디오 프롬프트 디바이스
106: 무선 데이터 전송 디바이스
107: 무선 이미지 전송 디바이스
200: 슬레이브 로봇
201: 차량 탑재 컨트롤러
202: 이동 로봇 본체
203: 연결 로드 기구
204: 무기 장치
205: 레이저 거리 측정 센서
206: 손 눈 감시 카메라
207: 정찰 카메라
208: 라이다(lidar)
209: 슬레이브 무선 데이터 전송 디바이스
210: 슬레이브 무선 이미지 전송 디바이스
211: 모터 드라이버
212: 매니퓰레이터 드라이버
213: 차체 구동 모터 유닛
214: 매니퓰레이터 구동 모터 유닛

Claims (14)

  1. 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇이 포함되고, 상기 마스터 웨어러블 원격 제어 장치와 슬레이브 로봇은 무선으로 통신하고, 상기 마스터 웨어러블 원격 제어 장치는 조작자 몸에 착용되어 제어 명령을 전송하고 슬레이브 로봇이 수집한 데이터를 수신하도록 구성되며; 마스터 웨어러블 원격 제어 장치는 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이, 원격 조작 컨트롤러 및 마스터 무선 통신 디바이스를 포함하고, 상기 원격 조작 컨트롤러는 각각 웨어러블 양안 카메라 장치, 헤드 마운트 가상 디스플레이 및 마스터 무선 통신 디바이스에 연결되고, 웨어러블 양안 카메라 장치는 조작자 제스처의 이미지를 수집하도록 구성되고, 상기 헤드 마운트 가상 디스플레이는 슬레이브 로봇이 촬영한 이미지를 표시하고 슬레이브 로봇 매니퓰레이터의 가상 모델과 조작자 제스처의 가상 모델을 표시하도록 구성되는 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 기반의 제어 방법에 있어서,
    여기에는 이하의 단계,
    단계 101: 견인 손모양과 분리 손모양을 설정하는 단계;
    단계 102: 가상 매니퓰레이터와 가상 제스처 모델을 구축하고, 가상 매니퓰레이터와 가상 제스처 모델을 헤드 마운트 가상 디스플레이 뷰잉 볼륨(viewing volume)의 전단에 표시하는 단계;
    단계 103: 양안 카메라의 이중 시야각 이미지를 수집하는 단계;
    단계 104: 제스처 검출 알고리즘을 이용하여 이중 시야각 이미지에 조작자의 제스처가 존재하는지 판단하고, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행하는 단계;
    단계 105: 손모양 인식 알고리즘을 이용하여 제스처에 대한 손모양 인식을 수행하고, 견인 손모양이 나타났는지 판단하며, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행하는 단계;
    단계 106: 촬영된 이중 시야각 이미지를 처리하고 웨어러블 양안 카메라 장치 좌표계에서 제스처의 포즈(
    Figure 112021148302487-pct00098
    )를 구하고, 포즈(
    Figure 112021148302487-pct00099
    )를 헤드 마운트 가상 디스플레이의 스크린 좌표계에서의 포즈 설명(
    Figure 112021148302487-pct00100
    )으로 변환하고, 변환된 포즈(
    Figure 112021148302487-pct00101
    )를 사용해 헤드 마운트 가상 디스플레이 뷰잉 볼륨 중의 가상 제스처 모델을 구동하는 단계;
    단계 107: 가상 제스처 모델의 포즈(
    Figure 112021148302487-pct00102
    )와 가상 매니퓰레이터(N6) 엔드 포즈(
    Figure 112021148302487-pct00103
    )의 차이가 소정의 역치보다 작은지 판단하고, 그렇다면 다음 단계를 실행하고, 그렇지 않다면 단계 103을 실행하는 단계;
    단계 108: 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 하는 단계;
    단계 109: 분리 손모양이 나타났는지 판단하고, 그렇다면 다자유도 매니퓰레이터의 포즈는 조작자의 견인 손모양 포즈에 따라 바뀌는 것을 정지하고 단계 103을 실행하며, 그렇지 않다면 단계 108을 실행하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
  2. 제1항에 있어서,
    슬레이브 로봇은 이동 로봇 본체, 다자유도 매니퓰레이터, 정찰 카메라, 무선 통신 디바이스 및 차량 탑재 컨트롤러를 포함하고, 상기 차량 탑재 컨트롤러는 각각 이동 로봇 본체(N1), 다자유도 매니퓰레이터(N2), 정찰 카메라(N3), 무선 통신 디바이스와 연결되고; 이동 로봇 본체는 마스터 웨어러블 원격 제어 장치의 제어를 받아 위치 이동을 수행하고, 차량 탑재 다자유도 매니퓰레이터는 마스터 웨어러블 원격 제어 장치의 제어를 받아 상응하는 동작을 실행하고, 상기 슬레이브 로봇의 매니퓰레이터의 가상 모델은 다자유도 매니퓰레이터의 가상 모델인 것을 특징으로 하는 제어 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 단계 108에서 다자유도 매니퓰레이터의 포즈가 조작자의 견인 손모양 포즈에 따라 바뀌도록 하는 단계는 구체적으로,
    가상 매니퓰레이터 엔드 포즈(
    Figure 112022009675612-pct00075
    )의 값을 가상 제스처 모델의 포즈(
    Figure 112022009675612-pct00076
    )와 같도록 만들어, 가상 매니퓰레이터에 대응하는 각 관절 각도 값을 구하고;
    구한 가상 매니퓰레이터에 대응하는 각 관절 각도 값을 제어 명령으로 변환하고 슬레이브 로봇에 전송하여, 다자유도 매니퓰레이터 각 관절의 관절 각도가 가상 매니퓰레이터의 각 관절 각도와 같도록 만들고,
    및
    상기 단계 108은 구한 가상 매니퓰레이터(N6)에 대응하는 각 관절 각도 값에 따라 뷰잉 볼륨에서 가상 매니퓰레이터(N6)에 대하여 다시 제도하는 단계를 더 포함하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    웨어러블 양안 촬영 장치 좌표계에서 견인 제스처의 포즈(
    Figure 112021148302487-pct00077
    )의 위치 정보와 포즈(
    Figure 112021148302487-pct00078
    )의 위치 정보는 정비례 관계이고, 포즈(
    Figure 112021148302487-pct00079
    )의 자세 정보와 포즈(
    Figure 112021148302487-pct00080
    )의 자세 정보도 정비례 관계인 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 단계 102에서 복수의 가상 매니퓰레이터를 구축하여 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시하는 단계는 구체적으로,
    슬레이브 로봇의 다자유도 매니퓰레이터의 각 관절의 관절 각도 정보를 판독하고;
    원격 조작 컨트롤러는 수집된 관절 각도 정보를 기반으로 다자유도 매니퓰레이터의 D-H 매개 변수를 계산하고;
    다자유도 매니퓰레이터의 D-H 매개 변수에 따라 가상 매니퓰레이터를 구축하고, 가상 매니퓰레이터를 헤드 마운트 가상 디스플레이 뷰잉 볼륨의 전단에 표시하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 단계 103 이전에 헤드 마운트 가상 디스플레이 상에 슬레이브 로봇이 촬영한 이미지를 표시하는 단계를 더 포함하고, 구체적으로
    슬레이브 로봇단의 정찰 이미지를 수집하고;
    원격 조작 컨트롤러가 정찰 이미지를 수신하여 이를 헤드 마운트 가상 디스플레이의 뷰잉 볼륨 후단에 표시하는 것을 특징으로 하는 제어 방법.
  8. 제1항 내지 제2항 중 어느 한 항의 제어 시스템 기반의 제어 방법에 있어서,
    각각 조작자의 왼손과 오른손 동작을 수집하고, 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하며, 여기에는 다음의 단계,
    단계 201: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집하는 단계;
    단계 202: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 201을 실행하고; 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하는 단계;
    단계 203: 좌우 양손 판별 알고리즘을 이용하여 획득된 핸드 피스가 왼손 피스인지 오른손 피스인지 판단하여, 동작하는 것이 왼손인지 오른손인지 결정하는 단계;
    단계 204: 그 중 한 손의 동작으로 이동 로봇 차체의 이동을 제어하고, 다른 한 손의 동작으로 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어한 후 단계 201을 실행하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
  9. 제8항에 있어서,
    상기 단계 204에서 그 중 한 손의 동작을 통해 이동 로봇 차체의 이동을 제어하는 단계는 구체적으로,
    슬레이브 로봇 모션 제어 명령과 손모양 정보의 대응 관계를 설정하고;
    인식된 핸드 피스가 이동 로봇 차체의 이동을 제어하도록 설정된 한 손인 경우, 손모양 인식 알고리즘을 이용하여 핸드 피스를 인식하여 손모양 정보를 획득하고;
    슬레이브 로봇 모션 제어 명령과 손모양 정보의 대응 관계 및 인식 획득된 손모양 정보에 따라 슬레이브 로봇 모션 제어 명령을 생성하고, 모션 제어 명령을 슬레이브 로봇에 전송하며, 슬레이브 로봇은 제어 명령에 따라 상응하는 동작을 실행하는 것을 특징으로 하는 제어 방법.
  10. 제8항에 있어서,
    상기 단계 204에서 다른 한 손의 동작을 통해 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하는 단계는 구체적으로,
    인식된 핸드 피스가 이동 로봇의 차량 탑재 다자유도 매니퓰레이터의 동작을 제어하도록 설정된 한 손인 경우, 손끝 위치결정 알고리즘을 이용하여 이미지에서 임의 손끝의 모션 궤적을 분석하고;
    모션 궤적에 따라 위치 추적 명령을 생성하여 위치 추적 명령을 슬레이브 로봇에 전송하고;
    슬레이브 로봇은 위치 추적 명령에 따라 구체적인 동작의 위치 좌표를 생성하고, 연결 로드 기구 엔드는 순차적으로 위치 좌표를 거쳐 조작자 손끝 모션 궤적을 추적하는 것을 특징으로 하는 제어 방법.
  11. 제1항 내지 제2항 중 어느 한 하으이 제어 시스템 기반의 제어 방법에 있어서,
    로봇 차량 탑재 다자유도 매니퓰레이터의 광역 이동의 제어 방법에는 다음의 단계,
    단계 301: 연결 손모양과 대응하는 제스처 동작을 설정하고, 다른 손모양은 슬레이브 로봇의 다른 동작에 대응하도록 설정하고, 연결 손모양은 차량 탑재 다자유도 매니퓰레이터 엔드가 현재 위치에서 다음 명령을 대기하도록 설정할 수 있는 단계;
    단계 302: 조작자 웨어러블 디바이스의 촬영 가능 범위 내의 이미지를 수집하는 단계;
    단계 303: 수집된 이미지에 손 영역이 있는지 판단하고, 없다면 단계 302를 실행하고; 그렇지 않다면 수집된 이미지를 전처리하여 핸드 피스를 획득하고, 다음 단계를 실행하는 단계;
    단계 304: 손모양 인식 알고리즘을 이용하여 전처리된 핸드 피스에 대해 손모양 인식을 수행하고 손모양 정보를 획득하는 단계;
    단계 305: 획득한 손모양 정보가 연결 손모양인지 판단하고, 그렇다면, 차량 탑재 다자유도 매니퓰레이터 엔드는 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속으로 실행하고 단계 302를 실행하며; 그렇지 않다면 다음 단계를 실행하는 단계;
    단계 306: 상응하는 손모양에 따라 상응하는 동작을 실행하고 단계 302를 실행하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 단계 305에서, 차량 탑재 다자유도 매니퓰레이터 엔드가 연결 손모양 직전 손모양과 연결 손모양 직후 손모양의 대응하는 제어 명령의 동작을 연속 실행하는 단계는 구체적으로,
    차량 탑재 다자유도 매니퓰레이터 엔드가 직전 손모양에 대응하는 동작을 실행한 후, 현재 위치에서 정지하고;
    단계 302 내지 단계 304를 실행하고, 연결 손모양의 다음 손모양을 검출하며, 차량 탑재 다자유도 매니퓰레이터 엔드는 현재 위치 동작으로부터 연결 손모양의 다음 손모양에 대응하는 동작을 실행하는 것을 특징으로 하는 제어 방법.
  13. 삭제
  14. 삭제
KR1020207030337A 2019-04-30 2020-04-29 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법 KR102379245B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201910363155.4A CN109955254B (zh) 2019-04-30 2019-04-30 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN201910363168.1A CN110039545B (zh) 2019-04-30 2019-04-30 一种基于可穿戴设备的机器人远程控制系统及控制方法
CN2019103631554 2019-04-30
CN2019103631681 2019-04-30
PCT/CN2020/087846 WO2020221311A1 (zh) 2019-04-30 2020-04-29 基于可穿戴设备的移动机器人控制系统及控制方法

Publications (2)

Publication Number Publication Date
KR20200140834A KR20200140834A (ko) 2020-12-16
KR102379245B1 true KR102379245B1 (ko) 2022-03-28

Family

ID=73028793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030337A KR102379245B1 (ko) 2019-04-30 2020-04-29 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법

Country Status (2)

Country Link
KR (1) KR102379245B1 (ko)
WO (1) WO2020221311A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578720B (zh) * 2020-12-01 2023-11-07 合肥欣奕华智能机器股份有限公司 控制方法及控制系统
CN114643576B (zh) * 2020-12-17 2023-06-20 中国科学院沈阳自动化研究所 一种基于虚拟力引导的人机协同目标抓取方法
CN114683272B (zh) * 2020-12-31 2023-09-12 国网智能科技股份有限公司 变电站巡检机器人的增稳控制方法、控制器及机器人
CN112914731A (zh) * 2021-03-08 2021-06-08 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法
CN113099204B (zh) * 2021-04-13 2022-12-13 北京航空航天大学青岛研究院 一种基于vr头戴显示设备的远程实景增强现实方法
CN113218249B (zh) * 2021-05-30 2023-09-26 中国人民解放军火箭军工程大学 跟随式遥操作战车及控制方法
KR102522142B1 (ko) * 2021-07-05 2023-04-17 주식회사 피앤씨솔루션 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법
KR102532351B1 (ko) * 2021-08-05 2023-05-15 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
CN113768630A (zh) * 2021-08-06 2021-12-10 武汉中科医疗科技工业技术研究院有限公司 主手夹持机构、主手控制台、手术机器人及主从对齐方法
CN114378823B (zh) * 2022-01-20 2023-12-15 深圳市优必选科技股份有限公司 一种机器人动作控制方法、装置、可读存储介质及机器人
CN114770583A (zh) * 2022-04-29 2022-07-22 大连工业大学 一种基于vr的智能装配系统
KR102549631B1 (ko) * 2022-07-21 2023-07-03 주식회사 포탈301 신체 일부의 자세 및 장치의 기울기를 이용한 실시간 작업 장치 및 카메라 제어 방법 및 장치
KR102525661B1 (ko) * 2023-01-18 2023-04-24 박장준 작업 장치의 원격 제어를 위한 실시간 훈련 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033366A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操作ロボットシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110621A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの教示データを作成する方法およびロボット教示システム
CN103279191B (zh) * 2013-06-18 2016-01-06 北京科技大学 一种基于手势识别技术的3d虚拟交互方法及系统
CN103398702B (zh) * 2013-08-05 2015-08-19 青岛海通机器人系统有限公司 一种移动机器人远程操控装置及其操控技术
CN104057450B (zh) * 2014-06-20 2016-09-07 哈尔滨工业大学深圳研究生院 一种针对服务机器人的高维操作臂遥操作方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
CN109955254B (zh) * 2019-04-30 2020-10-09 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN110039545B (zh) * 2019-04-30 2020-10-02 齐鲁工业大学 一种基于可穿戴设备的机器人远程控制系统及控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017033366A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操作ロボットシステム

Also Published As

Publication number Publication date
KR20200140834A (ko) 2020-12-16
WO2020221311A1 (zh) 2020-11-05

Similar Documents

Publication Publication Date Title
KR102379245B1 (ko) 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법
CN109955254B (zh) 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN110039545B (zh) 一种基于可穿戴设备的机器人远程控制系统及控制方法
CN110692027B (zh) 用于提供无人机应用的易用的释放和自动定位的系统和方法
US20180160035A1 (en) Robot System for Controlling a Robot in a Tele-Operation
US8577126B2 (en) System and method for cooperative remote vehicle behavior
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
US20200055195A1 (en) Systems and Methods for Remotely Controlling a Robotic Device
US20110118877A1 (en) Robot system and method and computer-readable medium controlling the same
US20090180668A1 (en) System and method for cooperative remote vehicle behavior
RU2012142510A (ru) Роботизированная хирургическая системы с усовершенствованным управлением
CN103533909A (zh) 用于控制工具运动的标架的位置和定向的估计
CN107968915A (zh) 水下机器人摄像机云台实时控制系统及其方法
CN111459277B (zh) 基于混合现实的机械臂遥操作系统及交互界面构建方法
US20230042756A1 (en) Autonomous mobile grabbing method for mechanical arm based on visual-haptic fusion under complex illumination condition
CN112634318A (zh) 一种水下维修机器人的遥操作系统和方法
CN113183133B (zh) 面向多自由度机器人的手势交互方法、系统、装置及介质
CN112405530B (zh) 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法
JP2020142326A (ja) ロボットシステム
CN113021357A (zh) 一种便于移动的主从水下双臂机器人
US11804052B2 (en) Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
CN112828916A (zh) 冗余机械臂遥操作组合交互装置及冗余机械臂遥操作系统
KR20180122566A (ko) 무인 비행유닛을 이용한 항공영상 촬영 시스템
JP2020019127A (ja) 協調動作支援装置
CN108062102A (zh) 一种手势控制具有辅助避障功能的移动机器人遥操作系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant