KR102369855B1 - 멀티-모달 감각 데이터에 기반하는 로봇 플랫폼 원격 제어 - Google Patents

멀티-모달 감각 데이터에 기반하는 로봇 플랫폼 원격 제어 Download PDF

Info

Publication number
KR102369855B1
KR102369855B1 KR1020170057401A KR20170057401A KR102369855B1 KR 102369855 B1 KR102369855 B1 KR 102369855B1 KR 1020170057401 A KR1020170057401 A KR 1020170057401A KR 20170057401 A KR20170057401 A KR 20170057401A KR 102369855 B1 KR102369855 B1 KR 102369855B1
Authority
KR
South Korea
Prior art keywords
sensory data
modal sensory
robotic platform
modal
remote control
Prior art date
Application number
KR1020170057401A
Other languages
English (en)
Other versions
KR20170140070A (ko
Inventor
그레그 더블유. 포드나
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20170140070A publication Critical patent/KR20170140070A/ko
Application granted granted Critical
Publication of KR102369855B1 publication Critical patent/KR102369855B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0075—Manipulators for painting or coating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B25J13/025—Hand grip control means comprising haptic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/40—Maintaining or repairing aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32252—Scheduling production, machining, job shop
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/44—End effector inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Abstract

제한된 공간들 또는 인간의 직접적인 동작에 적절하지 않은 다른 유사한 공간들의 로봇 플랫폼들에 대해 원격으로 제어하기 위한 방법들 및 시스템들이 제공된다. 이 제어는 멀티-모달 센서리 데이터를 사용하여 달성되며, 이 멀티-모달 센서리 데이터는 적어도 두 개의 센서리 응답 타입들, 이를테면, 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 촉각 타입 등을 포함한다. 멀티-모달 센서리 데이터는 제한된 공간에 포지셔닝된 로봇 플랫폼에 의해 획득되고, 제한된 공간 밖의 원격 제어 스테이션에 송신되며, 멀티-모달 센서리 데이터는 제한된 공간에 대한 표현을 생성하기 위해 사용된다. 멀티-모달 센서리 데이터는, 원격 제어 스테이션의 오퍼레이터에게 멀티-센서리 고충실도 텔레프레전스를 제공하며 이 오퍼레이터로 하여금 더욱 정확한 사용자 입력을 제공하도록 허용하기 위해 사용될 수 있다. 이 입력은, 제한된 공간 내에서 다양한 동작들을 수행하도록 로봇 플랫폼에 송신될 수 있다.

Description

멀티-모달 감각 데이터에 기반하는 로봇 플랫폼 원격 제어{REMOTELY CONTROLLING ROBOTIC PLATFORMS BASED ON MULTI-MODAL SENSORY DATA}
관련 출원들에 대한 상호 참조
본 출원은, 동시 출원되었으며 "Multi-Tread Vehicles and Methods of Operating Thereof"으로 명명된 미국 특허 출원(대리인 관리번호 16-0017-US-NP_BNGCP081US) 및 동시 출원되었으며 "Stereoscopic Camera and Associated Method of Varying a Scale of a Stereoscopic Image Pair"으로 명명된 미국 특허 출원(대리인 관리번호 15-2607-US-NP)에 관련되며, 이 미국 특허 출원들 둘 모두는 본원에 인용에 의해 그 전체가 모든 목적들을 위해 통합된다.
로봇 플랫폼들을 제어하기 위한 방법들 및 시스템들이 제공되며, 더욱 구체적으로는, 일부 실시예들에 따라, 제한된(confined) 공간에 원격으로 배치되며, 멀티-모달 감각 데이터(multi-modal sensory data)에 기반하여 생성되는 원격 및/또는 로컬 제어 명령들을 사용하여 제어되는 로봇 플랫폼이 제공된다.
로봇 플랫폼들은, 인간의 직접적인 동작에 이상적이지 않은 다양한 환경들에 배치될 수 있다. 원격으로 포지셔닝된 오퍼레이터들로부터의 어떤 입력을 이용하여 그러한 환경들에서 원격 동작들을 수행하기 위해, 로봇 플랫폼들을 포함하는 텔레-오퍼레이팅되는(tele-operated) 로봇 시스템들이 사용될 수 있다. 그러나, 동작 환경들에 대한 오퍼레이터들의 지각은 시스템의 감각 충실도 레벨에 의해 제한된다. 그러한 시스템들이 유효하게 되도록 하기 위해, 오퍼레이터들은, 충분하며 사실적인 감각 피드백을 이용하여, 동작 환경들에서 유효하게 텔레-프레젠트(tele-present)해야 한다. 일반적으로, 오퍼레이터에 제공되는 더 높은 감각 충실도는, 동작 환경에서의 더 큰 현실감 및 오퍼레이터에 의해 제공되는 더욱 효과적인 동작 명령들을 초래한다. 반면에, 어떤 감각 경험의 부족이 제한된 상황 인식을 야기할 때, 원격 제어는 매우 어려울 수 있다. 대부분의 통상적인 텔레-오퍼레이팅되는 로봇 시스템들에서, 오퍼레이터들은 실제 동작 환경들에 관한 제한된 정보를 갖는다. 주요 감각 피드백은 시각적이다. 정교한 비전 시스템들을 갖는 로봇 플랫폼들조차도 제한된 정보를 그들의 오퍼레이터들에게 제공한다. 인간들은 자연스럽게, 그들의 환경에 관해 학습하기 위해 다수의 감각들에 의존하며, 시각에만 의존하지 않는다. 오퍼레이터들을 시각 정보에 한정하는 것은, 환경을 포괄적으로 이해하고 필요한 명령들을 제공하는 오퍼레이터의 능력을 제한한다. 또한, 통상적인 텔레-로봇 시스템들은 소위 "키클롭스식 비전(cyclopean vision)"으로부터 어려움을 겪는다. 구체적으로, 그러한 시스템들은 어떠한 양안 스테레옵시스(binocular stereopsis)도 제공하지 않는 모노스코픽 카메라들 및 디스플레이들을 포함한다. 환경에 대해 이해하고 이 환경에서 다양한 동작들, 이를테면, 조작 태스크들을 수행하기 위해서는 깊이 단서들이 중요하며, 미세 조작 태스크들에 대해 더욱 그러하다. 도입되는 각각의 다양한 왜곡은 정밀하게 작업하는 오퍼레이터의 능력을 손상시키며, 오래 계속되는 사용으로 피로를 유발할 수 있다.
제한된 공간들 또는 인간의 직접적인 동작에 적절하지 않은 다른 유사한 공간들의 로봇 플랫폼들에 대해 원격으로 제어하기 위한 방법들 및 시스템들이 제공된다. 이 제어는 멀티-모달 감각 데이터를 사용하여 달성되며, 이 멀티-모달 감각 데이터는 적어도 두 개의 감각 응답 타입들, 이를테면, 양안 스테레오스코픽 비전 타입(binocular stereoscopic vision type), 쌍이 스테레오포닉 오디오 타입(binaural stereophonic audio type), 힘 반영 햅틱 조작 타입, 촉각 타입 등을 포함한다. 멀티-모달 감각 데이터는 제한된 공간에 포지셔닝된 로봇 플랫폼에 의해 획득되고, 제한된 공간 밖의 원격 제어 스테이션에 송신되며, 멀티-모달 감각 데이터는 제한된 공간에 대한 표현을 생성하기 위해 사용된다. 멀티-모달 감각 데이터는, 멀티-감각 고충실도 텔레프레전스(telepresence)를 원격 제어 스테이션의 오퍼레이터에게 제공하며 이 오퍼레이터로 하여금 더욱 정확한 사용자 입력을 제공하도록 하기 위해 사용될 수 있다. 이 입력은, 제한된 공간 내에서 다양한 동작들을 수행하도록 로봇 플랫폼에 송신될 수 있다.
일부 실시예들에서, 멀티-모달 감각 데이터에 기반하여 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법이 제공된다. 방법은, 로봇 플랫폼을 포지셔닝시키는 단계, 로봇 플랫폼을 원격 제어 스테이션에 통신가능하게 커플링하는 단계, 로봇 플랫폼의 둘 또는 그 초과의 센서들을 사용하여 멀티-모달 감각 데이터를 획득하는 단계, 멀티-모달 감각 데이터의 적어도 일부를 송신하는 단계, 및 원격 제어 스테이션으로부터의 원격 제어 명령들을 로봇 플랫폼에서 수신하는 단계를 포함할 수 있다. 멀티-모달 감각 데이터는 적어도 두 개의 감각 응답 타입들을 포함할 수 있다. 적어도 두 개의 감각 응답 타입들은 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입으로 구성된 그룹으로부터 선택될 수 있다. 멀티-모달 감각 데이터를 획득하는 단계 및 멀티-모달 감각 데이터를 송신하는 단계는 방법의 실행 동안에 계속해서 반복될 수 있다. 방법은, 원격 제어 스테이션으로부터 수신된 원격 제어 명령들을 증강시키는 단계를 수반할 수 있다. 일부 실시예에서, 구조물은 항공기 날개이다.
일부 실시예들에서, 로봇 플랫폼은 구조물의 제한된 공간에 포지셔닝된다. 로봇 플랫폼이 제한된 공간에 포지셔닝된 동안에, 멀티-모달 감각 데이터의 적어도 일부를 송신하는 단계가 수행될 수 있다.
일부 실시예들에서, 방법은, 멀티-모달 감각 데이터에 기반하여 로봇 플랫폼에서 로컬 제어 명령들을 생성하는 단계를 더 포함한다. 방법은, 로컬 제어 명령들에 기반하여, 로봇 플랫폼을 사용하여, 제한된 공간 내에서 하나 또는 그 초과의 동작들을 수행하는 단계를 또한 포함할 수 있다.
일부 실시예들에서, 멀티-모달 감각 데이터는 적어도, 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 및 힘 반영 햅틱 조작 타입을 포함한다. 이들 실시예들에서, 하나 또는 그 초과의 동작들은 구조물의 컴포넌트에 드릴링하는 것을 포함할 수 있다.
일부 실시예들에서, 멀티-모달 감각 데이터는 적어도, 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입을 포함할 수 있다. 이들 실시예들에서, 하나 또는 그 초과의 동작들은 패스너를 구조물에 설치하는 것을 포함한다.
일부 실시예들에서, 방법은, 멀티-모달 감각 데이터의 적어도 일부를 송신하는 단계 전에, 멀티-모달 감각 데이터를 증강시키는 단계를 더 포함한다. 방법은, 송신하기 위한 멀티-모달 감각 데이터의 적어도 일부를 선택하는 단계를 또한 포함할 수 있다.
일부 실시예들에서, 방법은, 원격 제어 스테이션으로부터 로봇 플랫폼에서 수신된 원격 제어 명령들에 기반하여, 로봇 플랫폼을 사용하여, 제한된 공간 내에서 하나 또는 그 초과의 동작들을 수행하는 단계를 더 포함한다. 예컨대, 하나 또는 그 초과의 동작들은, 제한된 공간 내에서 로봇 플랫폼의 포지션을 변경하는 것, 구조물의 컴포넌트에 드릴링하는 것, 패스너를 구조물에 설치하는 것, 구조물을 실링하는 것, 구조물에 페인팅하는 것, 제한된 공간으로부터 오브젝트를 제거하는 것, 그리고 구조물을 검사하는 것으로 구성된 그룹으로부터 선택된다. 멀티-모달 감각 데이터의 충실도 레벨은 하나 또는 그 초과의 동작들에 대응할 수 있다. 일부 실시예들에서, 멀티-모달 감각 데이터의 충실도 레벨은 시간에 따라 변한다. 일부 실시예들에서, 하나 또는 그 초과의 동작들을 수행하기 위해, 로봇 플랫폼에서 생성되는 로컬 제어 명령들이 원격 제어 명령들과 결합되도록, 하나 또는 그 초과의 동작들은 로컬 제어 명령들에 기반하여 또한 수행된다.
일부 실시예들에서, 하나 또는 그 초과의 동작들은 제한된 공간 내에서 로봇 플랫폼의 포지션을 변경하는 것을 포함한다. 이들 실시예들에서, 멀티-모달 감각 데이터는 적어도, 양안 스테레오스코픽 비전 타입 및 스테레오스코픽 오디오 타입을 포함할 수 있다.
일부 실시예들에서, 로봇 플랫폼은 로컬 영역 네트워크를 사용하여 원격 제어 스테이션에 통신가능하게 커플링된다. 동일한 또는 다른 실시예들에서, 로봇 플랫폼은 적어도 하나의 무선 통신 링크를 사용하여 원격 제어 스테이션에 통신가능하게 커플링된다. 또한, 로봇 플랫폼은 글로벌 통신 네트워크를 사용하여 원격 제어 스테이션에 통신가능하게 커플링된다.
멀티-모달 감각 데이터에 기반하여 구조물의 제한된 공간의 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법이 또한 제공된다. 방법은, 제한된 공간에 포지셔닝된 로봇 플랫폼으로부터 멀티-모달 감각 데이터를 수신하는 단계, 원격 제어 스테이션에 의해 멀티-모달 감각 데이터의 표현(presentation)을 생성하는 단계, 원격 제어 스테이션에서 사용자 입력을 캡처링하는 단계, 및 원격 제어 명령들을 제한된 공간에 포지셔닝된 로봇 플랫폼에 송신하는 단계를 포함할 수 있다. 멀티-모달 감각 데이터는, 제한된 공간 밖에 포지셔닝되며 로봇 플랫폼에 통신가능하게 커플링된 원격 제어 스테이션에 의해 수신된다. 멀티-모달 감각 데이터는, 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입으로 구성된 그룹으로부터 선택되는 적어도 두 개의 감각 응답 타입들을 포함한다.
일부 실시예들에서, 멀티-모달 감각 데이터의 표현을 생성하는 단계는 비디오 스펙트럼, 오디오 스펙트럼, 공간 배향, 및 고유 수용성 감각(proprioception) 중 적어도 하나에 기반하여 멀티-모달 감각 데이터를 증강시키는 단계를 포함한다. 표현은 멀티-감각 고충실도 텔레프레전스일 수 있다. 일부 실시예들에서, 원격 제어 스테이션의 사용자 인터페이스는 멀티-모달 감각 데이터의 양안 스테레오스코픽 비전 타입을 프레젠팅(presenting)하기 위한 3D 디스플레이를 포함한다. 원격 제어 스테이션의 사용자 인터페이스는 멀티-모달 감각 데이터의 쌍이 스테레오포닉 오디오 타입을 프레젠팅하기 위한 스테레오 스피커들을 포함할 수 있다.
일부 실시예들에서, 원격 제어 명령들은 제한된 공간 내의 로봇 플랫폼에 의해 수행되는 하나 또는 그 초과의 동작들을 표현한다. 하나 또는 그 초과의 동작들은, 제한된 공간 내에서 로봇 플랫폼의 포지션을 변경하는 것, 구조물의 컴포넌트에 드릴링하는 것, 패스너를 구조물에 설치하는 것, 구조물을 실링하는 것, 구조물에 페인팅하는 것, 제한된 공간으로부터 오브젝트를 제거하는 것, 그리고 구조물을 검사하는 것으로 구성된 그룹으로부터 선택될 수 있다.
일부 실시예들에서, 적어도, 멀티-모달 감각 데이터를 수신하는 단계 및 표현을 생성하는 단계는 계속해서 수행된다. 또한, 원격 제어 명령들은 사용자 입력에 기반하여 생성될 수 있다. 로봇 플랫폼은 로컬 영역 네트워크를 사용하여 원격 제어 스테이션에 통신가능하게 커플링될 수 있다. 동일한 또는 다른 실시예들에서, 로봇 플랫폼은 글로벌 통신 네트워크를 사용하여 원격 제어 스테이션에 통신가능하게 커플링된다.
멀티-모달 감각 데이터를 사용하여 구조물의 제한된 공간에서 동작하기 위한 로봇 플랫폼이 또한 제공된다. 로봇 플랫폼은, 멀티-모달 감각 데이터를 생성하기 위한 센서들, 및 제한된 공간 밖에 포지셔닝된 원격 제어 스테이션에 통신가능하게 커플링되기 위한 통신 모듈을 포함할 수 있다. 센서들은, 양안 스테레오스코픽 비전 센서, 쌍이 스테레오포닉 오디오 센서, 힘 반영 햅틱 조작 센서, 및 촉각 센서로 구성된 그룹으로부터 선택되는 적어도 두 개의 센서들을 포함할 수 있다.
멀티-모달 감각 데이터를 사용하여 로봇 플랫폼을 제어하기 위한 원격 제어 스테이션이 또한 제공된다. 로봇 플랫폼은, 로봇 플랫폼에 통신가능하게 커플링되며 로봇 플랫폼으로부터 멀티-모달 감각 데이터를 수신하기 위한 통신 모듈, 및 로봇 플랫폼으로부터 수신된 멀티-모달 감각 데이터의 표현을 생성하기 위한 출력 디바이스를 포함하는 사용자 인터페이스를 포함할 수 있다. 멀티-모달 감각 데이터는 적어도 두 개의 감각 응답 타입들을 포함한다. 일부 실시예들에서, 적어도 두 개의 감각 응답 타입들은 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입으로 구성된 그룹으로부터 선택된다.
멀티-모달 감각 데이터에 기반하여 구조물의 제한된 공간의 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법이 또한 제공된다. 방법은, 로봇 플랫폼의 둘 또는 그 초과의 센서들을 사용하여 멀티-모달 감각 데이터를 획득하는 단계, 멀티-모달 감각 데이터의 적어도 일부를 원격 제어 스테이션에 송신하는 단계, 및 원격 제어 스테이션에 의해 멀티-모달 감각 데이터의 표현을 생성하는 단계를 포함할 수 있다. 멀티-모달 감각 데이터는 적어도 두 개의 감각 응답 타입들을 포함한다. 이 방법의 다양한 다른 양상들이 위에서 그리고 본 명세서의 다른 곳에서 제시된다.
이들 그리고 다른 실시예들이 도면들을 참조하여 아래에서 추가로 설명된다.
도 1은 일부 실시예들에 따른, 제한된 공간들을 갖는 항공기의 개략적인 예시이다.
도 2는 일부 실시예들에 따른, 로봇 플랫폼 및 원격 제어 스테이션을 포함하는 코-로봇 시스템의 예이다.
도 3은 일부 실시예들에 따른, 로봇 플랫폼의 개략적인 표현이다.
도 4는 일부 실시예들에 따른, 원격 제어 스테이션의 개략적인 표현이다.
도 5는 일부 실시예들에 따른, 멀티-모달 감각 데이터의 개략적인 표현이다.
도 6은 일부 실시예들에 따른, 제한된 공간의 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법에 대응하는 프로세스 흐름도이다.
도 7은 일부 실시예들에 따른, 원격 제어 스테이션의 관점으로부터 제한된 공간의 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법에 대응하는 프로세스 흐름도이다.
도 8은 본원에 설명된 방법들 및 어셈블리들을 활용할 수 있는 항공기 생산 및 서비스 방법론의 블록 다이어그램이다.
아래의 설명에서는, 제시되는 개념들의 완전한 이해를 제공하기 위하여 많은 특정 세부사항들이 개진된다. 제시되는 개념들은, 이들 특정 세부사항들 중 일부 또는 전부 없이, 실시될 수 있다. 다른 사례들에서, 설명되는 개념들을 불필요하게 모호하게 하지 않기 위하여, 잘 알려진 프로세스 동작들은 상세히 설명되지 않았다. 일부 개념들이 특정 실시예들과 함께 설명될 것이지만, 이들 실시예들이 제한적인 것으로 의도되지 않는다는 것이 이해될 것이다. 그에 반해서, 첨부된 청구항들에 의해 정의되는 본 개시내용의 사상 및 범위 내에 포함될 수 있는 것으로서 대안들, 수정들, 및 등가물들을 커버하는 것이 의도된다.
도입부
실시간 휴먼 제어를 로봇 플랫폼들에 추가하는 것은 로봇에 대한 새로운 기회들을 제공한다. 다른 한편으로, 그것은 완전히 자동화된 시스템들과 연관된 많은 문제들을 극복하는 것을 돕는다. 또한, 그것은 인간들이 접근할 수 없는 환경들에서의 동작들 및/또는 완전히 자동화된 시스템에 의해 지원되지 않는 동작들을 수행하도록 허용한다.
하이브리드 휴먼-로봇 시스템들은, 동작 환경들에 관한 충분한 정보가 인간 오퍼레이터들에게 프레젠팅될 때, 개별 강점들을 안전하게 레버리징하고 실질적인 시너지들을 달성할 수 있다. 예컨대, 로봇 플랫폼들의 하나의 핵심 강점은 인간들의 경우 쉽게 접근할 수 없는 다양한 환경들, 이를테면, 제한된 공간들, 위험한 환경 등에 배치되어 동작하는 그들의 능력이다. 본 개시내용의 목적들을 위해, 제한된 공간은 캐비티 깊이가 액세스의 주요 치수보다 적어도 5배 더 큰, 캐비티 및 액세스에 의해 정의되는 에워싸인 공간으로서 정의된다. 동시에, 인간들은 완전히 자동화된 로봇 시스템의 능력들을 현재 훨씬 능가하는 그들의 감각들 및 인지 능력들을 사용하여 복잡하며 비구조적인 환경들에서 제대로 작업할 수 있다. 그러나, 이들 환경 복잡성들은 인간들이 접근할 수 없거나 또는 인간들에 적절하지 않은 영역들에서의 지점들에 종종 접근한다. 예컨대, 항공기 날개의 인테리어는, 어셈블링되고, 서비싱되며, 교체될 필요가 있을 수 있는 많은 상이한 컴포넌트들을 갖는 복잡한 환경이다. 날개의 사이즈, 또는 더욱 구체적으로 날개의 두께는 이들 컴포넌트들로의 제한된 액세스를 제공한다. 동작 환경에 대한 액세스 지점들의 포지션, 사이즈, 및 다른 특성들이 액세스를 또한 제한한다는 것이 주목되어야 한다. 현재의 날개 설계는 인간 오퍼레이터들을 위해 설계된 다양한 액세스 지점들을 제공한다. 그러나, 이들 액세스 지점들은 중량, 성능, 및 다른 고려사항들로부터 바람직하지 않을 수 있으며, 일반적으로, 가능하면 더 작고 덜 빈번해야 한다.
코-로봇 시스템으로 또한 지칭될 수 있는 하이브리드 휴먼-로봇 시스템의 효과적인 동작은, 오퍼레이터가 정확한 사용자 입력을 제공할 수 있도록, 고충실도의 텔레프레전스를 오퍼레이터에게 제공하는 것에 따라 좌우된다. 충실도 레벨은 동작 환경에서 존재하는 로봇 플랫폼에 의해 획득되는 감각 데이터, 그리고 특히 이 데이터의 상이한 감각 모드들에 따라 좌우된다. 많은 사례들에서, 각각의 별개의 감각 데이터 타입(예컨대, 비전)은 인간 오퍼레이터가 동작 환경에 대한 적합한 지각을 갖도록 하기에는 그것만으로는 불충분할 수 있다. 대부분의 사례들에서, 인간들은 그들의 환경 지각을 생성하기 위해 다수의 감각들에 의존한다.
제한된 공간에 포지셔닝된 로봇 플랫폼에 대해 제어하기 위한 장치, 방법들 및 시스템들이 제공된다. 제어는, 적어도 부분적으로, 제한된 공간 밖에 포지셔닝된 원격 제어 스테이션에 의해 제공된다. 어떤 레벨의 제어는 로봇 플랫폼 자체에 의해 제공될 수 있으며, 이는 전체 제어 중 자동화된 부분으로 지칭될 수 있다. 제어(내부 및/또는 외부)는 로봇 플랫폼에 의해 획득되는 멀티-모달 감각 데이터에 기반한다. 이 코-로봇 접근법은 제한된 공간들로부터 인간 오퍼레이터들을 제거하며, 안전하고 인체공학적인 작업 환경들을 원격으로 제공한다. 이 접근법은, 인간들이 접근할 수 없을 수 있는 환경들에서 동작들을 수행하는 것을 허용한다. 또한, 그것은 인간들에 의해 직접적으로 수행될 수 없거나 또는 완전히 자동화된 로봇 시스템들에 의해 보조되지 않을 수 있는 새로운 타입들의 동작들에 대한 문을 열어 준다. 그것은 또한, 인간을 더 이상 수용할 필요가 없는 동작 환경들의 새로운 구조적 구성들에 대한 문을 열어 준다. 예컨대, 에어포일들, 인간 사이즈의 액세스 지점들에 대한 필요가 없는 더 가벼운 구조물들, 및 다른 유사한 피처(feature)들에서의 시위(Y-치수) 대 깊이(Z-치수)의 더 큰 비율이 항공기 상에서 사용될 수 있다. 본 개시내용의 목적들을 위해, 멀티-모달 감각 데이터는, 제한된 공간에 포지셔닝된 로봇 플랫폼의 하나 또는 그 초과의 센서들에 의해 생성되며 적어도 두 개의 타입들의 상이한 인간 감각들에 대응하는(다이렉트 형태 또는 증강된 형태임) 데이터로서 정의된다.
어떤 레벨의 자동화는 선택적인 자율 에이전트들에 의해 제공될 수 있으며, 이 선택적인 자율 에이전트들은 그들의 제어들을 이용하여 오퍼레이터들을 보조할 수 있고, 그리고/또는 송신을 위한 멀티-모달 감각 데이터를 선택하고 심지어 멀티-모달 감각 데이터를 바꾸는 것(예컨대, 스케일링하는 것, 감각 스펙트럼들을 변경하는 것 등)을 책임질 수 있다. 이들 에이전트들은 로봇 플랫폼, 원격 제어 스테이션, 또는 둘 모두에 구현될 수 있다. 구체적으로, 로봇 플랫폼은, 사용자 입력에 기반하여 생성되는 어떠한 제어 명령들도 없이, 일부 동작들을 수행할 수 있다. 이들 동작들에 대한 제어 명령들은 멀티-모달 감각 데이터에 기반하여 하나 또는 그 초과의 자율 에이전트들에 의해 생성될 수 있다. 이들 동작들의 일부 예들은, 타겟 위치 및 다양한 주위 컴포넌트들의 근접성에 기반하여, 제한된 공간 내에서 로봇 플랫폼을 내비게이팅하는 것을 포함할 수 있다. 다른 예들은 예컨대 사용자 입력에 기반하여 수행되는 동작들보다 더 적은 복잡성을 갖는 다양한 동작들을 수반할 수 있다.
일부 실시예들에서, 방법들 및 시스템들은 몰입형(immersive) 멀티-감각 고충실도 프레전스 또는 더욱 구체적으로는 텔레프레전스를 통해 오퍼레이터를 위한 상황 인식을 생성한다. 이 타입의 상황 인식은, 멀티-모달 감각 데이터가 획득되는 제한된 공간에 실제로 존재하지 않고, 오퍼레이터로 하여금 사용자 입력을 더욱 정확하게 그리고 더욱 효과적으로 생성하도록 허용한다. 개선된 효율성 외에도, 고충실도는 더욱 복잡한 동작들을 제어하는 것을 허용한다. 휴먼 감각 기능들에 관한 제한들을 갖는 다른 사례들과 유사하게, 제한된 감각 프레전스는, 태스크를 수행할 때 오퍼레이터의 능력을 크게 제약한다.
코-로봇 시스템은 몰입형 멀티-모달 감각 피드백(예컨대, 힘 감지 말단들과 결합된 일부 경우들에서, 환경에 대한 비전 지각과 오디션 지각의 결합)을 생성하도록 설계된다. 그러한 피드백을 이용하여, 원격 제어 스테이션을 통해 작업하는 오퍼레이터는 환경에 있다는 더욱 충실한 감각을 가질 것이며, 안전을 보장하면서, 현장 작업자가 사용했을 직관 및 주의 깊은 수완들을 사용할 수 있다. 또한, 심지어 원격으로 포지셔닝된 오퍼레이터의 직관 및 수완들은 현재 로봇 플랫폼들의 일부 자율적 능력들을 능가할 수 있으며, 이는 사용자 입력(및 동작 환경에 대한 이해)에 기반하여 생성되는 제어 명령들을 정말 귀중하게 만든다. 일부 실시예들에서, 멀티-모달 감각 데이터의 시각적 컴포넌트는 고화질(예컨대, 눈마다 60 ㎐에서의 휘도 및 컬러 데이터의 픽셀마다 24개의 비트들을 갖는 1920x1280 픽셀들)의 기하학적으로 정확한(geometrically-correct) 양안 스테레오스코픽 원격 뷰잉 센서로 달성될 수 있다. 오디오 컴포넌트는, 시각적 텔레프레전스에 링킹되며 자연 청각 상황 인식을 오퍼레이터에게 제공하도록 재생되는, 마이크로폰들을 통한 풀 레인지(예컨대, 귀마다 20 ㎑ 대역폭) 스테레오포닉 오디오일 수 있다.
다른 센서 모달리티들은 스케일러블 힘 반영 매니퓰레이터들, 원격 플랫폼 또는 이 원격 플랫폼의 엔드 이펙터 상의 하나 또는 그 초과의 관성 측정 센서들에 의해 구동되는 스케일러블 진폭 애티튜드 플랫폼, 그리고 압력 및 온도 재생기들 및 진동 재생부의 핑거팁 어레이들을 이용하는 원격 촉각 감지를 포함할 수 있다. 스케일링(시각적 사이즈 및 스펙트럼, 힘, 그리고 청각)과 같은 다른 형태들의 감각 증강이 사용될 수 있다. 감각 데이터 타입들은 환경 및 수행되는 동작들에 따라 좌우될 수 있다. 예컨대, 불도저 오퍼레이터에는 풀 레인지 스테레오포닉 오디오와 결합된 광각 고화질 모노스코픽 비디오, 그리고 진동 재생을 이용하는 애티튜드 재생 플랫폼으로 프레젠팅될 수 있다. 경주용 차 운전자는, 오퍼레이터에 맞서 공기를 불어넣음으로써 바람 속도의 재생, 그리고 더 나은 상황 인식을 얻기 위한 디렉션을 추가할 수 있다. 환경 온도(예컨대, 기온)가 팩터로서 또한 사용될 수 있다. 외과의에게는, 스케일링된 고화질 스테레오스코픽 비전 및 스케일링된 힘 반영 매니퓰레이터들로 프레젠팅될 수 있다. 마지막으로, 폭발물 처리 오퍼레이터는 더 미세한 조작을 위해 촉각 감지를 추가할 수 있다.
일부 실시예들에서, 방법들 및 시스템들은, 예컨대, 제한된 환경이 원격 제어 스테이션의 사용자 인터페이스 상에서 프레젠팅될 때 이 환경에 대한 표현을 스케일링하도록 허용한다. 예컨대, 동작을 수행하며 오퍼레이터의 손 조작들에 의해 제어되는 도구는 오퍼레이터의 손보다 실질적으로 더 작을 수 있다. 도구를 손의 사이즈와 비슷한 스케일로 표현하기 위해 스케일링이 사용될 수 있다. 상이한 감각 데이터 타입들에 대해, 그리고 심지어 동일한 감각 데이터 타입에 대한 데이터의 상이한 서브세트들에 대해 상이한 스케일링이 사용될 수 있음이 주목되어야 한다. 예컨대, 시각적 표현이 스케일링 업될 수 있는 동시에 (예컨대, 오퍼레이터의 손을 손상시키는 것을 회피하기 위해) 힘 피드백은 스케일링 다운될 수 있다. 다시 말해, 스케일링은, 오퍼레이터의 지각 및 감각 능력들을 특정 공간 및/또는 손에서의 태스크와 더욱 효과적으로 매칭시키기 위해 사용된다.
예컨대, 일-대-일 스케일 시스템은 인간 팔들의 길이의, 그리고 동일한 거리들을 움직이는 매니퓰레이터들을 가질 것이며, 이는 더 작거나 또는 더 커다란 매니퓰레이터들을 필요로 하는 환경에 적절하지 않을 수 있다. 이제, 시각적 스케일링을 참조하면, 스테레오스코픽 카메라는, 손들에 관련하여 인간의 눈들과 동일한 상대적인 거리 및 포지션으로 액추에이터 위에 포지셔닝될 수 있다. 스테레오스코픽 카메라는 우리의 눈들과 동일한 동공 간 간격을 가질 수 있다. 원격 환경의 2-대-1 유효 스케일 증가의 경우, 매니퓰레이터들은 우리의 팔들의 사이즈의 절반이여야 하고, 스테레오스코픽 카메라로부터의 거리 및 이 스테레오스코픽 카메라의 높이가 이전 거리 및 높이의 절반이여야 하며, 동공 간 거리가 우리의 (인간) 동공 간 거리의 절반이다.
일부 실시예들에서, 방법들 및 시스템들은 오퍼레이터의 감각 능력들에 기반하여 멀티-모달 감각 데이터를 증강시킨다. 증강(augmentation)은 상이한 타입들의 감각 데이터(예컨대, 이미징, 오디오, 힘, 온도 등)에 대해 수행되며, 심지어 하나의 타입을 다른 타입으로 변환(예컨대, 온도 맵의 시각적(컬러링된) 표현을 생성)할 수 있다. 이 증강 능력은, 그렇지 않으면 오퍼레이터가 실제 동작 환경에 존재하는 경우에는 무시될 수 있는 감각 데이터를 사용하는 것을 허용한다. 예컨대, 오퍼레이터는 적외선(예컨대, 온도를 표시함)을 보거나 또는 공통 20 ㎐ 내지 20 ㎑(예컨대, 이 범위 밖의 사운드는 특정 타입의 마찰력들을 표시할 수 있음) 밖에서 들을 수 없을 수 있다. 그러한 범위들에 대해 수집되는 데이터는 인간 오퍼레이터에 의해 인식가능한 범위들로 변환될 수 있다. 또한, 하나의 감각 타입이 다른 감각 타입의 형태로 프레젠팅될 수 있다. 예컨대, 표면의 온도 프로파일은 원격 제어 스테이션의 사용자 인터페이스의 상이한 컬러들로 프레젠팅될 수 있다.
일부 실시예들에서, 방법들 및 시스템들은 햅틱 텔레오퍼레이션을 통해 정밀한 물리적 상호작용을 제공한다. 구체적으로, 멀티-모달 감각 데이터의 적어도 하나의 컴포넌트는 터치 및 고유 수용성 감각의 감각들에 기반할 수 있다. 햅틱 감각 데이터를 생성하기 위해, 다양한 타입들의 센서들(예컨대, 힘 센서, 온도 센서 등)이 로봇 플랫폼 상에서 사용될 수 있다. 또한, 사용자 인터페이스는 이 데이터의 표현을 생성하기 위해 다양한 햅틱 출력 디바이스들을 포함할 수 있다.
전체적으로, 비구조적 환경들에서의 복잡한 태스크들은, 로봇 발전들이 현재 우세하며 완전한 로봇 자동화가 이미 가능할 수 있는 잘 구조화된 셋팅들에서의 반복적 태스크들보다 특성화하여 표현하기가 더욱 어렵다. 비구조적 환경들에서의 동작은, 환경을 이해하며 적어도 일부 제어 명령들을 제공하는 인간의 능력들에 여전히 의존한다. 그러나, 오퍼레이터들은 그러한 비구조적 환경들에 대한 충분한 표현들을 필요로 하며, 이는 멀티-모달 감각 데이터를 활용함으로써 처리된다. 로봇 플랫폼 그리고 이 로봇 플랫폼에 대한 적어도 일부 제어 명령들을 생성하는 원격 제어 스테이션을 포함하는 시스템은 코-로봇 시스템 또는 하이브리드 로봇-휴먼 시스템으로 지칭될 수 있다. 이 타입의 시스템은 시스템의 각각의 컴포넌트의 능력들을 레버리징한다. 구체적으로, 이 타입의 시스템은, 인간들에 적절하지 않은 다양한 환경들에 접근하고, 이 환경에서 특별 태스크들을 수행하며, 일부 실시예들에서 인간의 감각 능력들을 넘어설 수 있는 멀티-모달 감각 데이터를 획득하는 로봇 플랫폼 능력들을 활용한다. 시스템은 위에서 주목된 바와 같이 감각 및 인지 증강을 지원할 수 있다.
멀티-모달 감각 데이터를 생성하기 위해, 다양한 센서들이 로봇 플랫폼 상에 포지셔닝된다. 각각의 센서는 원격 센서 채널의 하나의 단부를 표현할 수 있다. 일부 실시예들에서, 채널은 모니터링 에이전트를 포함할 수 있으며, 이 모니터링 에이전트는, 센서에 의해 생성된 데이터를 수정하고 그리고/또는 증강시키며 그리고/또는 오퍼레이터로부터의 제어 명령들을 모니터링하는 것을 책임질 수 있다. 예컨대, 모니터링 에이전트는 움직임들을 스케일링하고, 가속도들을 제한하며, 그리고/또는 소프트 제한치들을 제어 명령들에 적용할 수 있다. 이 스케일링은, 충돌들 및 다른 이유들을 방지하기 위해 사용될 수 있다. 일부 실시예들에서, 상이한 감각 타입들의 멀티-모달 감각 데이터가 동일한 모니터링 에이전트에 의해 동시에 분석된다. 또한, 데이터는 원격 제어 스테이션에서 동시에 프레젠팅될 수 있다. 이 데이터 분석의 일부 예들은 동작 공간의 3D 맵(오퍼레이터가 사용자 인터페이스에서 볼 수 있음)을 형성하는 것, 이례적인 피처들(이를테면, 없어진 패스너들, 또는 표면 티(blemish)들)을 식별하는 것, 그리고 상이한 감각 타입들을 사용자 인터페이스 상에서 결합/오버레잉하는 것(이들에 제한되지 않음)을 포함한다.
본원에서 설명되는 코-로봇 시스템들은 양안 스테레오스코픽 비전, 쌍이 스테레오포닉 오디션, 및/또는 힘 반영 햅틱 조작을 위한 멀티-모달 텔레-퍼셉션(tele-perception) 센서들을 포함할 수 있다. 이들 시스템들의 로봇 플랫폼들은 제한된/위험한 공간들에 배치되어 있는 동안에 원격으로 제어될 수 있다. 로봇 플랫폼들은, 동작 환경들(예컨대, 공간 요건들, 액세스 등) 및 이들 플랫폼들에 의해 수행될 동작들에 특정하게 적응될 수 있다. 예컨대, 비교적 작은 구불구불한 통로를 통한 액세스가 뱀형 로봇 플랫폼을 요구할 수 있는 반면에, 궤도 상의 액세스는 프리-플라잉 로봇 플랫폼을 요구할 수 있다.
제한된 공간들에서의 동작과 연관된 문제들에 대한 더 나은 이해를 제공하기 위해, 제한된 공간의 일 예가 도 1을 참조하여 이제 설명될 것이다. 구체적으로, 도 1은 일부 실시예들에 따른, 항공기(100)의 개략적인 예시이다. 항공기(100)는 인테리어(170)와 함께 기체(150)를 포함한다. 항공기(100)는 기체(150)에 커플링된 날개들(120)을 포함한다. 항공기(100)는 날개들(120)에 커플링된 엔진들(130)을 또한 포함한다. 일부 실시예들에서, 항공기(100)는 도 8과 함께 아래에서 추가로 설명되는 다수의 동작 시스템들(140 및 160)(예컨대, 항공전자기기)을 더 포함한다. 이들 항공기 컴포넌트들 중 임의의 컴포넌트는, 인간들이 쉽게 접근할 수 없으며 동시에 완전 자율 로봇 동작을 위해서는 너무 복잡한 동작 환경들을 가질 수 있다. 예컨대, 날개(120)는 날개(120)의 인테리어 안으로의 액세스를 제한하는 다양한 리브들 및 다른 구조적 컴포넌트들을 포함할 수 있다.
전체적으로, 로봇 플랫폼은 인간들을 보내지 않아야 하거나 또는 보낼 수 없는, 제한된 영역 및/또는 고위험 영역에 배치될 수 있다. 로봇 플랫폼은 이 환경 및/또는 이 환경에서 수행되는 동작들과 연관된 다양한 위험들을 겪을 수 있다. 위험들은 계획되지 않거나 또는 의도되지 않은 액션들, 이를테면, 추락들, 충돌들, 얽히거나 또는 쐐기가 되는 것 등을 포함할 수 있다. 이들 액션들은 종종, (인간 오퍼레이터에 의한 또는 다양한 자율 에이전트들에 의한) 환경에 대한 지각적 인식 부족의 결과이다.
코-로봇 시스템들 및 그것의 컴포넌트들의 예들
도 2는 일부 실시예들에 따른, 로봇 플랫폼(230) 및 원격 제어 스테이션(250)을 포함하는 코-로봇 시스템(200)의 예이다. 코-로봇 시스템(200)의 동작 동안에, 로봇 플랫폼(230)이 구조물(212)의 제한된 공간(210) 내에 포지셔닝된다. 도 2가 항공기 날개인 구조물(212)의 예를 예시하지만, 기술분야의 당업자는 구조물(212) 및 제한된 공간(210)의 임의의 다른 예들이 범위 내에 또한 있다는 것을 이해할 것이다. 구조물들(212) 및 구조물(212)의 제한된 공간(210)의 일부 추가적인 예들은 동체, 방향타들, 수평 안전판들, 플랩들, 슬랫들, 에일러론들, 용골들, 크라운 또는 항공기의 다른 제한 액세스 영역들(이에 제한되지 않음)을 포함한다. 코-로봇 시스템(200)의 동작 동안에, 원격 제어 스테이션(250)이 제한된 공간(210) 밖에 포지셔닝되며, 이는 이로써 오퍼레이터로 하여금 원격 제어 스테이션(250)과 상호작용하도록 허용한다. 도 2가 구조물(212)의 하나의 단부에 포지셔닝된 액세스 지점을 예시하지만, 기술분야의 당업자는 액세스 지점들의 다른 예들이 범위 내에 또한 있다는 것을 이해할 것이다. 예컨대, 액세스 지점은 날개 끝 내에, 또는 더욱 구체적으로는, 날개 끝의 날개 뿌리 내에 제공될 수 있다. 다른 예에서, 액세스 지점은 동체의 용골 또는 크라운에 있을 수 있다.
로봇 플랫폼(230) 및 원격 제어 스테이션(250)은 예컨대 통신 링크(270)를 사용하여 통신가능하게 커플링된다. 통신 링크(270)는 유선 링크, 무선 링크, 또는 이 둘의 다양한 결합들일 수 있다. 통신 링크(270)는, 다양한 통신 프로토콜들 및/또는 네트워크들을 사용하여 설정될 수 있다. 일부 실시예들에서, 통신 링크(270)는 로컬 영역 네트워크(LAN;local area network), 글로벌 통신 네트워크(예컨대, 인터넷) 등(여기서, 270에 평행하게 이어지는 공급선을 통해 전력이 230에 송신되는 것을 가능하게 하도록 전력(유압, 전기 등)이 230으로 이어짐)을 활용할 수 있다. 네트워크들 및 프로토콜들의 선택은 로봇 플랫폼(230)과 원격 제어 스테이션(250)의 근접성 및 다른 팩터들에 따라 좌우된다. 도 2에 도시되지 않았지만, 코-로봇 시스템(200)은 로봇 플랫폼(230)으로 연장되는 전력선(예컨대, 유압, 전기, 공압 등)을 포함할 수 있다. 전력은 제한된 공간(210) 밖에서부터 로봇 플랫폼(230)에 공급될 수 있다. 일부 실시예들에서, 전원은 로봇 플랫폼(230)의 내부에 있을 수 있다.
멀티-모달 감각 데이터는 통신 링크(270)를 사용하여 로봇 플랫폼(230)으로부터 원격 제어 스테이션(250)으로 송신되며, 이는 이로써 원격 제어 스테이션(250)의 오퍼레이터를 위한 고충실도 몰입형 텔레프레전스를 생성한다. 이 타입의 텔레프레전스는 많은 동작들에 대해 요구되는 상황 인식을 제공한다. 동시에, 그러한 텔레프레전스를 설정하는 것은 로봇 플랫폼(230)에 의해 획득되는 감각 및 감각운동 데이터의 고충실도 캡처 및 재생을 필요로 할 수 있다. 로봇 플랫폼(230)에 의해 획득되는 다양한 타입들의 데이터는 집합적으로 멀티-모달 감각 데이터(272)로 지칭된다. 멀티-모달 감각 데이터(272)의 다양한 컴포넌트들의 개략적인 표현이 도 5에서 제시된다. 예컨대, 오퍼레이터로의 텔레프레전스 표현은 기하학적으로 정확한 양안 스테레오스코픽 뷰잉 시스템들 및 고충실도 스테레오포닉 오디오 재생을 포함할 수 있다. 이 예에서, 멀티-모달 감각 데이터(272)는 양안 스테레오스코픽 비전 타입(273a) 및 쌍이 스테레오포닉 오디오 타입(273b)을 포함할 수 있다. 동일한 또는 다른 예에서, 힘 반영 햅틱 조작 타입(273c)을 생성하기 위해 힘 반영 조작 센서가 사용될 수 있다.
일부 실시예들에서, 코-로봇 시스템(200)은 하나 또는 그 초과의 추가 원격 제어 스테이션들(250')을 포함할 수 있다. 추가 원격 제어 스테이션(250')은 주요 원격 제어 스테이션들(250)에, 또는 직접적으로 로봇 플랫폼(230)에 통신가능하게 커플링될 수 있다. 사용자 입력을 제공하는 상이한 오퍼레이터들을 갖기 위해 다수의 원격 제어 스테이션들(250 및 250')이 사용될 수 있다. 상이한 원격 제어 스테이션들(250 및 250')은 동일한 일반적인 위치(예컨대, 작업장) 또는 상이한 위치들에 포지셔닝될 수 있다. 예컨대, 원격 제어 스테이션(250)이 로봇 플랫폼(230)의 일반적인 부근에 포지셔닝된 로컬 스테이션일 수 있는 반면에, 추가 원격 제어 스테이션(250')은 상이한 위치에 포지셔닝된 원위 스테이션일 수 있다. 상이한 원격 제어 스테이션들(250 및 250')에 대한 제어는 상이한 당사자들에 의해 수행될 수 있다. 예컨대, 로컬 원격 제어 스테이션(250)이 항공기 오퍼레이터(예컨대, 항공사), 공항 스태프, 및/또는 수리 서비스에 의해 제어될 수 있는 반면에, 원위 원격 제어 스테이션(250)은 항공기 제조자 또는 항공사 헤드쿼터들(예컨대, 구조물(212)에 대한 추가 지식을 가짐)에 의해 제어될 수 있다.
추가 원격 제어 스테이션(250')의 오퍼레이터는 예컨대 원격 제어 스테이션들(250)의 오퍼레이터보다 더욱 특정한 도메인 지식을 가질 수 있으며, 다수의 상이한 코-로봇 시스템들(200)을 지원할 수 있을 수 있다. 이는 추가적인 전문지식이 요구되는 예측하지 못한 조건이 검출될 때 특히 유용하다. 매우 다양한 멀리 있는 도메인 전문가들로의 이 콜라보레이션 액세스를 지원함으로써, 자문을 위한 전문가들을 공동 배치하는 시간 및 비용 없이, 예상 밖의 상황들이 신속하게 처리될 수 있다. 예컨대, 항공사는 코-로봇 시스템(200)을 동작시키도록 트레이닝된 한 명의 전문가를 가질 수 있지만, 다수의 코-로봇 시스템들(200) 또는 적어도 다수의 로봇 플랫폼들(230)을 가질 수 있다. 이들 다수의 로봇 플랫폼들(230)은 다양한 설비들에 있을 수 있다. 전문가는, 각각의 로봇 플랫폼(230)에 공동 배치되지 않고, 요구될 때, 그 로봇 플랫폼(230)에 대해 제어할 수 있을 수 있다.
코-로봇 시스템(200)의 각각의 컴포넌트가 이제 더욱 상세히 설명될 것이다. 도 3은 일부 실시예들에 따른, 로봇 플랫폼(230)의 개략적인 표현이다. 로봇 플랫폼(230)은 멀티-모달 감각 데이터를 획득하기 위한 상이한 센서들(510)을 포함한다. 센서들(510)의 일부 예들은 양안 스테레오스코픽 비전 센서(512), 쌍이 스테레오포닉 오디오 센서(514), 힘 반영 햅틱 조작 센서(516), 촉각 센서(518), 및 온도 센서(517)(이들에 제한되지 않음)를 포함한다. 멀티-모달 감각 데이터는 이들 센서들 중 둘 또는 그 초과의 센서들의 결합된 출력이다.
로봇 플랫폼(230) 상의 센서들(510)의 선택은 멀티-모달 감각 데이터의 특정 양상들에 따라 좌우될 수 있다. 로봇 플랫폼(230) 상의 센서들(510)에 의해 획득되는 멀티-모달 감각 데이터에 기반하여 원격 제어 스테이션(250)에서 생성되는 감각 경험은 표 1에서 예시적으로 제시되는 바와 같이 각각의 특정 동작에 대해 선택될 수 있다.
Figure 112017044205535-pat00001
임의의 조작 태스크, 이를테면, 패스너 위에 패스닝 도구를 배치하는 것 또는 떨어진 패스너를 잡는 것, 뿐만 아니라 검사 태스크들, 이를테면, 실런트 비드의 연속적인 프로파일을 확인하는 것 또는 수리를 요구하는 스크래치로부터 수리를 필요로 하지 않는 마크를 구별하는 것에 양안 스테레오스코픽 비전이 가장 유용하다. 쌍이 스테레오포닉 오디오가 상황 인식에 유용할 수 있다. 예컨대, 양안 스테레오스코픽 비전은, 로봇 플랫폼에 의해 생성되며 제한된 공간의 인테리어 표면들로부터 반사되는 사운드에 기반하여 동작 환경에 대한 지각을 제공할 수 있다. 또한, 그것은 퇴색 또는 파손과 같은 이슈들의 경우 드릴들과 같은 도구들에 대해 청취하는 것에 유용하다. 예컨대, 코-로봇 시스템은, 동작성 결함들을 검출하기 위하여 멀티-모달 감각 데이터의 사운드 부분을 자동으로 모니터링하는 소프트웨어를 가질 수 있다(예컨대, 차선의 드릴링이 별개의 사운드들에 의해 특성화될 수 있음). 패스너들을 홀들에 배치하는 것, 또는 와이핑 동안의 클리닝 패드 상의 힘들(압력 및 항력 둘 모두)에 힘 반영 햅틱 고유 수용성 감각이 유용할 수 있다. 일부 실시예들에서, 코-로봇 시스템은 동작들을 더욱 밀접하게 따르기 위하여(예컨대, 드릴링 동안에, 차선의 드릴링 조건들을 검출하기 위해) 오퍼레이터로의, 그리고/또는 힘의 인가를 모니터링하기 위한 하나 또는 그 초과의 자동화된 에이전트들로의 피드백을 생성할 수 있다. 도구들 또는 컴포넌트들의 미세 조작에 촉각 감지가 유용할 수 있다. 마지막으로, 각도들 및 가속도들에 대한 직감적인 지각을 제공함으로써, 원격 비히클 또는 엔드 이펙터의 배향에 대한 지각을 제공하기 위해, 전정 공간 배향이 유용하다. 그것은 워크피스의 모션 또는 스크레이핑에 기인하는 진동을 검출하는 것에 또한 유용하다.
비전 데이터 타입(273a) 또는 더욱 구체적으로는 양안 스테레오스코픽 비전 데이터는 전체 멀티-모달 감각 데이터(272)의 일부일 수 있다. 비전 데이터는 선택적인 스테레오스코픽 비전 센서(512) 또는 더욱 구체적으로는 기하학적으로 정확한 양안 스테레오스코픽 카메라들 및 뷰잉 시스템들을 사용하여 획득될 수 있다.
비전 센서(512)는 두 개의 공면 카메라 센서들(513)을 활용함으로써 기하학적으로 정확한 이미지 캡처를 달성할 수 있다. 카메라 센서들(513)은, 시야들을 시프팅하여 이 시야들의 시각 영역이 일치되도록 허용하기 위해 각각의 센서의 센터를 렌즈 광학 축에서 벗어나게 시프팅하도록 수정될 수 있다. 카메라 센서들(513)의 이 특정 어레인지먼트는 통상적인 스테레오-카메라들로는 가용하지 않은 기하학적으로 정확한 이미지를 산출한다.
기하학적으로 정확한 텔레프레전스 뷰잉 시스템에서 카메라 센서들(513)만을 고려하는 것은 불충분하다. 오퍼레이터가 비-계측 눈들로 장면을 응시하는 것처럼 리얼리티를 재생시키기 위해, 원격 제어 스테이션(250)의 사용자 인터페이스(610)는 등가의 기하학적 구조물들에 또한 부착되는 특정 출력 디바이스(612), 이를테면, 디스플레이(613a)를 포함할 수 있다. 예컨대, 비전 데이터가 디스플레이(613a)에서 프레젠팅될 때, 이 디스플레이(613a)를 윈도우(이 윈도우를 "통해" 오퍼레이터가 응시함)로서 간주하는 것이 자연스럽다. 양안 스테레오스코픽 비전 센서들(512)에 대한 윈도우를 통해 인간의 눈들로 보는 다이렉트 뷰 및 디스플레이(613a)의 스크린을 통한 가상 이미지의 뷰의 등가의 기하학적 구조물들에 정확히 부착됨으로써, 오브젝트 장면이 정확하게 재생될 수 있다.
구체적으로, 오퍼레이터의 눈들의 동공 간 거리는 고정된 측정치일 수 있다. 윈도우의 폭은 각각의 눈에 대한 뷰의 각도를 제약하며, 그리고 두 개의 동공들을 통해 도출되는 선이 윈도우와 평행하도록 오퍼레이터가 자신의 눈들을 포지셔닝시킬 때의 일치 영역, 및 윈도우의 평면에 수직이고 윈도우의 어퍼처 상에 센터링되는 키클롭스 지점(두 개의 동공들 사이의 지점)의 포지션을 정의한다. 유효 윈도우 어퍼처의 선택은 디스플레이 스크린의 물리적 폭에 의해 제한된다. 디스플레이 스크린으로부터의 뷰어의 눈들의 거리를 통합하는 것은 시스템의 기하학적 제약들을 완성한다.
이제, 앤스로포모르픽(anthropomorphic) 오디션을 참조하면, 많은 미묘한 깊이 및 조작 단서들이 인간의 스테레오포닉 들음을 통해 잠재 의식적으로 프로세싱된다. 동시에, 코-로봇 시스템(200)에 대한 이 센서 모달리티의 추가가 비교적 간단한 반면에, 텔레-프레젠트하게 지각되는 환경에 대해 그것이 제공하는 상황 인식은 실질적이다. 정상 인간 스케일에서의 쌍이 오디션 데이터는 스테레오포닉 오디오 센서(514)에 의해, 또는 더욱 구체적으로는 앤스로포모르픽하게 정확한(anthropomorphically-correct) 스테레오포닉 마이크로폰(515)에 의해 제공될 수 있다. 스테레오포닉 오디오 센서(514)는 예컨대 도 3에 도시된 바와 같이 로봇 플랫폼(230)의 일부이다. (예컨대, 위에서 식별된, 스케일링된 스테레오스코픽 비전을 보완하기 위한) 스케일링된 스테레오포닉 오디션의 경우, 스테레오포닉 오디오 센서(514)는 고충실도 미니어처 마이크로폰들일 수 있다. 동일한 쌍이 로컬화 단서들(예컨대, 세기, 음색, 스펙트럼 품질들, 제한된 공간에서의 반사들) 중 많은 단서들이 유지될 수 있는 반면에, 특정 주파수 대역들에서의 위상 단서들 및 타이밍 단서들은 예컨대 벽간 거리가 바뀐다면 감소되거나 또는 바뀔 수 있다.
이제, 힘 반영 햅틱 텔레오퍼레이션을 참조하면, 인간들은 시각 없이(예컨대, 어두운 방을 통과해 걸음) 오브젝트들에 대한 부드러운 부딪침 및 터치들을 사용하여 매우 잘 내비게이팅할 수 있다. 힘 반영 햅틱 조작 타입(273c)은 멀티-모달 감각 데이터(272)의 저 대역폭 타입일 수 있다. 원격 환경과 상호작용하기 위해, 힘-피드백 액추에이터들 및 자세 고유 수용성 감각이 감각운동 제어들을 프레젠팅하는데 추가된다. 예컨대, 코-로봇 시스템(200)은, 힘 반영 외골격 제어부(사용자 인터페이스(610)의 일부들이며, 출력 디바이스들(612) 및 입력 디바이스들(614) 둘 모두를 포함할 수 있음)와 함께, 로봇 핸드 및 암(센서들(510) 및 동작 도구들(520) 중 하나 또는 둘 모두의 일부들일 수 있음)을 활용할 수 있다. 이 접근법은 오퍼레이터로 하여금 매우 다양한 동작들을 자연스럽게 수행하도록 허용한다. 일부 실시예들에서, 원격 제어 스테이션(250)은 4-축 힘-피드백 암, 2-핑거 힘 반영 핸드, 그리고 핑거들 및 암에 대한 힘 반영 외골격을 포함한다. 핸드에서의 총 힘들의 재생은 사지들 및 몸의 다른 부위들의 포지션에 대한 자기-감각(self-sense)인 운동 감각(kinesthesia) 또는 고유 수용성 감각을 허용한다. 이는 멀티-모달 감각 데이터(272)의 몰입형 시각적 텔레-퍼셉션 및 전체 향상에 대한 상당한 추가 단서를 제공한다.
이제, 전정 공간 배향을 참조하면, 로봇 플랫폼(230) 또는 로봇 플랫폼(230)의 동작 도구(예컨대, 엔드 이펙터)의 애티튜드(배향)는 멀티-모달 감각 데이터(272)의 일부로서 원격 제어 스테이션(250)에 릴레잉될 수 있다. 이 애티튜드는, 전정 공간 배향 피드백을 달성하기 위해 플랫폼 또는 오퍼레이터 의자의 애티튜드를 조절함으로써 재생될 수 있다. 이 피드백은 다른 감각 타입들과 비교할 때 비교적 낮은 주파수들에서 수행될 수 있다. 또한, 이 피드백은, 안전 및 다른 이유들로(예컨대, 이 피드백을 제공하면서, 티핑 지점(예컨대, 사실상 오퍼레이터가 추락하게 함)을 넘어 오퍼레이터를 학습시키는 것을 방지하기 위해), 스케일링되고 그리고/또는 제한될 수 있다. 관성 측정 유닛이 원위 로봇 시스템들에 통합되며, 텔레-슈퍼바이저(tele-supervisor)의 지원 플랫폼을 구동시킬 세 개의 액추에이터들에 릴레잉될 것이다.
로봇 플랫폼(230)은 또한, 제한된 공간(210) 밖에 포지셔닝된 원격 제어 스테이션(250)에 통신가능하게 커플링되기 위한 통신 모듈(540)을 포함한다. 통신 모듈(540)의 일부 예들은 모뎀들(유선 또는 무선) 등을 포함한다. 일부 실시예들에서, 통신 모듈(540)은 무선 통신 모듈이다.
일부 실시예들에서, 로봇 플랫폼(230)은 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행하기 위한 동작 도구(520)를 더 포함한다. 동작 도구들(520)의 일부 예들은 드릴, 리벳 건, 실런트 어플리케이터, 및 검사 디바이스(그러나, 이들에 제한되지 않음)를 포함한다.
일부 실시예들에서, 로봇 플랫폼(230)은 제한된 공간(210) 내에서 로봇 플랫폼(230)의 포지션을 변경하기 위한 구동 메커니즘(530)을 더 포함한다. 구동 메커니즘(530)의 일 예는 모터에 커플링된 트레드(tread)들의 세트이다. 그러나, 다른 예들이 범위 내에 또한 있다. 로봇 플랫폼(230)이 도 2에서 트레드식 비히클로서 도시되지만, 멀티-모달 감각 데이터를 생성할 수 있는 임의의 타입들의 로봇 플랫폼(230)이 범위 내에 있다.
일부 실시예들에서, 로봇 플랫폼(230) 및/또는 원격 제어 스테이션(250)은 코-로봇 시스템(200)의 다양한 제어 동작들을 이용하여 인간 오퍼레이터를 보조하기 위한 하나 또는 그 초과의 선택적인 보조 에이전트들(도 3의 블록(550) 및 도 4의 블록(650))을 포함할 수 있다. 구체적으로, 보조 에이전트는, 로봇 플랫폼(230)에 의해 획득되는 멀티-모달 감각 데이터를 활용하여, 로봇 플랫폼(230)에 대한 어떤 레벨의 제어를 제공하고, 오퍼레이터로의 멀티-모달 감각 데이터의 표현을 생성하기 전에 이 데이터를 수정하고, 그리고/또는 사용자 입력에 기반하여 생성되는 제어 명령들을 수정할 수 있다. 이는 어떤 레벨의 자동화를 제공한다. 예컨대, 보조 에이전트는 로봇 플랫폼(230)의 동작들을 자율적으로 모니터링하고, 인터프리팅하고, 표시하고, 자동화하며, 제한할 수 있다. 일부 실시예들에서, 코-로봇 시스템(200)의 하나 또는 그 초과의 태스크 도메인들이 분석되어 정의되며, 이는 그들의 모듈식 개발, 테스팅, 및 보조 에이전트를 사용하는 통합을 허용한다. 예컨대, 보조 에이전트는 내비게이션 기능들, 태스크-특정 플래닝, 및 모니터링을 수행할 수 있다. 코-로봇 시스템(200)은 이 코-로봇 시스템(200)의 하나 또는 그 초과의 자율 에이전트들과 사용자 입력 사이의 폴-포워드/폴백 협력(fall-forward/fallback cooperation)을 지원한다.
도 4는 일부 실시예들에 따른, 원격 제어 스테이션(250)의 개략적인 표현이다. 원격 제어 스테이션(250)은, 멀티-모달 감각 데이터의 하나 또는 그 초과의 표현들을 생성하고 그리고/또는 사용자 입력을 캡처링하기 위한 사용자 인터페이스(610)를 포함한다. 구체적으로, 사용자 인터페이스(610)는 하나 또는 그 초과의 출력 디바이스들(612)을 포함할 수 있으며, 이들 중 일부 예들은 디스플레이(예컨대, 3-D 디스플레이) 및 스피커들(예컨대, 스테레오포닉 스피커들의 세트)(그러나, 이들에 제한되지 않음)을 포함한다. 또한, 사용자 인터페이스(610)는 하나 또는 그 초과의 입력 디바이스들(614)을 포함할 수 있다.
원격 제어 스테이션(250)은 로봇 플랫폼(230)이 제한된 공간(210) 내에 있는 동안에 로봇 플랫폼(230)에 통신가능하게 커플링되기 위한 통신 모듈(640)을 또한 포함한다. 통신 모듈(640)은 플랫폼(230)의 통신 모듈과 동일한 타입일 수 있다. 일부 실시예들에서, 원격 제어 스테이션(250)은 로봇 플랫폼(230)에 대한 제어 명령들을 생성하기 위한 프로세서(230), 그리고 이들 명령들 및 멀티-모달 감각 데이터(272)를 저장하기 위한 메모리(635)를 또한 포함한다.
위에서 주목된 바와 같이, 원격 제어 스테이션(250)은 하나 또는 그 초과의 선택적인 보조 에이전트들(650)을 또한 포함할 수 있다. 멀티-모달 감각 데이터를 사용자 인터페이스(610) 상에서 프레젠팅하기 전에 이 멀티-모달 감각 데이터가 수정될 수 있도록, 사용자 인터페이스(610)의 동작들은 보조 에이전트들(650)의 동작들과 통합될 수 있다. 일부 실시예들에서, 사용자 인터페이스(610)에 의해 캡처링된 사용자 입력은, 로봇 플랫폼(230)에 대한 제어 명령들을 생성하기 전에 보조 에이전트들(650)에 의해 수정될 수 있다.
일부 실시예들에서, 자율 액션들에 대한 하이-레벨 휴먼 슈퍼비전이 지능형 보조 에이전트들에 의해 지원된다. 이 접근법은 다양한 태스크들, 이를테면, 안전 경로 플래닝 및 내비게이션, 자동 태스크-특정 동작들, 또는 시스템 '헬스' 모니터링에 더 큰 자율성을 통합시킨다.
전체적으로, 원격 제어 스테이션(250)은, 전체 코-로봇 시스템(200)의 플래닝, 제어, 및 콜라보레이션의 허브일 수 있다. 원격 제어 스테이션(250)은 이동성, 조작, 텔레-센싱(tele-sensing), 자율 에이전트 태스킹, 및 코-로봇 시스템(200)의 다른 동작들에 수반될 수 있다. 원격 제어 스테이션(250)은 원격 전문가의 콜라보레이션(예컨대, 다수의 전문가들 및/또는 보조 에이전트들을 포함함)을 용이하게 하기 위한 포털을 제공할 수 있다.
원격 제어 스테이션(250)은 몰입형 멀티-감각 고충실도 프레전스를 통한 상황 인식을 제공함으로써 인간의 직접적인 동작 또는 더욱 구체적으로는 텔레오퍼레이션을 지원한다. 또한, 원격 제어 스테이션(250)은 햅틱 텔레오퍼레이션을 통해 정밀한 물리적 상호작용을 제공할 수 있다. 증강되는 휴먼 동작은, 예컨대 안전에 대해 모니터링하기 위해 그리고 작업자를 보조하기 위해, 자율 에이전트들에 의해 지원될 수 있다. 멀티-모달 감각 데이터의 다양한 양상들을 스케일링(예컨대, 비전 데이터를 스케일링)하는 것은 실제 환경과 오퍼레이터의 지각 및 감각들의 더 나은 매칭을 제공한다. 또한, 원격 제어 스테이션(250)은 비전의 스펙트럼들, 오디션, 공간 배향, 및 고유 수용성 감각을 증강시키는 것을 제공할 수 있다.
동작하는 코-로봇 시스템들 및 그것의 컴포넌트들의 예들
도 6은 일부 실시예들에 따른, 제한된 공간(210)의 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300)에 대응하는 프로세스 흐름도이다. 제어는 멀티-모달 감각 데이터에 기반하여 수행된다. 구체적으로, 방법(300)은 로봇 플랫폼(230)에 의해 수행되는 동작들을 지칭한다. 원격 제어 스테이션(250)에서, 또는 원격 제어 스테이션(250)에 의해 수행되는 동작들은 도 7을 참조하여 아래에서 설명된다. 기술분야의 당업자는, 동작들의 세트들 둘 모두가 상이한 당사자들에 의해 수행될 수 있더라도(이를테면, 일 당사자가 로봇 플랫폼(230)의 동작들을 제어하고, 다른 당사자가 원격 제어 플랫폼(250)의 동작들을 제어함) 이 동작들의 세트들 둘 모두가 코-로봇 시스템(200)의 동일한 동작 방식의 일부들이라는 것을 이해할 것이다.
방법(300)은, 동작(310) 동안에 로봇 플랫폼(230)을 구조물(212)의 제한된 공간(210) 내에 포지셔닝시키는 것으로 시작될 수 있다. 구조물(212)은 항공기 날개, 또는 예컨대 인간들이 안에서 작업하기에는 적절하지 않을 수 있는 임의의 다른 구조물일 수 있다. 이 포지셔닝 동작은, 로봇 플랫폼(230)(예컨대, 자율적 또는 준-자율적 움직임)에서 생성되고 그리고/또는 원격 제어 스테이션(250)에서 생성되어 로봇 플랫폼(230)에 송신되는 제어 명령들에 기반하여, 제한된 공간(210) 안으로 그리고 이 제한된 공간(210) 내에서 로봇 플랫폼(230)을 전진(예컨대, 구동)시키는 것을 수반할 수 있다. 구체적으로, 로봇 플랫폼(230)은 도 3을 참조하여 위에서 추가로 설명된 바와 같이 구동 메커니즘(530)을 포함할 수 있으며, 이 구동 메커니즘(530)은 로봇 플랫폼(230)을 제한된 공간(210) 내에 포지셔닝시키기 위해 활용될 수 있다. 대안적으로, 로봇 플랫폼(230)은 어떠한 구동 메커니즘들도 갖지 않으며, 이 로봇 플랫폼(230)은 제한된 공간(210) 내에 수동으로 포지셔닝될 수 있다.
제한된 공간(210)에 포지셔닝된 동안에, 로봇 플랫폼(230)이 제한된 공간(210) 밖에 포지셔닝된 원격 제어 스테이션(250)에 통신가능하게 커플링된다는 것이 주목되어야 한다. 일부 실시예들에서, 방법(300)은 로봇 플랫폼(230)과 원격 제어 스테이션(250) 사이의 통신 커플링이 설정되는 동작, 이를테면, 도 6에 도시된 동작(312)을 수반할 수 있다.
일단 로봇 플랫폼(230)이 제한된 공간(210) 내에 포지셔닝되면, 방법(300)은 동작(314) 동안에 멀티-모달 감각 데이터(272)를 획득하는 것으로 진행할 수 있다. 멀티-모달 감각 데이터(272)는, 로봇 플랫폼(230)의 둘 또는 그 초과의 센서들(510)을 사용하여 획득될 수 있다. 멀티-모달 감각 데이터(272)는 감각 응답들의 적어도 두 개의 상이한 타입들(273), 이를테면, 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)을 포함할 수 있다. 멀티-모달 감각 데이터(272)의 다양한 양상들은 위에서 설명된다.
일부 실시예들에서, 방법(300)은 선택적인 동작(316) 동안에 멀티-모달 감각 데이터(272)를 증강시키는 것을 수반한다. 일반적으로, 멀티-모달 감각 데이터(272)는, 이 멀티-모달 감각 데이터(272)를 원격 제어 스테이션(250)에 송신하기 전에 (예컨대, 로봇 플랫폼(230)에서) 또는 송신한 이후에 (예컨대, 원격 제어 스테이션(250)에서) 증강될 수 있다. 어느 쪽 경우이든, 멀티-모달 감각 데이터(272)의 증강은 자율 에이전트들에 의해 수행될 수 있다. 구체적으로, 에이전트들은 멀티-모달 감각 데이터(272)를 자율적으로 모니터링하고, 인터프리팅하고, 표시하고, 자동화하며, 제한할 수 있다.
예컨대, 시각적 증강 에이전트는 시각적 관심대상 피처들의 자율 검출을 처리할 수 있다. 이 에이전트는 예컨대 사용자 인터페이스 상에 프레젠팅되는 3D 시각적 오버레이를 사용하여 이들 피처들을 오퍼레이터에게 식별시킬 수 있다. 오버레이는 환경의 실제 이미지와 정렬될 수 있다. 오퍼레이터는 주의 산만을 감소시키기 위해 시각적 증강 에이전트를 턴 오프시킬 수 있을 수 있다. 피처 세트는 태스크-특정 필요들로부터 선택될 수 있으며, 없어진 컴포넌트들, 이를테면, 패스너들, 코팅 흠들, 및 프레젠팅되지 않아야 하는 아이템들(외부 이물 잔해), 이를테면, 떨어진 패스너들 또는 도구들, 또는 과잉 코팅 재료의 자동 검출을 포함할 수 있다. 상이한 타입들의 검사들이 범위 내에 있다.
시각적 증강 에이전트의 다른 예는, 센서들을 사용하여, 제한된 작업 공간들 내에서의 로컬화를 처리할 수 있다. 예컨대, 이 에이전트를 사용하여, 멀티-모달 감각 데이터의 하나 또는 그 초과의 컴포넌트들, 이를테면, 비전 컴포넌트 및/또는 터치 컴포넌트에 기반하여, 작업 공간의 삼차원 맵이 형성될 수 있다. 별개의 가상 디스플레이가 오퍼레이터에게 프레젠팅될 수 있다. 이 디스플레이는 맵핑되는 공간 및 이 공간 내의 로봇 플랫폼(230)의 현재 포지션을 나타낼 수 있다. 이 레퍼런스 맵은 비-몰입형의 더 높은 레벨의 상황 인식을 제공할 수 있다. 시각적 증강 에이전트의 이 예는 제어들, 이를테면, 관점 조절을 또한 포함할 수 있다.
다른 예는 물리적 증강 에이전트이며, 이 물리적 증강 에이전트는 태스크 및 오퍼레이터 요건들에 기반하여 움직임, 힘, 및 힘 반영 제한의 선택적 스케일링을 제공할 수 있다. 동일한 또는 다른 물리적 증강 에이전트가 위에서 설명된 로컬화 데이터를 활용할 수 있다. 예컨대, 맵핑되는 작업공간, 그리고 배치되는 로봇 플랫폼(230)의 포지션 및 자세에 기반하여, 지능형 보조 에이전트는 (예컨대, 원치 않는 충돌들 또는 손상을 방지하기 위해) 안전 작업 구역들 및 제한 구역들을 결정할 수 있다. 이들 구역들은 멀티-모달 감각 데이터(272)가 획득되고 있는 동안에 실시간으로 업데이팅될 수 있다.
증강의 일 예는 스케일링이다. 데이터(272)를 오퍼레이터가 더욱 자연스럽게 이해하는 포맷으로, 예컨대, 오퍼레이터의 스케일과 더욱 일치하게 프레젠팅하기 위해, 하나 또는 그 초과의 타입들의 멀티-모달 감각 데이터(272)의 스케일링이 사용될 수 있다. 이 타입의 스케일링은 인간 오퍼레이터의 스케일링으로 지칭될 수 있다. 일부 실시예들에서, 스케일링은, 위에서 설명된 하나 또는 그 초과의 에이전트들을 사용하여 수행될 수 있다. 스케일링은 비전 및/또는 다른 컴포넌트들의 지각적 능력들의 강력한 확장이다. 멀티-모달 감각 데이터(272)의 비전 타입(273a)의 유효 스케일을 수정하는 것은 카메라들(513)의 배율을 변경하는 것을 수반하지 않을 수 있는데, 그 이유는 이것이 광학 축을 따라 깊이 왜곡들을 도입시키기 때문이다. 그것은, 스케일링된 뷰잉 기하학적 구조물이 달성되는 카메라 렌즈들의 동공 간 거리를 변경함으로써 달성될 수 있다.
방법(300)은 동작(320) 동안에 멀티-모달 감각 데이터를 송신하는 것으로 진행할 수 있다. 제한된 공간(210)에 포지셔닝된 로봇 플랫폼(230)으로부터 제한된 공간(210) 밖에 포지셔닝된 원격 제어 스테이션(250)으로 데이터가 송신된다.
이후, 방법(300)은 동작(330) 동안에 원격 제어 스테이션(250)으로부터 원격 제어 명령들을 수신하는 것으로 진행한다. 원격 제어 명령들은 로봇 플랫폼(230)에 의해 통신 링크(270)를 사용하여 수신되며, 원격 제어 스테이션(250)에 의해 생성된다. 이들 원격 제어 명령들의 생성들은 도 7을 참조하여 아래에서 추가로 설명된다. 간략히, 이들 원격 제어 명령들은 사용자 입력(254)에 기반하여 그리고/또는 원격 제어 스테이션(250)에서 제공될 수 있는 다양한 보조 에이전트들(650)에 의해 생성될 수 있다. 원격 제어 명령들은 로봇 플랫폼(230)에 의해 생성되는 로컬 제어 명령들과 구별되어야 한다.
일부 실시예들에서, 방법(300)은, 선택적인 동작(334) 동안에 로봇 플랫폼(230)에서 로컬 제어 명령들을 생성하는 단계를 수반한다. 로컬 제어 명령들은 멀티-모달 감각 데이터에 기반하여 생성될 수 있다.
일부 실시예들에서, 방법(300)은, 선택적인 동작(350) 동안에, 로봇 플랫폼을 사용하여, 제한된 공간 내에서 하나 또는 그 초과의 동작들을 수행하는 단계를 더 포함한다. 동작(350)은 적어도, 원격 제어 스테이션(250)으로부터 수신되는 원격 제어 명령들에 기반하여 로봇 플랫폼(230)에서 수행될 수 있다. 일부 실시예들에서, 로컬 제어 명령들은 동작(350)을 위해 또한 사용될 수 있다. 동작(350)의 일부 예들은, 제한된 공간(210) 내에서 로봇 플랫폼(230)의 포지션을 변경하는 것(블록(350a)), 구조물(212)의 컴포넌트(214)에 드릴링하는 것(블록(350b)), 패스너를 구조물(212)에 설치하는 것(블록(350c)), 구조물(212)을 실링하는 것(블록(350d)), 구조물(212)에 페인팅하는 것(블록(350e)), 제한된 공간(210)으로부터 오브젝트를 제거하는 것(블록(350f)), 그리고 구조물(212)을 검사하는 것(블록(350g))(그러나, 이들에 제한되지 않음)을 포함한다. 기술분야의 당업자는 동작(350)의 다양한 다른 예들이 범위 내에 또한 있다는 것을 이해할 것이다.
예컨대, 동작은 제한된 공간 내에서 로봇 플랫폼의 포지션을 변경하는 것일 수 있다. 이 예에서, 멀티-모달 감각 데이터는 적어도, 양안 스테레오스코픽 비전 타입 및 스테레오스코픽 오디오 타입을 포함할 수 있다.
다른 예에서, 동작은 구조물의 컴포넌트에 드릴링하는 것을 포함할 수 있다. 멀티-모달 감각 데이터는 적어도, 양안 스테레오스코픽 비전 타입, 스테레오스코픽 오디오 타입, 및 힘 반영 햅틱 조작 타입을 포함할 수 있다.
또 다른 예에서, 동작은 패스너를 구조물에 설치하는 것을 포함할 수 있다. 멀티-모달 감각 데이터는 적어도, 양안 스테레오스코픽 비전 타입, 스테레오스코픽 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입을 포함할 수 있다.
멀티-모달 감각 데이터의 충실도 레벨은 하나 또는 그 초과의 동작들에 대응할 수 있다. 일부 동작들은 다른 동작들보다 더 높은 충실도 레벨을 요구할 수 있다. 또한, 멀티-모달 감각 데이터의 충실도 레벨은 시간에 따라 변할 수 있다.
도 7은 일부 실시예들에 따른, 원격 제어 스테이션(250)의 관점으로부터 제한된 공간(210)의 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(400)에 대응하는 프로세스 흐름도이다. 제어는 멀티-모달 감각 데이터에 기반하여 수행된다. 방법(400)의 동작들은 원격 제어 스테이션(250)에 의해 수행된다. 로봇 플랫폼(230)에서 또는 로봇 플랫폼(230)에 의해 수행되는 동작들은 도 6을 참조하여 위에서 설명된다.
방법(400)은 동작(420) 동안에 로봇 플랫폼(230)으로부터 멀티-모달 감각 데이터를 수신하는 것으로 시작될 수 있다. 이 수신 동작 동안에, 로봇 플랫폼(230)은 제한된 공간(210)에 포지셔닝된다. 멀티-모달 감각 데이터는, 제한된 공간(210) 밖에 포지셔닝된 원격 제어 스테이션(250)에 의해 수신된다. 또한, 원격 제어 스테이션(250)은 로봇 플랫폼(230)에 통신가능하게 커플링된다. 위에서 주목된 바와 같이, 멀티-모달 감각 데이터는, 아래의 감각 응답 타입들: 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입 중 적어도 두 개를 포함할 수 있다.
방법(400)은, 동작(430) 동안에 원격 제어 스테이션에서 멀티-모달 감각 데이터의 표현을 생성하는 것으로 진행할 수 있다. 일부 실시예들에서, 이 표현 생성 동작은 비디오 스펙트럼, 오디오 스펙트럼, 공간 배향, 및 고유 수용성 감각 중 적어도 하나에 기반하여 멀티-모달 감각 데이터를 증강시키는 것을 포함한다. 표현은 멀티-감각 고충실도 텔레프레전스일 수 있다.
일부 실시예들에서, 표현은 원격 제어 스테이션(250)의 사용자 인터페이스(610) 상에 생성된다. 사용자 인터페이스(610) 또는 더욱 구체적으로 사용자 인터페이스(610)의 출력 디바이스(612)는 멀티-모달 감각 데이터에 기반하여 3D 이미지들을 생성하는 3D 디스플레이(613a)를 포함할 수 있다. 동일한 또는 다른 실시예들에서, 사용자 인터페이스(610)는 멀티-모달 감각 데이터의 쌍이 스테레오포닉 오디오 타입에 대한 스테레오 사운드를 생성하는 스테레오 스피커들(613b)을 포함한다.
방법(400)은, 동작(440) 동안에 원격 제어 스테이션에서 사용자 입력을 캡처링하는 것으로 진행할 수 있다. 원격 제어 명령들은 사용자 입력에 기반하여 생성될 수 있다. 일부 실시예들에서, 원격 제어 명령들 중 적어도 일부는 사용자 입력 없이 원격 제어 스테이션(250)에 의해 생성된다.
방법(400)은, 동작(460) 동안에 원격 제어 명령들을 로봇 플랫폼(230)에 송신하는 것으로 진행할 수 있다. 이 동작 동안에, 로봇 플랫폼(230)은 제한된 공간(210)에 포지셔닝된다. 원격 제어 명령들은 제한된 공간(210) 내의 로봇 플랫폼(230)에 의해 수행되는 하나 또는 그 초과의 동작들을 표현할 수 있다. 이들 동작들의 일부 예들은 위에서 제시된다.
일부 실시예들에서, 데이터 수신 동작(420) 및 표현 생성 동작(430)은 계속해서 수행된다.
항공기 및 항공기를 제작하여 동작시키는 방법들의 예들
본 개시내용의 예들은 도 8에 도시된 항공기 제조 및 서비스 방법(1200) 및 도 1에 도시된 항공기(100)의 상황에서 설명될 수 있다. 사전-제조 동안에, 예시적 방법(1200)은 항공기(100)의 사양 및 설계(블록(1204)) 그리고 재료 조달(블록(1206))을 포함할 수 있다. 생산 동안에, 항공기(100)의 컴포넌트 및 서브어셈블리 제조(블록(1208)) 그리고 검사 시스템 통합(블록(1210))이 이루어질 수 있다. 설명된 방법들 및 어셈블리들은 위에서 설명된 바와 같이 멀티-모달 감각 데이터에 기반하여 로봇 플랫폼에 대해 원격으로 제어하는 것을 수반할 수 있으며, 항공기(100)의 사양 및 설계(블록(1204)), 재료 조달(블록(1206)), 컴포넌트 및 서브어셈블리 제조(블록(1208)), 및/또는 검사 시스템 통합(블록(1210)) 중 임의의 것에서 사용될 수 있다.
그후에, 항공기(100)는 인증 및 배달(블록(1212))을 거쳐서 운항중(블록(1214))으로 배치될 수 있다. 운항중에 있는 동안에, 항공기(100)는 일상적인 유지보수 및 서비스(블록(1216))를 위해 스케줄링될 수 있다. 일상적인 유지보수 및 서비스는 항공기(100)의 하나 또는 그 초과의 검사 시스템들의 수정, 재구성, 재연마 등을 포함할 수 있다. 설명된 방법들 및 어셈블리들은, 위에서 설명된 바와 같이 멀티-모달 감각 데이터에 기반하여 로봇 플랫폼에 대해 원격으로 제어하는 것을 수반할 수 있다. 이 접근법은, 인증 및 배달(블록(1212)), 서비스(블록(1214)), 및/또는 일상적인 유지보수 및 서비스(블록(1216)) 중 임의의 것에서 사용될 수 있다.
예시적 방법(1200)의 프로세스들 각각은 검사 시스템 통합자, 제3자, 및/또는 오퍼레이터(예컨대, 고객)에 의해 수행되거나 또는 실행될 수 있다. 이 설명의 목적들을 위해, 검사 시스템 통합자는 임의의 수의 항공기 제조자들 및 주요 검사 시스템 하청업체들(이들에 제한되지 않음)을 포함할 수 있고; 제3자는 임의의 수의 벤더들, 하청업체들, 및 공급자들(이들에 제한되지 않음)을 포함할 수 있으며; 오퍼레이터는 항공사, 임대 회사, 군수업체, 서비스 조직 등일 수 있다.
도 1에 도시된 바와 같이, 예시적 방법(1200)에 의해 생산되는 항공기(100)는 인테리어(170)와 함께 기체(150)를 포함할 수 있다. 앞서 설명된 바와 같이, 항공기(100)는 기체(150)에 커플링된 날개들(120)을 더 포함하며, 이 날개들(120)에 엔진들(130)이 커플링된다. 기체(150)는 다수의 하이-레벨 검사 시스템들, 이를테면, 전기 검사 시스템(140) 및 환경 검사 시스템(160)을 더 포함한다. 임의의 수의 다른 검사 시스템들이 포함될 수 있다. 항공우주 산업의 예가 도시되지만, 본원에 개시된 원리들은 다른 산업들, 이를테면, 자동차 산업에 적용될 수 있다. 이에 따라, 항공기(100) 외에, 본원에 개시된 원리들은 다른 비히클들, 예컨대, 지상 비히클들, 해양 비히클들, 우주 비히클들 등에 적용될 수 있다.
본원에 도시되거나 또는 설명된 장치(들) 및 방법(들)은 제조 및 서비스 방법(예시적 방법(1200))의 단계들 중 임의의 하나 또는 그 초과 동안에 사용될 수 있다. 예컨대, 컴포넌트 및 서브어셈블리 제조(블록(1208))에 대응하는 컴포넌트들 또는 서브어셈블리들은 항공기(100)가 운항중(블록(1214))에 있는 동안에 생산되는 컴포넌트들 또는 서브어셈블리들과 유사한 방식으로 제작되거나 또는 제조될 수 있다. 또한, 장치(들), 방법(들), 또는 이들의 결합의 하나 또는 그 초과의 예들은, 예컨대, 실질적으로 항공기(100)의 어셈블리를 촉진시키거나 또는 이 항공기(100)의 비용을 감소시킴으로써, 생산 단계들인 블록(1208) 및 블록(1210) 동안에 활용될 수 있다. 유사하게, 장치 또는 방법 구현들, 또는 이들의 결합의 하나 또는 그 초과의 예들은, 예컨대, 항공기(100)가 운항중(블록(1214))에 있는 동안에 그리고/또는 유지보수 및 서비스(블록(1216)) 동안에(이들에 제한되지 않음) 활용될 수 있다.
결론
본원에 개시된 장치(들) 및 방법(들)의 상이한 예들은 다양한 컴포넌트들, 특징들, 및 기능성들을 포함한다. 본원에 개시된 장치(들) 및 방법(들)의 다양한 예들이 본원에 개시된 장치(들) 및 방법(들)의 다른 예들 중 임의의 예의 컴포넌트들, 특징들, 및 기능성들 중 임의의 것을 임의의 조합으로 포함할 수 있으며, 그러한 가능성들 전부가 본 개시내용의 사상 및 범위 내에 있는 것으로 의도되는 것이 이해되어야 한다.
전술된 설명들 및 연관된 도면들에서 제시된 교시들의 이익을 갖는, 본원에 개진된 예들의 많은 수정들이 본 개시내용이 속하는 기술분야의 당업자에게 생각날 것이다.
따라서, 요약하면, 본 발명의 제 1 양상에 따라, 다음이 제공된다:
A1. 멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300)으로서, 이 방법(300)은,
로봇 플랫폼(230)을 포지셔닝(310)시키는 단계,
로봇 플랫폼(230)을 원격 제어 스테이션(250)에 통신가능하게 커플링하는 단계;
로봇 플랫폼(230)의 둘 또는 그 초과의 센서들(510)을 사용하여 멀티-모달 감각 데이터(272)를 획득(314)하는 단계 ―멀티-모달 감각 데이터(272)는 적어도 두 개의 감각 응답 타입들을 포함함―;
멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계; 및
원격 제어 스테이션(250)으로부터의 원격 제어 명령들을 로봇 플랫폼(230)에서 수신(330)하는 단계를 포함한다.
A2. 또한, 문단 A1의 방법(300)에서, 로봇 플랫폼(230)은 구조물(212)의 제한된 공간(210)에 포지셔닝된다.
A3. 또한, 문단 A2의 방법(300)에서, 로봇 플랫폼(230)이 제한된 공간(210)에 포지셔닝된 동안에, 멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계가 수행된다.
A4. 또한, 문단 A1의 방법(300)에서, 적어도 두 개의 감각 응답 타입들은 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)으로 구성된 그룹으로부터 선택된다.
A5. 또한, 문단 A1의 방법(300)은, 멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에서 로컬 제어 명령들을 생성(334)하는 단계를 더 포함한다.
A6. 또한, 문단 A5의 방법(300)은, 로컬 제어 명령들에 기반하여, 로봇 플랫폼(230)을 사용하여, 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함한다.
A7. 또한, 문단 A6의 방법(300)에서, 멀티-모달 감각 데이터(272)는 적어도 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 및 힘 반영 햅틱 조작 타입(273c)을 포함한다.
A8. 또한, 문단 A7의 방법(300)에서, 하나 또는 그 초과의 동작들(350)은 구조물(212)의 컴포넌트(214)에 드릴링(350b)하는 것을 포함한다.
A9. 또한, 문단 A6의 방법(300)에서, 멀티-모달 감각 데이터(272)는 적어도 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)을 포함한다.
A10. 또한, 문단 A9의 방법(300)에서, 하나 또는 그 초과의 동작들(350)은 패스너를 구조물(212)에 설치(350c)하는 것을 포함한다.
A11. 또한, 문단 A1의 방법(300)에서, 멀티-모달 감각 데이터(272)를 획득(314)하는 단계 및 멀티-모달 감각 데이터(272)를 송신하는 단계가 계속해서 반복된다.
A12. 또한, 문단 A1의 방법(300)은, 멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계 전에, 멀티-모달 감각 데이터(272)를 증강(316)시키는 단계를 더 포함한다.
A13. 또한, 문단 A1의 방법(300)은, 송신하기 위한 멀티-모달 감각 데이터(272)의 적어도 일부를 선택(318)하는 단계를 더 포함한다.
A14. 또한, 문단 A1의 방법(300)은, 원격 제어 스테이션(250)으로부터 로봇 플랫폼(230)에서 수신되는 원격 제어 명령들에 기반하여, 로봇 플랫폼(230)을 사용하여, 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함한다.
A15. 또한, 문단 A14의 방법(300)에서, 하나 또는 그 초과의 동작들은,
제한된 공간(210) 내에서 로봇 플랫폼(230)의 포지션을 변경(350a)하는 것,
구조물(212)의 컴포넌트(214)에 드릴링(350b)하는 것,
패스너를 구조물(212)에 설치(350c)하는 것,
구조물(212)을 실링(350d)하는 것,
구조물(212)에 페인팅(350e)하는 것,
제한된 공간(210)으로부터 오브젝트를 제거(350f)하는 것, 그리고
구조물(212)을 검사(350g)하는 것
으로 구성된 그룹으로부터 선택된다.
A16. 또한, 문단 A14의 방법(300)에서, 멀티-모달 감각 데이터(272)의 충실도 레벨은 하나 또는 그 초과의 동작들에 대응한다.
A17. 또한, 문단 A14의 방법(300)에서, 멀티-모달 감각 데이터(272)의 충실도 레벨은 시간에 따라 변한다.
A18. 또한, 문단 A14의 방법(300)에서, 로봇 플랫폼(230)에서 생성되는 로컬 제어 명령들이 원격 제어 명령들과 결합되어 하나 또는 그 초과의 동작들을 수행하도록, 하나 또는 그 초과의 동작들은 또한 로컬 제어 명령들에 기반하여 수행된다.
A19. 또한, 문단 A1의 방법(300)에서, 하나 또는 그 초과의 동작들은 제한된 공간(210) 내에서 로봇 플랫폼(230)의 포지션을 변경(350a)하는 것을 포함하며, 멀티-모달 감각 데이터(272)는 적어도 양안 스테레오스코픽 비전 타입(273a) 및 스테레오스코픽 오디오 타입(273b)을 포함한다.
A20. 또한, 문단 A1의 방법(300)은, 원격 제어 스테이션(250)으로부터 수신된 원격 제어 명령들을 증강(336)시키는 단계를 더 포함한다.
A21. 또한, 문단 A1의 방법(300)에서, 구조물(212)은 항공기 날개이다.
A22. 또한, 문단 A1의 방법(300)에서, 로봇 플랫폼(230)은 로컬 영역 네트워크를 사용하여 원격 제어 스테이션(250)에 통신가능하게 커플링된다.
A23. 또한, 문단 A1의 방법(300)에서, 로봇 플랫폼(230)은 적어도 하나의 무선 통신 링크를 사용하여 원격 제어 스테이션(250)에 통신가능하게 커플링된다.
A24. 또한, 문단 A1의 방법(300)에서, 로봇 플랫폼(230)은 글로벌 통신 네트워크를 사용하여 원격 제어 스테이션(250)에 통신가능하게 커플링된다.
본 발명의 추가적인 양상에 따라, 다음이 제공된다:
B1. 멀티-모달 감각 데이터(272)에 기반하여 구조물(212)의 제한된 공간(210)의 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(400)으로서, 이 방법(400)은,
제한된 공간(210)에 포지셔닝된 로봇 플랫폼(230)으로부터 멀티-모달 감각 데이터(272)를 수신(420)하는 단계 ―멀티-모달 감각 데이터(272)는, 제한된 공간(210) 밖에 포지셔닝되며 로봇 플랫폼(230)에 통신가능하게 커플링된 원격 제어 스테이션(250)에 의해 수신되고,
멀티-모달 감각 데이터(272)는 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)으로 구성된 그룹으로부터 선택되는 적어도 두 개의 감각 응답 타입들을 포함함―; 및
원격 제어 스테이션(250)에 의해 멀티-모달 감각 데이터(272)의 표현을 생성(430)하는 단계;
원격 제어 스테이션(250)에서 사용자 입력을 캡처링(440)하는 단계; 및
원격 제어 명령들을 제한된 공간(210)에 포지셔닝된 로봇 플랫폼(230)에 송신(460)하는 단계를 포함한다.
B2. 또한, 문단 B1의 방법(400)에서, 멀티-모달 감각 데이터(272)의 표현을 생성(430)하는 단계는 비디오 스펙트럼, 오디오 스펙트럼, 공간 배향, 및 고유 수용성 감각 중 적어도 하나에 기반하여 멀티-모달 감각 데이터(272)를 증강시키는 단계를 포함한다.
B3. 또한, 문단 B1의 방법(400)에서, 표현은 멀티-감각 고충실도 텔레프레전스이다.
B4. 또한, 문단 B1의 방법(400)에서, 원격 제어 스테이션(250)의 사용자 인터페이스(610)는 멀티-모달 감각 데이터(272)의 양안 스테레오스코픽 비전 타입(273a)을 프레젠팅하기 위한 3D 디스플레이(613a)를 포함한다.
B5. 또한, 문단 B1의 방법(400)에서, 원격 제어 스테이션(250)의 사용자 인터페이스(610)는 멀티-모달 감각 데이터(272)의 쌍이 스테레오포닉 오디오 타입(273b)을 프레젠팅하기 위한 스테레오 스피커들(613b)을 포함한다.
B6. 또한, 문단 B1의 방법(400)에서, 원격 제어 명령들은 제한된 공간(210) 내의 로봇 플랫폼(230)에 의해 수행되는 하나 또는 그 초과의 동작들을 표현한다.
B7. 또한, 문단 b6의 방법(400)에서, 하나 또는 그 초과의 동작들은,
제한된 공간(210) 내에서 로봇 플랫폼(230)의 포지션을 변경(350a)하는 것,
구조물(212)의 컴포넌트(214)에 드릴링(350b)하는 것,
패스너를 구조물(212)에 설치(350c)하는 것,
구조물(212)을 실링(350d)하는 것,
구조물(212)에 페인팅(350e)하는 것,
제한된 공간(210)으로부터 오브젝트를 제거(350f)하는 것, 그리고
구조물(212)을 검사(350g)하는 것
으로 구성된 그룹으로부터 선택된다.
B8. 또한, 문단 B1의 방법(400)에서, 적어도, 멀티-모달 감각 데이터(272)를 수신(420)하는 단계 및 표현을 생성(430)하는 단계가 계속해서 수행된다.
B9. 또한, 문단 B1의 방법(400)에서, 원격 제어 명령들은 사용자 입력에 기반하여 생성된다.
B10 또한, 문단 B1의 방법(400)에서, 로봇 플랫폼(230)은 로컬 영역 네트워크를 사용하여 원격 제어 스테이션(250)에 통신가능하게 커플링된다.
B11. 또한, 문단 B1의 방법(400)에서, 로봇 플랫폼(230)은 글로벌 통신 네트워크를 사용하여 원격 제어 스테이션(250)에 통신가능하게 커플링된다.
본 발명의 추가적인 양상에 따라, 다음이 제공된다:
C1. 멀티-모달 감각 데이터(272)를 사용하여 구조물(212)의 제한된 공간(210)에서 동작하기 위한 로봇 플랫폼(230)으로서, 이 로봇 플랫폼(230)은,
멀티-모달 감각 데이터(272)를 생성하기 위한 센서들(510); 및
제한된 공간(210) 밖에 포지셔닝된 원격 제어 스테이션(250)에 통신가능하게 커플링되기 위한 통신 모듈(540)을 포함한다.
C2. 문단 C1의 로봇 플랫폼(230)에서, 센서들(510)은 양안 스테레오스코픽 비전 센서(512), 쌍이 스테레오포닉 오디오 센서(514), 힘 반영 햅틱 조작 센서(516), 및 촉각 센서(518)로 구성된 그룹으로부터 선택되는 적어도 두 개의 센서들을 포함한다.
본 발명의 추가적인 양상에 따라, 다음이 제공된다:
D1. 멀티-모달 감각 데이터(272)를 사용하여 로봇 플랫폼(230)을 제어하기 위한 원격 제어 스테이션(250)으로서, 이 원격 제어 스테이션(250)은,
로봇 플랫폼(230)에 통신가능하게 커플링되며, 로봇 플랫폼(230)으로부터 멀티-모달 감각 데이터(272)를 수신하기 위한 통신 모듈(640) ―멀티-모달 감각 데이터(272)는 적어도 두 개의 감각 응답 타입들을 포함함―; 및
로봇 플랫폼(230)으로부터 수신된 멀티-모달 감각 데이터(272)의 표현을 생성하기 위한 출력 디바이스(612)를 포함하는 사용자 인터페이스(610)를 포함한다.
D2. 문단 D1의 원격 제어 스테이션(250)에서, 적어도 두 개의 감각 응답 타입들은 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)으로 구성된 그룹으로부터 선택된다.
본 발명의 추가적인 양상에 따라, 다음이 제공된다:
E1. 멀티-모달 감각 데이터(272)에 기반하여 구조물(212)의 제한된 공간(210)의 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300)으로서, 이 방법(300)은,
로봇 플랫폼(230)의 둘 또는 그 초과의 센서들(510)을 사용하여 멀티-모달 감각 데이터(272)를 획득(314)하는 단계 ―멀티-모달 감각 데이터(272)는 적어도 두 개의 감각 응답 타입들을 포함함―;
멀티-모달 감각 데이터(272)의 적어도 일부를 원격 제어 스테이션(250)에 송신(320)하는 단계; 및
원격 제어 스테이션(250)에 의해 멀티-모달 감각 데이터(272)의 표현을 생성하는 단계를 포함한다.
E2. 또한, 문단 E1의 방법(300)에서, 로봇 플랫폼(230)은 구조물(212)의 제한된 공간(210)에 포지셔닝된다.
E3. 또한, 문단 E2의 방법(300)에서, 로봇 플랫폼(230)이 제한된 공간(210)에 포지셔닝된 동안에, 멀티-모달 감각 데이터(272)의 적어도 일부를 송신하는 단계가 수행된다.
E4. 또한, 문단 E1의 방법(300)에서, 적어도 두 개의 감각 응답 타입들은 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)으로 구성된 그룹으로부터 선택된다.
E5. 또한, 문단 E1의 방법(300)은, 멀티-모달 감각 데이터(272)의 적어도 일부를 송신하는 단계 전에, 멀티-모달 감각 데이터(272)를 증강시키는 단계를 더 포함한다.
E6. 또한, 문단 E1의 방법(300)은, 송신하기 위한 멀티-모달 감각 데이터(272)의 적어도 일부를 선택하는 단계를 더 포함한다.
E7. 또한, 문단 E1의 방법(300)은, 원격 제어 스테이션(250)으로부터 로봇 플랫폼(230)에서 수신되는 원격 제어 명령들에 기반하여, 로봇 플랫폼(230)을 사용하여, 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함한다.
E8. 또한, 문단 E7의 방법(300)에서, 하나 또는 그 초과의 동작들은,
제한된 공간(210) 내에서 로봇 플랫폼(230)의 포지션을 변경(350a)하는 것,
구조물(212)의 컴포넌트(214)에 드릴링(350b)하는 것,
패스너를 구조물(212)에 설치(350c)하는 것,
구조물(212)을 실링(350d)하는 것,
구조물(212)에 페인팅(350e)하는 것,
제한된 공간(210)으로부터 오브젝트를 제거(350f)하는 것, 그리고
구조물(212)을 검사(350g)하는 것
으로 구성된 그룹으로부터 선택된다.
E9. 또한, 문단 E7의 방법(300)에서, 멀티-모달 감각 데이터(272)의 충실도 레벨은 하나 또는 그 초과의 동작들에 대응한다.
E10. 또한, 문단 E7의 방법(300)에서, 멀티-모달 감각 데이터(272)의 충실도 레벨은 시간에 따라 변한다.
E11. 또한, 문단 E7의 방법(300)에서, 로봇 플랫폼(230)에서 생성되는 로컬 제어 명령들이 원격 제어 명령들과 결합되어 하나 또는 그 초과의 동작들을 수행하도록, 하나 또는 그 초과의 동작들은 또한 로컬 제어 명령들에 기반하여 수행된다.
E12. 또한, 문단 E1의 방법(300)은,
원격 제어 스테이션(250)에서 사용자 입력을 캡처링(440)하는 단계; 및
원격 제어 명령들을 제한된 공간(210)에 포지셔닝된 로봇 플랫폼(230)에 송신(460)하는 단계를 더 포함한다.
E13. 또한, 문단 E1의 방법(300)에서, 멀티-모달 감각 데이터(272)의 표현을 생성(430)하는 단계는 비디오 스펙트럼, 오디오 스펙트럼, 공간 배향, 및 고유 수용성 감각 중 적어도 하나에 기반하여 멀티-모달 감각 데이터(272)를 증강시키는 단계를 포함한다.
E14. 또한, 문단 E1의 방법(300)에서, 표현은 멀티-감각 고충실도 텔레프레전스이다.
E15. 또한, 문단 E1의 방법(300)에서, 원격 제어 스테이션(250)의 사용자 인터페이스(610)는 멀티-모달 감각 데이터(272)의 양안 스테레오스코픽 비전 타입(273a)을 프레젠팅하기 위한 3D 디스플레이(613a)를 포함한다.
E16. 또한, 문단 E1의 방법(300)에서, 원격 제어 스테이션(250)의 사용자 인터페이스(610)는 멀티-모달 감각 데이터(272)의 쌍이 스테레오포닉 오디오 타입(273b)을 프레젠팅하기 위한 스테레오 스피커들(613b)을 포함한다.
그러므로, 본 개시내용이 예시된 특정 예들로 제한되어서는 안되며, 수정들 및 다른 예들이 첨부된 청구항들의 범위 내에 포함되는 것으로 의도됨이 이해되어야 한다. 게다가, 전술된 설명 및 연관된 도면들이 엘리먼트들 및/또는 기능들의 특정 예시적 결합들의 상황에서 본 개시내용의 예들을 설명하지만, 첨부된 청구항들의 범위로부터 벗어나지 않고, 대안적 구현들에 의해 엘리먼트들 및/또는 기능들의 상이한 결합들이 제공될 수 있음이 인식되어야 한다. 이에 따라, 첨부된 청구항들의 삽입구 참조 번호들은 예시적 목적들을 위해서만 제시되며, 청구되는 발명의 요지의 범위를 본 개시내용에서 제공된 특정 예들로 제한하는 것으로 의도되지 않는다.

Claims (19)

  1. 멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300)으로서, 상기 방법(300)은,
    항공기 컴포넌트(214)의 제한된 공간(confined space)에 상기 로봇 플랫폼(230)을 포지셔닝(310)시키는 단계 ― 상기 로봇 플랫폼은 상기 제한된 공간에서 로봇 플랫폼의 위치를 변화시키도록 구성된 트레드의 세트 및 모터를 포함함 ―;
    상기 로봇 플랫폼(230)을 원격 제어 스테이션(250)에 통신가능하게 커플링하는 단계;
    상기 로봇 플랫폼(230)의 둘 또는 그 초과의 센서들(510)을 사용하여 상기 멀티-모달 감각 데이터(272)를 획득(314)하는 단계 ―상기 멀티-모달 감각 데이터(272)는 적어도 두 개의 감각 응답 타입들을 포함함―;
    상기 멀티-모달 감각 데이터 중 적어도 두 개의 각각에 대한 상이한 스케일을 사용하여 상기 멀티-모달 감각 데이터 중 적어도 두 개를 스케일링하여서 오퍼레이터의 인지 및 감각 능력들을 상기 제한된 공간의 크기 및 상기 제한된 공간에서의 상기 로봇 플랫폼의 태스크와 매칭시키는 단계;
    상기 로봇 플랫폼으로부터 상기 원격 제어 스테이션으로 상기 멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계; 및
    상기 원격 제어 스테이션(250)으로부터 원격 제어 명령들을 상기 로봇 플랫폼(230)에서 수신(330)하는 단계 ― 상기 원격 제어 명령들은 상기 멀티-모달 감각 데이터의 적어도 일부에 기반하여 생성됨 ―;를 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  2. 제 1 항에 있어서,
    상기 로봇 플랫폼(230)이 상기 제한된 공간(210)에 포지셔닝되는 동안에, 상기 멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계가 수행되는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  3. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터는 양안 스테레오스코픽 비전 타입(binocular stereoscopic vision type)(273a), 쌍이 스테레오포닉 오디오 타입(binaural stereophonic audio type)(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)으로 구성된 그룹으로부터 선택된 적어도 두 개의 감각 응답 타입들을 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  4. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터(272)에 기반하여 상기 로봇 플랫폼(230)에서 로컬 제어 명령들을 생성(334)하는 단계를 더 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  5. 제 4 항에 있어서,
    상기 로컬 제어 명령들에 기반하여, 상기 로봇 플랫폼(230)을 사용하여, 상기 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  6. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터(272)는 적어도, 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 및 힘 반영 햅틱 조작 타입(273c)을 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  7. 제 6 항에 있어서,
    상기 로봇 플랫폼(230)을 사용하여, 상기 제한된 공간(210) 내에서 상기 항공기 컴포넌트를 드릴링하는 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  8. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터(272)는 적어도, 양안 스테레오스코픽 비전 타입(273a), 쌍이 스테레오포닉 오디오 타입(273b), 힘 반영 햅틱 조작 타입(273c), 및 촉각 타입(273d)을 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  9. 제 8 항에 있어서,
    상기 로봇 플랫폼(230)을 사용하여, 상기 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함하고, 상기 하나 또는 그 초과의 동작들은 상기 항공기 컴포넌트 내로 패스너를 설치하는 것을 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  10. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터(272)를 획득하는 단계 및 상기 멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계는 반복적으로 계속되는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  11. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터(272)의 적어도 일부를 송신(320)하는 단계 전에, 상기 멀티-모달 감각 데이터(272)를 증강(316)시키는 단계를 더 포함하고, 상기 증강시키는 단계는 시각적인 피처들을 자율 검출하는 것 및 상기 제한된 공간의 3D 맵을 생성하는 것으로 구성된 그룹으로부터 선택되는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  12. 제 1 항에 있어서,
    송신을 위한 상기 멀티-모달 감각 데이터의 적어도 일부를 선택하는 단계를 더 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  13. 제 1 항에 있어서,
    상기 원격 제어 스테이션(250)으로부터 상기 로봇 플랫폼(230)에서 수신되는 상기 원격 제어 명령들에 기반하여, 상기 로봇 플랫폼(230)을 사용하여, 상기 제한된 공간(210) 내에서 하나 또는 그 초과의 동작들을 수행(350)하는 단계를 더 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  14. 제 13 항에 있어서,
    상기 하나 또는 그 초과의 동작들은,
    상기 제한된 공간(210) 내에서 상기 로봇 플랫폼(230)의 포지션을 변경(350a)하는 것,
    상기 항공기 컴포넌트(214)를 드릴링(350b)하는 것,
    패스너를 상기 항공기 컴포넌트에 설치(350c)하는 것,
    상기 항공기 컴포넌트를 실링(350d)하는 것,
    상기 항공기 컴포넌트에 페인팅(350e)하는 것,
    상기 제한된 공간(210)으로부터 오브젝트를 제거(350f)하는 것, 그리고
    상기 항공기 컴포넌트를 검사(350g)하는 것
    으로 구성된 그룹으로부터 선택되는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  15. 제 13 항에 있어서,
    상기 멀티-모달 감각 데이터의 충실도 레벨은 상기 하나 또는 그 초과의 동작들에 대응하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  16. 제 13 항에 있어서,
    상기 멀티-모달 감각 데이터의 충실도 레벨은 시간에 걸쳐 변화하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  17. 제 13 항에 있어서,
    상기 로봇 플랫폼(230)에서 생성되는 로컬 제어 명령들이 상기 원격 제어 명령들과 결합되어 상기 하나 또는 그 초과의 동작들을 수행하도록, 상기 하나 또는 그 초과의 동작들은 또한 상기 로컬 제어 명령들에 기반하여 수행되는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  18. 제 1 항에 있어서,
    상기 멀티-모달 감각 데이터 중 적어도 두 개는 양안 스테레오스코픽 비전 데이터 및 힘 반영 햅틱 조작 데이터를 포함하고,
    상기 멀티-모달 감각 데이터 중 적어도 두 개의 각각에 대한 상이한 스케일을 사용하여 상기 멀티-모달 감각 데이터 중 적어도 두 개를 스케일링하는 것은 상기 양안 스테레오스코픽 비전 데이터를 스케일링 업하고 그리고 힘 반영 햅틱 조작 데이터를 스케일링 다운하는 것을 포함하는,
    멀티-모달 감각 데이터(272)에 기반하여 로봇 플랫폼(230)에 대해 원격으로 제어하기 위한 방법(300).
  19. 멀티-모달 감각 데이터에 기반하여 제한된 공간의 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법으로서, 상기 방법은,
    항공기 컴포넌트의 제한된 공간에 위치된 상기 로봇 플랫폼으로부터 상기 멀티-모달 감각 데이터를 수신하는 단계 ― 상기 로봇 플랫폼은 상기 제한된 공간에서 로봇 플랫폼의 위치를 변화시키도록 구성된 트레드의 세트 및 모터를 포함하고,
    상기 멀티-모달 감각 데이터는 상기 로봇 플랫폼에 통신가능하게 커플링된 원격 제어 스테이션에 의해 수신되며,
    상기 멀티-모달 감각 데이터는 양안 스테레오스코픽 비전 타입, 쌍이 스테레오포닉 오디오 타입, 힘 반영 햅틱 조작 타입, 및 촉각 타입으로 구성된 그룹으로부터 선택된 적어도 두 개의 감각 응답 타입들을 포함함 ―;
    상기 멀티-모달 감각 데이터 중 적어도 두 개의 각각에 대한 상이한 스케일을 사용하여 상기 멀티-모달 감각 데이터 중 적어도 두 개를 스케일링하여서 오퍼레이터의 인지 및 감각 능력들을 상기 제한된 공간의 크기 및 상기 제한된 공간에서의 상기 로봇 플랫폼의 태스크와 매칭시키는 단계;
    상기 멀티-모달 감각 데이터의 적어도 일부에 기반하여 상기 원격 제어 스테이션에 의해 상기 멀티-모달 감각 데이터의 표현을 생성하는 단계;
    상기 원격 제어 스테이션에서 사용자 입력을 캡처링하는 단계; 및
    원격 제어 명령들을 제한된 공간에 포지셔닝된 로봇 플랫폼에 송신하는 단계;를 포함하는,
    멀티-모달 감각 데이터에 기반하여 제한된 공간의 로봇 플랫폼에 대해 원격으로 제어하기 위한 방법.
KR1020170057401A 2016-06-10 2017-05-08 멀티-모달 감각 데이터에 기반하는 로봇 플랫폼 원격 제어 KR102369855B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/179,493 US10272572B2 (en) 2016-06-10 2016-06-10 Remotely controlling robotic platforms based on multi-modal sensory data
US15/179,493 2016-06-10

Publications (2)

Publication Number Publication Date
KR20170140070A KR20170140070A (ko) 2017-12-20
KR102369855B1 true KR102369855B1 (ko) 2022-03-02

Family

ID=59350033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170057401A KR102369855B1 (ko) 2016-06-10 2017-05-08 멀티-모달 감각 데이터에 기반하는 로봇 플랫폼 원격 제어

Country Status (5)

Country Link
US (1) US10272572B2 (ko)
JP (2) JP2018008369A (ko)
KR (1) KR102369855B1 (ko)
CN (1) CN107491043A (ko)
GB (1) GB2553617B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10023250B2 (en) 2016-06-10 2018-07-17 The Boeing Company Multi-tread vehicles and methods of operating thereof
US10257241B2 (en) * 2016-12-21 2019-04-09 Cisco Technology, Inc. Multimodal stream processing-based cognitive collaboration system
US20190219994A1 (en) * 2018-01-18 2019-07-18 General Electric Company Feature extractions to model large-scale complex control systems
JP6823016B2 (ja) * 2018-07-17 2021-01-27 ファナック株式会社 数値制御装置
US11007637B2 (en) 2019-05-17 2021-05-18 The Boeing Company Spherical mechanism robot assembly, system, and method for accessing a confined space in a vehicle to perform confined space operations
CN111209942B (zh) * 2019-12-27 2023-12-19 广东省智能制造研究所 一种足式机器人多模态感知的异常监测方法
NO346361B1 (no) * 2020-04-29 2022-06-27 Conrobotix As Kontrollsystem til betjening av arbeidsoperasjoner med verktøy i en robot tilrettelagt for verktøyhåndtering
KR102495920B1 (ko) * 2020-10-16 2023-02-06 위더스(주) 디스플레이가 없는 안드로이드 디바이스에서 안드로이드 플랫폼을 동작시키기 위한 무선 통신 시스템 및 그 무선 통신 방법
US20220331966A1 (en) * 2021-04-09 2022-10-20 Beyond Imagination Inc. Mobility surrogates
CN113119125B (zh) * 2021-04-14 2022-08-05 福建省德腾智能科技有限公司 一种基于多模态信息的监控交互方法
CN113829344B (zh) * 2021-09-24 2022-05-03 深圳群宾精密工业有限公司 适用于柔性产品的视觉引导轨迹生成方法、装置、设备及介质
CN113927602B (zh) * 2021-11-12 2023-03-17 哈尔滨工业大学（深圳） 基于视、触觉融合的机器人精密装配控制方法及系统
WO2023188104A1 (ja) * 2022-03-30 2023-10-05 三菱電機株式会社 遠隔体験システム、情報処理装置、情報処理方法およびプログラム
CN117875407A (zh) * 2024-03-11 2024-04-12 中国兵器装备集团自动化研究所有限公司 一种多模态持续学习方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007229897A (ja) * 2006-03-03 2007-09-13 Nagaoka Univ Of Technology 触覚制御方法および触覚制御装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0724751A (ja) * 1989-02-13 1995-01-27 Toshiba Corp 点検作業ロボット
JP3217383B2 (ja) * 1991-02-01 2001-10-09 衛 光石 臨場感再現システムおよび加工システム
JPH04354275A (ja) * 1991-05-30 1992-12-08 Meitec Corp ヘッドモ−ション追従型映像システム
DE69331789T2 (de) * 1992-01-21 2003-03-13 Stanford Res Inst Int Endoskopisches chirurgisches Instrument
JPH07237106A (ja) * 1994-02-28 1995-09-12 Nippon Steel Corp 遠隔操作疵手入れ方法およびその装置
ATE376178T1 (de) * 2000-06-28 2007-11-15 Bosch Gmbh Robert Vorrichtung zum bildlichen erfassen von stückgütern
JP2002046088A (ja) * 2000-08-03 2002-02-12 Matsushita Electric Ind Co Ltd ロボット装置
AU767561B2 (en) 2001-04-18 2003-11-13 Samsung Kwangju Electronics Co., Ltd. Robot cleaner, system employing the same and method for reconnecting to external recharging device
JP4214860B2 (ja) * 2003-08-12 2009-01-28 沖電気工業株式会社 ロボットによる中継システム、ロボットによる中継プログラム及びその方法
US8217478B2 (en) * 2008-10-10 2012-07-10 Seagate Technology Llc Magnetic stack with oxide to reduce switching current
US9643316B2 (en) * 2009-10-27 2017-05-09 Battelle Memorial Institute Semi-autonomous multi-use robot system and method of operation
CN101791750B (zh) * 2009-12-31 2012-06-06 哈尔滨工业大学 用于远程焊接的机器人遥控焊接系统及方法
WO2011116332A2 (en) 2010-03-18 2011-09-22 SPI Surgical, Inc. Surgical cockpit comprising multisensory and multimodal interfaces for robotic surgery and methods related thereto
KR101194576B1 (ko) 2010-12-16 2012-10-25 삼성중공업 주식회사 풍력 터빈 조립 및 관리 로봇 및 이를 포함하는 풍력 터빈 시스템
CN102060057B (zh) * 2010-12-27 2012-09-26 中国民航大学 飞机油箱检查机器人系统及其控制方法
JP2014508658A (ja) 2011-03-23 2014-04-10 エスアールアイ インターナショナル 高機能遠隔マニピュレーターシステム
CN102699919A (zh) * 2011-03-28 2012-10-03 江苏久祥汽车电器集团有限公司 智能决策与驱动控制技术
US8651206B2 (en) 2011-03-31 2014-02-18 Tobor Technology, Llc Roof inspection systems and methods of use
US8943892B2 (en) * 2012-05-11 2015-02-03 The Boeing Company Automated inspection of spar web in hollow monolithic structure
US9226796B2 (en) * 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
KR102530836B1 (ko) * 2012-08-03 2023-05-10 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
DE102013204151B4 (de) * 2013-03-11 2016-12-15 Continental Automotive Gmbh Steuervorrichtung zum Betreiben einer Werkzeugmaschine und Werkzeugmaschine
WO2014164404A1 (en) * 2013-03-13 2014-10-09 The General Hospital Corporation 2-aaa as a biomarker and therapeutic agent for diabetes
FR3012425B1 (fr) 2013-10-24 2017-03-24 European Aeronautic Defence & Space Co Eads France Robot collaboratif d'inspection visuelle d'un aeronef
US9193402B2 (en) 2013-11-26 2015-11-24 Elwha Llc Structural assessment, maintenance, and repair apparatuses and methods
CN106457569B (zh) * 2014-04-10 2019-03-12 宽射咨询公司 机器人系统及操作机器人系统的方法
US9335764B2 (en) 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems
US9856037B2 (en) 2014-06-18 2018-01-02 The Boeing Company Stabilization of an end of an extended-reach apparatus in a limited-access space
CN104057450B (zh) * 2014-06-20 2016-09-07 哈尔滨工业大学深圳研究生院 一种针对服务机器人的高维操作臂遥操作方法
US10960458B2 (en) * 2014-07-09 2021-03-30 The Boeing Company Mobile platforms for performing operations inside a fuselage assembly
CN104656653A (zh) * 2015-01-15 2015-05-27 长源动力（北京）科技有限公司 一种基于机器人的交互系统及方法
US10023250B2 (en) 2016-06-10 2018-07-17 The Boeing Company Multi-tread vehicles and methods of operating thereof
WO2018215977A1 (en) * 2017-05-26 2018-11-29 Invert Robotics Limited Climbing robot for detection of defects on an aircraft body

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007229897A (ja) * 2006-03-03 2007-09-13 Nagaoka Univ Of Technology 触覚制御方法および触覚制御装置

Also Published As

Publication number Publication date
US20170355080A1 (en) 2017-12-14
US10272572B2 (en) 2019-04-30
JP2018008369A (ja) 2018-01-18
JP2022081591A (ja) 2022-05-31
CN107491043A (zh) 2017-12-19
JP7381632B2 (ja) 2023-11-15
GB2553617A (en) 2018-03-14
GB2553617B (en) 2020-09-16
KR20170140070A (ko) 2017-12-20
GB201708992D0 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
KR102369855B1 (ko) 멀티-모달 감각 데이터에 기반하는 로봇 플랫폼 원격 제어
CA2945189C (en) Robotic systems and methods of operating robotic systems
Klamt et al. Remote mobile manipulation with the centauro robot: Full‐body telepresence and autonomous operator assistance
Chen et al. Human performance issues and user interface design for teleoperated robots
US20200055195A1 (en) Systems and Methods for Remotely Controlling a Robotic Device
Jankowski et al. Usability evaluation of vr interface for mobile robot teleoperation
US20120004791A1 (en) Teleoperation method and human robot interface for remote control of a machine by a human operator
Szafir Mediating human-robot interactions with virtual, augmented, and mixed reality
Naceri et al. Towards a virtual reality interface for remote robotic teleoperation
JP2010271536A (ja) 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体
Su et al. Mixed reality-integrated 3D/2D vision mapping for intuitive teleoperation of mobile manipulator
Chellali et al. What maps and what displays for remote situation awareness and rov localization?
Szczurek et al. Multimodal multi-user mixed reality human–robot interface for remote operations in hazardous environments
Tran et al. A hands-free virtual-reality teleoperation interface for wizard-of-oz control
Lieser et al. Evaluating distances in tactile human-drone interaction
Gregg-Smith et al. Investigating spatial guidance for a cooperative handheld robot
Young et al. The effects of interface views on performing aerial telemanipulation tasks using small UAVs
Fernando et al. Effectiveness of Spatial Coherent Remote Drive Experience with a Telexistence Backhoe for Construction Sites.
US10908128B2 (en) Apparatus for an inspection device
Tharp et al. Virtual window telepresence system for telerobotic inspection
Luo et al. Team northeastern: Reliable telepresence at the ANA XPRIZE avatar final testing
Mavridis et al. Steps towards affordable android telepresence
Radi Workspace scaling and haptic feedback for industrial telepresence and teleaction systems with heavy-duty teleoperators
Wyckoff et al. Feedback and Control of Dynamics and Robotics using Augmented Reality
Nagai et al. Audio feedback system for teleoperation experiments on engineering test satellite vii system design and assessment using eye mark recorder for capturing task

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant