KR101871430B1 - 소형 로봇의 다중 운용 방법 및 그 운용 시스템 - Google Patents

소형 로봇의 다중 운용 방법 및 그 운용 시스템 Download PDF

Info

Publication number
KR101871430B1
KR101871430B1 KR1020110117968A KR20110117968A KR101871430B1 KR 101871430 B1 KR101871430 B1 KR 101871430B1 KR 1020110117968 A KR1020110117968 A KR 1020110117968A KR 20110117968 A KR20110117968 A KR 20110117968A KR 101871430 B1 KR101871430 B1 KR 101871430B1
Authority
KR
South Korea
Prior art keywords
robot
task
information
operator
mission
Prior art date
Application number
KR1020110117968A
Other languages
English (en)
Other versions
KR20130052768A (ko
Inventor
서범수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110117968A priority Critical patent/KR101871430B1/ko
Priority to US13/596,149 priority patent/US20130123980A1/en
Publication of KR20130052768A publication Critical patent/KR20130052768A/ko
Application granted granted Critical
Publication of KR101871430B1 publication Critical patent/KR101871430B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39146Swarm, multiagent, distributed multitask fusion, cooperation multi robots
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40417For cooperating manipulators
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

본 발명은, 다중 운용자 환경에서 소형 로봇을 운용하는 다중 로봇 근거리 원격 제어 기법에 관한 것으로, 이를 위하여 본 발명은, 하나의 사용자가 하나의 로봇에 할당되어 근거리에서 들어오는 영상을 모니터링하고 이를 이용하여 로봇을 제어하는 1:1 제어 방식에 의존하는 전술한 종래 방식과는 달리, 주변의 로봇과 협업할 임무를 생성하고, 생성된 임무에 대한 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하여 주변의 로봇 임무 장치로 전송하며, 적어도 하나의 주변의 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보를 수신되면, 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당한 후 협업 참여 로봇 임무 장치로 전송하는 방식을 통해, 로봇을 완전 자율로 움직이는 것이 아니라, 근거리의 운용자들 간의 협업을 통해 운용함으로써, 임무 수행 상황에 대해 운용자가 개입하여 판단하는 반자율적 수행 구조를 지원할 수 있으며, 이를 통해 소형 로봇을 활용한 대테러, 감시, 정찰 및 순찰 등의 임무를 효과적으로 수행할 수 있는 것이다.

Description

소형 로봇의 다중 운용 방법 및 그 운용 시스템{METHOD AND SYSTEM FOR MULTI-SMALL ROBOTS CONTROL}
본 발명은 다중 운용자 환경에서 소형 로봇을 운용하는 다중 로봇 근거리 원격 제어 기법에 관한 것으로, 더욱 상세하게는 감시/정찰용 소형로봇을 개별 운용자가 운용하고 있는 상황에서, 운용자간의 협업을 통해 주어진 임무를 분할하여 수행하고, 로봇의 상태를 모니터링하며, 가까운 거리에서 개별적으로 운용중인 다중 로봇을 효과적으로 운용하는데 적합한 소형 로봇의 다중 운용 방법 및 그 운용 시스템에 관한 것이다.
잘 알려진 바와 같이, 현재 군이나 사회 안전시설에서 운용 중인 로봇들은 그 규모가 1톤 이상이 되는 상당히 커다란 플랫폼 뿐 아니라 수십 킬로(㎏) 이하의 소형 로봇들로 무선랜 기반의 근거리 통신을 통해 특정 지역에 대한 감시/정찰 임무를 수행하고 있다. 규모가 큰 플랫폼의 경우 많은 다양한 종류의 센서와 임무 장비를 탑재하고 고성능의 컴퓨터를 기반으로 자율 항법을 통한 자기 위치 추정을 통해 주행을 수행한다.
그러나, 이러한 규모가 큰 플랫폼의 경우 가격은 고가임에도 불구하고 많은 기술적 제약 사항과 실 로봇의 수요처에 대한 발굴이 어려워 기술 개발과 별도로 상용화나 실용화에 현재까지 많은 제약이 따르고 있는 실정이다.
이에 반해, 운용자가 손쉽게 가지고 다니며 가까운 거리지만 사람이 감시나 정찰하기에는 위험한 지역에 활용하기 위한 소형 로봇 플랫폼은 상당한 기술적 진보와 함께 실제 미군에서도 아프카니스탄이나 이라크 등지에서 사용하고 있다. 플랫폼의 종류와 형태도 다양하여 휠 기반은 20kg 미만의 무게를 가진 플랫폼으로부터 사람이 투척하여 움직이는 1-2kg 이하의 작은 플랫폼까지 다양하게 개발되고 있는 추세이다.
이러한 소형 로봇은 앞서 소개한 상대적으로 규모가 크고 상당히 많은 임무 장비를 탑재하고 있는 중/대형 플랫폼에 비해 저가의 센서를 탑재하고도 운용자가 근거리에서 임무에 참여함으로써 자율적으로 상황을 판단할 수 있다는 장점이 있어, 특히 대테러나 국지전 등의 군사 목적에 유용하게 활용되고 있다.
즉, 중/대형 로봇은 전면전이 필요한 경우나 활동이 용이한 지역에 지극히 한정되어 사용될 수밖에 없고, 많은 자율 기술의 기술적 진보에도 불구하고 아직도 자율 주행 및 상황 대처에 대한 기술이 사람의 인지 능력을 뛰어 넘지 못하고 있는 현실에 비추어 볼 때, 소형 로봇을 활용한 감시, 경계, 정찰 등의 임무 수행은 현실적으로 자연스러운 대안이라고 할 수 있다.
이러한 소형 로봇의 기본 운용 환경은 하나의 사용자가 하나의 로봇에 할당되어 근거리에서 들어오는 영상을 모니터링하고 이를 이용하여 로봇을 제어하는 1:1 제어 방식에 의존하기 때문에, 하나의 임무 지역에 투입된 다중 로봇 간 임무 상태에 대한 정보 공유가 없어 한 운용자는 자신이 맡고 있는 임무에만 충실할 뿐 전체 임무에 대한 운용 상황이나 개별 로봇의 상황을 참고하여 임무에 활용할 수 없다는 단점을 갖는다.
또한, 임무 수행 중 임무를 변경하거나 새로운 임무를 추가할 경우, 기존 수행하던 임무와의 연속성이나 임무 수행 지역의 중첩성 등을 고려하여 기존 임무를 대체하거나 취소하기 위한 시스템적 방법이 없는 상황이다. 소형 로봇이 실제 전장에서 활용되고 있는 상황을 고려할 때, 개별 로봇을 운용하는 운용자간의 협업과 로봇간 정보 공유를 통해 로봇의 임무 수행 능력을 향상시키기 위한 새로운 기법이 절실하게 필요하나, 현재로서는 이러한 새로운 기법에 대한 어떠한 제안도 제시도 없는 실정이다.
대한민국 공개특허 제2011-0064861호(공개일 : 2011. 06. 15.)
본 발명에서는 N개의 소형 로봇을 근거리에서 운용하는 운용자간 협업을 통해 임무를 생성하여 분할 할당하고, 임무 수행에 필요한 정보를 자신이 조작하고 있는 로봇 뿐 아니라 다른 운용자가 운용 중인 로봇으로부터 들어오는 정보를 통해 수집함으로써, 효과적으로 주변 환경에 대처하고 임무를 완수할 수 있도록 하기 위한 방법 및 시스템을 제안한다.
본 발명은, 일 관점에 따라, 운용자의 조작에 의거하여 주변의 로봇과 협업할 임무를 생성하는 과정과, 상기 생성된 임무에 대한 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하여 주변의 로봇 임무 장치로 전송하는 과정과, 적어도 하나의 주변의 협업 참여 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보를 수신하는 과정과, 상기 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당하는 과정과, 상기 할당된 분할 임무를 상기 협업 참여 로봇 임무 장치로 전송하는 과정을 포함하는 소형 로봇의 다중 운용 방법을 제공한다.
본 발명은, 다른 관점에 따라, 운용자의 조작에 따라 자신 제어의 로봇 또는 다른 운용자 제어의 다른 로봇의 원격 조작 명령을 발생하여 네트워크 인터페이스를 통해 상기 로봇 또는 타 로봇으로 전송하는 조작 명령 생성기와, 상기 운용자의 조작에 의거하여 주변의 로봇과 협업할 임무를 생성하고, 생성된 임무에 대한 임무 개략 정보를 생성하며, 적어도 하나의 주변의 협업 참여 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보가 수신될 때 상기 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당하는 임무 생성기와, 상기 생성된 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하는 운용자 협업기와, 상기 생성된 운용자 모집 메시지를 상기 네트워크 인터페이스를 통해 주변의 로봇 임무 장치로 전송하고, 상기 협업 참여 로봇 임무 장치로부터 수신되는 상기 참여 정보를 상기 임무 생성기로 전달하는 정보 송/수신기와, 상기 임무 생성기를 통해 분할된 임무를 상기 협업 참여 로봇 임무 장치로 전송하거나 자신에게 할당된 임무를 수신하여 수행하는 임무 수행기와, 상기 정보 송/수신기를 통해 수신되는 상기 협업 참여 운용자의 로봇 상태 정보를 영상 전시기 및 스피커를 통해 전시하는 영상/음성 송수신기를 포함하는 소형 로봇의 운용 시스템을 제공한다.
본 발명은, 주변의 로봇과 협업할 임무를 생성하고, 생성된 임무에 대한 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하여 주변의 로봇 임무 장치로 전송하며, 적어도 하나의 주변의 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보를 수신되면, 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당한 후 협업 참여 로봇 임무 장치로 전송하는 방식을 통해, 로봇을 완전 자율로 움직이는 것이 아니라, 근거리의 운용자들간의 협업을 통해 운용함으로써, 임무 수행 상황에 대해 운용자가 개입하여 판단하는 반자율적 수행 구조를 지원할 수 있으며, 이를 통해 소형 로봇을 활용한 대테러, 감시, 정찰 및 순찰 등의 임무를 효과적으로 수행할 수 있다.
도 1은 다수 개의 소형 로봇을 개별 운용자가 근거리에서 운용하는 환경을 예시적으로 보여주는 개념도,
도 2는 다수의 운용자간 협업을 통해 다수의 소형 로봇을 운용하는데 적합한 본 발명에 따른 로봇의 운영 시스템에 대한 블록구성도,
도 3은 본 발명에 따라 다수의 운용자간 협업을 통해 운용자가 임무를 생성, 할당 및 수행하는 과정을 도시한 순서도,
도 4는 본 발명에 따라 다수의 운용자간 협업을 통해 다른 운용자가 운용중인 로봇의 로봇 상태 정보를 획득하는 과정을 도시한 순서도,
도 5는 본 발명에 따라 다수의 운용자간 협업을 통해 다른 운용자가 제어 중인 로봇을 제어하기 위한 과정을 도시한 순서도.
본 발명의 기술요지는, 하나의 사용자가 하나의 로봇에 할당되어 근거리에서 들어오는 영상을 모니터링하고 이를 이용하여 로봇을 제어하는 1:1 제어 방식에 의존하는 전술한 종래 방식과는 달리, 주변의 로봇과 협업할 임무를 생성하고, 생성된 임무에 대한 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하여 주변의 로봇 임무 장치로 전송하며, 적어도 하나의 주변의 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보를 수신되면, 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당한 후 협업 참여 로봇 임무 장치로 전송한다는 것으로, 본 발명은 이러한 기술적 수단을 통해 목적으로 하는 바를 실현함으로써 종래 방식의 문제점을 효과적으로 개선할 수 있다. 여기에서, 로봇 운용자에 의해 운용되어 자신 관할의 로봇을 원격 조정하는 로봇 임무 장치는, 예컨대 소형 임무 장치( SMU: small mission unit)로 정의될 수 있다.
그리고, 임무 개략 정보는 임무 개요, 임무 지역, 임무 시간, 임무 내용 등을 포함할 수 있고, 로봇 상황 정보는 협업 참여 운용자의 위치 정보, 로봇 위치 정보, 임무 수행 상태(시작, 종료, 현재 상태 등) 정보, 임무 장비 상태 정보 등을 포함할 수 있다.
아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
먼저, 개별 운용자(또는 개별의 로봇 운용자)가 근거리에서 운용이 가능한 소형의 로봇들(R1 - R4)은 도 1과 같이 구비될 수 있으며, 각 로봇들(R1 - R4)에는 각 운용자(U1 - U4)의 운용에 따라 자신 관할의 로봇들(R1 - R4)을 각각 원격 조정(또는 원격 제어)하는 소형 임무 장치(또는 로봇 임무 장치)(SMU1 - SMU4)들이 구비된다. 즉, 도 1은 다수 개의 소형 로봇을 개별 운용자가 근거리에서 운용하는 환경을 예시적으로 보여주는 개념도이다.
여기에서, 운용자는 특정 지역 내에 임무를 수행할 경우, 어떤 운용자들이 해당 임무에 참여가 가능할지를 알기 위해 주변의 운용자에게 임무의 개략적 내용(예컨대, 임무 개요, 임무 지역, 임무 시간, 임무 내용 등을 포함하는 임무 개략 정보)과 참여 가능 여부를 물어 본 후 이를 활용하여 해당 임무를 계획(임무 분할)한다. 이렇게 계획된 임무를 운용자의 위치에 따라 해당 운용자에게 할당하며, 이후 해당 운용자는 자신이 제어(조정)하는 로봇을 활용하여 할당된 지역에서 감시/경계 등의 임무를 수행한다.
또한, 임무 수행 중 임무를 계획한 운용자 혹은 어떤 임무 상황을 파악하고자 하는 운용자는 타 운용자가 운용중인 로봇으로부터 해당 운용자에게만 입력되는 다양한 정보를 자신의 소형 임무 장치로 요청하여 영상을 보거나 타 로봇의 센서 정보(예컨대, 해당 로봇의 좌표 정보, 장애물 정보, 위험 상황 정보 등)를 통해 자신이 수행 중인 임무 지역에 대한 정보 이외에 전체 임무 환경에 정보를 획득하고 이를 통해 임무 수행에 방향 및 진척 상황 등을 체크할 수 있다.
그리고, 운용자는 필요 시 자신이 운용하고 있는 로봇(또는 소형 로봇) 이외에 타 운용자가 운용하고 있는 로봇에 대한 제어를 해당 운용자의 동의를 거쳐 자신이 가진 원격 제어 장치를 활용하여 운용할 수 있는데, 이를 위해 소형 임무 장치는 하나 이상의 원격 조작 장치를 구비하며, 임무를 작성하고 할당할 수 있는 프로그램과, 운용자의 정보를 수집하고 운용자 간 문자, 음성 및 영상 등의 협업을 지원하기 위한 장치 및 프로그램을 구비할 수 있다. 또한, 로봇의 영상 및 센서 정보, 운용정보 등을 수집하기 위한 장치와 이를 전시하기 위한 영상 전시기를 구비할 수 있다.
본 발명은, 이를 통해 소형 로봇을 근거리에서 제어(운용)하는 운용자간 임무 협업을 실현함으로써, 임무 할당 및 수행, 로봇 정보 조회 및 임무 수행 상황 모니터링 등의 작업을 수행할 수 있다.
여기에서, 통신 토폴로지는 인접하는 주변의 소형 임무 장치간(예컨대, SMU1 과 SMU2간), 소형 임무 장치와 그가 제어하는 로봇간(예컨대, SMU1과 R1간), 소형 임무 장치와 타 소형 임무 장치가 제어하는 로봇간(예컨대, SMU1과 R2간)에 서로 통신이 가능한 구조를 갖는다.
도 2는 다수의 운용자간 협업을 통해 다수의 소형 로봇을 운용하는데 적합한 본 발명에 따른 로봇의 운영 시스템에 대한 블록구성도이다.
여기에서, 소형 로봇은 중/대형 로봇과 달리 저가의 센서와 임무장비를 탑재하고 근거리에서 단일 운용자에 종속되어 운용되는 것으로, 임무 지역을 근거리에 두고 있으나 폭발이나 보이지 않는 위험 상황에 대비하여 운용자가 접근하기 어려운 상황에서 유용하게 활용될 수 있는데, 한 운용자는 하나의 소형 임무 장치를 통해 하나의 로봇을 전담하여 제어하도록 할당되어 있으며, 이를 위해 소형 임무 장치에는 자신이 전담하고 있는 로봇을 근거리에서 이동시키기 위한 원격 조작 장치(RCU1: remote control unit)와 함께 로봇이 가진 카메라나 메뉴플레이터 기타 임무 장비 등을 움직이기 위한 원격 조작 장치(RCU2) 등이 탑재되어 있다.
도 2를 참조하면, 본 발명에 따른 로봇의 운용 시스템은 조작 명령 생성기(202), 임무 생성기(204), 운용자 협업기(206), 정보 송/수신기(208), 임무 수행기(210), 네트워크 인터페이스(212), 영상/음성 송수신기(214), 영상 전시기(216) 및 스피커(218) 등을 포함할 수 있다.
먼저, 조작 명령 수신기(202)는 운용자(U1)가 원격 조작 장치(RCU1 및/또는 RCU2)를 조작할 때 그 조작에 상응하는 로봇의 원격 조작 명령을 발생하는 것으로, 여기에서 발생되는 원격 조작 명령은 네트워크 인터페이스(212)를 통해 운용자(U1)가 제어하는 로봇으로 무선 전송되거나 혹은 타 운용자(U2 내지 U4 중 어느 한 운용자)가 제어하는 타 로봇(R2 내지 R4 중 타 운용자로부터 로봇 제어의 동의(승인)를 받은 어느 한 타 로봇)으로 무선 전송될 수 있다.
다음에, 임무 생성기(204)는 운용자(U1)의 조작(GUI 조작)에 의거하여 주변의 로봇과 협업할 임무를 생성하고, 생성된 임무에 대한 임무 개략 정보(예컨대, 임무 개요, 임무 지역, 임무 시간, 임무 내용 등)를 생성한 후 협업할 주변 운용자가 참여할 것인지를 문의하기 위해 임무 개략 정보를 운용자 협업기(206)로 전달하여 운용자 모집을 요청하는 등의 기능을 제공할 수 있다. 여기에서, 임무는 운용자의 직접 조작에 의한 로봇 제어 뿐 아니라 로봇이 스스로 움직여 특정 지역으로 이동하거나 혹은 감시, 정찰 등의 작업을 수행하는 것의 의미한다.
또한, 임무 생성기(204)는 정보 송/수신기(208)를 통해 적어도 하나의 주변의 협업 참여 로봇 임무 장치(또는 주변의 협업 참여 소형 임무 장치)로부터 로봇 상황 정보(예컨대, 협업 참여 운용자의 위치 정보, 로봇 위치 정보, 임무 수행 상태(시작, 종료, 현재 상태 등) 정보, 임무 장비 상태 정보 등)를 포함하는 참여 정보가 수신될 때 수신된 로봇 상황 정보에 의거하여 협업 참여 운용자(또는 타 운용자)에게 분할 임무를 할당하여 임무 수행기(210)로 전달하는 등의 기능을 제공할 수 있다. 여기에서, 각 협업 참여 운용자에게 할당되는 분할 임무 및 협업 참여 운용자 정보 등은 임무 생성용 GUI 창에 전시될 수 있다. 여기에서, 협업 참여 운용자 정보에는 운용자 개인 정보(예컨대, 성명, 직책, 운용 시작 시간 등)가 포함될 수 있다. 따라서, 운용자(U1)는 GUI 창을 통해 전시되는 협업 참여 운용자 정보를 보고, 주변에 어떤 운용자가 어떤 로봇을 가지고 있는지를 실시간으로 파악할 수 있으며, 이를 통해 각 운용자들에게 적합한 임무를 할당할 수 있다.
예컨대, 임무 생성기(204)는 감시, 정찰, 순찰 등의 임무는 카메라 장비를 가진 로봇에게 할당하고, 지뢰나 위험물 제거 등의 임무는 카메라와 제거 가능한 팔을 가진 로봇에게 할당하게 될 것이다.
그리고, 운용자 협업기(206)는 임무 생성기(204)로부터 전달받은 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성한 후, 주변의 타 운용자들에게로의 무선 전송을 위해 정보 송/수신기(208)로 전달하는 등의 기능을 제공할 수 있다.
또한, 운용자 협업기(206)는 운용자(U1)의 조작에 따라 현재 임무를 협업 중인 타 운용자에게 타 로봇의 정보, 예컨대 타 로봇의 영상 정보, 소리 정보, 센서 정보의 공유를 요청할 수 있는데, 이를 위해 생성되는 정보 공유 요청 메시지는 영상/음성 송수신기(214)로 전달된다. 여기에서, 임무 협업 중인 타 로봇의 센서 정보는, 예컨대 타 로봇의 좌표 정보, 장애물 정보, 위험 상황 정보 등을 포함할 수 있다. 그리고, 운용자(U1)의 정보 공유 요청에 대한 승인은 임무 협업에 참여 중인 타 운용자가 자신의 로봇 임무 장치에 탑재된 운용자 협업기를 통해 수행할 수 있다.
더욱이, 운용자 협업기(206)는 운용자(U1)의 조작에 따라 현재 임무를 협업 중인 타 운용자에게 타 로봇의 제어를 요청(즉, 타 로봇의 제어권한 양도 요청)할 수 있는데, 이를 위해 생성되는 제어 요청 메시지는 정보 송/수신기(208)로 전달되며, 정보 송/수신기(208)를 통해 제어 요청에 대한 제어 승인 확인 메시지가 수신될 때 영상 전시기(216) 등을 통해 이를 운용자(U1)에게 알리는 등의 기능을 제공할 수 있다. 그리고, 운용자(U1)의 제어 요청에 대한 승인은 임무 협업에 참여 중인 타 운용자가 자신의 로봇 임무 장치에 탑재된 운용자 협업기를 통해 수행할 수 있다.
또한, 운용자 협업기(206)는, 타 운용자와의 임무 협업 중, 운용자(U1)와 협업 중인 타 운용자(U2 - U4)간의 문자 서비스, 음성 통신 서비스, 영상 통신 서비스 등을 제공할 수 있다.
다음에, 정보 송/수신기(208)는 운용자 협업기(206)로부터 전달되는 각종 메시지, 예컨대 운용자 모집 메시지, 제어 요청 메시지 등을 네트워크 인터페이스(212)를 통해 주변의 타 로봇(또는 타 로봇 임무 장치)에게 무선 전송하고, 협업 참여 운용자(또는 협업 참여 로봇 임무 장치)로부터 수신되는 로봇 상태 정보를 포함하는 참여 정보를 임무 생성기(204)로 전달하며, 네트워크 인터페이스(212)를 통해 주변의 타 로봇으로부터 수신되는 운용자별 로봇 정보를 영상/음성 송수신기(214)로 전달하는 등의 기능을 제공할 수 있다.
그리고, 임무 수행기(210)는 임무 생성기로부터 전달받은 각 운용자별의 분할 임무(또는 임무 할당 정보)를 네트워크 인터페이스(212)를 통해 협업 참여 로봇 임무 장치(주변의 소형 임무 장치)로 전송하고, 타 운용자가 운용하는 타 로봇 임무 장치로부터 수신되는 분할 임무(임무 할당 정보)를 내부 메모리(도시 생략)에 저장한 후 자신이 관할하는 로봇의 임무 수행을 지령하는 등의 기능을 제공할 수 있다.
예컨대, 임무 수행기(210)는 로봇 R2 내지 R4가 어느 지역으로 이동해야 하는지, 어떤 임무를 언제까지 수행해야 하는지, 어느 지역을 감시해야 하는지, 어떤 센서 정보를 수집해야 하는지 등과 같은 임무에 관련된 정보를 운용자 U2 내지 운용자 U4 각각에게 알려줌으로써, 운용자 U2 내지 운용자 U4 각각이 해당 로봇들을 직접 조작하도록 할 수 있다.
또한, 자율 임무일 경우, 임무 수행기(210)는 해당 로봇을 특정 지역으로 이동시켜 주어진 시간 동안 정해진 임무 장비를 활용하여 특정 방향을 감시한 후 이를 운용자 U2 내지 운용자 U4 각각에게 전달함과 동시에 요청에 따라 운용자 U1에게 전달하는 기능을 수행할 수 있으며, 이 경우 임무 수행기(210)는 로봇의 구동부 및 제어부 등과 연결되어 운용될 수 있다.
다음에, 영상/음성 송수신기(214)는 네트워크 인터페이스(212)를 통해 전달되는 자신 제어 로봇(R1)의 로봇 상태 정보를 영상 전시기(216) 및 스피커(218)를 통해 전시하거나 혹은 정보 송/수신기(208)를 통해 수신되는 협업 참여 운용자의 로봇 정보를 영상 전시기(216) 및 스피커(218)를 통해 전시하거나 혹은 네트워크 인터페이스(212)를 통해 수신되는 협업 참여 로봇 임무 장치의 공유 정보(또는 로봇 상태 정보)를 영상 전시기(216) 및 스피커(218)를 통해 전시하는 등의 기능을 제공할 수 있다. 여기에서, 협업 참여 운용자가 제어하는 타 로봇의 로봇 상태 정보는, 예컨대 타 로봇의 영상 정보, 소리 정보, 센서 정보 등을 포함할 수 있으며, 센서 정보는, 예컨대 타 로봇의 좌표 정보, 장애물 정보, 위험 상황 정보 등을 포함할 수 있다. 그리고, 영상 전시기(216)는, 예컨대 LCD, LED, OLED 등과 같은 디스플레이 패널 등이 될 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 로봇 운용 시스템을 통해 다중 운용자 환경에서 운용자간의 협업을 통해 로봇을 운용하는 일련의 과정들에 대하여 설명한다.
도 3은 본 발명에 따라 다수의 운용자간 협업을 통해 운용자가 임무를 생성, 할당 및 수행하는 과정을 도시한 순서도이다.
먼저, 본 발명에서는 주변의 존재하는 다수의 운용자들이 임무를 협업하는 것이 가능하지만, 설명의 편의와 이해의 증진을 위해, 본 실시 예에서는 두 운용자(Ui, Uj)간에 임무를 협업하는 것으로 가정하여 설명한다.
도 3을 참조하면, 운용자(Ui)가 임무 생성용의 GUI 창을 통해 협업할 임무를 작성하면(단계 301), 임무 생성기(204)에서는 주변의 로봇과 협업할 임무를 생성하고, 이 생성된 임무에 대한 임무 개략 정보(예컨대, 임무 개요, 임무 지역, 임무 시간, 임무 내용 등)를 생성한 후 협업할 주변 운용자가 참여할 것인지를 문의하기 위해 임무 개략 정보를 운용자 협업기(206)로 전달하여 운용자 모집을 요청한다(단계 302).
이에 응답하여, 운용자 협업기(206)에서는 임무 생성기(204)로부터 전달받은 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성한 후 정보 송/수신기(208)로 전달하며(단계 303), 그 결과 운용자 모집 메시지는 네트워크 인터페이스(212)를 통해 네트워크를 통해 연결된 주변의 타 운용자(Uj)가 운용하는 타 로봇 임무 장치(SMUj)로 무선 전송(송출)된다(단계 304).
다음에, 타 로봇 임무 장치(SMUj) 내 정보 송수신기에서는 수신된 운용자 모집 메시지를 운용자 협업기로 전달하며(단계 305), 해당 운용자 협업기에서는 운용자(Uj)가 이를 볼 수 있도록 GUI 창을 통해 이를 전시(디스플레이)한다(단계 306). 따라서, 운용자(Uj)는 운용자 모집 메시지에 포함된 임무 개략 정보를 보고 임무 협업에 참여할 것인지 혹은 불참할 것인지를 결정할 수 있다. 이때, 운용자(Uj)가 임무 협업을 결정할 경우, 해당 운용자는 협업 참여 운용자로 정의될 수 있다.
여기에서, 운용자(Uj)가 임무 협업의 참여를 결정할 수 있는데(단계 308), 참여를 결정하면 운용자 협업기에서는 로봇 상황 정보(예컨대, 협업 참여를 결정한 운용자(Uj)의 위치 정보, 로봇 위치 정보, 임무 수행 상태 정보, 임무 장비 상태 정보 등)를 포함하는 참여 정보를 생성하여 정보 송수신기로 전달하며, 그 결과 정보 송수신기에서는 네트워크를 통해 참여 정보를 로봇 임무 장치(SMUi)로 무선 전송(송출)한다(단계 310).
이에 응답하여, 로봇 임무 장치(SMUi) 내 정보 송/수신기(208)에서는 수신된 운용자(Uj)의 참여 정보(운용자(Uj)의 로봇 상황 정보를 포함하는 참여 정보)를 운용자 협업기(206)로 전달하며(단계 312), 운용자 협업기(206)가 이를 임무 생성기(204)로 전달함으로써 임무 생성용의 GUI 창을 통해 운용자(Uj)의 로봇 상황 정보가 전시(디스플레이)된다.
따라서, 운용자(Ui)는 운용자(Uj)의 전시된 로봇 상황 정보를 참조하여 운용자(Uj)에게 분할 임무를 할당할 수 있는데, 운용자(Ui)가 GUI 창을 통해 분할 임무의 할당 작업을 진행하면(단계 315), 임무 생성기(204)에서는 운용자(Uj)에게 할당된 분할 임무를 생성하여 임무 수행기(210)로 전달한다(단계 306).
이어서, 임무 수행기(210)에서는 전달받은 분할 임무를 네트워크 인터페이스(212)를 통해 협업 참여 로봇 임무 장치, 즉 로봇 임무 장치(SMUj)로 전송한다(단계 317).
이에 응답하여, 로봇 임무 장치(SMUj) 측의 임무 수행기에서는 운용자(Uj)에게 임무 할당을 통보, 즉 임무 수행기의 GUI 창을 통해 할당된 분할 임무를 전시한다(단계 318). 따라서, 운용자(Uj)는 자신에게 할당된 분할 임무를 수행하게 되며(단계 319), 이와 같이 수행되는 분할 임무의 임무 수행 및 상태는 임무 수행기를 통해 로봇 임무 장치(SMUi) 측으로 전송된다.
그 결과, 로봇 임무 장치(SMUi) 측의 네트워크 인터페이스(212)를 통해 수신되는 임무 수행 및 상태 정보가 임무 수행기(210)로 전달되며(단계 320), 임무 수행기(210)가 GUI 창을 통해 수신된 임무 수행 및 상태 정보를 전시(디스플레이)함으로써(단계 321), 운용자(Ui)는 로봇 임무 장치(SMUj)를 통해 분할 실행되는 협업 임무의 수행 상태 등을 모니터링할 수 있다.
즉, 본 발명은 상술한 바와 같이, 로봇 임무 장치(SMUi)와 로봇 임무 장치(SMUj)간의 직접적인 통신을 통해 원하는 임무를 분할하여 수행할 수 있으며, 이를 통해 수행되는 분할 임무를 운용자 상호간에 모니터링할 수 있다.
또한, 도 3에서의 도시는 생략하였으나, 본 발명은 로봇 임무 장치(SMUi)와 로봇 임무 장치(SMUj)가 임무 협업을 수행하는 중, 각각 구비된 운용자 협업기를 통해 상호간의 문자 서비스, 음성 서비스, 영상 통화 서비스 등을 제공할 수 있으며, 이를 통해 임무 협업의 최적화를 실현할 수도 있음은 물론이다.
도 4는 본 발명에 따라 다수의 운용자간 협업을 통해 다른 운용자가 운용중인 로봇의 로봇 상태 정보를 획득(정보 공유)하는 과정을 도시한 순서도이다.
도 4를 참조하면, 운용자(Ui)가 GUI 창을 통해 자신의 요청에 따라 현재 임무 협업 중인 로봇 임무 장치(SMUj)가 제어하는 로봇(Rj)의 정보 공유를 요청하면(단계 401), 운용자 협업기(206)에서는 그에 상응하는 정보 공유 요청 메시지를 생성하여 정보 송/수신기(208)로 전달하며(단계 402), 그 결과 정보 송/수신기(208)에서는 네트워크 인터페이스(212)를 통해 로봇 임무 장치(SMUj) 측으로 정보 공유 요청 메시지를 무선 전송(송출)한다(단계 403).
이에 응답하여, 로봇 임무 장치(SMUj) 측의 정보 송수신기에서는 수신된 정보 공유 요청 메시지를 운용자 협업기로 전달하며(단계 404), 해당 운용자 협업기에서는 운용자(Uj)가 이를 볼 수 있도록 GUI 창을 통해 이를 전시(디스플레이)한다(단계 405). 따라서, 운용자(Uj)는 정보 공유 요청 메시지의 확인을 통해 정보 공유를 승인할 것인지 혹은 거부할 것인지를 결정(즉, 정보 공유의 승인 여부를 결정)할 수 있다. 이때, 정보 공유 요청의 승인 여부는 운용자(Uj)가 현재 수행하고 있는 임무의 연속성, 임무 지역, 자신이 제어권한을 가진 로봇(Rj)이 가진 임무 장비 상황 등에 근거하여 판단할 수 있을 것이다.
여기에서, 운용자(Uj)가 정보 공유를 승인하면(단계 406), 운용자 협업기에서는 정보 공유 승인 메시지를 생성하여 정보 송수신기와 네트워크 인터페이스를 통해 로봇 임무 장치(SMUi) 측으로 무선 전송한다(단계 407, 408). 이때, 운용자 협업기에서는 로봇(Rj)에게 로봇 임무 장치(SMUi)로의 정보 전송 협조를 요청할 수 있다(단계 410).
이어서, 로봇 임무 장치(SMUi) 측의 정보 송/수신기(208)에서는 네트워크 인터페이스(212)를 통해 수신되는 정보 공유 승인 메시지를 운용자 협업기(206)로 전달하며(단계 409), 그 결과 운용자 협업기(206)에서는 공유 정보 전송 요청 메시지를 생성하여 영상/음성 송수신기(214)로 전달하고(단계 412), 이와 같이 전달된 공유 정보 전송 요청 메시지는 네트워크 인터페이스(212)를 통해 로봇(Rj)으로 무선 전송된다(단계 413).
따라서, 로봇(Rj)에서는 공유 정보 전송 요청 메시지에 의거하여 자신의 로봇 상태 정보를 로봇 임무 장치(SMUi) 측으로 무선 전송하는데(단계 404), 이러한 로봇 상태 정보는 자신을 제어하는 로봇 임무 장치(SMUj)의 운용자 협업기로도 같이 전송된다(단계 415).
여기에서, 로봇 임무 장치(SMUi)에게 제공되는 로봇(Rj)의 로봇 상태 정보는, 예컨대 타 로봇의 영상 정보, 소리 정보, 센서 정보 등을 포함할 수 있으며, 센서 정보는, 예컨대 로봇(Rj)의 좌표 정보, 장애물 정보, 위험 상황 정보 등을 포함할 수 있다.
이때, 로봇(Rj)은 자신을 제어하는 로봇 임무 장치(SMUj)의 운용자 협업기로부터 정보 전송 협조 요청 메시지가 수신되고, 또한 로봇 임무 장치(SMUi)로부터 공유 정보 전송 요청 메시지가 수신된 경우일 때, 자신의 로봇 상태 정보를 로봇 임무 장치(SMUi)로 전송하게 되는데, 이것은 자신의 로봇 상태 정보가 부당하게 배포되는 것을 방지하기 위해서이다.
다음에, 로봇 임무 장치(SMUi)의 영상/음성 송수신기(214)에서는 네트워크 인터페이스(212)를 통해 수신되는 협업 참여 로봇 임무 장치, 즉 로봇 임무 장치(SMUj)의 로봇 상태 정보를 영상 전시기(216) 및 스피커(218)를 통해 전시(디스플레이 및 출력)하며(단계 416), 그 결과 운용자(Ui)는 전시되는 정보들을 통해 로봇 임무 장치(SMUj)의 현재 임무 수행 상태, 현장 상황 등을 실시간으로 모니터링할 수 있다(단계 417).
한편, 로봇 임무 장치(SMUi)와 로봇 임무 장치(SMUj)간의 정보 공유는 운용자(Ui) 또는 운용자(Uj)에 의해 중단될 수 있는데, 운용자(Ui)가 정보 공유의 중지를 선택하면(단계 418), 운용자 협업기(206)에서는 그에 상응하는 전송 중지 요청 메시지를 생성하여 영상/음성 송수신기(214)로 전달하고(단계 419), 이와 같이 전달된 전송 중치 요청 메시지는 네트워크 인터페이스(212)를 통해 로봇(Rj)으로 무선 전송된다(단계 420).
그 결과, 로봇(Rj)이 전송 중단 확인 메시지를 생성하여 로봇 임무 장치(SMUi) 측으로 전송하면(단계 421), 영상/음성 송수신기(214)가 이를 수신하여 영상 전시기(216) 및 운용자 협업기(206)로 전달함으로써(단계 422, 423), 영상 전시기(216)에서의 전시가 중단되고, 운용자(Ui)는 로봇(Rj)에 대한 정보 공유가 중단되었음을 인지하게 된다.
다른 한편, 운용자(Uj)가 정보 공유의 중지를 선택하면, 운용자 협업기에서는 그에 상응하는 전송 중지 메시지를 생성하여 로봇(Rj)으로 전달하며(단계 424), 그 결과 상술한 단계들(421, 522, 423)에서와 동일한 처리를 진행함으로써, 로봇(Rj)에 대한 로봇 임무 장치(SMUi)의 정보 공유가 중단된다.
즉, 본 발명은 상술한 바와 같이, 운용자(Ui)가 운용자(Uj)의 승인을 받아 로봇(Rj)의 로봇 상태 정보를 공유할 수 있으며, 이를 통해 운용자(Ui)는 로봇(Rj)의 현재 임무 수행 상태, 현장 상황 등을 실시간으로 모니터링할 수 있다.
도 5는 본 발명에 따라 다수의 운용자간 협업을 통해 다른 운용자가 제어 중인 로봇을 제어하기 위한 과정을 도시한 순서도이다.
도 5를 참조하면, 운용자(Ui)가 GUI 창을 통해 자신의 요청에 따라 현재 임무 협업 중인 로봇 임무 장치(SMUj)가 제어하는 로봇(Rj)의 제어를 요청하면(단계 501), 운용자 협업기(206)에서는 그에 상응하는 로봇 제어 요청 메시지를 생성하여 정보 송/수신기(208)로 전달하며(단계 502), 그 결과 정보 송/수신기(208)에서는 네트워크 인터페이스(212)를 통해 로봇 임무 장치(SMUj) 측으로 로봇 제어 요청 메시지를 무선 전송(송출)한다(단계 503).
이에 응답하여, 로봇 임무 장치(SMUj) 측의 정보 송수신기에서는 수신된 로봇 제어 요청 메시지를 운용자 협업기로 전달하며(단계 504), 해당 운용자 협업기에서는 운용자(Uj)가 이를 볼 수 있도록 GUI 창을 통해 이를 전시(디스플레이)한다(단계 505). 따라서, 운용자(Uj)는 로봇 제어 요청 메시지의 확인을 통해 자신이 관리하는 로봇(Rj)에 대한 로봇 제어를 승인할 것인지 혹은 거부할 것인지를 결정(즉, 로봇 제어의 승인 여부를 결정)할 수 있다.
여기에서, 운용자(Uj)가 로봇 제어를 승인하면(단계 506), 운용자 협업기에서는 로봇 제어 승인 메시지를 생성하여 정보 송수신기와 네트워크 인터페이스를 통해 로봇 임무 장치(SMUi) 측으로 무선 전송한다(단계 507, 508). 이때, 운용자 협업기에서는 로봇(Rj)에게 로봇 임무 장치(SMUi)에 의한 원격 제어의 준비를 요청할 수 있다(단계 510).
이어서, 로봇 임무 장치(SMUi) 측의 정보 송/수신기(208)에서는 네트워크 인터페이스(212)를 통해 수신되는 로봇 제어 승인 메시지를 운용자 협업기(206)로 전달하며(단계 509), 그 결과 운용자 협업기(206)에서는 GUI 창을 통해 이를 전시함으로써, 운용자(Ui)는 자신이 로봇(Rj)을 원격 제어할 수 있음을 인지하게 된다.
다음에, 운용자(Ui)가 원격 조작 장치를 조작하면(단계 511), 조작 명령 생성기(202)에서는 조작에 상응하는 제어 명령을 발생하여 네트워크 인터페이스(212)를 통해 로봇(Rj) 측으로 무선 전송한다(단계 512).
따라서, 로봇(Rj)은 로봇 임무 장치(SMUi)로부터 전달되는 제어 명령에 따라 임무를 수행하게 될 것이며, 이와 같이 수행되는 임무들은 제어 상태 정보로서 구성되어 로봇 임무 장치(SMUi) 측의 운용자 협업기(206)와 로봇 임무 장치(SMUj) 측의 운용자 협업기에 동시에 또는 각각 전송된다(단계 513, 515).
그 결과, 각각의 영상 전시기와 스피커 등을 통해 제어 상태 정보가 각각 전시됨으로써(단계 514), 두 운용자(Ui, Uj) 모두는 로봇(Rj)이 현재 수행하는 있는 임무 상황, 주변 상황 등을 동시에 모니터링할 수 있게 된다.
여기에서, 운용자(Ui)가 전체 임무를 계획하고 관리하는 주체라는 점을 고려할 때, 운용자(Ui)가 전체 임무의 수행 상황을 명확하게 이해하고 임무 수행을 조정하는 것이 필요하기 때문에 운용자(Uj)의 승인 하에 타 운용자가 제어하는 로봇(Rj)에 대한 제어권을 가질 수 있도록 하는 것이며, 운용자(Ui)는 이를 통해 자신이 계획한 전체 임무를 합리적으로 수행할 수 있을 것이다.
한편, 로봇 임무 장치(SMUi)에 의한 로봇(Rj)의 원격 제어는 운용자(Ui) 또는 운용자(Uj)에 의해 중지될 수 있는데, 운용자(Ui)가 제어 중지를 선택하면(단계 516), 조작 명령 생성기(202)에서는 그에 상응하는 제어 중지 요청 메시지를 생성하여 네트워크 인터페이스(212)를 통해 로봇(Rj)으로 무선 전송한다(단계 517).
그 결과, 로봇(Rj)이 제어 중지 확인 메시지를 생성하여 로봇 임무 장치(SMUi) 측으로 전송하면(단계 518), 운용자 협업기(206)가 이를 수신하여 전시함으로써, 운용자(Ui)는 로봇(Rj)에 대한 원격 제어가 중지되었음을 인지하게 된다(단계 519).
다른 한편, 운용자(Uj)가 제어 중지를 선택하면, 운용자 협업기에서는 그에 상응하는 제어 중지 메시지를 생성하여 로봇(Rj)으로 전달하며(단계 520), 그 결과 로봇(Rj)이 그에 상응하는 제어 중지 확인 메시지를 생성하여 로봇 임무 장치(SMUj) 측의 운용자 협업기로 전송하면(단계 522), 운용자 협업기가 이를 수신하여 전시함으로써, 운용자(Uj)는 운용자(Ui)에 의한 로봇(Rj)의 원격 제어가 중지되었음을 인지하게 될 것이다.
즉, 본 발명은 상술한 바와 같이, 운용자(Ui)가 운용자(Uj)의 승인을 받아 로봇(Rj)을 원격 제어할 수 있으며, 이를 통해 운용자(Ui)는 자신이 계획한 전체 임무를 합리적으로 수행할 수 있게 된다.
한편, 본 실시 예에서는 운용자(Ui)가 운용자(Uj)의 승인을 받아 로봇(Rj)을 원격 제어하는 것으로 하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 두 운용자(Ui, Uj)가 동시에 로봇(Rj)을 제어하거나 혹은 로봇(Rj)이 두 운용자(Ui, Uj)의 제어 명령을 믹스하여 임무를 수행하도록 설정할 수도 있음은 물론이다.
이상의 설명에서는 본 발명의 바람직한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
202 : 조작 명령 생성기 204 : 임무 생성기
206 : 운용자 협업기 208 : 정보 송/수신기
210 : 임무 수행기 212 : 네트워크 인터페이스
214 : 영상/음성 송수신기 216 : 영상 전시기
218 : 스피커

Claims (20)

  1. 운용자의 조작에 의거하여 주변의 로봇과 협업할 임무를 생성하는 과정과,
    상기 생성된 임무에 대한 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하여 주변의 로봇 임무 장치로 전송하는 과정과,
    적어도 하나의 주변의 협업 참여 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보를 수신하는 과정과,
    상기 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당하는 과정과,
    상기 할당된 분할 임무를 상기 협업 참여 로봇 임무 장치로 전송하는 과정을 포함하고,
    상기 운용자 모집 메시지를 전송하는 과정은,
    임무 개요, 임무 지역, 임무 시간, 임무 내용을 포함하는 상기 임무 개략 정보를 생성하는 과정과,
    상기 생성된 임무의 참여 여부를 문의하는 정보와, 상기 임무 개략 정보를 포함하는 상기 운용자 모집 메시지를 생성하는 과정과,
    상기 운용자 모집 메시지를 상기 주변의 로봇 임무 장치로 전송하는 과정을 포함하고,
    상기 참여 정보는,
    상기 임무 개략 정보에 기초하여 결정되는 정보로서, 적어도 하나의 주변의 협업 참여 로봇 임무 장치의 참여 여부를 지시하는 정보를 포함하는 것을 특징으로 하는 소형 로봇의 다중 운용 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 운용 방법은,
    상기 협업 참여 운용자의 분할 임무가 할당될 때, 상기 할당된 분할 임무를 임무 생성용의 GUI 창을 통해 전시하는 과정
    을 더 포함하는 소형 로봇의 다중 운용 방법.
  5. 제 1 항에 있어서,
    상기 로봇 상황 정보는,
    상기 협업 참여 운용자의 위치 정보, 로봇 위치 정보, 임무 수행 상태 정보, 임무 장비 상태 정보를 포함하는
    소형 로봇의 다중 운용 방법.
  6. 제 1 항에 있어서,
    상기 운용 방법은,
    상기 협업 참여 로봇 임무 장치로부터 임무 수행 및 상태 정보를 수신하여 전시하는 과정
    을 더 포함하는 소형 로봇의 다중 운용 방법.
  7. 제 1 항에 있어서,
    상기 운용 방법은,
    상기 협업 참여 로봇 임무 장치로 정보 공유를 요청하는 과정과,
    상기 협업 참여 로봇 임무 장치로부터 상기 정보 공유가 승인될 때 상기 협업 참여 로봇 임무 장치가 제어하는 해당 로봇으로 로봇 상태 정보의 전송을 요청하는 과정과,
    상기 해당 로봇으로부터 수신되는 로봇 상태 정보를 전시하는 과정
    을 더 포함하는 소형 로봇의 다중 운용 방법.
  8. 제 7 항에 있어서,
    상기 해당 로봇은,
    상기 협업 참여 로봇 임무 장치로부터 전송 협조 요청이 수신될 때 상기 로봇 상태 정보를 전송하는
    소형 로봇의 다중 운용 방법.
  9. 제 8 항에 있어서,
    상기 로봇 상태 정보는,
    상기 해당 로봇의 영상 정보, 소리 정보, 센서 정보를 포함하는
    소형 로봇의 다중 운용 방법.
  10. 제 9 항에 있어서,
    상기 센서 정보는,
    상기 해당 로봇의 좌표 정보, 장애물 정보, 위험 상황 정보를 포함하는
    소형 로봇의 다중 운용 방법.
  11. 제 1 항에 있어서,
    상기 운용 방법은,
    상기 협업 참여 로봇 임무 장치로 로봇 제어를 요청하는 과정과,
    상기 협업 참여 로봇 임무 장치로부터 상기 로봇 제어가 승인될 때 상기 협업 참여 로봇 임무 장치가 제어하는 해당 로봇으로 제어 명령을 전송하는 과정과,
    상기 해당 로봇으로부터 수신되는 제어 상태 정보를 전시하는 과정
    을 더 포함하는 소형 로봇의 다중 운용 방법.
  12. 제 11 항에 있어서,
    상기 제어 상태 정보는,
    상기 협업 참여 로봇 임무 장치로 동시 전송되는
    소형 로봇의 다중 운용 방법.
  13. 운용자의 조작에 따라 자신 제어의 로봇 또는 다른 운용자 제어의 다른 로봇의 원격 조작 명령을 발생하여 네트워크 인터페이스를 통해 상기 로봇 또는 타 로봇으로 전송하는 조작 명령 생성기와,
    상기 운용자의 조작에 의거하여 주변의 로봇과 협업할 임무를 생성하고, 생성된 임무에 대한 임무 개요, 임무 지역, 임무 시간, 임무 내용을 포함하는 임무 개략 정보를 생성하며, 적어도 하나의 주변의 협업 참여 로봇 임무 장치로부터 로봇 상황 정보를 포함하는 참여 정보를 수신함에 따라 상기 로봇 상황 정보에 의거하여 협업 참여 운용자에게 분할 임무를 할당하는 임무 생성기와,
    상기 생성된 임무 개략 정보를 포함하는 운용자 모집 메시지를 생성하는 운용자 협업기와,
    상기 생성된 운용자 모집 메시지를 상기 네트워크 인터페이스를 통해 주변의 로봇 임무 장치로 전송하고, 상기 협업 참여 로봇 임무 장치로부터 수신되는 상기 참여 정보를 상기 임무 생성기로 전달하는 정보 송/수신기와,
    상기 임무 생성기를 통해 분할된 임무를 상기 협업 참여 로봇 임무 장치로 전송하거나 자신에게 할당된 임무를 수신하여 수행하는 임무 수행기와,
    상기 정보 송/수신기를 통해 수신되는 상기 협업 참여 운용자의 로봇 상태 정보를 영상 전시기 및 스피커를 통해 전시하는 영상/음성 송수신기를 포함하고,
    상기 운용자 협업기는,
    상기 생성된 임무의 참여 여부를 문의하는 정보와, 상기 임무 개략 정보를 포함하는 상기 운용자 모집 메시지를 생성하고,
    상기 임무 생성기는,
    상기 임무 개략 정보에 기초하여 결정되는 정보로서, 적어도 하나의 주변의 협업 참여 로봇 임무 장치의 참여 여부를 지시하는 상기 참여 정보를 확인하고, 상기 참여 정보에 기초하여 분할 임무를 할당하는 것을 특징으로 하는 소형 로봇의 다중 운용 시스템.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 임무 생성기는,
    상기 협업 참여 운용자의 분할 임무가 할당될 때, 상기 할당된 분할 임무를 임무 생성용의 GUI 창을 통해 전시하는
    소형 로봇의 다중 운용 시스템.
  16. 제 13 항에 있어서,
    상기 로봇 상황 정보는,
    상기 협업 참여 운용자의 위치 정보, 로봇 위치 정보, 임무 수행 상태 정보, 임무 장비 상태 정보를 포함하는
    소형 로봇의 다중 운용 시스템.
  17. 제 13 항에 있어서,
    상기 영상/음성 송수신기는,
    상기 운용자 협업기의 요청에 따라 상기 협업 참여 로봇 임무 장치가 제어하는 해당 로봇으로부터 수신되는 상기 로봇 상태 정보를 상기 영상 전시기 및 스피커를 통해 전시하는
    소형 로봇의 다중 운용 시스템.
  18. 제 17 항에 있어서,
    상기 로봇 상태 정보는,
    상기 해당 로봇의 영상 정보, 소리 정보, 센서 정보를 포함하는
    소형 로봇의 다중 운용 시스템.
  19. 제 18 항에 있어서,
    상기 센서 정보는,
    상기 해당 로봇의 좌표 정보, 장애물 정보, 위험 상황 정보를 포함하는
    소형 로봇의 다중 운용 시스템.
  20. 제 13 항에 있어서,
    상기 조작 명령 생성기는,
    상기 운용자 협업기의 요청에 따라 상기 협업 참여 로봇 임무 장치로부터 로봇 제어가 승인될 때 상기 협업 참여 로봇 임무 장치가 제어하는 해당 로봇으로 제어 명령을 전송하고,
    상기 영상/음성 송수신기는,
    상기 해당 로봇으로부터 수신되는 제어 상태 정보를 상기 영상 전시기를 통해 전시하는
    소형 로봇의 다중 운용 시스템.
KR1020110117968A 2011-11-14 2011-11-14 소형 로봇의 다중 운용 방법 및 그 운용 시스템 KR101871430B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110117968A KR101871430B1 (ko) 2011-11-14 2011-11-14 소형 로봇의 다중 운용 방법 및 그 운용 시스템
US13/596,149 US20130123980A1 (en) 2011-11-14 2012-08-28 Method and system for controlling multiple small robots

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117968A KR101871430B1 (ko) 2011-11-14 2011-11-14 소형 로봇의 다중 운용 방법 및 그 운용 시스템

Publications (2)

Publication Number Publication Date
KR20130052768A KR20130052768A (ko) 2013-05-23
KR101871430B1 true KR101871430B1 (ko) 2018-06-26

Family

ID=48281387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117968A KR101871430B1 (ko) 2011-11-14 2011-11-14 소형 로봇의 다중 운용 방법 및 그 운용 시스템

Country Status (2)

Country Link
US (1) US20130123980A1 (ko)
KR (1) KR101871430B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203015B1 (ko) * 2020-07-20 2021-01-14 국방과학연구소 복수의 로봇들을 위한 운용 디바이스 및 그의 동작 방법
WO2023101368A1 (ko) * 2021-11-30 2023-06-08 서울시립대학교 산학협력단 로봇에 작업을 할당하는 다중 로봇 작업의 처리 방법 및 장치

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027178A1 (en) * 2009-09-07 2011-03-10 Bae Systems Plc Path determination
US10168674B1 (en) * 2013-04-22 2019-01-01 National Technology & Engineering Solutions Of Sandia, Llc System and method for operator control of heterogeneous unmanned system teams
US11334069B1 (en) 2013-04-22 2022-05-17 National Technology & Engineering Solutions Of Sandia, Llc Systems, methods and computer program products for collaborative agent control
JP5945732B2 (ja) * 2013-07-03 2016-07-05 パナソニックIpマネジメント株式会社 電子部品実装システムにおける伝言伝達装置
US10514837B1 (en) 2014-01-17 2019-12-24 Knightscope, Inc. Systems and methods for security data analysis and display
US10279488B2 (en) 2014-01-17 2019-05-07 Knightscope, Inc. Autonomous data machines and systems
US9792434B1 (en) 2014-01-17 2017-10-17 Knightscope, Inc. Systems and methods for security data analysis and display
US9329597B2 (en) * 2014-01-17 2016-05-03 Knightscope, Inc. Autonomous data machines and systems
CN103971578B (zh) * 2014-03-18 2016-03-30 浙江工业大学 巡逻机器人教学装置及其控制方法
WO2016030576A1 (en) * 2014-08-27 2016-03-03 Ponsse Oyj Method, arrangement and user interface for presenting data describing forest work unit operation
US10022867B2 (en) 2014-11-11 2018-07-17 X Development Llc Dynamically maintaining a map of a fleet of robotic devices in an environment to facilitate robotic action
KR101703064B1 (ko) * 2014-12-30 2017-02-06 국방과학연구소 원격 로봇 협조 제어 장치 및 방법
US9310802B1 (en) 2015-02-05 2016-04-12 Jaybridge Robotics, Inc. Multi-operator, multi-robot control system with automatic vehicle selection
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US9802317B1 (en) 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
US20190381665A1 (en) * 2015-05-08 2019-12-19 C2 Systems Limited System, method, computer program and data signal for the registration, monitoring and control of machines and devices
JP6738555B2 (ja) * 2016-05-23 2020-08-12 富士ゼロックス株式会社 ロボット制御システム
KR101866048B1 (ko) * 2016-08-26 2018-06-08 국방과학연구소 다중 로봇의 임무할당을 위한 로봇의 과업 적합도 산정방법
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
CN107820607B (zh) * 2017-08-23 2021-05-07 达闼机器人有限公司 监控机器人的方法、装置、服务器及终端设备
KR20190023835A (ko) * 2017-08-30 2019-03-08 엘지전자 주식회사 다중 로봇이 공간을 분할-작업하는 방법 및 이를 구현하는 로봇
FR3078178B1 (fr) 2018-02-20 2020-02-28 Universite De Reims Champagne-Ardenne Procede d’interconnexion entre robots
EP3780644A4 (en) * 2018-03-28 2021-03-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS, AND INFORMATION PROCESSING PROGRAM
JP7267306B2 (ja) * 2018-05-18 2023-05-01 コリンダス、インコーポレイテッド ロボット介入処置のための遠隔通信及び制御システム
KR102150342B1 (ko) * 2018-08-08 2020-09-01 한국로봇융합연구원 핫스팟 영역의 집중 대응이 가능한 재난 대응 로봇 및 관제 장치
JP7159797B2 (ja) * 2018-11-09 2022-10-25 コベルコ建機株式会社 作業選択システム及び作業選択方法
KR20220008947A (ko) * 2019-06-10 2022-01-24 엘지전자 주식회사 지능형 로봇 디바이스를 관제하는 방법
CN110879556A (zh) * 2019-12-13 2020-03-13 华南智能机器人创新研究院 一种多机器人局域网内的多机器人协同控制方法及装置
CN111037575B (zh) * 2020-03-13 2020-06-26 广东博智林机器人有限公司 机器人指令传输、处理方法、装置、电子设备及存储介质
US11882129B2 (en) * 2020-07-15 2024-01-23 Fenix Group, Inc. Self-contained robotic units for providing mobile network services and intelligent perimeter
CN112894811B (zh) * 2021-01-20 2022-09-20 西北工业大学 基于群智能mas的分布式多机器人的智能控制方法及装置
CN113635302B (zh) * 2021-07-29 2022-11-15 深圳墨影科技有限公司 基于现场总线的一体化移动协作机器人控制系统
CN114932553B (zh) * 2022-06-06 2024-04-02 乐聚(深圳)机器人技术有限公司 机器人组队方法、机器人及存储介质
WO2024080592A1 (ko) * 2022-10-12 2024-04-18 삼성전자주식회사 맵을 공유하는 로봇 및 그의 맵 공유 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004749A1 (en) * 2006-06-30 2008-01-03 Honeywell International, Inc. System and method for generating instructions for a robot

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844364B2 (en) * 2002-04-16 2010-11-30 Irobot Corporation Systems and methods for dispersing and clustering a plurality of robotic devices
US8810378B1 (en) * 2006-04-18 2014-08-19 Innovation First, Inc. Enhanced remote controls for robots
US8073564B2 (en) * 2006-07-05 2011-12-06 Battelle Energy Alliance, Llc Multi-robot control interface
US20080052621A1 (en) * 2006-08-22 2008-02-28 University Of Florida Research Foundation, Inc. System and methods for providing integrated situational awareness
US8195343B2 (en) * 2007-05-19 2012-06-05 Ching-Fang Lin 4D GIS virtual reality for controlling, monitoring and prediction of manned/unmanned system
US9026272B2 (en) * 2007-12-14 2015-05-05 The Boeing Company Methods for autonomous tracking and surveillance
US8214098B2 (en) * 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
US9366503B2 (en) * 2008-04-07 2016-06-14 Foster-Miller, Inc. Gunshot detection stabilized turret robot
US8543255B2 (en) * 2008-06-27 2013-09-24 Raytheon Company Apparatus and method for controlling an unmanned vehicle
KR101015313B1 (ko) * 2008-09-03 2011-02-15 재단법인대구경북과학기술원 다중 로봇 협업 방법 및 시스템
US8629834B2 (en) * 2009-04-24 2014-01-14 Anthrotronix, Inc. Haptic automated communication system
US9046892B2 (en) * 2009-06-05 2015-06-02 The Boeing Company Supervision and control of heterogeneous autonomous operations
KR20110024086A (ko) * 2009-09-01 2011-03-09 한국전자통신연구원 다중 운영자 다중 로봇환경에서 이동 로봇의 운용권 이양/획득 방법 및 그 시스템
KR101277452B1 (ko) 2009-12-09 2013-07-05 한국전자통신연구원 군집 지능 기반의 이동 로봇과 이를 제어하는 방법 및 감시 경계 로봇 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004749A1 (en) * 2006-06-30 2008-01-03 Honeywell International, Inc. System and method for generating instructions for a robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203015B1 (ko) * 2020-07-20 2021-01-14 국방과학연구소 복수의 로봇들을 위한 운용 디바이스 및 그의 동작 방법
WO2023101368A1 (ko) * 2021-11-30 2023-06-08 서울시립대학교 산학협력단 로봇에 작업을 할당하는 다중 로봇 작업의 처리 방법 및 장치

Also Published As

Publication number Publication date
US20130123980A1 (en) 2013-05-16
KR20130052768A (ko) 2013-05-23

Similar Documents

Publication Publication Date Title
KR101871430B1 (ko) 소형 로봇의 다중 운용 방법 및 그 운용 시스템
US20240103517A1 (en) Mobile body, information processor, mobile body system, information processing method, and information processing program
JP3364237B2 (ja) 分散作業ロボットシステム
CN206481394U (zh) 广角视野视频会议促进系统
US9466219B1 (en) Unmanned vehicle mission planning, coordination and collaboration
JP6674177B2 (ja) 遠隔操縦用画像取得装置と方法および遠隔操縦装置
JP2005117621A (ja) 画像配信システム
JP2017055400A5 (ko)
CN111798133A (zh) 机器人调度方法、装置、设备、系统和存储介质
JP6520273B2 (ja) クレーン作業支援システム
CN106488110A (zh) 工程作业车辆远程操控系统及方法
JP2016133945A (ja) サーバ装置及び走行経路決定方法
Kawamura et al. An agent-based architecture for an adaptive human-robot interface
KR102152979B1 (ko) 다중 로봇 기반의 재난 현장 탐색 시스템 및 방법
JP7468423B2 (ja) 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
JP5217845B2 (ja) ロボット操作装置及びロボット操作システム
US20230324906A1 (en) Systems and methods for remote viewing of self-driving vehicles
CN112672272A (zh) 无人飞行体、控制器和管理装置
JP4978027B2 (ja) ロボット遠隔操縦システム
JP2019195169A (ja) 飛行体の制御に関する情報表示方法
KR20170105927A (ko) 무인비행체를 이용하는 작업장 모니터링 시스템
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
KR20120008840A (ko) 굴삭기 원격 제어를 위한 이동형 스테이션
CN112192564B (zh) 一种机器人的远端控制方法、装置、设备和存储介质
JP4985629B2 (ja) 出動車両を考慮した入電通知指令

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant