KR20190115767A - 무인 이동체 운영 장치 및 방법 - Google Patents

무인 이동체 운영 장치 및 방법

Info

Publication number
KR20190115767A
KR20190115767A KR1020180038862A KR20180038862A KR20190115767A KR 20190115767 A KR20190115767 A KR 20190115767A KR 1020180038862 A KR1020180038862 A KR 1020180038862A KR 20180038862 A KR20180038862 A KR 20180038862A KR 20190115767 A KR20190115767 A KR 20190115767A
Authority
KR
South Korea
Prior art keywords
control
unmanned
moving object
control device
unmanned moving
Prior art date
Application number
KR1020180038862A
Other languages
English (en)
Inventor
장동만
김성현
박영수
신원재
이용태
이원재
이현우
정의석
조경섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180038862A priority Critical patent/KR20190115767A/ko
Publication of KR20190115767A publication Critical patent/KR20190115767A/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • B64C2201/127—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

무인 이동체 운영 방법 및 이를 위한 무인 이동체 운영 시스템이 개시된다. 본 개시의 일 실시 예에 따른 무인 이동체 운영 시스템은 이동 위치정보에 대응되는 위치로의 이동을 수행하고, 카메라 장치를 통해 촬영되는 촬영영상을 실시간으로 제공하는 무인 이동체와, 상기 무인 이동체와 무선 통신망을 통해 연결되며, 상기 무인 이동체를 제어하는 제어신호를 제공하고, 상기 무인 이동체로부터 실시간으로 제공되는 상기 촬영영상의 출력 및 전송을 관리하는 무인 이동체 제어장치와, 디스플레이를 통해 상기 촬영영상을 출력하고, 상기 무인 이동체의 제어를 위한 보조 제어 신호를 생성하는 보조 제어 장치와, 상기 무인 이동체 제어장치 및 보조 제어 장치와 유/무선통신을 통해 연결되며, 상기 무인 이동체 제어장치로부터 수신된 촬영영상을 상기 보조 제어 장치로 실시간 전송하고, 상기 보조 제어 장치로부터 제공되는 상기 보조 제어 신호를 상기 무인 이동체 제어장치로 전달하는 촬영영상 분배장치를 포함할 수 있다.

Description

무인 이동체 운영 장치 및 방법{APPARATUS FOR MANAGING UNMANNED MOVING VEHIVLE AND METHOD FOR THE SAME}
본 개시는 무인 이동체에 관한 것이며, 보다 구체적으로는 무선 신호를 사용하여 무인 이동체를 제어 및 운영하는 방법 및 장치에 대한 것이다.
최근 산업기술의 발전과 정보통신 기술의 급속한 발전으로 드론(drone)과 같은 무인 비행체(UAV; Unmanned Aerial Vehicle)의 기술적인 발전이 가속화됨에 따라 그 활용분야가 광범위해 지고 있다.
예를 들어, 무인 비행체에 물건을 탑재할 수 있는 장비를 장착하여 교통이 복구되지 않은 재난지역에 의료품이나 긴급구호물품을 제공하거나, 택배서비스와 같이 사용자가 주문한 물건을 신속하게 배송하는 운송서비스에 대한 시도가 이루어지고 있다. 더 나아가, 무인 비행체에 카메라를 장착하여 스포츠 경기와 같은 중계방송, 해수욕장이나 건설현장에서의 안전사고에 대한 모니터링, 농경지에 대한 농약살포 또는 사람이 접근하기 어려운 장소에서 사람을 대신해 위험한 작업을 수행하는 것과 같이 다양한 분야에서 무인 비행체를 활용하고 있다.
무인 비행체가 다양하게 활용됨에 따라, 무인으로 운영할 수 있는 다양한 이동체, 예컨대, UGV(Unmanned Ground Vehicle), UMV(Unmanned Maritime Vehicle) 등과 같은 무인 이동체에 대한 연구도 함께 진행되고 있다. 특히, 사람이 접근하기 힘들고 위험한 환경에서 무인 이동체를 활용하기 위한 다양한 연구가 진행되고 있다.
무인 이동체는 제어기를 사용하여 이동 또는 동작이 제어될 수 있는데, 무인 이동체와 제어기는 점대점으로 직접 연결되도록 운영되는 것이 일반적이다.
이와 같이 점대점으로 연결되어 무인 이동체를 제어함으로써, 무인 이동체의 이동 또는 동작의 안정적인 제어가 가능하지만, 제어기를 운용하는 사용자가 1인으로 한정됨에 따라, 다양하게 발생될 수 있는 상황에 유연하게 대처할 수 없는 문제가 발생될 수 있다.
본 개시의 기술적 과제는 다수의 사용자가 무인 이동체의 상황을 확인할 수 있으며, 다수의 사용자에 의해 무인 이동체가 제어될 수 있는 환경을 제공할 수 있는 무인 이동체 운영 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면 무인 이동체 운영 시스템이 제공될 수 있다. 상기 시스템은 이동 위치정보에 대응되는 위치로의 이동을 수행하고, 카메라 장치를 통해 촬영되는 촬영영상을 실시간으로 제공하는 무인 이동체와, 상기 무인 이동체와 무선 통신망을 통해 연결되며, 상기 무인 이동체를 제어하는 제어신호를 제공하고, 상기 무인 이동체로부터 실시간으로 제공되는 상기 촬영영상의 출력 및 전송을 관리하는 무인 이동체 제어장치와, 디스플레이를 통해 상기 촬영영상을 출력하고, 상기 무인 이동체의 제어를 위한 보조 제어 신호를 생성하는 보조 제어 장치와, 상기 무인 이동체 제어장치 및 보조 제어 장치와 유/무선통신을 통해 연결되며, 상기 무인 이동체 제어장치로부터 수신된 촬영영상을 상기 보조 제어 장치로 실시간 전송하고, 상기 보조 제어 장치로부터 제공되는 상기 보조 제어 신호를 상기 무인 이동체 제어장치로 전달하는 촬영영상 분배장치를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 다수의 사용자가 무인 이동체의 상황을 실시간으로 확인할 수 있는 환경을 제공하는 무인 이동체 운영 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 다수의 사용자가 무인 이동체의 상황을 확인하면서 무인 이동체를 제어할 수 있는 환경을 지원하는 무인 이동체 운영 장치 및 방법이 제공될 수 있다.
또한, 본 발명에 따르면, 다수의 사용자가 무인 이동체의 촬영영상을 확인할 수 있으며, 무인 이동체가 위치한 상황에 맞춰 최적의 촬영영상을 획득하거나, 최상의 제어를 수행할 수 있는 사용자가 무인 이동체를 제어할 수 있는 환경을 지원하는 무인 이동체 운영 장치 및 방법이 제공될 수 있다.
또한, 본 발명에 따르면, 무인 이동체의 제어기를 운용하는 특정 사용자가 무인 이동체를 제어하지 못하는 상황에서, 다른 사용자가 무인 이동체를 제어할 수 있는 환경을 지원하는 무인 이동체 운영 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템의 일 예시도이다.
도 2는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 연결 및 촬영영상 전송 동작을 도시하는 신호 흐름도이다.
도 3a는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 부여 및 제어정보 전송 동작을 도시하는 일 예시도이다.
도 3b는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 부여 및 제어정보 전송 동작을 도시하는 다른 예시도이다.
도 4a는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 회수 동작을 도시하는 일 예시도이다.
도 4b는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 회수 동작을 도시하는 다른 예시도이다.
도 5는 본 개시의 일 실시예에 따른 무인 이동체 운영 방법 및 이를 수행하는 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템의 일 예시도이다.
도 1을 참조하면, 무인 이동체 운영 시스템(10)은 무인 이동체(11), 무인 이동체 제어장치(13), 촬영영상 분배장치(15), 및 적어도 하나의 보조 제어 장치(17)를 포함할 수 있다.
무인 이동체(11)는 무인 이동체 제어장치(13)로부터 제어정보를 수신할 수 있는데, 제어정보는 무인 이동체(11)가 이동될 위치를 지시하는 이동 위치정보와, 무인 이동체(11)의 현재 위치로부터 무인 이동체(11)가 이동될 위치까지의 경로를 지시하는 이동 경로정보를 포함할 수 있다. 여기서, 이동 경로정보는 적어도 하나의 경로지점(Way Point) 정보를 포함할 수 있는데, 경로지점 정보는 경도와 위도 등을 포함하는 좌표정보와, 고도정보 등을 포함할 수 있다.
무인 이동체(11)는 자신의 위치를 확인할 수 있는 위치확인 장치(예, GPS 모듈 등)를 구비할 수 있으며, 위치확인 장치를 통해 자신의 현재 위치를 확인하면서 적어도 하나의 경로지점으로 이동하도록 제어하는 이동 제어신호를 생성할 수 있다.
제어정보가 이동 위치정보와, 이동 경로정보를 포함하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 다른 예로서, 제어정보는 무인 이동체(11)의 이동 속도를 제어하는 속도 제어정보, 무인 이동체(11)의 이동 방향을 제어하는 이동방향 제어정보 등을 포함할 수 있으며, 무인 이동체(11)는 속도 제어정보, 이동방향 제어정보 등에 기초하여 동체의 이동을 제어할 수 있다.
또한, 무인 이동체(11)는 적어도 하나의 회전모터, 상기 적어도 하나의 회전 모터에 각각 결합되는 적어도 하나의 로터(또는 휠), 및 무인 이동체(11)의 움직임을 검출하는 움직임 센서를 포함할 수 있다. 이에 기초하여, 이동 제어신호는 적어도 하나의 회전모터를 구동을 통해 무인 이동체(11)의 위치를 경로지점으로 이동하도록 하는 신호를 포함할 수 있다. 나아가, 이동 제어신호는 움직임 센서를 통해 검출되는 움직임 정보를 적용하여, 무인 이동체(11)의 자세를 안정적으로 유지하면서 경로지점으로 이동하도록 하는 신호를 포함할 수 있다.
특히, 본 개시의 일 실시예에 따른 무인 이동체(11)는 적어도 하나의 카메라를 구비할 수 있으며, 촬영 시작 지시 신호, 촬영 종료 지시 신호 등과 같은 카메라 제어신호를 생성하고, 이에 기초하여 적어도 하나의 카메라의 동작을 제어할 수 있다. 무인 이동체(11)는 무인 이동체 제어장치(13)가 제공하는 제어신호에 기초하여, 카메라 제어신호를 생성할 수 있다.
나아가, 무인 이동체(11)는 적어도 하나의 카메라를 통해 촬영되는 촬영영상을 무선 통신망을 통해 연결된 무인 이동체 제어장치(13)에 실시간으로 제공할 수 있다.
한편, 무인 이동체 제어장치(13)는 무인 이동체(11)의 제어를 위한 제어 명령을 입력받을 수 있는 입력 인터페이스를 제공할 수 있다. 상기 입력 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다. 무인 이동체 제어장치(13)는 입력 인터페이스를 제공하면서, 상기 입력 인터페이스를 통해 입력되는 사용자 입력을 확인할 수 있다. 그리고, 상기 입력 인터페이스의 사용자 입력과, 제어 명령 사이의 미리 정의된 관계에 기초하여, 무인 이동체 제어장치(13)는 사용자 입력이 지시하는 제어 명령을 확인할 수 있으며, 제어 명령을 포함하는 제어정보를 생성할 수 있다.
무인 이동체 제어장치(13)는 무인 이동체(11)의 이동을 제어하는 제어정보를 무인 이동체(11)에 전송할 수 있다. 전술한 바와 같이, 제어정보는 이동 위치정보, 이동 경로정보 등을 포함하거나, 속도 제어정보, 이동방향 제어정보 등을 포함할 수 있다.
또한, 무인 이동체 제어장치(13)는 무인 이동체(11)로부터 제공되는 촬영영상을 수신하고, 상기 촬영영상을 디스플레이하면서 동시에 촬영영상 분배장치(15)로 전달할 수 있다.
촬영영상 분배장치(15)는 무인 이동체 제어장치(13)로부터 제공되는 상기 촬영영상을 실시간으로 적어도 하나의 보조 제어 장치(17)에 전달할 수 있다. 이에 대응하여, 적어도 하나의 보조 제어 장치(17)는 수신된 촬영영상을 실시간으로 디스플레이 할 수 있다. 이로써, 적어도 하나의 보조 제어 장치(17)를 사용하는 적어도 하나의 사용자는 동시에 무인 이동체(11)로부터 제공되는 촬영영상을 실시간으로 확인할 수 있다.
이와 같은 환경에서, 적어도 하나의 보조 제어 장치(17)를 사용하는 적어도 하나의 사용자는 무인 이동체(11)로부터 제공되는 촬영영상을 실시간으로 확인하면서, 무인 이동체(11)의 제어가 필요한지 여부를 확인할 수 있다. 그리고, 적어도 하나의 보조 제어 장치(17)는 적어도 하나의 사용자가 무인 이동체(11)의 제어를 수행할 수 있는 환경을 제공할 수 있다.
즉, 적어도 하나의 보조 제어 장치(17)는 무인 이동체 제어장치(13)와의 통신을 통해 무인 이동체(11)의 제어 권한을 부여받을 수 있으며, 무인 이동체(11)의 제어를 위한 제어신호를 생성하여 무인 이동체(11)로 전달할 수 있다. 무인 이동체(11)의 제어권한 부여, 제어신호의 전달과 관련된 상세 동작은 무인 이동체 제어장치(13), 보조 제어 장치(17)의 구성 설명에서 상세히 기술한다.
도 2는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 연결 및 촬영영상 전송 동작을 도시하는 신호 흐름도이다.
도 2를 참조하면, 무인 이동체(11)와 무인 이동체 제어장치(13)는 제어신호 전송을 위한 연결을 수행할 수 있다(S201).
구체적으로, 무인 이동체 제어장치(13)는 무인 이동체(11)와의 연결을 위한 연결 요청 메시지를 무인 이동체(11)로 전송할 수 있으며, 무인 이동체(11)는 연결 요청 메시지를 확인하고, 무인 이동체 제어장치(13)와의 연결을 승인할 수 있다.
무인 이동체(11)와 무인 이동체 제어장치(13)가 연결을 완료함에 따라, 무인 이동체(11)와 무인 이동체 제어장치(13) 사이에는 제어신호 전송을 위한 제어정보 전송 세션을 형성할 수 있다(S202).
무인 이동체 제어장치(13)는 입력장치를 통해 입력되는 제어 명령을 확인할 수 있으며, 제어 명령을 지시하는 정보를 포함한 제어정보를 제어정보 전송 세션을 통해 무인 이동체(11)로 전달할 수 있다. 그리고, 무인 이동체(11)는 수신된 제어정보를 확인하고, 이에 대응되여 무인 이동체(11)의 제어를 수행할 수 있다.
여기서, 제어정보는 무인 이동체(11)가 이동될 위치를 지시하는 이동 위치정보와, 무인 이동체(11)의 현재 위치로부터 무인 이동체(11)가 이동될 위치까지의 경로를 지시하는 이동 경로정보를 포함할 수 있다. 그리고, 이동 경로정보는 적어도 하나의 경로지점(Way Point) 정보를 포함할 수 있는데, 경로지점 정보는 경도와 위도 등을 포함하는 좌표정보와, 고도정보 등을 포함할 수 있다. 이와 같은 제어정보에 대응하여, 무인 이동체(11)는 자신의 현재 위치를 확인하면서 적어도 하나의 경로지점으로 이동하도록 제어하는 이동 제어신호를 생성할 수 있다.
다른 예로서, 제어정보는 무인 이동체(11)의 이동 속도를 제어하는 속도 제어정보, 무인 이동체(11)의 이동 방향을 제어하는 이동방향 제어정보 등을 포함할 수 있으며, 이에 대응하여, 무인 이동체(11)는 속도 제어정보, 이동방향 제어정보 등에 기초하여 동체의 이동을 제어할 수 있다.
무인 이동체(11)와 무인 이동체 제어장치(13)는 촬영영상 정보의 전송을 영상 전송 세션을 설정할 수 있다. 즉, 무인 이동체 제어장치(13)는 무인 이동체(11)와의 영상 전송 세션 구축을 위한 영상 세션 설정 메시지를 무인 이동체(11)로 전송할 수 있으며(S203), 무인 이동체(11)는 영상 세션 설정 메시지를 확인하고, 무인 이동체 제어장치(13)와의 영상 전송 세션 구축을 승인할 수 있다(S204).
무인 이동체(11)와 무인 이동체 제어장치(13)가 연결을 완료함에 따라, 무인 이동체(11)와 무인 이동체 제어장치(13)는 촬영영상 전송을 위한 영상 전송 세션을 형성할 수 있다(S205).
한편, 무인 이동체 제어장치(13)와 촬영영상 분배장치(15)는 촬영영상 정보의 전송을 위한 연결을 수행할 수 있다. 즉, 무인 이동체 제어장치(13)는 촬영영상 분배장치(15)와의 연결을 위한 연결 요청 메시지를 촬영영상 분배장치(15)로 전송할 수 있으며(S206), 촬영영상 분배장치(15)는 연결 요청 메시지를 확인하고, 무인 이동체 제어장치(13)와의 연결을 승인할 수 있다(S207).
무인 이동체 제어장치(13)와 촬영영상 분배장치(15)가 연결을 완료함에 따라, 무인 이동체 제어장치(13)와 촬영영상 분배장치(15)는 촬영영상 전송을 위한 영상 전송 세션을 형성할 수 있다(S208).
또한, 촬영영상 분배장치(15)와 적어도 하나의 보조 제어 장치(17)는 촬영영상 정보의 전송을 위한 연결을 수행할 수 있다. 즉, 촬영영상 분배장치(15)는 적어도 하나의 보조 제어 장치(17)와의 연결을 위한 연결 요청 메시지를 적어도 하나의 보조 제어 장치(17)로 전송할 수 있으며(S209, 209'), 적어도 하나의 보조 제어 장치(17)는 연결 요청 메시지를 확인하고, 촬영영상 분배장치(15)와의 연결을 승인할 수 있다(S210, 210').
촬영영상 분배장치(15)와 적어도 하나의 보조 제어 장치(17)가 연결을 완료함에 따라, 촬영영상 분배장치(15)와 적어도 하나의 보조 제어 장치(17)는 촬영영상 전송을 위한 영상 전송 세션을 형성할 수 있다(S211, S211'). 이때, 촬영영상 분배장치(15)와 연결되는 적어도 하나의 보조 제어 장치(17)는 복수 개가 될 수 있으며, 촬영영상 분배장치(15)는 복수개의 보조 제어 장치(17)장치로 촬영영상을 동시에 전송할 수 있는 영상 전송 세션을 형성할 수 있다.
전술한 바와 같이, 무인 이동체(11)와 무인 이동체 제어장치(13), 무인 이동체 제어장치(13)와 촬영영상 분배장치(15), 촬영영상 분배장치(15)와 적어도 하나의 보조 제어 장치(17) 사이에 각각 영상 전송 세션이 구축됨에 따라, 무인 이동체(11)에서 생성되는 촬영영상은 상기 구축된 영상 전송 세션을 통해 무인 이동체 제어장치(13), 촬영영상 분배장치(15), 적어도 하나의 보조 제어 장치(17)에 각각 실시간으로 제공될 수 있다(S212).
이에 대응하여, 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17) 사이에 구축된 적어도 하나의 영상 전송 세션을 통해 무인 이동체(11)에서 생성되는 촬영영상이 적어도 하나의 보조 제어 장치(17)에 실시간으로 제공됨에 따라, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)에서 생성되는 촬영영상을 실시간으로 디스플레이에 출력할 수 있다.
또한, 무인 이동체(11)와 무인 이동체 제어장치(13) 사이에 구축된 영상 전송 세션을 통해 무인 이동체(11)에서 생성되는 촬영영상이 실시간으로 무인 이동체 제어장치(13)에 제공됨에 따라, 무인 이동체 제어장치(13)는 무인 이동체(11)에서 생성되는 촬영영상을 실시간으로 디스플레이할 수 있다.
본 개시의 일 실시예에서, 무인 이동체(11)와 무인 이동체 제어장치(13), 무인 이동체 제어장치(13)와 촬영영상 분배장치(15), 촬영영상 분배장치(15)와 적어도 하나의 보조 제어 장치(17) 사이에 각각 영상 전송 세션이 구축되는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 영상 전송 세션은 무인 이동체(11)에서 생성되는 촬영영상이 촬영영상 분배장치(15)를 통해 적어도 하나의 보조 제어 장치(17)에 실시간으로 전달될 수 있도록 구축되면 충분한다.
예를 들어, 무인 이동체(11)와 촬영영상 분배장치(15) 사이에 제1영상 전송 세션이 구축되고, 촬영영상 분배장치(15)와 적어도 하나의 보조 제어 장치(17) 사이에 제2영상 전송 세션이 구축될 수 있다.
한편, 적어도 하나의 사용자가 적어도 하나의 보조 제어 장치(17)를 사용하여 무인 이동체(11)의 제어를 수행할 수 있는 환경을 제공할 수 있다.
이를 위해, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)의 제어 권한을 부여받을 수 있으며, 무인 이동체(11)의 제어를 위한 제어신호를 생성하여 무인 이동체(11)로 전달할 수 있다.
무인 이동체(11)의 제어권한 부여를 위해 무인 이동체 제어장치(13)가 적어도 하나의 보조 제어 장치(17)로 제어권한 이전을 요청하거나, 적어도 하나의 보조 제어 장치(17)가 무인 이동체 제어장치(13)로 제어권한 부여를 요청할 수 있다.
이하, 무인 이동체(11)의 제어 권한을 부여하는 동작과, 적어도 하나의 보조 제어 장치(17)에 의해 무인 이동체(11)를 제어하는 동작을 상세히 설명한다.
도 3a는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 부여 및 제어정보 전송 동작을 도시하는 일 예시도이다.
도 3a에서는, 무인 이동체 제어장치(13)의 제어권한 이전 요청에 의해 적어도 하나의 보조 제어 장치(17)로 제어 권한을 부여하는 동작을 예시한다.
무인 이동체 제어장치(13)는 무인 이동체(11)의 제어권한 이전 요청을 입력받을 수 있는 제어권한 이전 요청 인터페이스를 제공할 수 있다. 제어권한 이전 요청 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
무인 이동체 제어장치(13)는 제어권한 이전 요청 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제1제어권한 이전 요청 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S301). 여기서, 제1제어권한 이전 요청 메시지는 제어권한 이전 요청 지시자, 무인 이동체 제어장치(13)의 식별자, 무인 이동체(11)의 식별자 등을 포함할 수 있다.
제1제어권한 이전 요청 메시지를 수신한 촬영영상 분배장치(15)는 제1제어권한 이전 요청 메시지에 대응되는 제2제어권한 이전 요청 메시지를 생성하고, 이를 적어도 하나의 보조 제어 장치(17)로 전송할 수 있다(S302, S302').
예를 들어, 촬영영상 분배장치(15)는 무인 이동체(11)의 식별자를 확인하고, 무인 이동체(11)와 영상 전송 세션이 설정된 적어도 하나의 보조 제어 장치(17)를 확인할 수 있다. 그리고, 촬영영상 분배장치(15)는 확인된 적어도 하나의 보조 제어 장치(17)로 제2제어권한 이전 요청 메시지를 전송할 수 있다. 여기서, 제2제어권한 이전 요청 메시지는 제어권한 이전 요청 지시자, 무인 이동체(11)의 식별자, 촬영영상 분배장치(15)의 식별자 등을 포함할 수 있다.
적어도 하나의 보조 제어 장치(17)는 제2제어권한 이전 요청 메시지에 수록된 무인 이동체(11)의 식별자를 확인하고, 디스플레이 등을 통해 무인 이동체(11)의 제어권한 이전 요청이 발생되었음을 표시할 수 있다(S303, 303').
그리고, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)의 제어권한을 부여 받을 것인지 또는 제어권한을 부여 받지 않 것인지를 입력할 수 있는 제어권한 승인 인터페이스를 제공할 수 있다. 제어권한 승인 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
적어도 하나의 보조 제어 장치(17)는 제어권한 승인 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제2제어권한 이전 응답 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S304, S304').
제어권한 승인 인터페이스를 통해 제어권한을 부여 받을 것인지 또는 제어권한을 부여받지 않을 것인지가 입력될 수 있으므로, 제2제어권한 이전 응답 메시지에는 제어권한 승인 또는 거부를 지시하는 제어 승인/거부 지시자, 보조 제어 장치(17)의 식별자 등을 포함할 수 있다.
촬영영상 분배장치(15)는 적어도 하나의 보조 제어 장치(17)로부터 전송되는 제2제어권한 이전 응답 메시지를 확인할 수 있으며, 제어 승인/거부 지시자가 지시하는 정보를 바탕으로 제어권한의 이전을 승인한 보조 제어 장치(17)를 확인할 수 있다. 이에 따라, 촬영영상 분배장치(15)는 제어권한의 이전을 승인한 보조 제어 장치(17)가 존재하는지 여부를 지시하는 보조 제어 승인 식별자, 제어권한의 이전을 승인한 보조 제어 장치(17)의 식별자 등을 포함하는 제1제어권한 이전 응답 메시지를 생성하여 무인 이동체 제어장치(13)로 전송할 수 있다(S305).
무인 이동체 제어장치(13)는 제1제어권한 이전 응답 메시지에 수록된 보조 제어 승인 식별자에 기초하여, 제어권한 이전의 승인 여부를 확인할 수 있으며, 제어권한 이전의 승인 여부에 따라, 제어권한을 적어도 하나의 보조 제어 장치(17)로 이전할 수 있다(S306).
제어권한 이전이 승인되지 않을 경우, 무인 이동체 제어장치(13)는 제어권한 이전이 실패하였음을 지시하는 정보를 디스플레이 등을 통해 표시할 수 있다.
반면, 제어권한 이전이 승인되었을 경우, 무인 이동체 제어장치(13)는 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17)의 연결을 수행할 수 있다.
구체적으로, 무인 이동체 제어장치(13)는 무인 이동체(11)로 적어도 하나의 보조 제어 장치(17)의 식별자를 포함하는 제어권한 이전 요청을 전송할 수 있으며(S306a), 무인 이동체(11)는 적어도 하나의 보조 제어 장치(17)의 식별자를 사용하여 적어도 하나의 보조 제어 장치(17)로부터의 연결 요청을 대기할 수 있다(S306b).
또한, 무인 이동체 제어장치(13)는 촬영영상 분배장치(15)를 통해 적어도 하나의 보조 제어 장치(17)로 무인 이동체(11)와의 연결을 위해 필요한 정보(무인 이동체(11)의 제어 채널 등)를 제공할 수 있다(S306c). 이에 따라, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)와의 연결을 위한 연결 요청 메시지를 무인 이동체(11)로 전송할 수 있으며(S306d), 무인 이동체(11)는 연결 요청 메시지를 확인하고, 적어도 하나의 보조 제어 장치(17)와의 연결을 승인할 수 있다(S306e).
무인 이동체(11)와 적어도 하나의 보조 제어 장치(17)가 연결을 완료함에 따라, 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17) 사이에는 제어신호 전송을 위한 제어정보 전송 세션을 형성할 수 있다(S306f).
적어도 하나의 보조 제어 장치(17)는 디스플레이 등을 통해 제어 인터페이스를 제공할 수 있으며, 제어 인터페이스로부터 입력되는 제어 명령을 확인할 수 있다. 그리고, 적어도 하나의 보조 제어 장치(17)는 제어 명령을 지시하는 정보를 포함한 제어정보를 제어정보 전송 세션을 통해 무인 이동체(11)로 전달할 수 있다. 그리고, 무인 이동체(11)는 수신된 제어정보를 확인하고, 이에 대응되여 무인 이동체(11)의 제어를 수행할 수 있다.
여기서, 제어정보는 무인 이동체(11)가 이동될 위치를 지시하는 이동 위치정보와, 무인 이동체(11)의 현재 위치로부터 무인 이동체(11)가 이동될 위치까지의 경로를 지시하는 이동 경로정보를 포함할 수 있다. 그리고, 이동 경로정보는 적어도 하나의 경로지점(Way Point) 정보를 포함할 수 있는데, 경로지점 정보는 경도와 위도 등을 포함하는 좌표정보와, 고도정보 등을 포함할 수 있다. 이와 같은 제어정보에 대응하여, 무인 이동체(11)는 자신의 현재 위치를 확인하면서 적어도 하나의 경로지점으로 이동하도록 제어하는 이동 제어신호를 생성할 수 있다.
다른 예로서, 제어정보는 무인 이동체(11)의 이동 속도를 제어하는 속도 제어정보, 무인 이동체(11)의 이동 방향을 제어하는 이동방향 제어정보 등을 포함할 수 있으며, 이에 대응하여, 무인 이동체(11)는 속도 제어정보, 이동방향 제어정보 등에 기초하여 동체의 이동을 제어할 수 있다.
비록, 본 개시의 실시예에서, 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17) 사이에는 제어신호 전송을 위한 제어정보 전송 세션을 형성하는 것을 예시하였으마, 본 개시가 이를 한정하는 것은 아니다. 적어도 하나의 보조 제어 장치(17)가 생성하는 제어정보를 무인 이동체(11)로 실시간으로 전달할 수 있는 환경을 구축하면 충분하다.
예를 들어, 제어권한 이전이 승인되었을 경우, 무인 이동체 제어장치(13)는 무인 이동체(11)와의 제어정보 전송 세션을 유지하고, 적어도 하나의 보조 제어 장치(17)와 보조 제어정보 전송 세션을 구성할 수 있다. 그리고, 무인 이동체 제어장치(13)는 보조 제어정보 전송 세션을 통해 적어도 하나의 보조 제어 장치(17)로부터 수신되는 제어정보를 제어정보 전송 세션을 통해 전달할 수도 있다.
나아가, 무인 이동체 제어장치(13)와 적어도 하나의 보조 제어 장치(17) 사이에 구축된 보조 제어정보 전송 세션은 무인 이동체 제어장치(13)와 적어도 하나의 보조 제어 장치(17)가 직접적으로 연결되는 세션이거나, 촬영영상 분배장치(15)를 통해 무인 이동체 제어장치(13)와 적어도 하나의 보조 제어 장치(17)가 연결되는 세션일 수 있다.
도 3b는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 부여 및 제어정보 전송 동작을 도시하는 다른 예시도이다.
도 3b에서는, 적어도 하나의 보조 제어 장치(17)의 제어권한 이전 요청에 의해 제어 권한을 부여하는 동작을 예시한다.
적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)의 제어권한 이전 요청을 입력받을 수 있는 제어권한 이전 요청 인터페이스를 제공할 수 있다. 제어권한 이전 요청 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
적어도 하나의 보조 제어 장치(17)는 제어권한 이전 요청 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제1제어권한 이전 요청 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S311). 여기서, 제1제어권한 이전 요청 메시지는 제어권한 이전 요청 지시자, 보조 제어 장치(17)의 식별자, 무인 이동체(11)의 식별자 등을 포함할 수 있다.
제1제어권한 이전 요청 메시지를 수신한 촬영영상 분배장치(15)는 제1제어권한 이전 요청 메시지에 대응되는 제2제어권한 이전 요청 메시지를 생성하고, 이를 무인 이동체 제어장치(13)로 전송할 수 있다(S312).
예를 들어, 촬영영상 분배장치(15)는 보조 제어 장치(17)의 식별자를 확인하고, 적어도 하나의 보조 제어 장치(17)와 영상 전송 세션이 설정된 무인 이동체(11)를 확인할 수 있다. 그리고, 촬영영상 분배장치(15)는 무인 이동체(11)에 대응되는 무인 이동체 제어장치(13)를 확인할 수 있다.
촬영영상 분배장치(15)는 확인된 무인 이동체 제어장치(13)로 제2제어권한 이전 요청 메시지를 전송할 수 있다. 여기서, 제2제어권한 이전 요청 메시지는 제어권한 이전 요청 지시자, 무인 이동체(11)의 식별자, 보조 제어 장치(17)의 식별자 등을 포함할 수 있다.
무인 이동체 제어장치(13)는 제2제어권한 이전 요청 메시지에 수록된 보조 제어 장치(17)의 식별자와 무인 이동체(11)의 식별자를 확인하고, 디스플레이 등을 통해 보조 제어 장치(17)의 식별자에 의한 무인 이동체(11)의 제어권한 이전 요청이 발생되었음을 표시할 수 있다(S313).
그리고, 무인 이동체 제어장치(13)는 무인 이동체(11)의 제어권한을 승인할 것인지 또는 제어권한을 승인하지 않을 것인지를 입력할 수 있는 제어권한 승인 인터페이스를 제공할 수 있다. 제어권한 승인 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
무인 이동체 제어장치(13)는 제어권한 승인 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제2제어권한 이전 응답 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S314).
제어권한 승인 인터페이스를 통해 제어권한을 승인할 것인지 또는 제어권한을 승인하지 않을 것인지가 입력될 수 있으므로, 제2제어권한 이전 응답 메시지에는 제어권한 승인 또는 실패를 지시하는 제어 승인/실패 지시자, 보조 제어 장치(17)의 식별자, 무인 이동체(11)와의 연결을 위해 필요한 정보(무인 이동체(11)의 제어 채널 등) 등을 포함할 수 있다.
촬영영상 분배장치(15)는 무인 이동체 제어장치(13)로부터 전송되는 제2제어권한 이전 응답 메시지를 확인할 수 있으며, 제어 승인/실패 지시자가 지시하는 정보를 바탕으로 제어권한의 이전이 승인된 보조 제어 장치(17)를 확인할 수 있다. 이에 따라, 촬영영상 분배장치(15)는 제1제어권한 이전 응답 메시지(제어 승인/실패 지시자, 보조 제어 장치(17)의 식별자, 무인 이동체(11)와의 연결을 위해 필요한 정보(무인 이동체(11)의 제어 채널 등) 등)를 생성하여 제어권한의 이전이 승인된 보조 제어 장치(17)로 전송할 수 있다(S315).
보조 제어 장치(17)는 제1제어권한 이전 응답 메시지에 수록된 보조 제어 승인 식별자에 기초하여, 제어권한 이전의 승인 여부를 확인할 수 있으며, 제어권한 이전의 승인 여부에 따라, 제어권한의 이전을 수행할 수 있다(S316).
제어권한 이전이 승인되지 않을 경우, 보조 제어 장치(17)는 제어권한 이전이 실패하였음을 지시하는 정보를 디스플레이 등을 통해 표시할 수 있다.
반면, 제어권한 이전이 승인되었을 경우, 무인 이동체 제어장치(13)는 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17)의 연결을 수행할 수 있다.
구체적으로, 무인 이동체 제어장치(13)는 무인 이동체(11)로 적어도 하나의 보조 제어 장치(17)의 식별자를 제공할 수 있으며(S316a), 무인 이동체(11)는 적어도 하나의 보조 제어 장치(17)의 식별자를 사용하여 적어도 하나의 보조 제어 장치(17)로부터의 연결 요청을 대기할 수 있다(S316b).
또한, 적어도 하나의 보조 제어 장치(17)는 제1제어권한 이전 응답 메시지에 수록된, 무인 이동체(11)의 식별자, 무인 이동체(11)와의 연결을 위해 필요한 정보(무인 이동체(11)의 제어 채널 등) 등을 사용하여, 무인 이동체(11)와의 연결을 위한 연결 요청 메시지를 무인 이동체(11)로 전송할 수 있으며(S316c), 무인 이동체(11)는 연결 요청 메시지를 확인하고, 적어도 하나의 보조 제어 장치(17)와의 연결을 승인할 수 있다(S316d).
무인 이동체(11)와 적어도 하나의 보조 제어 장치(17)가 연결을 완료함에 따라, 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17) 사이에는 제어신호 전송을 위한 제어정보 전송 세션을 형성할 수 있다(S316e).
적어도 하나의 보조 제어 장치(17)는 디스플레이 등을 통해 제어 인터페이스를 제공할 수 있으며, 제어 인터페이스로부터 입력되는 제어 명령을 확인할 수 있다. 그리고, 적어도 하나의 보조 제어 장치(17)는 제어 명령을 지시하는 정보를 포함한 제어정보를 제어정보 전송 세션을 통해 무인 이동체(11)로 전달할 수 있다. 그리고, 무인 이동체(11)는 수신된 제어정보를 확인하고, 이에 대응되여 무인 이동체(11)의 제어를 수행할 수 있다.
여기서, 제어정보는 무인 이동체(11)가 이동될 위치를 지시하는 이동 위치정보와, 무인 이동체(11)의 현재 위치로부터 무인 이동체(11)가 이동될 위치까지의 경로를 지시하는 이동 경로정보를 포함할 수 있다. 그리고, 이동 경로정보는 적어도 하나의 경로지점(Way Point) 정보를 포함할 수 있는데, 경로지점 정보는 경도와 위도 등을 포함하는 좌표정보와, 고도정보 등을 포함할 수 있다. 이와 같은 제어정보에 대응하여, 무인 이동체(11)는 자신의 현재 위치를 확인하면서 적어도 하나의 경로지점으로 이동하도록 제어하는 이동 제어신호를 생성할 수 있다.
다른 예로서, 제어정보는 무인 이동체(11)의 이동 속도를 제어하는 속도 제어정보, 무인 이동체(11)의 이동 방향을 제어하는 이동방향 제어정보 등을 포함할 수 있으며, 이에 대응하여, 무인 이동체(11)는 속도 제어정보, 이동방향 제어정보 등에 기초하여 동체의 이동을 제어할 수 있다.
비록, 본 개시의 실시예에서, 무인 이동체(11)와 적어도 하나의 보조 제어 장치(17) 사이에는 제어신호 전송을 위한 제어정보 전송 세션을 형성하는 것을 예시하였으마, 본 개시가 이를 한정하는 것은 아니다. 적어도 하나의 보조 제어 장치(17)가 생성하는 제어정보를 무인 이동체(11)로 실시간으로 전달할 수 있는 환경을 구축하면 충분하다.
예를 들어, 제어권한 이전이 승인되었을 경우, 무인 이동체 제어장치(13)는 무인 이동체(11)와의 제어정보 전송 세션을 유지하고, 적어도 하나의 보조 제어 장치(17)와 보조 제어정보 전송 세션을 구성할 수 있다. 그리고, 무인 이동체 제어장치(13)는 보조 제어정보 전송 세션을 통해 적어도 하나의 보조 제어 장치(17)로부터 수신되는 제어정보를 제어정보 전송 세션을 통해 전달할 수도 있다.
나아가, 무인 이동체 제어장치(13)와 적어도 하나의 보조 제어 장치(17) 사이에 구축된 보조 제어정보 전송 세션은 무인 이동체 제어장치(13)와 적어도 하나의 보조 제어 장치(17)가 직접적으로 연결되는 세션이거나, 촬영영상 분배장치(15)를 통해 무인 이동체 제어장치(13)와 적어도 하나의 보조 제어 장치(17)가 연결되는 세션일 수 있다.
이하, 무인 이동체(11)의 제어 권한을 회수하는 동작에 대해 설명한다.
도 4a는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 회수 동작을 도시하는 일 예시도이다.
도 4a에서는, 무인 이동체 제어장치(13)의 제어권한 회수 요청에 의해 적어도 하나의 보조 제어 장치(17)로 제어 권한을 회수하는 동작을 예시한다.
무인 이동체 제어장치(13)는 무인 이동체(11)의 제어권한 회수 요청을 입력받을 수 있는 제어권한 회수 요청 인터페이스를 제공할 수 있다. 제어권한 회수 요청 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
무인 이동체 제어장치(13)는 제어권한 회수 요청 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제1제어권한 회수 요청 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S401). 여기서, 제1제어권한 회수 요청 메시지는 제어권한 회수 요청 지시자, 무인 이동체 제어장치(13)의 식별자, 무인 이동체(11)의 식별자, 적어도 하나의 보조 제어 장치(17)의 식별자 등을 포함할 수 있다.
제1제어권한 회수 요청 메시지를 수신한 촬영영상 분배장치(15)는 제1제어권한 회수 요청 메시지에 대응되는 제2제어권한 회수 요청 메시지를 생성하고, 이를 적어도 하나의 보조 제어 장치(17)로 전송할 수 있다(S402).
예를 들어, 촬영영상 분배장치(15)는 적어도 하나의 보조 제어 장치(17)의 식별자를 확인하고, 해당 보조 제어 장치(17)로 제2제어권한 회수 요청 메시지를 전송할 수 있다. 여기서, 제2제어권한 회수 요청 메시지는 제어권한 회수 요청 지시자, 무인 이동체(11)의 식별자, 무인 이동체 제어장치(13)의 식별자 등을 포함할 수 있다.
적어도 하나의 보조 제어 장치(17)는 제2제어권한 회수 요청 메시지에 수록된 무인 이동체(11)의 식별자를 확인하고, 디스플레이 등을 통해 무인 이동체(11)의 제어권한 회수 요청이 발생되었음을 표시할 수 있다(S403).
그리고, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)의 제어권한의 회수를 승인할 것인지 또는 제어권한의 회수를 거절할 것인지를 입력할 수 있는 제어권한 회수 승인 인터페이스를 제공할 수 있다. 제어권한 회수 승인 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
적어도 하나의 보조 제어 장치(17)는 제어권한 회수 승인 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제2제어권한 회수 응답 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S404).
제어권한의 회수를 승인할 것인지 또는 제어권한의 회수를 거절할 것인지를 입력될 수 있으므로, 제2제어권한 회수 응답 메시지에는 제어권한 회수의 승인 또는 거부를 지시하는 회수 승인/거부 지시자, 보조 제어 장치(17)의 식별자 등을 포함할 수 있다.
촬영영상 분배장치(15)는 적어도 하나의 보조 제어 장치(17)로부터 전송되는 제2제어권한 회수 응답 메시지를 확인할 수 있으며, 회수 승인/거부 지시자가 지시하는 정보를 바탕으로 제어권한의 회수를 승인한 보조 제어 장치(17)를 확인할 수 있다. 이에 따라, 촬영영상 분배장치(15)는 제어권한의 회수를 승인한 보조 제어 장치(17)가 존재하는지 여부를 지시하는 회수 승인 식별자, 제어권한의 회수를 승인한 보조 제어 장치(17)의 식별자 등을 포함하는 제1제어권한 회수 응답 메시지를 생성하여 무인 이동체 제어장치(13)로 전송할 수 있다(S405).
무인 이동체 제어장치(13)는 제1제어권한 회수 응답 메시지에 수록된 보조 제어 승인 식별자에 기초하여, 제어권한 회수의 승인 여부를 확인할 수 있으며, 제어권한 회수의 승인 여부에 따라, 제어권한을 무인 이동체 제어장치(13)로 이전할 수 있다(S406).
제어권한 이전이 승인되지 않을 경우, 무인 이동체 제어장치(13)는 제어권한 회수가 실패하였음을 지시하는 정보를 디스플레이 등을 통해 표시할 수 있으며, 보조 제어 장치(17)의 제어권한을 그대로 유지할 수 있다.
반면, 제어권한 회수가 승인되었을 경우, 무인 이동체 제어장치(13)는 다시 무인 이동체(11)와의 연결을 수행할 수 있다.
구체적으로, 보조 제어 장치(17)는 무인 이동체(11)로 무인 이동체 제어장치(13)의 식별자를 사용하여 제어권한 이전을 요청할 수 있으며(S406a), 무인 이동체(11)는 무인 이동체 제어장치(13)의 식별자를 사용하여 무인 이동체 제어장치(13)로부터의 연결 요청을 대기할 수 있다(S406b).
또한, 무인 이동체 제어장치(13)는 무인 이동체(11)와의 연결을 위한 연결 요청 메시지를 무인 이동체(11)로 전송할 수 있으며(S406c), 무인 이동체(11)는 연결 요청 메시지를 확인하고, 무인 이동체 제어장치(13)와의 연결을 승인할 수 있다(S406d).
무인 이동체(11)와 무인 이동체 제어장치(13)가 연결을 완료함에 따라, 무인 이동체(11)와 무인 이동체 제어장치(13) 사이에는 제어신호 전송을 위한 제어정보 전송 세션아 다시 형성될 수 있다(S406e).
무인 이동체 제어장치(13)는 디스플레이 등을 통해 제어 인터페이스를 제공할 수 있으며, 제어 인터페이스로부터 입력되는 제어 명령을 확인할 수 있다. 그리고, 무인 이동체 제어장치(13)는 제어 명령을 지시하는 정보를 포함한 제어정보를 제어정보 전송 세션을 통해 무인 이동체(11)로 전달할 수 있다. 그리고, 무인 이동체(11)는 수신된 제어정보를 확인하고, 이에 대응하여 무인 이동체(11)의 제어를 수행할 수 있다.
도 4b는 본 개시의 일 실시예에 따른 무인 이동체 운영 시스템에 구비된 장치의 제어권한 회수 동작을 도시하는 다른 예시도이다.
도 4b에서는, 적어도 하나의 보조 제어 장치(17)의 제어권한 회수 요청에 의해 무인 이동체 제어장치(13)로 제어 권한을 회수하는 동작을 예시한다.
적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)의 제어권한 회수 요청을 입력받을 수 있는 제어권한 회수 요청 인터페이스를 제공할 수 있다. 제어권한 회수 요청 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
적어도 하나의 보조 제어 장치(17)는 제어권한 회수 요청 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제1제어권한 회수 요청 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S411). 여기서, 제1제어권한 회수 요청 메시지는 제어권한 회수 요청 지시자, 보조 제어 장치(17)의 식별자, 무인 이동체(11)의 식별자 등을 포함할 수 있다.
제1제어권한 회수 요청 메시지를 수신한 촬영영상 분배장치(15)는 제1제어권한 회수 요청 메시지에 대응되는 제2제어권한 회수 요청 메시지를 생성하고, 이를 무인 이동체 제어장치(13)로 전송할 수 있다(S412).
예를 들어, 촬영영상 분배장치(15)는 보조 제어 장치(17)의 식별자를 확인하고, 적어도 하나의 보조 제어 장치(17)와 영상 전송 세션이 설정된 무인 이동체(11)를 확인할 수 있다. 그리고, 촬영영상 분배장치(15)는 무인 이동체(11)에 대응되는 무인 이동체 제어장치(13)를 확인할 수 있다.
촬영영상 분배장치(15)는 확인된 무인 이동체 제어장치(13)로 제2제어권한 회수 요청 메시지를 전송할 수 있다. 여기서, 제2제어권한 회수 요청 메시지는 제어권한 회수 요청 지시자, 무인 이동체(11)의 식별자, 보조 제어 장치(17)의 식별자 등을 포함할 수 있다.
무인 이동체 제어장치(13)는 제2제어권한 회수 요청 메시지에 수록된 보조 제어 장치(17)의 식별자와 무인 이동체(11)의 식별자를 확인하고, 디스플레이 등을 통해 보조 제어 장치(17)의 식별자에 의한 무인 이동체(11)의 제어권한 회수 요청이 발생되었음을 표시할 수 있다(S413).
그리고, 무인 이동체 제어장치(13)는 무인 이동체(11)의 제어권한 회수를 승인할 것인지 또는 제어권한 회수를 승인하지 않을 것인지를 입력할 수 있는 제어권한 회수 승인 인터페이스를 제공할 수 있다. 제어권한 회수 승인 인터페이스는 하드웨어적 입력 키, 또는 터치 입력이 가능한 디스플레이 장치에 표시되는 소프트웨어 입력 키를 포함할 수 있다.
무인 이동체 제어장치(13)는 제어권한 회수 승인 인터페이스를 통해 사용자 입력이 발생됨에 따라, 제2제어권한 회수 응답 메시지를 생성하여 촬영영상 분배장치(15)로 전송할 수 있다(S414).
제어권한 승인 인터페이스를 통해 제어권한 회수를 승인할 것인지 또는 제어권한 회수를 승인하지 않을 것인지가 입력될 수 있으므로, 제2제어권한 회수 응답 메시지에는 제어권한 회수의 승인 또는 실패를 지시하는 회수 승인/실패 지시자, 보조 제어 장치(17)의 식별자, 무인 이동체 제어장치(13)의 식별자 등을 포함할 수 있다.
촬영영상 분배장치(15)는 무인 이동체 제어장치(13)로부터 전송되는 제2제어권한 회수 응답 메시지를 확인할 수 있으며, 제어 승인/실패 지시자가 지시하는 정보를 바탕으로 제어권한의 회수가 승인된 보조 제어 장치(17)를 확인할 수 있다. 이에 따라, 촬영영상 분배장치(15)는 제1제어권한 회수 응답 메시지를 생성하여 제어권한의 회수가 승인된 보조 제어 장치(17)로 전송할 수 있다(S415).
보조 제어 장치(17)는 제1제어권한 회수 응답 메시지에 수록된 보조 제어 승인 식별자에 기초하여, 제어권한 회수의 승인 여부를 확인할 수 있으며, 제어권한 회수의 승인 여부에 따라, 제어권한의 이전을 수행할 수 있다(S416).
제어권한 회수가 승인되지 않을 경우, 보조 제어 장치(17)는 제어권한 회수가 실패하였음을 지시하는 정보를 디스플레이 등을 통해 표시할 수 있다.
반면, 제어권한 회수가 승인되었을 경우, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)와의 연결을 종료할 수 있다.
구체적으로, 적어도 하나의 보조 제어 장치(17)는 무인 이동체(11)로 무인 이동체 제어장치(13)의 식별자를 사용하여 제어권한 회수를 요청할 수 있으며(S416a), 무인 이동체(11)는 무인 이동체 제어장치(13)의 식별자를 사용하여 무인 이동체 제어장치(13)로부터의 연결 요청을 대기할 수 있다(S416b).
또한, 무인 이동체 제어장치(13)는 무인 이동체(11)와의 연결을 위한 연결 요청 메시지를 무인 이동체(11)로 전송할 수 있으며(S416c), 무인 이동체(11)는 연결 요청 메시지를 확인하고, 적어도 하나의 보조 제어 장치(17)와의 연결을 승인할 수 있다(S416d).
무인 이동체(11)와 무인 이동체 제어장치(13)가 연결을 완료함에 따라, 무인 이동체(11)와 무인 이동체 제어장치(13) 사이에는 제어신호 전송을 위한 제어정보 전송 세션이 다시 형성될 수 있다(S416e).
무인 이동체 제어장치(13)는 디스플레이 등을 통해 제어 인터페이스를 제공할 수 있으며, 제어 인터페이스로부터 입력되는 제어 명령을 확인할 수 있다. 그리고, 무인 이동체 제어장치(13)는 제어 명령을 지시하는 정보를 포함한 제어정보를 제어정보 전송 세션을 통해 무인 이동체(11)로 전달할 수 있다. 그리고, 무인 이동체(11)는 수신된 제어정보를 확인하고, 이에 대응되여 무인 이동체(11)의 제어를 수행할 수 있다.
도 5는 본 개시의 일 실시예에 따른 무인 이동체 운영 방법 및 이를 수행하는 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 5를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (1)

  1. 무인 이동체 운영 시스템에 있어서,
    이동 위치정보에 대응되는 위치로의 이동을 수행하고, 카메라 장치를 통해 촬영되는 촬영영상을 실시간으로 제공하는 무인 이동체와,
    상기 무인 이동체와 무선 통신망을 통해 연결되며, 상기 무인 이동체를 제어하는 제어신호를 제공하고, 상기 무인 이동체로부터 실시간으로 제공되는 상기 촬영영상의 출력 및 전송을 관리하는 무인 이동체 제어장치와,
    디스플레이를 통해 상기 촬영영상을 출력하고, 상기 무인 이동체의 제어를 위한 보조 제어 신호를 생성하는 보조 제어 장치와,
    상기 무인 이동체 제어장치 및 보조 제어 장치와 유/무선통신을 통해 연결되며, 상기 무인 이동체 제어장치로부터 수신된 촬영영상을 상기 보조 제어 장치로 실시간 전송하고, 상기 보조 제어 장치로부터 제공되는 상기 보조 제어 신호를 상기 무인 이동체 제어장치로 전달하는 촬영영상 분배장치를 포함하는 무인 이동체 운영 시스템.
KR1020180038862A 2018-04-03 2018-04-03 무인 이동체 운영 장치 및 방법 KR20190115767A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180038862A KR20190115767A (ko) 2018-04-03 2018-04-03 무인 이동체 운영 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180038862A KR20190115767A (ko) 2018-04-03 2018-04-03 무인 이동체 운영 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190115767A true KR20190115767A (ko) 2019-10-14

Family

ID=68171309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180038862A KR20190115767A (ko) 2018-04-03 2018-04-03 무인 이동체 운영 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190115767A (ko)

Similar Documents

Publication Publication Date Title
KR101837979B1 (ko) 드론 관제 방법 및 이를 수행하기 위한 장치 및 시스템과 드론 관제 서버
EP3163394B1 (en) Method and device for controlling an unmanned aerial vehicle
US20190092345A1 (en) Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium
US10810443B2 (en) Vehicle video system
CN110246182B (zh) 基于视觉的全局地图定位方法、装置、存储介质和设备
CN110706447B (zh) 灾情位置的确定方法、装置、存储介质及电子装置
TW201546650A (zh) 感測器隱私模式
US11184474B2 (en) System and method for supporting movable object application development
CN111213367B (zh) 一种负载的控制方法及装置
US20200406914A1 (en) Remotely supervised passenger intervention of an autonomous vehicle
KR20190078454A (ko) 분산 클라우드 기반의 자율주행 시스템 및 방법
JP2020087218A (ja) 車両及び乗客輸送システム
JP2019195144A (ja) 飛行体の制御に関する情報表示方法
US11656965B2 (en) Execution sequence integrity monitoring system
US20210344676A1 (en) Method and system for securing communications between a lead device and a secondary device
JP2022023209A (ja) 匿名化システム
JP6677684B2 (ja) 映像配信システム
KR20190115767A (ko) 무인 이동체 운영 장치 및 방법
US11650583B2 (en) Systems and methods for remote viewing of self-driving vehicles
WO2020107391A1 (zh) 负载控制方法、装置及可移动平台
JP7041108B2 (ja) 管理装置
KR20190079511A (ko) 차량 탑재 시스템 및 그 제어 방법
JP6403633B2 (ja) 映像監視システム及び映像配信サーバ
JP2019021187A (ja) 映像蓄積配信システム
US20200110650A1 (en) Execution Sequence Integrity Parameter Monitoring System