KR102253475B1 - Gui 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템 - Google Patents
Gui 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템 Download PDFInfo
- Publication number
- KR102253475B1 KR102253475B1 KR1020190043498A KR20190043498A KR102253475B1 KR 102253475 B1 KR102253475 B1 KR 102253475B1 KR 1020190043498 A KR1020190043498 A KR 1020190043498A KR 20190043498 A KR20190043498 A KR 20190043498A KR 102253475 B1 KR102253475 B1 KR 102253475B1
- Authority
- KR
- South Korea
- Prior art keywords
- button
- function
- unit
- unmanned vehicle
- unmanned
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims description 63
- 238000004891 communication Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000010365 information processing Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- B64C2201/146—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Operations Research (AREA)
- Traffic Control Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 GUI 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템에 관한 것으로서, 무인이동체(100)와 관제센터 서버(300)와의 정보 공유를 위한 GUI 기반 인터페이스를 투시형 HMD(200)에 구현하여, 투시형 HMD(200)를 착용한 현장 요원이 GUI 화면(10)을 통해 간편하게 조작하며 현장을 신속 정확하게 파악하고 임무를 효율적으로 수행할 수 있게 한다.
Description
본 발명은 무인이동체와 관제센터 서버와의 정보 공유를 위한 GUI 기반 인터페이스를 투시형 HMD에 구현하여, 투시형 HMD를 착용한 현장 요원이 간편하게 조작하며 현장을 신속 정확하게 파악하고 임무를 효율적으로 수행을 할 수 있게 하는 GUI 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템에 관한 것이다.
무인이동체 기반 시스템은 관제센터에서 무인이동체에 지령을 전달하여 현장으로 이동시키고 현장에 투입된 현장 요원에게 임무를 전달하여, 통합적으로 관제 임무 수행하게 하는 시스템으로서, 화재 진압, 환경오염 감시, 조난 구호, 순찰, 시설물 안전 관리, 군사 작전 등의 다양한 분야에서 활용되고 있다.
이러한 무인이동체 기반 시스템의 운용에 있어서, 관제센터와 현장 요원은 무인이동체를 목적지로 이동시켜 임무 수행을 시작하게 할 때까지 대기하고 있어야 한다.
또한, 현장 요원이 무인이동체보다 늦게 현장에 도착하는 경우뿐만 아니라, 현장 상황을 충분히 파악하지 못한 상태에서 현장에 도착하게 되는 경우가 빈번하게 발생하여서, 현장 요원이 신속하게 대응하지 못하고, 현장 상황을 파악하느라 시간을 지체하게 되고, 이로 인해 초동대처를 효과적으로 수행하지 못하기도 하였다.
이러한 대기 시간 문제 및 현장 요원의 현장 파악 지체 문제를 해소하기 위해서, 등록특허 제10-1883292호는 현장 요원의 모션에 대응되는 메시지로 관제센터와의 의사 전달 동작과 무인이동체의 원격 조종 동작과, 테이터 수신 동작을 수행하게 하고, 투시할 수 있어 시야 확보가 가능한 투명 디스플레이어에 정보를 출력하게 함으로써, 현장 요원이 편리하게 임무 수행할 수 있는 환경을 제공하였다.
하지만, 동작 수행을 위한 입력 장치와 정보 출력을 위한 투명 디스플레이어가 상호 독립적으로 분리되어 있어서, 수월하게 조작하기 어렵고, 입력 장치로 선택할 수 있는 입력도 제한적이어서, 보다 다양한 정보의 원활한 교환 및 공유가 사실상 불가능하였다.
즉, 현장 요원은 무인이동체와의 직접적 정보 교환, 무인이동체의 직접적 통제, 관제센터에서 제공받을 수 있는 다양한 정보 확인, 관제센터와의 소통 등을 간편한 조작으로 수행하면서 자신의 임무를 수행할 수 있게 하는 인터페이스 환경을 제공하지 못하였다.
따라서, 본 발명의 목적은 현장 요원이 신속하고 간편하게 조작하여 무인이동체 및 관제센터와 원활하게 정보 공유하는 인터페이스 환경을 제공하는 GUI 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 현장 요원이 착용하는 투시형 HMD(200), 현장 관련 데이터가 저장되어 있는 관제센터 서버(300), 및 투시형 HMD(200) 또는 관제센터 서버(300)의 지령에 따라 현장으로 이동하여 센싱 데이터를 투시형 HMD(200) 또는 관제센터 서버(300)에게 전송하는 무인이동체(100) 사이의 3자간 통신에 의해 협업할 수 있게 한 무인이동체 기반 시스템에 있어서, 상기 투시형 HMD(200)는 무인이동체(100) 및 관제센터 서버(300)와 통신하기 위한 통신부(210); 현장 요원이 외부 환경을 투시하여 볼 수 있게 한 투시형 디스플레이부(270); 투시형 디스플레이부(270)를 통해 투시되는 영역에서 현장 요원의 손을 검출하는 손동작 검출부(231)를 포함한 복수의 센서로 구성되는 센서부(230); 검출한 손의 손 동작 및 손 위치를 인식하는 손동작 인식부(240); 무인이동체(100)의 원격 조종 기능, 무인이동체(100)의 센싱 데이터 수신 기능, 관제센터 서버(300)의 현장 관련 데이터 수신 기능, 및 현장 요원의 의사를 선정하여 관제센터 서버(300)에 전달하는 의사 전달 기능을 실행하기 위한 복수의 기능 버튼과, 데이터 수신 기능에 의해 수신된 데이터의 출력 영역을 배치한 GUI 화면(10)을 상기 투시형 디스플레이부(270)에 출력하고, 손동작 인식부(240)에 의해 인식된 손 위치의 기능 버튼 상에서 사전 설정된 버튼 선택용 손 동작이 인식될 시에 해당 기능 버튼을 선택하는 것으로 인식하는 인터페이스부(260); 상기 인터페이스부(260)에 의해 선택된 것으로 인식되는 기능 버튼에 대응되는 기능의 수행을 위해 통신부(210)를 통한 송수신 동작 또는 인터페이스부(260)를 통한 수신 데이터의 화면 출력 동작을 제어하는 협업 프로세서부(250); 및 송신을 위한 패킷을 생성하고 수신한 패킷 내의 테이터를 추출하여, 통신부(210)를 통한 송수신이 가능하게 하는 패킷관리부(220);를 포함한다.
본 발명의 일 실시 예에 따르면, 상기 인터페이스부(260)는 복수의 보조 버튼을 상기 GUI 화면(10)에 추가 배치하고, 기능 버튼이 선택될 시에 선택된 기능 버튼에 대응되는 기능의 복수 하위 기능을 복수의 보조버튼에 대응시켜, 손 동작 및 손 위치에 따라 보조버튼을 선택할 수 있게 한다.
본 발명의 일 실시 예에 따르면, 상기 무인이동체(100)는 복수 개이고,상기 GUI 화면(10)은 무인이동체를 선택하는 기능 버튼이 추가 배치되며, 상기 인터페이스부(260)는 무인이동체를 선택하는 기능 버튼이 선택될 시에, 복수 개의 무인이동체(100)를 개별 선택하는 기능을 상기 보조 버튼에 할당하고, 상기 보조 버튼에 의해 무인이동체(100)가 선택된 이후 무인이동체(100)의 원격 조종 기능 및 무인이동체(100)의 센싱 데이터 수신 기능이 할당된 기능 버튼을 선택하게 한다.
본 발명의 일 실시 예에 따르면, 상기 인터페이스부(260)는 무인이동체(100)의 원격 조종 기능에 대응되는 기능 버튼이 선택될 시에, 상기 보조 버튼을 무인이동체(100)에 전달할 기선정 지령이 할당된 원격 조종 키로 활용되게 한다.
본 발명의 일 실시 예에 따르면, 상기 GUI 화면(10)에는 무인이동체(100)의 조종 권한을 이양받기 위한 요청 신호를 관제 센터에 전송하는 기능의 권한 요청 기능 버튼이 추가 배치되며, 상기 인터페이스부(260)는 권한 요청 기능 버튼이 선택된 후 관제센터 서버(300)로부터 무인이동체(100) 조종 권한을 획득했을 시에, 무인이동체(100)의 원격 조종 기능을 위한 기능 버튼 및 원격 조종 키로 활용할 상기 보조 버튼을 활성화한다.
본 발명의 일 실시 예에 따르면, 상기 협업 프로세서부(250)는 상기 인터페이스부(260)에서 상기 GUI 화면(10)의 의사 전달 기능 버튼이 선택될 시에, 사전에 해당 버튼에 할당한 의사를 관제센터 서버(300)에 자동 송신하게 제어한다.
본 발명의 일 실시 예에 따르면, 상기 인터페이스부(260)는 상기 GUI 화면(10)을 최소화하는 최소화/복구 버튼을 상기 GUI 화면(10)에 추가 배치하고, 손 동작에 의해 최소화/복구 버튼이 선택될 시에 최소화/복구 버튼을 제외한 나머지 버튼 및 데이터 출력 영역을 화면에서 사라지게 하여, 손 동작에 의해 기능 버튼이 선택되지 아니하고 수신 데이터도 출력하지 않게 할 수 있고, 재선택될 시에 상기 GUI 화면(10)으로 복원하여 기능 버튼을 선택하고 수신 데이터를 출력할 수 있게 한다.
본 발명의 일 실시 예에 따르면, 상기 인터페이스부(260)는 투시형 HMD(200)의 상태 데이터 출력 영역을 상기 GUI 화면(10)에 추가 배치하되, 상기 최소화/복구 버튼에 의해 화면에서 사라지게 할 수 있고, 상기 협업 프로세서부(250)는 상기 투시형 HMD(200)에 구비된 센서부(230)의 센싱 데이터를 취득하여 상기 GUI 화면(10)에 출력하게 하는 기능을 수행한다.
본 발명의 일 실시 예에 따르면, 상기 인터페이스부(260)는 수신 데이터 출력 영역을 GUI 화면(10)의 중심에 배치하고, 버튼 및 상태 데이터 출력 영역을 수신 데이터 출력 영역의 테두리를 따라 배치한다.
본 발명의 일 실시 예에 따르면, 상기 인터페이스부(260)는 기능 버튼이 최소화/복구 버튼에 의해 GUI 화면에서 사라지게 한 상태에서도, 기능 버튼에 대응되는 미리 설정된 기능 선택용 손 동작이 손동작 인식부(240)에 의해 인식될 시에, 대응되는 기능 버튼이 선택되는 것으로 하여, 기능 선택용 손 동작이 기능 버튼의 단축 키 역할을 하게 한다.
본 발명의 일 실시 예에 따르면, 상기 기능 선택용 손 동작은 펼친 손가락 개수 별로 구분하여 기능 버튼에 대응시킨다.
본 발명의 일 실시 예에 따르면, 상기 기능 선택용 손 동작은 손이 그리는 형상 별로 구분하여 기능 버튼에 대응시킨다.
본 발명의 일 실시 예에 따르면, 상기 협업 프로세서부(250)는 관제센터 서버(300)의 현장 관련 데이터 수신을 위한 기능 버튼이 선택될 시에 요청 메시지를 통신부(210)를 통해 송신하게 하고, 수신 데이터를 인터페이스부(260)에 의해 GUI 화면(10)에 출력되게 하며, 현장 요원의 의사 전달을 위한 기능 버튼이 선택될 시에 의사 메시지를 생성하여 통신부(210)를 통해 송신하게 하는 원격협업 처리부(251); 무인이동체(100)의 센싱 데이터 수신을 위한 기능 버튼이 선택될 시에, 데이터 요청 메시지를 통신부(210)를 통해 송신하게 하고, 수신 데이터를 인터페이스부(260)에 의해 GUI 화면(10)에 출력되게 하는 현장협업 처리부(252); 무인이동체(100)의 원격 조종을 위한 기능 버튼이 선택될 시에 선택된 버튼에 따른 지령을 생성하여 통신부(210)를 통해 송신하게 하는 무인이동체 운용부(253); 및 상기 센서부(230)에서 얻는 센싱 데이터를 상기 GUI 화면(10)에 출력하고, 통신부(210)를 통해 관제센터 서버(300)에 송신하게 하는 상태정보 처리부(254);를 포함한다.
상기와 같이 구성되는 본 발명은 무인이동체(100) 및 관제센터 서버(300)와 정보 공유하기 위한 다양한 기능 버튼을 제스처 기반으로 선택할 수 있게 한 GUI 화면(10)을 현장 요원이 착용하는 투시형 HMD(200)의 투시형 디스플레이부(270)에 구현하여, 정보 확인하며 임무 수행하는 데 효율적인 사용 환경을 제공한다.
일 실시 예에 따르면, 본 발명은 GUI 화면(10)을 최소화할 수 있게도 하여서, 현장 요원이 GUI 화면(10)에 의한 시야 방해를 받지 아니하며 임무 수행할 수 있게도 한다.
일 실시 예에 따르면, 본 발명은 보다 다양한 기능을 보조버튼으로 구현함으로써, 무인이동체(100)의 정교한 원격 조종, 수신할 수 있는 다양한 정보의 직관적 확인, 수신할 정보의 신속 선택 등이 가능하며, 이를 통해, 조작은 간편하면서 임무 수행에 필요한 조작을 신속하게 수행하면서 임무 완수할 수 있는 인터페이스 환경을 제공한다.
일 실시 예에 따르면, 본 발명은 긴급 상황을 알리는 기능 버튼을 선택하여 긴급 메시지를 자동 전송하게 하므로, 긴급 상황에 신속하게 대처할 수 있게 한다.
일 실시 예에 따르면, 본 발명은 GUI 화면(10)의 기능 버튼에 대한 단축 키 기능을 손 동작으로 구현함으로써, GUI 화면(10)을 최소화한 상태에서도 조작할 수 있는 인터페이스 환경을 제공한다.
도 1은 본 발명의 실시 예에 따른 무인이동체 기반 시스템의 구성도.
도 2는 공유할 정보의 송수신을 위한 패킷의 구성도.
도 3은 무인이동체(100)의 블록 구성도.
도 4는 관제센터 서버(300)의 블록 구성도.
도 5는 투시형 HMD(200)의 블록 구성도.
도 6은 투시형 HMD(200)의 GUI(Graphical User Interface) 화면(10) 구성도.
도 7은 도 6의 GUI 화면(10)에서 버튼을 선택하기 위한 손동작의 예시도.
도 8은 도 6에서 버튼 조작에 따른 보조버튼(18)의 기능 변화를 예시한 도면.
도 9는 도 6에서 최소화/복구 기능 버튼을 선택할 시의 화면 구성도.
도 10은 손동작 인식부(260)로 인식할 수 있게 한 손 동작 예시도.
도 2는 공유할 정보의 송수신을 위한 패킷의 구성도.
도 3은 무인이동체(100)의 블록 구성도.
도 4는 관제센터 서버(300)의 블록 구성도.
도 5는 투시형 HMD(200)의 블록 구성도.
도 6은 투시형 HMD(200)의 GUI(Graphical User Interface) 화면(10) 구성도.
도 7은 도 6의 GUI 화면(10)에서 버튼을 선택하기 위한 손동작의 예시도.
도 8은 도 6에서 버튼 조작에 따른 보조버튼(18)의 기능 변화를 예시한 도면.
도 9는 도 6에서 최소화/복구 기능 버튼을 선택할 시의 화면 구성도.
도 10은 손동작 인식부(260)로 인식할 수 있게 한 손 동작 예시도.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다.
도 1은 본 발명의 실시 예에 따른 무인이동체 기반 시스템의 구성도이다.
도 2는 무인이동체(100), 투시형 HMD(200) 및 관제센터 서버(300) 사이의 정보 공유를 위해 송수신하는 패킷(Packet)의 예시 구성도이다.
본 발명의 실시 예에 따른 무인이동체 기반 시스템은 3자 사이의 통신이 가능하여 상호 정보를 공유할 수 있게 구성된 무인이동체(100), 투시형 HMD(200) 및 관제센터 서버(300)를 포함한다.
여기서, 상기 무인이동체(100)는 드론으로 도시되어 있으나, 이에 한정하는 것은 아니면, 도시한 형태 이외의 무인 비행체나 아니면 무인 자동차, 무인 잠수정, 무인 선박처럼 원격 제어 가능한 무인기일 수도 있다.
3자 간의 통신을 위해 송수신하는 패킷은 TCP, UDP 등의 다양한 프로토콜을 활용하여 정의될 수 있으며, 본 발명에 사용되는 프로토콜 타입에 맞춰 헤더(Header) 구조를 갖추게 함은 물론이고, 데이터 영역에는 도 2에 예시한 바와 같이 통신 상대방의 기기 종류에 맞게 사전 설정되어 있다.
도 2(a)를 참조하면, 상기 관제센터 서버(300) 및 투시형 HMD(200)에서 무인이동체(100)로 전송하는 패킷은 원격 조종을 위한 지령을 전달하기 위해 사용되므로, 지령을 구분하기 위한 'Command Type'과, 이동할 목적지를 지정하는 'Destination Location'과, 짐벌 제어값인 'Gymbal Control Value'와, 경로를 지정하기 위한 'Waypoint Count' 및 다수의 'Waypoint'와, 도 2(a)에 도시하지는 아니하였지만, 이동에 관련된 세부적인 제어값으로서 이동 속도, 이동 방향, 고도 등을 포함할 수 있다.
도 2(b)를 참조하면, 무인이동체(100)에서 서버(300) 및 투시형 HMD(200)로 전송하는 패킷은 무인이동체(100)의 센싱 데이터(또는 현장 상황 정보)와 상태 데이터를 전달하기 위해 사용되므로, 상태를 나타내는 'Vehicle State'와 배터리 잔량을 나타내는 'Battery'와, 현재 위치를 나타내는 'Location'과, 현재 짐벌 값을 나타내는 'Gymbal Value'와, 무인이동체(100)의 헤더 자세를 나타내는 'Heading Angle'과, 도 2(b)에 도시하지는 아니하였지만, 구비한 카메라로 촬영한 영상 또는 구비한 다양한 센서로 획득한 센싱 데이터를 포함할 수 있다.
도 2(c)를 참조하면, 투시형 HMD(200)에서 서버(300)로 전송하는 패킷은 투시형 HMD(200)의 상태 정보와, 현장 요원이 현장에서 결정한 의사, 정보 요청, 현장에서 파악된 정보의 전달을 위해 사용되므로, 전달할 내용을 담은 'Message'와, 배터리 잔여 충전량을 나타내는 'Baterry'와, 현장 요원의 현위치를 나타내는 'HMD Lacation'과, 도 2(c)에 도시하지는 아니하였지만, 구비한 카메라로 촬영한 영상 또는 구비한 다양한 종류의 센서로 획득한 센싱 데이터를 포함할 수 있다.
도 2(d)를 참조하면, 서버(300)에서 투시형 HMD(200)로 전송하는 패킷은 관제센터 요원이 현장 요원에게 임무 또는 의사를 전달하거나 또는 임무 수행을 위해 필요한 데이터를 전달하기 위해 사용되므로, 전달하는 임무 또는 의사를 담은 'Message'와, 전달하는 데이터의 타입인 'Data Type'과, 전달하는 정보인 'Data Content'를 포함할 수 있다. 여기서, 'Data Type'으로 정의된 'Data Content'로 담을 데이터는 본 발명이 응용되는 분야에 따라 다양하게 변형될 수 있으며, 예를 들어, 건물 구조도, 설계도면, 지형도, 피난 경로도처럼 출동할 현장 관련 정보별로 구분하여 전송하게 할 수 있다.
이와 같이 무인이동체(100), 투시형 HMD(200) 및 관제센터 서버(300) 간의 3자 통신을 위해 사용할 패킷 구조는 후술하는 바와 같이 각자의 패킷관리부(120, 220, 320)에 설정되어 있어서, 데이터 통신할 상대방의 변경에 맞춰 선택 사용되게 하였다.
여기서, 3자 간의 데이터 통신망은 LTE, LTE-A, WLAN, 재난망, 위성망 등을 예를 들 수 있는 공지의 장거리 무선 통신망과, 블루투스, WiFi 등을 예를 들 수 있는 근거리 무선 통신망의 조합으로 구성할 수 있다.
아울러, 도 1을 참조하면, 현장 요원이 착용하는 투시형 HMD(200)는 시야를 확보할 수 있는 투시형 디스플레이부 상에 GUI 화면(10)을 출력하는 증강현실 기술을 적용하여서, 현장 요원이 GUI 화면(10)을 통해 무인이동체(100) 및 관제선터 서버(300)와 정보 공유하며 협업하여 임무 수행할 수 있게 함은 물론이고, GUI 화면(10)에 출력하는 정보를 최소화할 수 있게도 하여, 임무 수행할 시에 시야 방해를 최소화할 수 있게도 하였으며, 이에 대해서는 하기에서 도 6 내지 도 9를 참조하며 상세하게 설명한다.
도 3은 무인이동체(100)의 블록 구성도이다.
상기 무인이동체(100)는 투시형 HMD(200) 또는 관제센터 서버(300)의 지령에 따라 현장으로 이동한 후, 현장에서 센싱하여 얻는 센싱 데이터를 투시형 HMD(200) 또는 관제센터 서버(300)에게 전송하게 할 것으로서, 관제센터 서버(300) 및 투시형 HMD(200)와 데이터 통신하기 위한 통신부(110), 송수신 패킷을 처리하기 위한 패킷관리부(120), 현장 상황을 감지하기 위한 센서부(130), 무인이동체(100)에 부여된 임무를 처리하기 위한 제어 동작을 수행하는 임무처리부(140), 임무에 따라 구동부(160)를 제어하는 제어부(150), 및 제어부(150)의 제어에 따라 무인이동체(100)를 구동시키는 구동부(160)를 포함한다.
상기 패킷관리부(120)는 도 2(a)에 예시한 패킷을 관제센터 서버(300) 또는 투시형 HMD(200)로부터 수신할 시에 패킷에 담긴 데이터를 추출하여 임무처리부(140)로 전달하고, 상기 센서부(130) 및 임무처리부(140)로부터 전달받는 데이터를 도 2(b)에 예시한 패킷에 담아 통신부(110)를 통해 관제센터 서버(300) 및 투시형 HMD(200)에 전송한다. 수신한 패킷에 담기는 데이터는 동작 지령과 임무 관련 정보를 포함하므로, 임무처리부(140)에 전달된다.
상기 센서부(130)는 카메라, 적외선 센서, 레이저, 라이더 센서, GPS 센서, 초음파 센서, 온도센서, 습도 센서, 가스 센서 등의 다양한 센서들 중에 본 발명이 적용되는 분야에서 필요로 하는 센서를 적어도 1개 이상 포함할 수 있다. 또한 상기 센서부(130)는 무인이동체(100)의 내부 상태를 파악하기 위한 각종 센서를 포함할 수 있다.
상기 임무처리부(140)는 패킷관리부(120)로부터 전달받은 동작 지령과 임무 관련 정보를 해석하고, 센서부(130)에 의해 검출된 현재의 센싱 데이터를 참조하여 무인이동체 운용에 필요한 제어 명령을 제어부(150)에 전달하고, 제어부(150)에서 감지되는 상태 데이터를 전달받아 패킷관리부(120)에 넘긴다.
상기 제어부(150)는 센싱부(130)에서 감지되는 실시간 센싱 데이터를 참조하며 제어 명령에 따라 구동부(160)를 구동시켜서, 무인이동체를 동작 지령과 임무 관련 정보에 부합하게 구동시키고, 구동부(160)를 구동하면서 취득하는 구동부(160)의 상태 데이터를 취합하여 임무처리부(140)에 전달한다.
상기 구동부(160)는 무인이동체의 이동, 자세, 방향 등을 제어하기 위한 각종 모터, 엔진 및 액츄에이터와, 촬영 영상의 안정을 위한 짐벌을 포함할 수 있다.
이와 같이 구성되는 무인이동체(100)는 관제센터 서버(300) 및 투시형 HMD(200)에서 송신한 패킷의 지령 및 임무 관련 정보에 따라 구동하여, 자율 주행하거나 원격 조종되어 현장으로 이동하고, 현장에서 얻는 센싱 데이터 및 무인이동체(100)의 상태 데이터를 취합하여 담은 패킷을 관제센터 서버(300) 및 투시형 HMD(200)에게 송신할 수 있다.
도 4는 관제센터 서버(300)의 블록 구성도이다.
상기 관제센터 서버(300)는 무인이동체(100) 및 투시형 HMD(200)와 데이터 통신하기 위한 통신부(310), 송수신 패킷을 처리하기 위한 패킷관리부(320), 투시형 HMD(200)와의 협업 처리를 위한 협업 프로세서부(330), 관제센터 요원의 조작에 따른 입력 처리와 디스플레이부(360)의 화면 출력을 위한 통합 관제 인터페이스부(340), 모니터링 화면을 제공하기 위한 디스플레이부(350) 및 현장에 관련된 다양한 부가적 정보를 저장하여 두는 데이터베이스부(360)를 포함한다.
상기 데이터베이스부(360)에 저장되어 있는 부가적 정보는 예를 들어, 건물 구조도, 건물 설계도면, 주변 지형 정보, 교통 상황 정보, 도로망 정보, 전력망 정보, 상하수도망 정보, 배수로 정보, 기상 정보, 통신망 정보 등으로 다양할 수 있다. 이러한 부가적 정보는 본 발명의 응용 분야에 따라 상이할 수 있으나, 관련 기관으로부터 사전 수집하여 두거나 아니면 관련 기관과 네트워크로 연결되어 실시간 수집할 수 있게도 할 수 있는 정보로서, 예를 들어, 국가 재난 대응 관련 기관과 연계하여 다양한 루트로 수집할 수 있음은 자명하므로, 이를 위한 구성에 대해서는 상세 설명은 생략한다.
상기 패킷관리부(320)는 무인이동체(100) 및 투시형 HMD(200)에서 송신한 패킷에 담긴 데이터를 추출하여 협업 프로세서부(330)에 전달하고, 협업 프로세서부(330)에서 전달하는 데이터를 패킷에 담아 수신처에 맞게 무인이동체(100) 또는 투시형 HMD(200)에 송신한다.
상기 협업 프로세서부(330)에는 수신정보 처리부(331), 요청 처리부(332), 송신정보 처리부(333) 및 무인이동체 운용부(334)가 구비된다.
상기 수신정보 처리부(331)는 수신한 패킷의 데이터 중에 무인이동체(100)에서 도 2(b)에 예시한 패킷에 담아 송신한 센싱 데이터 및 상태 데이터와, 투시형 HMD(200)에서 도 2(c)에 예시한 패킷에 담아 송신한 센싱 데이터 및 상태 데이터를 통합 관제 인터페이스부(340)를 통해 디스플레이부(350)에 출력되게 하여서, 관제센터 요원이 인지할 수 있게 하고, 데이터베이스부(360)에 저장하여서, 차후에 열람할 수 있게 한다.
상기 요청 처리부(332)는 수신한 패킷의 데이터 중에 투시형 HMD(200)에서 현장 요원에 의해 도 2(c)에 예시한 패킷에 담아 송신한 의사 전달 내용 또는 요청 사항이 담긴 데이터를 수리하여서, 통합 관제 인터페이스부(340)를 통해 디스플레이부(350)에 출력되게 한다.
관제센터 요원은 디스플레이부(350)에 출력되는 의사 전달 내용 또는 요청 사항에 따라 자신의 의사 또는 현장 요원에게 전달할 임무를 통합 관제 인터페이스부(340)에 입력한다.
이때, 상기 송신정보 처리부(333)는 관제센터 요원 의사 및 현장 요원 임무를 패킷관리부(320)에 전달하여서, 도 2(d)에 예시한 패킷에 담아 통신부(310)를 통해 투시형 HMD(200)에 전송한다.
아울러, 상기 송신정보 처리부(333)는 요청 사항에 응답하기 위해서, 데이터베이스부(360)에서 관련 데이터를 추출한 후 패킷관리부(32)에 전달함으로써, 투시형 HMD(200)에 전송되게 한다.
여기서, 요청 사항 중에, 무인이동체(100)의 운영 권한 이양에 관한 요청에 대해서는 관제센터 요원의 승인 없이 자동으로 승인 통지하거나, 아니면, 현장 요원이 승인 없이 요청 즉시 무인이동체(100)의 운영 권한을 행사하게 하여도 좋다.
관제센터 요원과 현장 요원과의 음성 통화는 기존 시스템에서도 가능한 기본 기능이므로, 상세 설명은 생략한다.
상기 무인이동체 운용부(334)는 관제센터 요원이 무인이동체(100)의 원격 조종을 위해서 통합 관제 인터페이스부(340)를 통해 입력한 동작 지령 또는 임무 관련 정보를 처리하는 구성요소로서, 동작 지령 또는 임무 관련 정보를 무인이동체(100)의 임무처리부(140)에서 인지 가능한 포맷으로 변환한 후 패킷관리부(320)에 전달함으로써, 도 2(a)에 예시한 패킷에 담아 무인이동체(100)에 전송되게 한다.
이와 같이 협업 프로세서부(330)를 구비한 관제선터 서버(300)는 무인이동체(100) 및 투시형 HMD(200)에서 취득한 현장 상황 정보와 상태 정보를 수집하여, 모니터링 할 수 있게 하고, 현장 요원에게 임무 전달하거나 또는 현장 요원과의 의사 통화를 가능하게 하며, 무인이동체(100)의 원격 조종 권한을 현장 요원과 주고 받는 식으로 공유하게 하고, 현장 요원이 요구하는 사항을 신속하게 전송하여 현장 엄무를 지원한다.
도 5는 투시형 HMD(200)의 블록 구성도이다.
상기 투시형 HMD(200)는 현장 요원이 착용하는 투시형 HMD(See-Through type Head Mounted Display)으로서, 관제센터 서버(300) 및 무인이동체(100)와 데이터 통신하기 위한 통신부(210), 통신부(210)를 통해 송수신하는 패킷을 처리하기 위한 패킷관리부(220), 상기 투시형 HMD(200)를 착용한 현장 요원의 손 동작을 검출할 손 동작 검출부(231)를 포함한 센서부(230), 손 동작 검출부(231)로 검출한 손 동작 중에 사전 설정된 손 동작과 손 위치를 인식하는 손 동작 인식부(240), 관제센터 서버(300)와의 협업 처리를 위한 협업 프로세서부(250), 상기 투시형 HMD(200)를 착용한 현장 요원의 시야 내에 배치된 투시형 디스플레이부(270), 사전 정의된 GUI 화면(10)을 투시형 디스플레이부(270)에 출력하여 현장 요원이 볼 수 있게 함은 물론이고 손 동작 인식부(240)의 손 인식 결과에 따른 입력 처리와 협업 프로세서부(250)에 의해 처리된 결과를 출력하는 인터페이스부(260), 상기 투시형 HMD(200)의 환경 설정을 위한 HMD 관리부(280)를 포함한다.
상기 패킷관리부(220)는 관제센터 서버(300) 및 무인이동체(100)에서 송신한 패킷에 담긴 데이터를 추출하여 협업 프로세서부(250)에 전달하고, 협업 프로세서부(330)에서 전달하는 데이터를 패킷에 담아 수신처에 맞게 관제센터 서버(300) 아니면 무인이동체(100)에 송신한다. 즉, 상기 패킷관리부(220)는 송신을 위한 패킷을 생성하고 수신한 패킷 내의 테이터를 추출하여, 상기 협업 프로세서부(250)의 제어에 따른 통신부(210)를 통한 송수신을 가능하게 하는 구성요소이다.
상기 센서부(230)는 카메라, GPS 센서, 적외선 센서, 체온계 등을 포함할 수 있되, 적어도 상기 손 동작 검출부(231)를 필수 구성요소로 포함하고, 투시형 HMD(250)에 갖춰진 구성요소들의 상태를 감지하기 위한 센서를 포함할 수도 있다.
여기서, 상기 손 동작 검출부(231)는 상기 투시형 디스플레이부(270)를 통해 투시되는 영역에서 현장 요원의 손을 검출하는 구성요소로서, 카메라 또는 적외선 센서를 활용하여 구현될 수도 있으나, 이에 한정하는 것은 아니며, 손 동작 검출하기 위한 다양한 형태로 개발된 제스처 기반 HID(Human Interface Device)를 활용하여 구현될 수도 있다.
상기 손 동작 인식부(240)는 상기 손 동작 검출부(231)에서 검출한 손 동작을 인식하여 손 위치를 결정하고, 사전 설정된 손 동작이면, 손 동작 유형 및 손 위치를 상기 인터페이스부(260)에 전달한다.
상기 협업 프로세서부(250)는 인터페이스부(260)에서 버튼이 선택될 시에 선택 버튼을 알리게 하고, 인터페이스부(260)에 의해서 정보 출력되게 하고, 센서부(230)에서 검출한 센싱 데이터를 전달하게 하고, 패킷관리부(220)에서 패킷을 수신할 시에 패킷의 데이터를 전달하게 하고, 패킷관리부(220)에서 데이터를 전달하며 수신처를 지정하여 데이터를 패킷에 담아 지정된 수신처에게 송신하게 하는 전방 동작을 제어하는 구성요소로서, 원격협업 처리부(251), 현장협업 처리부(252), 무인이동체 운용부(253) 및 상태정보 처리부(254)를 포함한다.
상기 원격협업 처리부(251)는 상기 관제센터 서버(300)와 데이터 통신하여 관제센터 요원과의 협업할 수 있게 하는 프로세스로서, 수신한 패킷의 데이터 중에 관제센터 서버(300)에서 하달한 임무, 관제센터 요원의 의사 또는 요청한 부가적 정보를 담은 데이터를 인터페이스부(260)에 전달하여 투시형 디스플레이부(270)에 출력할 수 있게 하고, 인터페이스부(260)에 통해 입력된 사항에 따라 발생한 현장 요원의 의사, 현장 요원의 요청 사항 또는 센서부(230)로 취득한 센싱 데이터를 패킷관리부(220)에 전달하여 관제센터 서버(300)에 전달되게 한다.
여기서, 현장 요원의 요청 사항은 부가적 정보의 전송을 요청하는 것과, 무인이동체(100)의 운영 권한을 이양해 달라는 것을 포함하며, 운영 권한을 이양해 달라고 요청한 이후에는 무인이동체 운용부(253)의 기능이 활성화된다.
상기 현장협업 처리부(252)는 현장 요원이 무인이동체(100)에서 얻는 센싱 데이터를 확인하여 현장 상황을 파악하고 임무 수행에 활용하게 하는 프로세스로서, 인터페이스부(260)를 통해 입력된 사항에 따라 센싱 데이터를 전송하라는 지령을 패킷관리부(220)에 전달하여 무인이동체(100)에 송신되게 하고, 무인이동체(100)에서 송신한 패킷에 담긴 센싱 데이터를 전달받아 인터페이스부(260)에 전달함으로써, 투시형 디스플레이부(270)에 출력할 수 있게 한다.
상기 무인이동체 운용부(253)는 무인이동체(100)의 운영 권한을 이양받게 된 후 활성화되어서, 현장 요원이 무인이동체(100)을 원격 조종하게 한다. 즉, 인터페이스부(260)를 통해 입력되는 현장 요원의 지령을 무인이동체(100)의 임무처리부(140)에서 인지할 수 있는 포맷의 지령으로 변환한 후 패킷관리부(220)에 전달하여, 무인이동체(100)에 송신되게 한다.
상기 상태정보 처리부(254)는 센서부(230)에서 얻는 센싱 데이터를 전달받아, 인터페이스(260) 및 패킷관리부(220)에 전달하여, 투시형 디스플레이부(270)에 출력하게 함은 물론이고, 관세센터 서버(300)에게 송신되게 한다.
상기 투시형 디스플레이부(270)는 투시형 HMD(200)를 착용한 현장 요원의 시야를 덮되, 투시하여 외부 환경을 볼 수 있게 하여 현장 요원의 시야를 보장하는 디스플레이어로서, 상기 인터페이스부(260)에 의해서 GUI 화면(10)이 출력되어, 현장 요원이 GUI 화면(10)을 볼 수 있게 하더라도, 투시하여 외부 상황을 볼 수 있게 하는 합성 현실(Mixed Reality)이 구현된다.
상기 인터페이스부(260)에 대해서는 도 6 내지 도 9를 참조하며 설명한다.
도 6은 투시형 HMD(200)의 GUI(Graphical User Interface) 화면(10) 구성도이다.
도 7은 도 6의 GUI 화면(10)에서 버튼을 선택하기 위한 손 동작의 예시도이다.
도 8은 도 6에서 버튼 조작에 따른 보조버튼(18)의 기능 변화를 예시한 도면이다.
도 9는 도 6에서 최소화/복구 버튼(19)을 선택할 시의 화면 구성도이다.
상기 인터페이스부(260)는 도 6에 도시한 GUI 화면(10)을 상기 투시형 디스플레이부(270)를 출력한다.
상기 GUI 화면(10)을 살펴보면, 중앙의 정보 출력 영역(11)을 중심으로 양측 및 하부를 구획하여 상태 출력 영역(12), 복수의 기능 버튼, 및 최소화/복구 버튼(19)이 배치되게 하였다. 여기서, 기능 버튼은 운용 권한 요청 버튼(13), 무인이동체 선택 버튼(13a), 무인이동체 제어 버튼(13b), 무인이동체 정보 수신 버튼(14), 관제센터 정보 수신 버튼(15), 비상 버튼(16), 구조 요청 버튼(17) 및 복수의 보조 버튼(18)을 포함한다.
상기 정보 출력 영역(11)은 현장 요원의 버튼 조작에 따라 보여줄 각종 정보를 출력하는 영역이다.
상기 상태 출력 영역(12)은 상기 상태정보 처리부(254)에서 취합된 센서부(230)의 센싱 데이터를 출력하는 영역으로서, 투시형 HMD(200)의 상태를 확인할 수 있게 한다.
상기 인터페이스부(260)는 현장 요원이 버튼을 선택할 수 있게 하기 위해서, 상기 손 동작 검출부(231)의 검출 영역을 상기 투시형 디스플레이부(270)의 GUI 화면(10) 영역에 매칭시킴으로써, 상기 손 동작 검출부(231)에서 검출한 손을 인식하는 상기 손 동작 인식부(240)에 의해서 결정된 손 위치를 GUI 화면(10) 상의 위치로 매칭시킬 수 있게 하였다.
그리고, 도 7에 도시한 바와 같이 손 위치에 따라 정해진 버튼 위치에서 사전 설정된 손 동작이 감지되면, 해당 버튼을 선택하는 것으로 처리하게 하였다. 즉, 상기 손 동작 인식부(240)에서 결정된 손 위치와 인식된 손 동작을 모두 만족하는 버튼을 선택하는 것으로 인식한다.
버튼 선택을 위한 손 동작은 손가락으로 원을 2번 그리는 동작(7a)이나 아니면 V자를 그리는 동작(7b)으로 할 수 있음을 도 7에 예시하였으나, 이러한 동작에 한정하는 것이 아니다. 가능하면 버튼 선택을 위한 손 동작은 현장 임무를 수행할 시에 사용하지 않는 특이한 동작으로 하는 것이 좋다.
복수 개로 마련된 보조 버튼(18)은 다른 종류의 기능 버튼이 선택될 시에 사용하게 할 보조 버튼으로서, 선택된 다른 종류의 기능 버튼에 따라 각각 기능이 할당된다. 이때 할당되는 기능의 명칭은 보조 버튼(18) 상에 표시되게 하여서, 사용 편리성을 높이는 것이 좋다.
상기 운용 권한 요청 버튼(13)은 무인이동체(100)의 원격 조종 권한을 관제센터 서버(300)에 요청할 시에 선택하는 버튼으로서, 운용 권한 요청 사항을 상기 원격협업 처리부(251)에 의해 처리되어 관제센터 서버(300)에 전송되게 한다.
그리고, 상기 운용 권한 요청 버튼(13)이 선택된 이후, 상기 인터페이스부(260)는 무인이동체 제어 버튼(13b)을 활성화하여 선택할 수 있게 한다. 물론, 무인이동체 제어 버튼(13b)이 선택에 의해 기능 할당된 보조버튼(18)도 활성화되어 선택할 수 있다.
본 발명의 실시 예에서는 복수 개의 무인이동체(100)를 포함하게 구성되는 것으로 하여서, 한 사람의 현장 요원이 복수 개의 무인이동체(100)를 개별적으로 선택하여 센싱 데이터를 확인하거나 원격 조종하게 하였다.
상기 무인이동체 선택 버튼(13a)은 복수 개의 무인이동체(100)를 중에 현장 요원이 원하는 하나를 선택하게 하는 버튼이다. 상기 무인이동체 선택 버튼(13a)이 선택되면, 도 8(c)에 도시한 바와 같이 복수 개의 보조버튼(18)은 무인이동체(100)의 순번이 할당되어, 무인이동체(100)를 선택할 수 있는 기능을 갖게 된다.
이와 같이 복수 개의 보조버튼(18) 중에 어느 하나를 선택하여, 원격 조종할 무인이동체(100)를 결정된다.
상기 무인이동체 제어 버튼(13b)은 결정한 무인이동체(100)를 원격 조종할 시에 선택하는 버튼으로서, 이 버튼이 선택되면, 상기 협업 프로세서부(250)에 의해서 관제센터 서버(300)에게 조종 권한을 요청하는 기능이 수행된다. 이후, 관제센터 서버(300)로부터 조종 권한을 획득했을 시에, 상기 무인이동체 운용부(253)가 활성화되고, 복수 개의 보조버튼(18)에는 도 8(d)에 예시한 바와 같이 미리 선정되어 있는 서로 다른 지령이 할당된다. 상기 무인이동체 운용부(253)는 선택되는 보조버튼(18)에 할당된 지령을 처리하여 무인이동체(100)에게 전달되게 한다. 이에, 현장 요원은 무인이동체(100)을 원격 조종하기 위한 조종기의 키 역할을 하는 보조버튼(18)를 선택하여 무인이동체(100)를 원격 조종할 수 있다. 도 7(d)에는 이착륙, 호버링, 선회 비행 및 리턴 홈의 지령이 보조버튼(18)에 할당되는 것으로 예시되어 있으나, 이에 한정하는 것은 아니며, 보조버튼(18)의 개수를 늘려 보다 다양한 원격 조종 방식을 채용하게 하여도 좋다.
상기 무인이동체 정보 수신 버튼(14)은 선택된 무인이동체(100)의 센싱 데이터를 정보 출력 영역(11)에 출력하기 위한 버튼으로, 이 버튼이 선택되면 복수 개의 보조버튼(18)에는 도 8(a)에 예시한 바와 같이 무인이동체(100)로부터 받을 수 있는 센싱 데이터의 종류가 할당된다. 예시적으로, 촬영 영상, 적외선 영상, 무인이동체 위치를 표시할 지도, 영상 이외의 센싱 값을 선택할 수 있도록 각 보조버튼(18)에 기능 할당되는 것으로 하였다. 상기 현장협업 처리부(252)는 선택된 보조버튼(18)에 할당된 기능에 따라 센싱 데이터를 요청할 지령을 무인이동체(100)에 전달하고, 지령에 따라 무인이동체(100)에 전송하는 센싱 데이터를 정보 출력 영역(11)에 출력되게 처리한다.
여기서, 운용 권한 요청 버튼(13)을 선택하지 아니한 상태에서, 무인이동체 선택 버튼(13a)을 선택하여 무인이동체(100)를 정한 후, 상기 무인이동체 정보 수신 버튼(14)을 선택하여 센싱 데이터를 받을 수 있게 하여도 좋다.
상기 관제센터 정보 수신 버튼(15)은 관제센터 서버(300)에 저장된 현장 관련 부가적 정보를 정보 출력 영역(11)을 통해 보여주기 위한 버튼으로서, 이 버튼이 선택되면, 도 8(b)에 예시한 바와 같이 관제센서 서버(300)로부터 받을 수 있는 부가적 정보의 항목이 복수 보조버튼(18)에 할당된다. 상기 원격협업 처리부(251)는 보조버튼(18)으로 선택된 항목의 부가적 정보를 관제센터 서버(300)에 요청하고, 요청에 따라 부가적 정보를 받도록 처리한다. 이에, 요청한 부가적 정보를 수신하여 인터페이스부(260)를 통해 정보 출력 영역(11)에 출력할 수 있다.
상기 비상 버튼(16) 및 구조 요청 버튼(17)은 현장 요원이 판단한 의사를 선택하게 할 버튼으로서, 이 버튼이 선택되면 원격협업 처리부(251)는 해당 의사를 관제센터 서버(300)에 전달되게 처리하여서, 관제센터 요원에게 전달되게 한다. 이때의 의사 메시지는 상기 비상 버튼(16) 및 구조 요청 버튼(17)별로 미리 할당되어 있어서, 자동 생성되어 전달된다.
비상 상황을 알리는 비상 버튼(16)과 구조 활동이 필요함을 알리는 구조 요청 버튼(17) 2개만 예시하였으나, 신속한 의사 전달을 위한 보다 많은 버튼을 갖게 하여도 좋다. 예를 들어, 긴급 버튼을 하나만 두고, 긴급 버튼이 선택될 시에 복수 보조 버튼(18)에 긴급 상황을 할당하는 것이다.
물론, 정보 출력 영역(11)은 정보를 출력하지 아니할 시에, 투시하여 시야를 가리지 아니한다. 정보 출력 영역(11)의 테두리 측에 있는 각종 버튼이나 상태 출력 영역(12)은 이를 식별할 수 있는 표기 이외의 영역으로 투시할 수 있게 하는 것이 좋다.
상기 최소화/복구 버튼(19)은 GUI 화면(10)을 간소화하여서, 현장 요원이 현장 상황을 파악하는 데 방해되지 아니하게 한다.
도 9는 상기 최소화/복구 버튼(19)이 선택될 시의 간소화 화면(또는 최소화 화면)을 예시한 도면으로서, 상기 최소화/복구 버튼(19)만 남기고, 나머지 모든 기능 버튼과, 상태 출력 영역(12)을 GUI 화면(10)에서 사라지게 하여 화면 출력되지 않게 하였다. 즉, 상기 최소화/복구 버튼(19)은 GUI 화면(10) 구성 중에 자신을 제외한 구성의 출력 여부를 결정한다. 이에, 도 9의 간소화 화면으로 출력된 상태에서는 상기 최소화/복구 버튼(19)을 제외한 나머지 버튼 위치에서의 손 동작에 의한 기능 버튼의 선택이 되지 아니하고, 아울러, 중앙에 배치하였던 정보 출력 영역에도 수신 데이터를 출력할 수 없게 된다.
물론, 도 9의 간소화 화면에서 상기 최소화/복구 버튼(19)을 재선택하면, 도 6에 도시한 상기 GUI 화면(10)으로 복원되어서, 상기 최소화/복구 버튼(19)은 물론 나머지 버튼도 선택할 수 있고, 수신 데이터 및 상태 데이터 출력도 가능하게 된다.
상기 HMD 관리부(280)는 예를 들어 GUI 화면(10)에 표시되는 각종 버튼의 투명도, 화면 밝기, 채도 등을 조절하여, 환경 설정하는 기능을 부여할 수 있다.
도 10은 손 동작 인식부(260)로 인식할 수 있게 한 손 동작의 예시도이다.
상기 도 10은 현장 요원이 도 6에 예시한 GUI 화면(10)을 이용하지 아니하고, 손 동작만으로 기능 선택할 수 있게 한 손 동작을 예시한 도면이다.
즉, 상기 최소화/복구 버튼(19)의 선택에 의해서 상기 9에 도시한 최소화 화면(또는 간소화 화면)을 출력하여, 운용 권한 요청 버튼(13), 무인이동체 선택 버튼(13a), 무인이동체 제어 버튼(13b), 무인이동체 정보 수신 버튼(14), 관제센터 정보 수신 버튼(15), 비상 버튼(16), 구조 요청 버튼(17) 및 복수의 보조 버튼(18)이 GUI 화면에서 사라진 상태에서, 사라진 버튼의 기능을 기능 선택용 손 동작으로 기능 수행하게 한다.
예시적으로, 도 10에 도시한 손 동작을 상기 손 동작 인식부(260)에서 인식할 경우, 손 위치에 상관 없이 손 동작의 유형을 인터페이스부(260)에 전달하여, 손 동작 유형에 대응되는 기능을 수행하게 하였다.
예시적으로, 주먹을 쥔 경우(10a) 구조 요청 버튼(17)을 선택할 시의 기능을 하게 하고, 손가락을 펼친 경우(10b, 10c, 10d, 10e) 펼친 손가락 개수가 1 내지 4개 범위이면 대응되는 순번의 무인이동체(100)를 선정하게 하여서 상기 무인이동체 선택 버튼(13a)을 선택한 후 복수 보조버튼(18) 중에 순번에 대응되는 어느 하나를 선택할 시의 기능을 하게 한다.
다섯 손가락 모두를 펼친 경우(10f) 관제센터 서버(10)에 특정 의사를 전달하는 기능 수행하게 하였으며, 예시적으로 무인이동체(100)와의 통신 불능 상황을 관제센터 서버(10)에 긴급히 알리는 기능을 하게 하였다.
예시적으로 손가락으로 그리는 형상에 따라 기능 수행하게도 하였으며, 도 10을 참조하면, 손가락으로 'Z' 자를 그리면, 무인이동체 제어 버튼(13b)을 선택한 후 활성화되는 도 8(d)의 리턴 홈 기능의 보조버튼(18)을 선택할 시의 기능을 수행하게 하고, 'ㄱ'자를 그리면 운용 권한 요청 버튼(13)을 선택할 시의 기능을 수행하게 하고, 'o'자를 그리면 비상 버튼(16)을 선택할 시의 기능을 수행하게 하였다.
즉, 도 10에 예시한 바와 같이 기능 버튼으로 선택할 기능 중에 손 동작만으로 수행하게 할 기능을 미리 설정하여 둠으로써, 도 9에 예시한 최소화 GUI 화면(10)을 출력한 상태에서도 실질적으로 단축 키 입력으로 볼 수 있는 손 동작으로 지령 또는 의사를 전달할 수 있으므로, 현장 요원이 GUI 화면(10)에 의한 시야 방해를 받지 아니하면서, 임무 수행하는 중에도 특정 기능을 수행하게 할 수 있다.
한편, GUI 화면(10)을 최소화한 상태에서, 단축 키 역할을 하는 기능 선택용 손 동작 중에 특정 손 동작이 인식되면, GUI 화면(10)의 구성 중에 일부 또는 전체를 출력하게 할 수도 있다. 즉, 운용 권한 요청(13)의 단축 키 역할을 하는 손 동작이 감지되면, 보조버튼만 선별적으로 출력하여 원격 조종하게 할 수 있다.
이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시 예로 도시하고 설명하였으나, 본 발명은 상기와 같이 구체적인 실시 예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
100 : 무인이동체
110 : 통신부 120 : 패킷관리부
130 : 센서부 140 : 임무처리부
150 : 제어부 160 : 구동부
200 : 투시형 HMD(See-Through type Head Mounted Display)
210 : 통신부 220 : 패킷관리부
230 : 센서부 231 : 손 동작 검출부
240 : 손 동작 인식부
250 : 협업 프로세서부
251 : 원격협업 처리부 252 : 현장협업 처리부
253 : 무인이동체 운용부 254 : 상태정보 처리부
260 : 인터페이스부 270 : 투시형 디스플레이부
280 : HMD 관리부
300 : 관제센터 서버
310 : 통신부 320 : 패킷관리부
330 : 협업 프로세서부
331 : 수신정보 처리부 332 : 요청 처리부
333 : 송신정보 처리부 334 : 무인이동체 운용부
340 : 통합관제 인터페이스부 350 : 디스플레이부
360 : 데이터베이스부
110 : 통신부 120 : 패킷관리부
130 : 센서부 140 : 임무처리부
150 : 제어부 160 : 구동부
200 : 투시형 HMD(See-Through type Head Mounted Display)
210 : 통신부 220 : 패킷관리부
230 : 센서부 231 : 손 동작 검출부
240 : 손 동작 인식부
250 : 협업 프로세서부
251 : 원격협업 처리부 252 : 현장협업 처리부
253 : 무인이동체 운용부 254 : 상태정보 처리부
260 : 인터페이스부 270 : 투시형 디스플레이부
280 : HMD 관리부
300 : 관제센터 서버
310 : 통신부 320 : 패킷관리부
330 : 협업 프로세서부
331 : 수신정보 처리부 332 : 요청 처리부
333 : 송신정보 처리부 334 : 무인이동체 운용부
340 : 통합관제 인터페이스부 350 : 디스플레이부
360 : 데이터베이스부
Claims (13)
- 현장 요원이 착용하는 투시형 HMD(200), 현장 관련 데이터가 저장되어 있는 관제센터 서버(300), 및 투시형 HMD(200) 또는 관제센터 서버(300)의 지령에 따라 현장으로 이동하여 센싱 데이터를 투시형 HMD(200) 또는 관제센터 서버(300)에게 전송하는 무인이동체(100) 사이의 3자간 통신에 의해 협업할 수 있게 한 무인이동체 기반 시스템에 있어서,
상기 투시형 HMD(200)는
무인이동체(100) 및 관제센터 서버(300)와 통신하기 위한 통신부(210);
현장 요원이 외부 환경을 투시하여 볼 수 있게 한 투시형 디스플레이부(270);
투시형 디스플레이부(270)를 통해 투시되는 영역에서 현장 요원의 손을 검출하는 손동작 검출부(231)를 포함한 복수의 센서로 구성되는 센서부(230);
검출한 손의 손 동작 및 손 위치를 인식하는 손동작 인식부(240);
무인이동체(100)의 원격 조종 기능, 무인이동체(100)의 센싱 데이터 수신 기능, 관제센터 서버(300)의 현장 관련 데이터 수신 기능, 및 현장 요원의 의사를 선정하여 관제센터 서버(300)에 전달하는 의사 전달 기능을 실행하기 위한 복수의 기능 버튼과, 데이터 수신 기능에 의해 수신된 데이터의 출력 영역을 배치한 GUI 화면(10)을 상기 투시형 디스플레이부(270)에 출력하고, 손동작 인식부(240)에 의해 인식된 손 위치의 기능 버튼 상에서 사전 설정된 버튼 선택용 손 동작이 인식될 시에 해당 기능 버튼을 선택하는 것으로 인식하는 인터페이스부(260);
상기 인터페이스부(260)에 의해 선택된 것으로 인식되는 기능 버튼에 대응되는 기능의 수행을 위해 통신부(210)를 통한 송수신 동작 또는 인터페이스부(260)를 통한 수신 데이터의 화면 출력 동작을 제어하는 협업 프로세서부(250); 및
송신을 위한 패킷을 생성하고 수신한 패킷 내의 테이터를 추출하여, 통신부(210)를 통한 송수신이 가능하게 하는 패킷관리부(220);
를 포함하되,
상기 인터페이스부(260)는
상기 GUI 화면(10)을 최소화하는 최소화/복구 버튼을 상기 GUI 화면(10)에 추가 배치하고, 손 동작에 의해 최소화/복구 버튼이 선택될 시에 최소화/복구 버튼을 제외한 나머지 버튼 및 데이터 출력 영역을 화면에서 사라지게 하여, 손 동작에 의해 기능 버튼이 선택되지 아니하고 수신 데이터도 출력하지 않게 한 상태에서, 기능 버튼에 대응되는 미리 설정된 기능 선택용 손 동작이 손동작 인식부(240)에 의해 인식될 시에, 대응되는 기능 버튼이 선택되는 것으로 하여, 기능 선택용 손 동작이 기능 버튼의 단축 키 역할을 하게 하고, 최소화/복구 버튼이 재선택될 시에 상기 GUI 화면(10)으로 복원하여 기능 버튼을 선택하고 수신 데이터를 출력할 수 있게 하는
무인이동체 기반 시스템. - 제 1항에 있어서,
상기 인터페이스부(260)는
복수의 보조 버튼을 상기 GUI 화면(10)에 추가 배치하고, 기능 버튼이 선택될 시에 선택된 기능 버튼에 대응되는 기능의 복수 하위 기능을 복수의 보조버튼에 대응시켜, 손 동작 및 손 위치에 따라 보조버튼을 선택할 수 있게 한
무인이동체 기반 시스템. - 제 2항에 있어서,
상기 무인이동체(100)는 복수 개이고,
상기 GUI 화면(10)은 무인이동체를 선택하는 기능 버튼이 추가 배치되며,
상기 인터페이스부(260)는
무인이동체를 선택하는 기능 버튼이 선택될 시에, 복수 개의 무인이동체(100)를 개별 선택하는 기능을 상기 보조 버튼에 할당하고, 상기 보조 버튼에 의해 무인이동체(100)가 선택된 이후 무인이동체(100)의 원격 조종 기능 및 무인이동체(100)의 센싱 데이터 수신 기능이 할당된 기능 버튼을 선택하게 한
무인이동체 기반 시스템. - 제 2항에 있어서,
상기 인터페이스부(260)는
무인이동체(100)의 원격 조종 기능에 대응되는 기능 버튼이 선택될 시에, 상기 보조 버튼을 무인이동체(100)에 전달할 기선정 지령이 할당된 원격 조종 키로 활용되게 한
무인이동체 기반 시스템. - 제 4항에 있어서,
상기 GUI 화면(10)에는
무인이동체(100)의 조종 권한을 이양받기 위한 요청 신호를 관제 센터에 전송하는 기능의 권한 요청 기능 버튼이 추가 배치되며,
상기 인터페이스부(260)는
권한 요청 기능 버튼이 선택된 후 관제센터 서버(300)로부터 무인이동체(100) 조종 권한을 획득했을 시에, 무인이동체(100)의 원격 조종 기능을 위한 기능 버튼 및 원격 조종 키로 활용할 상기 보조 버튼을 활성화하는
무인이동체 기반 시스템. - 제 1항에 있어서,
상기 협업 프로세서부(250)는
상기 인터페이스부(260)에서 상기 GUI 화면(10)의 의사 전달 기능 버튼이 선택될 시에, 사전에 해당 버튼에 할당한 의사를 관제센터 서버(300)에 자동 송신하게 제어하는
무인이동체 기반 시스템. - 삭제
- 제 1항에 있어서,
상기 인터페이스부(260)는
투시형 HMD(200)의 상태 데이터 출력 영역을 상기 GUI 화면(10)에 추가 배치하되, 상기 최소화/복구 버튼에 의해 화면에서 사라지게 할 수 있고,
상기 협업 프로세서부(250)는
상기 투시형 HMD(200)에 구비된 센서부(230)의 센싱 데이터를 취득하여 상기 GUI 화면(10)에 출력하게 하는 기능을 수행하는
무인이동체 기반 시스템. - 제 8항에 있어서,
상기 인터페이스부(260)는
수신 데이터 출력 영역을 GUI 화면(10)의 중심에 배치하고, 버튼 및 상태 데이터 출력 영역을 수신 데이터 출력 영역의 테두리를 따라 배치하는
무인이동체 기반 시스템. - 삭제
- 제 1항에 있어서,
상기 기능 선택용 손 동작은
펼친 손가락 개수 별로 구분하여 기능 버튼에 대응시키는
무인이동체 기반 시스템. - 제 1항에 있어서,
상기 기능 선택용 손 동작은
손이 그리는 형상 별로 구분하여 기능 버튼에 대응시키는
무인이동체 기반 시스템. - 제 1항에 있어서,
상기 협업 프로세서부(250)는
관제센터 서버(300)의 현장 관련 데이터 수신을 위한 기능 버튼이 선택될 시에 요청 메시지를 통신부(210)를 통해 송신하게 하고, 수신 데이터를 인터페이스부(260)에 의해 GUI 화면(10)에 출력되게 하며, 현장 요원의 의사 전달을 위한 기능 버튼이 선택될 시에 의사 메시지를 생성하여 통신부(210)를 통해 송신하게 하는 원격협업 처리부(251);
무인이동체(100)의 센싱 데이터 수신을 위한 기능 버튼이 선택될 시에, 데이터 요청 메시지를 통신부(210)를 통해 송신하게 하고, 수신 데이터를 인터페이스부(260)에 의해 GUI 화면(10)에 출력되게 하는 현장협업 처리부(252);
무인이동체(100)의 원격 조종을 위한 기능 버튼이 선택될 시에 선택된 버튼에 따른 지령을 생성하여 통신부(210)를 통해 송신하게 하는 무인이동체 운용부(253); 및
상기 센서부(230)에서 얻는 센싱 데이터를 상기 GUI 화면(10)에 출력하고, 통신부(210)를 통해 관제센터 서버(300)에 송신하게 하는 상태정보 처리부(254);
를 포함하는
무인이동체 기반 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190043498A KR102253475B1 (ko) | 2019-04-15 | 2019-04-15 | Gui 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190043498A KR102253475B1 (ko) | 2019-04-15 | 2019-04-15 | Gui 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200121036A KR20200121036A (ko) | 2020-10-23 |
| KR102253475B1 true KR102253475B1 (ko) | 2021-05-20 |
Family
ID=73039392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190043498A KR102253475B1 (ko) | 2019-04-15 | 2019-04-15 | Gui 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102253475B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102550589B1 (ko) * | 2022-11-29 | 2023-07-03 | (주)네온테크 | 이동 통신망 기반 멀티 무선 제어 가능한 무인항공기 및 이를 제어하는 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101883292B1 (ko) * | 2017-04-11 | 2018-08-30 | 경상대학교산학협력단 | 재난 구조 및 대응 시스템 및 그 운용 방법 |
| KR101934315B1 (ko) * | 2018-05-23 | 2019-01-02 | 유씨아이테크 주식회사 | Ｉｃｔ 기반 ａｒ을 이용한 건설 유지 관리 원스톱 시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100800859B1 (ko) * | 2004-08-27 | 2008-02-04 | 삼성전자주식회사 | Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법 |
| KR101690993B1 (ko) * | 2015-04-21 | 2016-12-30 | 부경대학교 산학협력단 | 복수개의 드론 제어 시스템 및 그 제어방법 |
-
2019
- 2019-04-15 KR KR1020190043498A patent/KR102253475B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101883292B1 (ko) * | 2017-04-11 | 2018-08-30 | 경상대학교산학협력단 | 재난 구조 및 대응 시스템 및 그 운용 방법 |
| KR101934315B1 (ko) * | 2018-05-23 | 2019-01-02 | 유씨아이테크 주식회사 | Ｉｃｔ 기반 ａｒ을 이용한 건설 유지 관리 원스톱 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200121036A (ko) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102067057B1 (ko) | 디지털 디바이스 및 제어 방법 | |
| CN104808675B (zh) | 基于智能终端的体感飞行操控系统及终端设备 | |
| US9616993B1 (en) | Simplified auto-flight system coupled with a touchscreen flight control panel | |
| JP6560481B1 (ja) | 無人航空機制御システム、無人航空機制御方法、及びプログラム | |
| CN111372851B (zh) | 无人航空器控制系统、无人航空器控制方法、及可读存储媒体 | |
| US12018947B2 (en) | Method for providing navigation service using mobile terminal, and mobile terminal | |
| NO20120341A1 (no) | Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy | |
| KR20170090888A (ko) | Hmd를 이용한 무인기 조종 장치 | |
| US20230097676A1 (en) | Tactical advanced robotic engagement system | |
| US20190014456A1 (en) | Systems and methods for collaborative vehicle mission operations | |
| WO2019212035A1 (ja) | 飛行体の制御に関する情報表示方法 | |
| Calhoun et al. | Human‐Autonomy Collaboration and Coordination Toward Multi‐RPA Missions | |
| CN107195167A (zh) | 受控设备及应用该受控设备的通信系统和方法 | |
| CN109512073A (zh) | 一种基于智能人机交互设计的军用头盔 | |
| KR102253475B1 (ko) | Gui 기반 정보 공유 방식으로 운용되는 무인이동체 기반 시스템 | |
| KR20180074404A (ko) | 공항용 로봇 및 그의 동작 방법 | |
| JP6924238B2 (ja) | 無人飛行体、コントローラ及び管理装置 | |
| EP4187342A1 (en) | Teleoperable vehicle and system | |
| Lavanya et al. | Vision interfaced war field robot with wireless video transmission | |
| KR20220036399A (ko) | 웨어러블 기기를 이용한 혼합현실 모니터링 시스템 | |
| Evans III et al. | Control solutions for robots using Android and iOS devices | |
| Chen et al. | Multivr: Digital twin and virtual reality based system for multi-people remote control unmanned aerial vehicles | |
| US20240153390A1 (en) | Flight management system, flight management method, and flight management program for multiple aerial vehicles | |
| Chen et al. | A human-swarm interaction method based on augmented reality | |
| Sinsley et al. | An intelligent controller for collaborative unmanned air vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |