KR20190048565A

KR20190048565A - 드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템

Info

Publication number: KR20190048565A
Application number: KR1020170143636A
Authority: KR
Inventors: 이길호; 김성수
Original assignee: 용비에이티(주)
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2019-05-09
Also published as: KR101987090B1

Abstract

본 발명은 드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템에 관한 것으로서, 드론에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 상기 주 조종장치와 연동되고, 상기 드론의 이동 및 정지를 제어하기 위한 홀드 버튼, 사용자의 움직임과 상기 드론의 움직임을 동기화하기 위한 동기화 버튼, 상기 드론의 상승을 명령하기 위한 상승 버튼, 및 상기 드론의 하강을 명령하기 위한 하강 버튼을 포함하는 보조 조종장치로 구성되고, 상기 주 조종장치에 의해 인식된 사용자의 제스처와 상기 보조 조종장치의 버튼 입력을 조합하여 상기 드론을 조종하기 위한 제어정보를 전송하는 사용자 인터페이스 장치; 및 상기 사용자 인터페이스 장치로부터 상기 제어정보를 수신하고, 수신한 제어정보를 상기 드론으로 전달하여 상기 드론의 비행을 제어하는 체험 제어 장치를 포함한다.

Description

드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템{METHOD FOR CONTROLLING DRON AND AUGMENTED REALITY SIGHTSEEING SYSTEM THEREFOR}

본 발명은 드론을 제어하는 방법에 관한 것으로, 더욱 상세하게는 사용자의 움직임과 드론의 움직임을 동기화하여 드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템에 관한 것이다.

정보 통신 기술의 발달에 따라, 현재 출시되는 모바일 기기는 단순한 통화 기능뿐만 아니라 다양한 기능을 수행할 수 있도록 구성되고 있다. 그러한 다양한 기능들의 예로 웹 브라우징, 채팅, TV 시청, 네비게이션, 게임, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다.

이를 위해, 모바일 기기 제조 회사들은 보다 복잡하고 다양한 기능들을 제공하기 위해 하드웨어 및 소프트웨어 개발에 많은 노력을 기하고 있다.

또한, 최근 출시되고 있는 스마트폰에는 모바일 뱅킹, 모바일 쿠폰, 교통 카드, 게임, 보안 등의 다양하고 복잡한 응용 소프트웨어들이 탑재되고 있다.

또한, 현재 출시되고 있는 스마트폰은 고사양의 프로세서와 고해상도의 터치스크린 화면을 구비함으로써, 보다 다양한 멀티미디어 기능 및 어플리케이션의 이용을 가능하게 하고 있다.

특히, 최근에는 신체에 착용 가능한 웨어러블 디바이스에 대한 관심이 높아지고 있으며, 그에 따른 사용자의 요구도 다양해지고 있는 실정이다.

웨어러블 디바이스는 사용자의 신체에 착용 가능한 컴퓨팅 장치로써, 인체공학적 측면에서 착용감과 활동성을 제공함과 동시에 다양한 컴퓨팅 기술 및 센싱 기술을 제공하는 휴대용 정보 기기일 수 있다.

일 예로, 최근에는 삼성전자에서 손목 시계 타입의 갤럭시 기어라는 제품이 출시되었으며, 해당 제품은 시계로서의 기능뿐만 아니라 이동 통신 단말기와 같은 통신 기능을 제공하고 있다.

드론(Drone)은 사전적으로, "낮게 웅웅대는 소리"라는 의미를 갖는다. 여기서, 다양한 뜻이 파생되어 "수벌" 또는 "악기가 내는 저음"등의 뜻으로도 사용되고 있다. 하지만 최근에는 소형 무인항공기(무인기)를 지칭하는 의미로 주로 사용되고 있다.

최근, 드론은 탑재된 복수의 초소형 프로펠러(로터:Rotor)를 이용하여 기체 균형을 유지하고, 카메라 등을 탑재하여 주변 상황을 촬영할 수 있는 기능이 탑재되고 있다.

종래의 드론은 주로 무인 정찰, 전투 지원 등 군사 용도로 활용되었으나, 최근에는 물품 배달 등과 같은 상업적인 용도로도 활용되고 있는 실정이다.

그러나, 현재까지 드론의 용도는 단순 영상 획득에 치중되어 사용자가 드론을 통해 접할 수 있는 다양한 체험을 극히 한정적으로 제공하고 있으며, 이로 인해 무인 비행체의 활용 극대화가 여전히 이루어지지 못하고 있다.

따라서, 무인 비행체를 이용하여 사용자의 비행 체험을 극대화할 수 있는 시스템 개발이 요구되고 있다.

이에 따라 종래에는 등록특허 10-1569454호에 무인 비행체를 이용한 비행 체험 시스템 및 방법이 개시되어 있다.

그런데 사용자가 무인 비행체를 특정한 위치로 이동하도록 조종하는 것은 초보자로서는 상당히 어려운 기술이다. 소형 무인 비행체의 보급이 확산되고 있는 가운데 사용자의 조종 미숙으로 인한 여러 불편 사항과 사고가 일어날 가능성이 높아지고 있다.

본 명세서는 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 드론 조종에 익숙하지 않은 사용자가 드론을 쉽게 조종할 수 있는 드론을 제어하는 방법 및 이를 위한 증강현실 관광 시스템을 제공하는 데 그 목적이 있다.

또한, 증강현실 드론 체험시스템을 위한 드론 조종장치로서, 드론 조종에 익숙하지 않은 사용자가 증강현실 비행환경안에서 직관적이고 쉽게 드론을 조종할 수 있는 방법을 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위한, 본 명세서의 실시예에 따르면, 본 명세서에 따른 드론을 이용한 증강현실 관광 시스템은, 드론에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 상기 주 조종장치와 연동되고, 상기 드론의 이동 및 정지를 제어하기 위한 홀드 버튼, 사용자의 움직임과 상기 드론의 움직임을 동기화하기 위한 동기화 버튼, 상기 드론의 상승을 명령하기 위한 상승 버튼, 및 상기 드론의 하강을 명령하기 위한 하강 버튼을 포함하는 보조 조종장치로 구성되고, 상기 주 조종장치에 의해 인식된 사용자의 제스처와 상기 보조 조종장치의 버튼 입력을 조합하여 상기 드론을 조종하기 위한 제어정보를 전송하는 사용자 인터페이스 장치; 및 상기 사용자 인터페이스 장치로부터 상기 제어정보를 수신하고, 수신한 제어정보를 상기 드론으로 전달하여 상기 드론의 비행을 제어하는 체험 제어 장치를 포함한다.

바람직하게는, 상기 주 조종장치는 사용자의 움직임과 상기 드론의 움직임 사이에 스케일 팩터(Scale Factor)를 적용하는 것을 특징으로 한다.

바람직하게는, 상기 스케일 팩터는 상기 보조 조종장치의 홀드 버튼을 더블 클릭함에 따라 설정되고, 설정된 값은 상기 주 조종장치의 화면에 표시되는 것을 특징으로 한다.

바람직하게는, 상기 스케일 팩터는 상기 드론의 가속 및 감속한계로 제한되는 것을 특징으로 한다.

바람직하게는, 상기 주 조종장치는 지형영상을 참조하여 상기 스케일 팩터를 자동으로 설정하는 자동 스케일 팩터(Auto Scale Factor) 기능을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 주 조종장치는 사용자가 제한된 실내 공간에서 구획물에 근접하는 경우, 화면에 경고 알람을 띄우는 것을 특징으로 한다.

바람직하게는, 상기 주 조종장치는 이동물체의 속도와 방향, 중력, 가속도를 측정하는 장치로서, IMU(Inertial Measurement Unit) 센서가 내장된 웨어러블 디스플레이 장치 및 스마트폰 중 어느 하나인 것을 특징으로 한다.

바람직하게는, 상기 주 조종장치의 상기 IMU 센서에는 임계값이 설정되어 있어, 설정된 임계값 미만의 속도에 대해서는 상기 드론이 정지하고, 설정된 임계값 이상의 속도에 대해서는 저역 통과 필터(LPF; Low-Pass Filter)가 적용되어 상기 드론의 급조작을 방지하는 것을 특징으로 한다.

바람직하게는, 상기 보조 조종장치는 조이스틱(joystick), 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(Mouse), 스타일러스 펜(Stylus Pen), 및 터치펜(Touch Pen) 중 어느 하나인 것을 특징으로 한다.

본 명세서의 다른 실시예에 따르면, 본 명세서에 따른 드론을 제어하는 방법은, 드론에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 상기 주 조종장치와 연동되고, 상기 드론의 이동 및 정지를 제어하기 위한 홀드 버튼, 사용자의 움직임과 상기 드론의 움직임을 동기화하기 위한 동기화 버튼, 상기 드론의 상승을 명령하기 위한 상승 버튼, 및 상기 드론의 하강을 명령하기 위한 하강 버튼을 포함하는 보조 조종장치로 구성되는 사용자 인터페이스 장치가 상기 주 조종장치에 의해 인식된 사용자의 제스처와 상기 보조 조종장치의 버튼 입력을 조합하여 상기 드론을 조종하기 위한 제어정보를 전송하는 단계; 및 체험 제어 장치가 상기 사용자 인터페이스 장치로부터 수신한 제어정보를 상기 드론으로 전달하여 상기 드론의 비행을 제어하는 단계를 포함한다.

바람직하게는, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서, 상기 사용자 인터페이스 장치는, 사용자가 상기 홀드 버튼을 누른 채로 앉는 도중에 상기 홀드 버튼으로부터 손을 떼고, 상기 홀드 버튼을 연속 3회 누르며, 상기 하강 버튼을 누르는 경우, 상기 드론의 하강을 지시하는 제어정보를 전송하고, 사용자가 상기 홀드 버튼을 누른 채로 서는 도중에 상기 홀드 버튼으로부터 손을 떼고, 상기 홀드 버튼을 연속 2회 누르며, 상기 상승 버튼을 누르는 경우, 상기 드론의 상승을 지시하는 제어정보를 전송하며, 사용자가 상기 동기화 버튼을 누른 채로 상기 보조 조종장치의 자세를 기울이는 경우, 전진, 후진, 좌우이동, 좌측턴, 및 우측턴 중 어느 하나를 지시하는 제어정보를 전송하는 것을 특징으로 한다.

바람직하게는, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서, 상기 사용자 인터페이스 장치는, 사용자가 상기 홀드 버튼을 누르지 않은 채 대기 상태에 있는 경우, 상기 드론의 호버링(정지비행)을 지시하는 제어정보를 전송하고, 사용자가 상기 홀드 버튼을 누르지 않은 채 이동하는 경우, 상기 드론의 호버링 상태를 유지하도록 지시하는 제어정보를 전송하며, 사용자가 이동 중에 상기 홀드 버튼을 누르는 경우, 상기 드론의 이동을 지시하는 제어정보를 전송하고, 사용자가 상기 홀드 버튼을 누르지 않은 상태에서 정지하는 경우, 상기 드론의 계속된 이동을 지시하는 제어정보를 전송하며, 사용자가 정지 상태에서 상기 홀드 버튼을 눌렀다가 떼는 경우, 상기 드론의 정지를 지시하는 제어정보를 전송하는 것을 특징으로 한다.

바람직하게는, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서, 상기 사용자 인터페이스 장치는, 사용자가 상기 홀드 버튼을 누른 상태에서 전진하는 경우, 사용자의 시선 방향으로 상기 드론의 전진을 지시하는 제어정보를 전송하고, 사용자가 상기 홀드 버튼을 누른 채로 우로 이동하는 경우, 사용자의 시선 방향의 오른쪽으로 상기 드론의 이동을 지시하는 제어정보를 전송하며, 사용자가 상기 홀드 버튼을 누른 채로 뒤로 이동하는 경우, 사용자의 시선 방향의 뒤로 상기 드론의 이동을 지시하는 제어정보를 전송하는 것을 특징으로 한다.

바람직하게는, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서, 상기 사용자 인터페이스 장치는, 사용자가 상기 동기화 버튼을 누른 상태로 상기 보조 조종장치의 기체를 앞으로 기울이는 경우, 사용자의 시선 방향으로 상기 드론의 전진을 지시하는 제어정보를 전송하고, 사용자가 상기 동기화 버튼을 누른 상태로 상기 보조 조종장치의 기체를 오른쪽으로 기울이는 경우, 사용자의 시선 방향의 오른쪽으로 상기 드론의 이동을 지시하는 제어정보를 전송하며, 사용자가 상기 동기화 버튼을 누른 상태로 상기 보조 조종장치의 기체를 왼쪽으로 기울이는 경우, 사용자의 시선 방향의 왼쪽으로 상기 드론의 이동을 지시하는 제어정보를 전송하는 것을 특징으로 한다.

이상에서 설명한 바와 같이 본 명세서에 의하면, 주 조종장치에 의해 인식된 사용자의 제스처와 보조 조종장치의 버튼 입력을 조합하여 드론의 비행을 제어하는 방법 및 이를 위한 증강현실 관광 시스템을 제공함으로써, 드론 조종에 익숙하지 않은 사용자가 드론을 쉽게 조종할 수 있고, 이에 따라 사용자의 조종 미숙으로 인한 여러 불편 사항과 사고를 줄일 수 있다.

도 1은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 구성도,
도 2는 본 발명의 실시예에 따른 드론 내부의 개략적인 구성을 나타낸 블럭 구성도,
도 3은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 동작 흐름도,
도 4는 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템에서 사용되는 사용자 제스처의 예를 나타낸 도면,
도 5는 본 발명의 실시예에 따른 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법을 나타낸 신호 흐름도,
도 6은 본 발명의 실시예에서 사용자가 확대영역을 설정하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 실시예에서 마우스를 이용한 사용자의 확대 조작 및 영역 조작을 설명하기 위한 도면, 및
도 8 내지 도 10은 사용자의 이동과 버튼 입력의 조합에 의해 드론을 제어하는 방법을 설명하기 위한 도면이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템에서, 드론은 체험 제어 장치의 영상 모뎀, 즉, 무선 통신부의 전송 용량을 고려하여 4K 해상도의 원본 영상을 1080p 해상도의 영상으로 변환하여 체험 제어 장치로 전송한다. 이하에서, "360도 영상"은 이 변환된 1080p 해상도의 영상을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 구성도이다.

도 1을 참조하면, 본 발명에 따른 드론을 이용한 증강현실 관광 시스템은, 적어도 하나의 드론(300)과 네트워크망(200)을 통해 연결되는 드론을 이용한 증강현실 관광 시스템으로서, 곡면 디스플레이 장치(110), 사용자 인터페이스 장치(120), 돔 프로젝터(130), 체험 제어 장치(140), 및 저장 장치(150) 등을 포함할 수 있다.

곡면 디스플레이 장치(110)는 드론(300)으로부터 수신되는 영상과 비행 정보를 표시한다.

사용자 인터페이스 장치(120)는 사용자의 제스처를 인식하여 원격으로 네트워크망(200)을 통해 드론(300)을 제어한다. 이를 위해, 사용자 인터페이스 장치(120)는 사용자의 명령, 선택, 정보 중에서 적어도 하나를 입력 받기 위한 장치로서, 특히 사용자의 제스처를 카메라 등으로 인식하여 출력하며, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다.

예를 들면, 사용자 인터페이스 장치(120)는 카메라가 내장된 노트북, 태블릿 피씨, 조이스틱(joystick), 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(Mouse), 스타일러스 펜(Stylus Pen), 터치펜(Touch Pen) 등의 다양한 장치를 포함할 수 있다.

또한, 사용자 인터페이스 장치(120)의 변형예로서, 사용자 인터페이스 장치(120)는 드론(300)에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 주 조종장치와 연동하여 더욱 세밀하게 드론(300)을 조종하기 위해 드론(300)의 이동 및 정지를 제어하기 위한 홀드 버튼 및 사용자의 움직임과 드론(300)의 움직임을 동기화하기 위한 동기화 버튼을 포함하는 보조 조종장치로 구성될 수 있다. 여기서, 사용자의 움직임과 드론(300)의 움직임 사이에는 스케일 팩터(Scale Factor)가 적용되어 사용자의 작은 움직임에도 드론(300)에 큰 움직임을 반영할 수 있다. 스케일 팩터는 홀드 버튼의 더블 클릭을 통해 설정되고, 설정된 값은 주 조종장치의 화면에 표시될 수 있다. 물론, 드론(300)의 가속 및 감속한계가 설정되어 있어 급기동 조작을 미연에 방지할 수 있다.

또한, 주 조종장치는 영상, GPS, 수치 지형 표고데이터(DTED; Digital Terrain Elevation Data) 등을 조합한 지형영상을 참조하여 스케일 팩터를 자동으로 설정하는 자동 스케일 팩터(Auto Scale Factor) 기능을 포함할 수 있다.

이에 더해, 주 조종장치는 사용자가 제한된 실내 공간에서 벽 등의 구획물에 근접하면 화면에 경고 알람(또는 미니맵)을 띄울 수도 있다.

주 조종장치는 이동물체의 속도와 방향, 중력, 가속도를 측정하는 장치로서, 가속도계, 각속도계, 지자기계, 및 고도계 등의 IMU(Inertial Measurement Unit) 센서가 내장된 웨어러블 디스플레이 장치 및 스마트폰을 포함할 수 있고, 보조 조종장치는 조이스틱(joystick), 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(Mouse), 스타일러스 펜(Stylus Pen), 터치펜(Touch Pen) 등의 다양한 장치를 포함할 수 있다. 여기서, 주 조종장치의 각 센서에는 임계값이 설정되어 있어 설정된 임계값 미만의 느린 속도에 대해서는 드론(300)이 정지하도록 하고, 설정된 임계값 이상의 속도에 대해서는 저역 통과 필터(LPF; Low-Pass Filter)를 적용하여 드론(300)의 급조작을 방지할 수 있다.

돔 프로젝터(130)는 드론(300)으로부터 수신되는 영상과 비행 정보를 돔 스크린을 통해 사용자에게 보여준다. 사용자는 사용자 인터페이스 장치(120), 예를 들면, 마우스(Mouse)를 이용하여 돔 스크린에 표시된 360도 영상의 특정 영역을 지정하고, 지정된 특정 영역을 확대할 수 있다. 이에, 돔 프로젝터(130)는 사용자가 확대하고자 하는 특정 영역의 좌표 정보(예를 들면, 화면 상의 위도, 경도, 배율, 및 확대영역크기 등)를 체험 제어 장치(140)로 전송할 수 있다.

또한, 돔 프로젝터(130)는 드론(300)에 의해 촬영된 영상을 좌/우 영상으로 분리하고, 분리된 좌/우 영상을 돔 스크린의 곡률 특성에 맞게 와핑하며, 와핑된 좌/우 영상 간의 편광 성분을 서로 직교시켜 돔 스크린에 각각 디스플레이함으로써, 사용자에게 입체 영상을 제공할 수 있다.

체험 제어 장치(140)는 드론(300)으로부터 영상과 비행 정보를 수신하고, 수신한 영상과 비행 정보를 저장 장치(150)에 저장하거나, 곡면 디스플레이 장치(110) 및 돔 프로젝터(130) 각각에 적합하게 변환하여 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)를 통해 표시한다. 또한, 체험 제어 장치(140)는 사용자 인터페이스 장치(120)를 통해 입력되는 제스처에 대응되는 제어정보를 드론(300)으로 송신한다.

한편, 본 발명에 따른 체험 제어 장치(140)는 돔 프로젝터(130)로부터 특정 영역의 좌표 정보를 수신하는 경우, 특정 영역의 좌표 정보에 대응되는 영상을 드론(300)으로 요청하고, 드론(300)으로부터 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하며, 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 돔 프로젝터(130)를 통해 표시할 수 있다.

또한, 체험 제어 장치(140)는 드론(300)에 의해 분할된 제1 영상과 제2 영상을 순차적으로 수신하고, 분할된 제1 영상과 제2 영상을 재합성하며, 재합성된 영상을 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)를 통해 표시할 수 있다.

이를 위해, 체험 제어 장치(140)는 유무선 통신부(141), 영상 처리부(142), 및 드론 제어부(143) 등을 포함할 수 있다.

유무선 통신부(141)는 드론(300)으로부터 영상과 비행 정보를 수신하고, 수신한 영상과 비행 정보를 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)로 전송한다. 또한, 유무선 통신부(141)는 사용자 인터페이스 장치(120)로부터 수신한 제어정보를 드론(300)으로 전달할 수 있다.

유무선 통신부(141)는 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.

영상 처리부(142)는 유무선 통신부(141)를 통해 드론(300)으로부터 수신한 영상를 곡면 디스플레이 장치(110) 및 돔 프로젝터(130) 각각에 적합한 영상으로 변환한다.

또한, 영상 처리부(142)는 드론(300)으로부터 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 생성할 수 있다. 이에 더해, 영상 처리부(142)는 드론(300)으로부터 순차적으로 수신한 제1 영상과 제2 영상을 재합성할 수도 있다.

드론 제어부(143)는 사용자 인터페이스 장치(120)를 통해 입력되는 제스처에 대응되는 제어정보를 드론(300)으로 송신한다.

또한, 드론 제어부(143)는 수동 운용모드, 자동이착륙 기능, 자동 경로점비행, 수동 안정성 강화 비행, 및 비상귀환 등을 포함하는 다수의 기능을 가질 수 있다. 수동 운용모드는 관리자의 조종명령에 따라 비행되는 모드로서, 제한된 속도와 기울임 각 이내 기체 조작이 가능하고, 돌발 상황에서 긴급조치가 가능하다. 자동이착륙 기능은 수동 조작 없이 조종기 스위치나 GCS(Ground Control System)화면 버튼만으로 자동 이착륙이 될 수 있다. 자동 경로점비행은, 다수의 경로점을 입력하여 관광시나리오를 다양하게 계획하고, 경로의 편집과 저장을 통해 동일한 관광시나리오를 제공하며, 관리자의 업무강도 감소, 수월한 운용관리가 가능하다. 수동 안정성 강화 비행은 관광객과 관리자의 비행성능 제한의 차별(이동속도와 자세 각 제한)이 가능하다. 비상귀환은 갑작스런 기능 이상과 배터리 저전압 상황 등의 비상모드에서 드론 제어부(143)의 판단 혹은 운용자의 판단에 의해 안전한 위치로 자동귀환하는 기능이다.

추가로, 체험 제어 장치(140)는 영상과 함께 영상에 대응되는 위치의 관광정보 또는 쇼핑정보를 표시할 수 있다.

이에 더해, 체험 제어 장치(140)는 저장 장치(150)에 저장된 코스별 비행 범위가 설정된 지도정보 및 드론(300)의 위치 정보에 기초하여 선택된 코스의 비행 범위를 벗어나지 않도록 드론(300)을 제어할 수 있다. 그리고, 체험 제어 장치(140)는 지역정보 안내시 관광정보를 텍스쳐(Texture) 또는 음성으로 안내할 수 있다.

저장 장치(150)는 관광지의 코스별 경로정보, 관광지의 지도정보, 관광지의 지점별 관광정보, 드론정보, 제스처에 대응하는 드론 제어정보, 드론(300)에서 수신되는 영상정보 및 비행 정보를 저장한다.

이를 위해, 저장 장치(150)는 관광지의 코스별 경로 정보를 저장하는 경로정보 DB(151), 관광지의 지도정보를 저장하는 지도정보 DB(152), 관광지의 지점별 관광정보를 저장하는 관광정보 DB(153), 드론(300)의 식별정보를 포함한 정보를 저장하는 드론정보 DB(154), 특산물 또는 기념품을 파는 쇼핑몰의 정보를 저장하는 쇼핑정보 DB(155), 드론(300)으로부터 수신한 영상을 저장하는 영상정보 DB(156), 드론(300)으로부터 수신한 영상 및 비행 정보를 저장하는 비행정보 DB(157), 및 제스처에 대응되는 드론 제어정보를 저장하는 드론 제어정보 DB(158) 등을 포함할 수 있다. 여기서, 드론(300)이 촬영된 영상을 360도 전방위 카메라 내부의 메모리 카드에 저장하는 경우, 드론(300)으로부터 수신한 영상을 저장하는 영상정보 DB(156)는 생략될 수도 있다.

관제 서버(400)는 드론(300)이 위험한 지역에 가지 않도록 비행을 모니터링하되, 사용자의 조작 미숙에 따라 드론(300)의 이상 발생시 제어정보를 생성하여 드론(300)으로 전송할 수 있다. 이를 통해, 드론(300)은 관제 서버(400)의 제어정보에 기초하여 비행을 제어할 수도 있다. 이때, 관제 서버(400)는 드론(300)의 조작 전문가로부터 입력정보를 입력받을 수 있으며, 해당 입력정보에 기초하여 드론(300)을 조작하기 위한 제어정보를 생성할 수 있다.

도 2는 본 발명의 실시예에 따른 드론 내부의 개략적인 구성을 나타낸 블럭 구성도이다.

도 2를 참조하면, 드론(300)은 360도 전방위 카메라(310), 무선통신부(320), 제어부(330), 기동부(340), 위치 측정부(350), 및 자세 측정부(360) 등을 포함할 수 있다.

제어부(330)는 무선통신부(320)를 통해 체험 제어 장치(140)로부터 제어정보를 수신하며, 제어정보에 따라 드론(300)의 움직임을 조종하는 기동부(340)를 제어하여 드론(300)을 비행시킬 수 있다. 이때, 무선통신부(320)는 네트워크망(200)에 따른 통신방식을 지원할 수 있다.

또한, 제어부(330)는 드론(300)의 비행시 360도 전방위 카메라(310)를 통해 촬영된 영상을 무선통신부(320)를 통해 체험 제어 장치(140)로 전송할 수 있다. 이때, 360도 전방위 카메라(310)는 하나의 카메라로 모든 방위의 영상 촬영이 가능하므로 간단하고, 각도조절도 필요 없다. 다시 말해, 특정영역 영상을 획득하기 위한 드론의 회전운동도 필요 없다

한편, 본 발명의 실시예에 따른 제어부(330)는 체험 제어 장치(140)가 특정 영역의 좌표 정보에 대응되는 영상을 요청하는 경우, 원본 영상으로부터 특정 영역의 좌표 정보에 대응되는 영상을 추출하고, 추출한 특정 영역의 좌표 정보에 대응되는 영상을 무선통신부(320)를 통해 체험 제어 장치(140)로 전송한다.

또한, 제어부(330)는 360도 전방위 카메라(310)를 이용하여 촬영된 영상을 제1 영상과 제2 영상으로 분할하고, 제1 영상과 제2 영상을 무선통신부(320)를 통해 순차적으로 체험 제어 장치(140)로 전송할 수도 있다.

또한, 제어부(330)는 자이로 센서, 가속도 센서 등을 포함하고, 제어정보에 따른 드론(300)의 비행시 자세를 측정하는 자세 측정부(360)를 통해 측정된 센싱값을 기초로 자세정보를 생성하여 무신통신부(320)를 통해 체험 제어 장치(140)로 전송할 수 있다.

추가로, 제어부(330)는 GPS(Global Positioning System)부를 포함하는 위치 측정부(350)를 통해 측정된 위치 측정값을 기초로 드론(300)의 현재 위치에 대한 위치정보를 생성하여 무선통신부(320)를 통해 체험 제어 장치(140)로 전송할 수 있다.

도 3은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 동작 흐름도이고, 도 4는 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템에서 사용되는 사용자 제스처의 예를 나타낸 도면이다.

도 3을 참조하면, 사용자는 사용자 인터페이스 장치(120)를 이용하여 자신이 비행하고자 하는 관광코스 중 하나를 선택한다. 그러면 사용자 인터페이스 장치(120)는 선택된 관광코스에 대한 정보를 체험 제어 장치(140)로 전송한다(S310). 이러한 관광코스는 경관이 수려하고 볼거리가 많은 안전지역 위주로 미리 설정되어 있다.

체험 제어 장치(140)는 선택된 관광코스에 대응되는 미리 저장된 경로정보에 따라 원격으로 네트워크망(200)을 통해 드론(300)을 제어한다(S320). 이에, 드론(300)은 체험 제어 장치(140)의 드론 제어부(143)의 제어에 따라 정해진 관광코스를 따라 비행 이동하면서, 360도 전방위 카메라(310)를 통해 촬영되는 영상과 비행 정보를 체험 제어 장치(140)로 전송한다.

체험 제어 장치(140)는 드론(300)으로부터 360도 전방위 카메라(310)를 이용하여 촬영된 영상과 비행 정보를 수신하고, 수신한 영상과 비행 정보를 곡면 디스플레이 장치(110)를 통해 표시한다(S330). 그리고, 체험 제어 장치(140)는 필요에 따라 영상과 비행 정보를 영상정보 DB(156) 및 비행정보 DB(157)에 각각 저장할 수 있다.

예를 들면, 곡면 디스플레이 장치(110)는 화면 상단 일부에 드론(300)의 360도 전방위 카메라(310)를 이용하여 촬영된 영상 외에 자세, 고도, 헤딩, 위도, 경도, 및 화면표시 방위각 등의 비행 정보를 추가로 표시할 수 있다.

또한, 곡면 디스플레이 장치(110)는 360도 전방위 카메라(310)를 이용하여 촬영된 원영상을 평활원통 형상 처리한 후, 화각 영역을 출력하고, MJPG 스트리머 실시간 영상을 MJPG 포맷의 영상으로 변환하여 이더넷 웹브라우저가 내장된 스마트 기기를 통해 출력할 수도 있다.

이외에도, 곡면 디스플레이 장치(110)를 위한 별도의 공간을 마련하여 사용자로 하여금 제대로 된 관광의 기분을 느낄 수 있도록 할 수 있다. 예를 들면, 동남아 관광에 대한 영상의 경우, 곡면 디스플레이 장치(110) 주위에 모형 야자수나 벤치 등으로 분위기를 연출할 수도 있다.

또한, 체험 제어 장치(140)는 드론(300)이 촬영한 지역의 지역정보를 노출하거나 해당 지역의 특산물 등을 구입할 수 있는 홈페이지의 하이퍼링크를 곡면 디스플레이 장치(110)의 화면에 표시할 수 있다. 여기서, 사용자가 원하는 하이퍼링크를 선택하면, 체험 제어 장치(140)의 영상 처리부(142)는 쇼핑정보 DB(155)를 참조하여 특산물 또는 기념품을 파는 쇼핑몰로 연결시키거나 관광정보 DB(153)에서 해당 지역을 설명하는 관광정보를 제공할 수 있다.

또한, 단계 S330에서, 체험 제어 장치(140)는 드론(300)으로부터 360도 전방위 카메라(310)를 이용하여 촬영된 영상과 비행 정보를 곡면 디스플레이 장치(110)뿐만 아니라 돔 프로젝터(130)를 통해 표시할 수 있다. 사용자는 사용자 인터페이스 장치(120), 예를 들면, 마우스를 이용하여 돔 스크린에 표시된 360도 영상의 특정 영역을 지정하고, 지정된 특정 영역을 확대할 수 있다. 이에, 돔 프로젝터(130)는 사용자가 확대하고자 하는 특정 영역의 좌표 정보를 체험 제어 장치(140)로 전송할 수 있다.

체험 제어 장치(140)는 돔 프로젝터(130)로부터 특정 영역의 좌표 정보를 수신하는 경우, 특정 영역의 좌표 정보에 대응되는 영상을 드론(300)으로 요청하고, 드론(300)으로부터 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하며, 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 돔 프로젝터(130)를 통해 표시할 수 있다.

추가로, 체험 제어 장치(140)는 드론(300)에 의해 분할된 제1 영상과 제2 영상을 순차적으로 수신하고, 수신한 제1 영상과 제2 영상을 재합성하며, 재합성된 영상을 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)를 통해 표시할 수 있다.

이러한 상태에서 또는 단계 S320 및 단계 S330 이전에 사용자는 필요에 따라 드론(300)을 자신이 원하는 곳으로 이동 비행시킬 수 있다. 이를 위해, 사용자가 제스처를 취하게 되면, 사용자 인터페이스 장치(120)는 내장된 카메라를 이용하여 제스처를 인식하고, 인식된 제스처에 대한 정보를 체험 제어 장치(140)로 전송한다. 이처럼, 체험 제어 장치(140)는 사용자 인터페이스 장치(120)를 통해 사용자 제스처를 입력받는다(S340).

이후, 체험 제어 장치(140)는 사용자 제스처에 따른 제어정보에 따라 원격으로 네트워크망(200)을 통해 드론(300)을 제어한다(S350). 이때, 제스처의 예를 도 4에 도시하였다.

도 4를 참조하면, 제스처는 360도 전방위 카메라(310)를 제어하는 제스처와 비행체인 드론(300)을 조종하는 제스처가 있다.

360도 전방위 카메라(310)를 제어하는 제스처에는 카메라 영상을 확대, 축소, 시선회전, 및 선택하는 제스처가 존재하며, 이러한 제스처는 양손가락을 이용하여 가능하다. 예를 들면, 양손가락을 점점 이격하면 카메라 영상이 확대되고, 양손가락을 점점 가까이 하면 카메라 영상이 축소된다. 그리고 한 손을 좌우로 흔들면 360도 전방위 카메라(310)의 시선이 회전된다.

비행체인 드론(300)을 조종하는 제스처에는 전/후진, 좌/우, 상승/하강, 정지 등의 제스처가 존재한다. 예를 들면, 한 손은 주먹을 쥐고, 다른 손은 위로 올리면 드론(300)이 전진하고, 한 손은 주먹을 쥐고, 다른 손은 아래로 흔들면 드론(300)이 후진한다.

그리고 한 손은 주먹을 쥐고, 다른 손은 좌로 흔들면 드론(300)이 좌회전하고, 한 손은 주먹을 쥐고, 다른 손은 우로 흔들면 드론(300)이 우회전한다.

그리고 양손 엄지를 위로 올리면 드론(300)이 상승하고, 양손 엄지를 아래로 내리면 드론(300)이 하강한다.

또한, 양손바닥을 위로 올리면 드론(300)이 정지한다.

이러한 다양한 제스처는 필요에 따라 추가, 삭제, 및 수정 가능하다.

도 5는 본 발명의 실시예에 따른 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법을 나타낸 신호 흐름도이다.

도 5를 참조하면, 돔 프로젝터(130)는 사용자로부터 사용자 인터페이스 장치(120)를 통해 돔 스크린에 표시된 360도 영상에서 확대하고자 하는 특정 영역에 대한 선택 입력이 있는지 여부를 판단하고(S510), 사용자가 사용자 인터페이스 장치(120)를 이용하여 돔 스크린에 표시된 360도 영상에서 확대하고자 하는 특정 영역을 선택하는 경우, 돔 프로젝터(130)는 사용자가 확대하고자 하는 특정 영역의 확대 포인트를 계산하며(S520), 사용자가 확대하고자 하는 특정 영역의 좌표 정보(예를 들면, 위도 및 경도 등)를 체험 제어 장치(140)로 전송한다(S530).

체험 제어 장치(140)는 돔 프로젝터(130)로부터 특정 영역의 좌표 정보를 수신하는 경우, 특정 영역의 좌표 정보에 대응되는 영상을 드론(300)으로 요청한다(S540).

드론(300)은 체험 제어 장치(140)의 영상 요청에 따라 원본 영상으로부터 특정 영역의 좌표 정보에 대응되는 영상을 추출하고(S550), 추출한 특정 영역의 좌표 정보에 대응되는 영상을 체험 제어 장치(140)로 전송한다(S560). 즉, 드론(300)은 4k 해상도의 원본 영상에서 특정 영역의 좌표 정보에 대응되는 영상을 잘라내어 체험 제어 장치(140)로 전송한다. 예를 들면, 사용자가 특정 영역을 2배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 체험 제어 장치(140)로 전송하고, 사용자가 특정 영역을 4배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 그대로 체험 제어 장치(140)로 전송한다.

체험 제어 장치(140)는 드론(300)으로부터 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 생성하고(S570), 생성된 고해상도의 확대 영상을 돔 프로젝터(130)로 전송한다(S580).

끝으로, 돔 프로젝터(130)는 체험 제어 장치(140)로부터 수신한 고해상도의 확대 영상을 표시한다(S590).

도 6은 본 발명의 실시예에서 사용자가 확대영역을 설정하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 사용자는 마우스의 휠을 클릭함으로써 확대영역을 조절할 수 있다. 예를 들면, 사용자가 마우스의 휠을 1회 클릭하는 경우, 1단계 영역(610)이 설정된다. 사용자가 마우스의 휠을 2회 클릭하는 경우, 1단계 영역(610)보다 큰 2단계 영역(620)이 설정된다. 사용자가 마우스의 휠을 3회 클릭하는 경우, 2단계 영역(620)보다 큰 3단계 영역(630)이 설정된다. 사용자가 마우스의 휠을 4회 클릭하는 경우, 다시 1단계 영역(610)이 설정된다. 이처럼, 본 발명의 실시예에 따른 돔 프로젝터(130)는 사용자의 마우스의 휠의 클릭에 따른 영역 설정의 루프(Loop)를 가진다. 또한, 마우스 오른쪽 버튼은 영상확대기능을 전부 해제할 수 있다. 본 발명의 실시예에서는 설명의 편의상 단순히 3단계로 나누어 설명하고 있지만 이에 한정되는 것은 아니며, 영역 설정의 루프는 적어도 2단계 이상을 포함할 수 있다.

도 7은 본 발명의 실시예에서 마우스를 이용한 사용자의 확대 조작 및 영역 조작을 설명하기 위한 도면이다.

도 7의 (a)를 참조하면, 사용자는 마우스의 휠을 스크롤함으로써, 최소 1배에서 최대 4배까지 확대영역의 배율을 조절할 수 있다. 사용자가 확대영역을 1배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상을 그대로 체험 제어 장치(140)로 전송하고, 사용자가 확대영역을 2배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 체험 제어 장치(140)로 전송하며, 사용자가 확대영역을 3배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/3로 축소하여 체험 제어 장치(140)로 전송하고, 사용자가 확대영역을 4배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/4로 축소하여 체험 제어 장치(140)로 전송한다.

도 7의 (b)를 참조하면, 사용자는 마우스의 휠을 클릭함으로써, 3단계로 영역을 지정할 수 있다. 예를 들면, 사용자가 마우스의 휠을 1회 클릭하는 경우, 1단계 영역(610)에 해당되는 영역지정1에 지정되고, 사용자가 마우스의 휠을 2회 클릭하는 경우, 1단계 영역(610)보다 큰 2단계 영역(620)에 해당되는 영역지정2가 지정되며, 사용자가 마우스의 휠을 3회 클릭하는 경우, 2단계 영역(620)보다 큰 3단계 영역(630)에 해당되는 영역지정3이 지정된다.

도 8 내지 도 10은 사용자의 이동과 버튼 입력의 조합에 의해 드론을 제어하는 방법을 설명하기 위한 도면이다.

사용자가 홀드 버튼을 누른 채로 앉는 도중에 홀드 버튼으로부터 손을 떼고, 홀드 버튼을 연속 3회 누르며, 하강 버튼을 누르면, 드론(300)은 하강하게 된다. 이후, 사용자가 모든 동작을 멈춤 유지한 상태에서 홀드 버튼을 1회 누르면 드론(300)은 정지하게 된다.

사용자가 홀드 버튼을 누른 채로 서는 도중에 홀드 버튼으로부터 손을 떼고, 홀드 버튼을 연속 2회 누르며, 상승 버튼을 누르면, 드론(300)은 상승하게 된다. 이후, 사용자가 모든 동작을 멈춤 유지한 상태에서 홀드 버튼을 1회 누르면 드론(300)은 정지하게 된다.

사용자가 동기화 버튼을 누른 채로 보조 조종장치의 자세를 기울이면, 드론(300)의 정면 화면을 기준으로 드론(300)의 자세와 보조 조종장치의 자세가 동기화되어 전진, 후진, 좌우이동, 좌측턴, 및 우측턴을 명령할 수 있다.

구체적으로는, 도 8을 참조하면, 사용자가 홀드 버튼을 누르지 않은 채 대기 상태에 있으면, 드론(300)은 호버링(정지비행)을 한다(S810).

계속해서, 사용자가 홀드 버튼을 누르지 않은 채 이동하면, 드론(300)은 호버링 상태를 유지한다(S820),

계속해서, 사용자가 이동 중에 홀드 버튼을 누르면, 드론(300)은 이동한다(S830).

계속해서, 사용자가 이동 중에 홀드 버튼으로부터 손을 떼면, 드론(300)은 계속 이동한다(S840).

계속해서, 사용자가 홀드 버튼을 누르지 않은 상태에서 정지하면, 드론(300)은 계속 이동한다(S850). 이때, 사용자는 자유롭게 이동 가능하며, 사용자의 움직임은 드론(300)의 움직임에 영향을 미치지 않는다.

끝으로, 사용자가 정지 상태에서 홀드 버튼을 눌렀다가 떼면, 사용자의 마지막 상태가 정지였기 때문에 드론(300)은 정지한다(S860).

또한, 도 9를 참조하면, 사용자가 홀드 버튼을 누른 상태에서 전진하면, 드론(300)은 사용자의 시선 방향으로 전진한다(S910).

사용자가 홀드 버튼을 누른 상태에서 우로 이동하면, 드론(300)은 사용자의 시선 방향의 우로 이동한다(S920).

사용자가 홀드 버튼을 누른 상태에서 뒤로 이동하면, 드론(300)은 사용자의 시선 방향의 뒤로 이동한다(S930).

또한, 도 10을 참조하면, 사용자가 동기화 버튼을 누른 상태로 보조 조종장치의 기체를 앞으로 기울이면, 드론(300)은 사용자의 시선 방향으로 전진한다(S1010).

사용자가 동기화 버튼을 누른 상태로 보조 조종장치의 기체를 오른쪽으로 기울이면, 드론(300)은 사용자의 시선 방향의 우로 이동한다(S1020).

사용자가 동기화 버튼을 누른 상태로 보조 조종장치의 기체를 왼쪽으로 기울이면, 드론(300)은 사용자의 시선 방향의 좌로 이동한다(S1030).

전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

이처럼, 본 발명의 실시예에서는, 드론에 360도 영상 촬영이 가능한 360도 전방위 카메라를 적용하여 드론에서 카메라의 각도를 조절할 필요가 없어 드론의 무게를 줄일 수 있고, 관심영역 영상획득을 위한 드론의 회전운동이 불필요하여 에너지를 절약할 수 있으므로 비행가능시간 연장효과를 가져온다.

또한, 본 발명의 실시예에서는, 관광객이 간단한 제스처로 드론을 조종할 수 있다.

또한, 본 발명의 실시예에서는, 관광객이 드론을 이용하면서 촬영한 영상을 제공받을 수 있다.

또한, 본 발명의 실시예에서는, 관광객이 곡면 디스플레이 장치를 통해 고화질의 영상을 볼 수 있다.

또한, 본 발명의 실시예에서는, 다수의 관광객이 돔 프로젝터를 통해 실시간으로 사람이 갈 수 없는 관광지역을 볼 수 있다.

또한, 본 발명의 실시예에서는, 돔 프로젝터의 화면에서 확대하고자 하는 영역을 고화질로 시청할 수 있다.

또한, 본 발명의 실시예에서는, 고글을 이용하여 실시간으로 개인별로 보고 싶은 곳을 머리를 돌려 볼 수 있다.

또한, 본 발명의 실시예에서는, 녹화된 영상과 비행 정보를 함께 제공하여 영상뿐만 아니라 지리적 위치와 자세정보를 통해 확장된 서비스(예를 들면, 상태알림, 특산물쇼핑, 지형정보설명, 음성안내, 및 화면텍스트 표시 등)를 제공할 수 있다.

이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.

여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

110: 곡면 디스플레이 장치 120: 사용자 인터페이스 장치
130: 돔 프로젝터 140: 체험 제어 장치
141: 유무선 통신부 142: 영상 처리부
143: 드론 제어부 150: 저장 장치
151: 경로정보 DB 152: 지도정보 DB
153: 관광정도 DB 154: 드론정보 DB
155: 쇼핑정보 DB 156: 영상정보 DB
157: 비행정보 DB 158: 드론 제어정보 DB
200: 네트워크망 300: 드론
400: 관제 서버

Claims

드론에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 상기 주 조종장치와 연동되고, 상기 드론의 이동 및 정지를 제어하기 위한 홀드 버튼, 사용자의 움직임과 상기 드론의 움직임을 동기화하기 위한 동기화 버튼, 상기 드론의 상승을 명령하기 위한 상승 버튼, 및 상기 드론의 하강을 명령하기 위한 하강 버튼을 포함하는 보조 조종장치로 구성되고, 상기 주 조종장치에 의해 인식된 사용자의 제스처와 상기 보조 조종장치의 버튼 입력을 조합하여 상기 드론을 조종하기 위한 제어정보를 전송하는 사용자 인터페이스 장치; 및
상기 사용자 인터페이스 장치로부터 상기 제어정보를 수신하고, 수신한 제어정보를 상기 드론으로 전달하여 상기 드론의 비행을 제어하는 체험 제어 장치;
를 포함하는 드론을 이용한 증강현실 관광 시스템.
제1항에 있어서,
상기 주 조종장치는 사용자의 움직임과 상기 드론의 움직임 사이에 스케일 팩터(Scale Factor)를 적용하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
제2항에 있어서,
상기 스케일 팩터는 상기 보조 조종장치의 홀드 버튼을 더블 클릭함에 따라 설정되고, 설정된 값은 상기 주 조종장치의 화면에 표시되는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
제3항에 있어서,
상기 스케일 팩터는 상기 드론의 가속 및 감속한계로 제한되는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
제2항에 있어서,
상기 주 조종장치는 지형영상을 참조하여 상기 스케일 팩터를 자동으로 설정하는 자동 스케일 팩터(Auto Scale Factor) 기능을 포함하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
제1항에 있어서,
상기 주 조종장치는 사용자가 제한된 실내 공간에서 구획물에 근접하는 경우, 화면에 경고 알람을 띄우는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
제1항에 있어서,
상기 주 조종장치는 이동물체의 속도와 방향, 중력, 가속도를 측정하는 장치로서, IMU(Inertial Measurement Unit) 센서가 내장된 웨어러블 디스플레이 장치 및 스마트폰 중 어느 하나인 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
제7항에 있어서,
상기 주 조종장치의 상기 IMU 센서에는 임계값이 설정되어 있어, 설정된 임계값 미만의 속도에 대해서는 상기 드론이 정지하고, 설정된 임계값 이상의 속도에 대해서는 저역 통과 필터(LPF; Low-Pass Filter)가 적용되어 상기 드론의 급조작을 방지하는 것을 특징으로 드론을 이용한 증강현실 관광 시스템.
제1항에 있어서,
상기 보조 조종장치는 조이스틱(joystick), 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(Mouse), 스타일러스 펜(Stylus Pen), 및 터치펜(Touch Pen) 중 어느 하나인 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
드론에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 상기 주 조종장치와 연동되고, 상기 드론의 이동 및 정지를 제어하기 위한 홀드 버튼, 사용자의 움직임과 상기 드론의 움직임을 동기화하기 위한 동기화 버튼, 상기 드론의 상승을 명령하기 위한 상승 버튼, 및 상기 드론의 하강을 명령하기 위한 하강 버튼을 포함하는 보조 조종장치로 구성되는 사용자 인터페이스 장치가 상기 주 조종장치에 의해 인식된 사용자의 제스처와 상기 보조 조종장치의 버튼 입력을 조합하여 상기 드론을 조종하기 위한 제어정보를 전송하는 단계; 및
체험 제어 장치가 상기 사용자 인터페이스 장치로부터 수신한 제어정보를 상기 드론으로 전달하여 상기 드론의 비행을 제어하는 단계;
를 포함하는 드론을 제어하는 방법.
제10항에 있어서, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서,
상기 사용자 인터페이스 장치는,
사용자가 상기 홀드 버튼을 누른 채로 앉는 도중에 상기 홀드 버튼으로부터 손을 떼고, 상기 홀드 버튼을 연속 3회 누르며, 상기 하강 버튼을 누르는 경우, 상기 드론의 하강을 지시하는 제어정보를 전송하고,
사용자가 상기 홀드 버튼을 누른 채로 서는 도중에 상기 홀드 버튼으로부터 손을 떼고, 상기 홀드 버튼을 연속 2회 누르며, 상기 상승 버튼을 누르는 경우, 상기 드론의 상승을 지시하는 제어정보를 전송하며,
사용자가 상기 동기화 버튼을 누른 채로 상기 보조 조종장치의 자세를 기울이는 경우, 전진, 후진, 좌우이동, 좌측턴, 및 우측턴 중 어느 하나를 지시하는 제어정보를 전송하는 것을 특징으로 하는 드론을 제어하는 방법.
제10항에 있어서, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서,
상기 사용자 인터페이스 장치는,
사용자가 상기 홀드 버튼을 누르지 않은 채 대기 상태에 있는 경우, 상기 드론의 호버링(정지비행)을 지시하는 제어정보를 전송하고,
사용자가 상기 홀드 버튼을 누르지 않은 채 이동하는 경우, 상기 드론의 호버링 상태를 유지하도록 지시하는 제어정보를 전송하며,
사용자가 이동 중에 상기 홀드 버튼을 누르는 경우, 상기 드론의 이동을 지시하는 제어정보를 전송하고,
사용자가 상기 홀드 버튼을 누르지 않은 상태에서 정지하는 경우, 상기 드론의 계속된 이동을 지시하는 제어정보를 전송하며,
사용자가 정지 상태에서 상기 홀드 버튼을 눌렀다가 떼는 경우, 상기 드론의 정지를 지시하는 제어정보를 전송하는 것을 특징으로 하는 드론을 제어하는 방법.
제10항에 있어서, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서,
상기 사용자 인터페이스 장치는,
사용자가 상기 홀드 버튼을 누른 상태에서 전진하는 경우, 사용자의 시선 방향으로 상기 드론의 전진을 지시하는 제어정보를 전송하고,
사용자가 상기 홀드 버튼을 누른 채로 우로 이동하는 경우, 사용자의 시선 방향의 오른쪽으로 상기 드론의 이동을 지시하는 제어정보를 전송하며,
사용자가 상기 홀드 버튼을 누른 채로 뒤로 이동하는 경우, 사용자의 시선 방향의 뒤로 상기 드론의 이동을 지시하는 제어정보를 전송하는 것을 특징으로 하는 드론을 제어하는 방법.
제10항에 있어서, 상기 드론을 조종하기 위한 제어정보를 전송하는 단계에서,
상기 사용자 인터페이스 장치는,
사용자가 상기 동기화 버튼을 누른 상태로 상기 보조 조종장치의 기체를 앞으로 기울이는 경우, 사용자의 시선 방향으로 상기 드론의 전진을 지시하는 제어정보를 전송하고,
사용자가 상기 동기화 버튼을 누른 상태로 상기 보조 조종장치의 기체를 오른쪽으로 기울이는 경우, 사용자의 시선 방향의 오른쪽으로 상기 드론의 이동을 지시하는 제어정보를 전송하며,
사용자가 상기 동기화 버튼을 누른 상태로 상기 보조 조종장치의 기체를 왼쪽으로 기울이는 경우, 사용자의 시선 방향의 왼쪽으로 상기 드론의 이동을 지시하는 제어정보를 전송하는 것을 특징으로 하는 드론을 제어하는 방법.