KR20180025416A - 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 - Google Patents
모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180025416A KR20180025416A KR1020160110892A KR20160110892A KR20180025416A KR 20180025416 A KR20180025416 A KR 20180025416A KR 1020160110892 A KR1020160110892 A KR 1020160110892A KR 20160110892 A KR20160110892 A KR 20160110892A KR 20180025416 A KR20180025416 A KR 20180025416A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- virtual reality
- drones
- user
- flight
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 36
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- B64C2201/127—
-
- B64C2201/146—
-
- B64D2700/62184—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법에 관한 것이다.
본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법은, 사용자가 모션 인식 장치 앞에서 특정 모션을 취하면, 모션 인식 장치에 의해 사용자의 모션을 인식하여 기등록된 모션과 비교하는 단계; 인식된 모션이 기등록된 모션과 일치하는 경우, 모션 인식 장치에 의해 사용자의 모션에 상응하는 비행 명령 신호를 드론으로 전송하여 드론의 비행을 제어하는 단계; 드론으로부터 전송된 비행 데이터를 가상 현실 장치가 수신하고, 그를 바탕으로 드론 주변의 3차원 지도를 구성하는 단계; 및 구성된 3차원 지도를 통해 가상 현실 장치에 의해 드론의 시야를 확보하고, 가상 현실 장치의 움직임에 의해 드론에 설치되어 있는 카메라의 방향을 제어하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 가상 현실 장치를 이용하여 직관적으로 드론 주변의 시야를 확보하고, 모션 인식 장치를 통해 사용자의 모션을 인식하여 드론의 비행을 제어함으로써, 종래의 드론 제어 방식보다 더 쉽게 드론의 비행을 제어할 수 있다.
본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법은, 사용자가 모션 인식 장치 앞에서 특정 모션을 취하면, 모션 인식 장치에 의해 사용자의 모션을 인식하여 기등록된 모션과 비교하는 단계; 인식된 모션이 기등록된 모션과 일치하는 경우, 모션 인식 장치에 의해 사용자의 모션에 상응하는 비행 명령 신호를 드론으로 전송하여 드론의 비행을 제어하는 단계; 드론으로부터 전송된 비행 데이터를 가상 현실 장치가 수신하고, 그를 바탕으로 드론 주변의 3차원 지도를 구성하는 단계; 및 구성된 3차원 지도를 통해 가상 현실 장치에 의해 드론의 시야를 확보하고, 가상 현실 장치의 움직임에 의해 드론에 설치되어 있는 카메라의 방향을 제어하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 가상 현실 장치를 이용하여 직관적으로 드론 주변의 시야를 확보하고, 모션 인식 장치를 통해 사용자의 모션을 인식하여 드론의 비행을 제어함으로써, 종래의 드론 제어 방식보다 더 쉽게 드론의 비행을 제어할 수 있다.
Description
본 발명은 드론(drone) 비행 제어 시스템 및 방법에 관한 것으로서, 더 상세하게는 가상 현실(virtual reality) 장치를 이용하여 직관적으로 드론 주변의 시야를 확보하고, 모션 인식 장치를 통해 사용자의 모션을 인식하여 드론의 비행을 제어하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법에 관한 것이다.
최근 드론(무인 비행 장치)이 상용화되면서 카메라 촬영 등 다양한 분야에서 드론이 활용되고 있다. 드론은 소형 무인비행체로서, 사용자가 무선 조종기를 이용하여 조작 신호를 보내면, 드론에 설치되어 있는 수신기에서 이 조작 신호를 수신함으로써 드론의 비행이 제어되는 것이 일반적인 드론 제어 방식이다.
그런데 이와 같은 드론을 사용자가 무선 조종기로 조종하여 특정한 위치로 정확히 이동시키는 것은 초보자로서는 상당히 어려운 기술이다. 소형 드론의 보급이 확산되고 있는 가운데 사용자의 조종 미숙으로 인한 사고 발생률이 높아지고 있다.
한편, 등록특허공보 제10-1617411호(특허문헌 1)에는 "드론 제어 방법 및 시스템"이 개시되어 있는바, 이에 따른 드론 제어 시스템은, 제1 카메라를 구비하고, 제1 카메라에 의해 촬영된 드론 이미지와 미리 정해져 있는 패턴을 화면에 표시하는 사용자 단말기와; 제2 카메라와, 제2 카메라가 사용자 단말기의 화면을 촬영한 제1 이미지 내에 나타나 있는 상기 패턴의 크기를 계산하고, 사용자가 상기 사용자 단말기를 움직임으로써 변동되는 상기 사용자 단말기의 화면에 표시되어 있는 상기 드론 이미지의 위치에 따라 이동 방향 및 이동 거리를 계산하는 제어부를 구비하는 드론을 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 사용자 단말기로서 스마트폰을 사용할 수 있으므로 별도의 장치가 요구되지 않아 비용적인 면에서 유리한 장점이 있기는 하나, 사용자 단말기를 움직임으로써 변동되는 사용자 단말기의 화면에 표시되어 있는 드론 이미지의 위치에 따라 이동 방향 및 이동 거리를 계산하는 등의 제어 메커니즘이 복잡하고, 따라서 조종이 쉽지 않다는 단점이 있다.
본 발명은 이상과 같은 사항을 감안하여 창출된 것으로서, 가상 현실 장치를 이용하여 직관적으로 드론 주변의 시야를 확보하고 모션 인식 장치를 통해 사용자의 모션을 인식하여 드론의 비행을 제어함으로써, 종래의 드론 제어 방식보다 더 쉽게 드론 비행을 제어할 수 있는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템은,
사용자의 얼굴 부위에 착용되며, 시각적인 정보를 이용하여 사용자에게 가상의 공간을 보여주는 가상 현실 장치;
상기 가상 현실 장치에서 보여주는 가상 공간을 보면서 사용자가 특정 모션을 취하면, 모션 인식 센서를 통해 사용자의 모션을 인식하여 상응하는 비행 명령 신호를 전송하는 모션 인식 장치; 및
몸체에 설치된 카메라를 이용하여 사물을 촬영하고, 촬영된 영상을 상기 가상 현실 장치로 전송하며, 상기 모션 인식 장치로부터의 비행 명령 신호를 수신하여 대응하는 비행 동작을 수행하는 드론을 포함하는 점에 그 특징이 있다.
여기서, 상기 가상 현실 장치는 가상 현실 장치가 사용자의 얼굴 부위에 착용된 상태에서 사용자가 얼굴을 좌측, 정면, 우측으로 돌림에 따라 각 방향에 따른 위치 변화를 감지하는 위치 감지 센서와, 상기 드론에 설치되어 있는 카메라의 방향을 제어하기 위한 컨트롤러를 구비할 수 있다.
또한, 상기 모션 인식 장치는 상기 모션 인식 센서를 통해 인식한 사용자의 모션을 미리 설정되어 저장된 모션과 비교하여 일치할 경우 미리 정해진 상응하는 비행 명령 신호를 송출하도록 구성될 수 있다.
이때, 상기 사용자의 모션에 상응하는 비행 명령 신호는, "손바닥을 올림: 드론의 이륙", "손바닥을 내림: 드론의 착륙", "손바닥을 시계 방향으로 이동: 앞으로 비행", "손바닥을 반시계 방향으로 이동: 뒤로 비행" 등으로 구성될 수 있다.
또한, 상기 드론에는 드론의 위치 정보를 제공하기 위한 GPS, 드론의 자세 제어를 위한 자이로 센서, 드론의 시야에서 조망하는 주변의 지형, 지물을 촬영하기 위한 카메라, 상기 모션 인식 장치 및 가상 현실 장치와의 무선 통신을 위한 무선 송수신 모듈 등이 설치될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법은,
a) 무선 조종되는 드론과 사용자의 모션을 인식하여 상응하는 비행 명령 신호를 전송하는 모션 인식 장치 사이의 통신을 설정하는 단계;
b) 드론에 설치되어 있는 카메라와 사용자가 착용하고 있는 가상 현실 장치 사이의 통신을 설정하는 단계;
c) 사용자가 상기 모션 인식 장치 앞에서 특정 모션을 취함으로써, 모션 인식 장치에 의해 사용자의 모션을 인식하여 미리 설정되어 등록된 모션과 비교하는 단계;
d) 상기 비교 결과, 인식된 모션이 기등록된 모션과 일치하는 경우, 상기 모션 인식 장치에 의해 사용자의 모션에 상응하는 비행 명령 신호를 드론으로 전송하여 드론의 비행을 제어하는 단계;
e) 상기 드론으로부터 전송된 비행 데이터를 상기 가상 현실 장치에 의해 수신하고, 수신한 비행 데이터를 바탕으로 드론 주변의 3차원 지도를 구성하는 단계; 및
f) 상기 구성된 드론 주변의 3차원 지도를 통해 가상 현실 장치에 의해 드론의 시야를 확보하고, 가상 현실 장치의 움직임에 의해 드론에 설치되어 있는 카메라의 방향을 제어하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a) 이전에 사용자가 상기 모션 인식 장치 앞에 서서 서로 다른 비행 명령 의미를 가지는 복수의 특정 모션을 취하여, 복수의 특정 모션을 모션 인식 장치에 등록하는 단계를 더 포함할 수 있다.
또한, 상기 단계 d)에서 상기 사용자의 모션에 상응하는 비행 명령 신호는, "손바닥을 올림: 드론의 이륙", "손바닥을 내림: 드론의 착륙", "손바닥을 시계 방향으로 이동: 앞으로 비행", "손바닥을 반시계 방향으로 이동: 뒤로 비행" 등으로 구성될 수 있다.
또한, 상기 단계 e)에서의 상기 비행 데이터는 드론의 위치, 높이, 주변의 지형지물에 대한 영상 데이터를 포함할 수 있다.
또한, 상기 단계 f)에서의 상기 카메라의 방향을 제어하는 단계는,
f-1) 상기 가상 현실 장치가 사용자의 얼굴 부위에 착용된 상태에서 사용자가 얼굴을 좌측, 정면, 우측으로 돌림에 따라 상기 가상 현실 장치에 설치되어 있는 위치 감지 센서가 이를 감지하는 단계;
f-2) 상기 가상 현실 장치의 컨트롤러가 상기 위치 감지 센서에 의해 감지된 신호를 전달받아 대응하는 명령 신호를 상기 드론으로 전송하는 단계; 및
f-3) 상기 드론에 설치되어 있는 컨트롤러가 이를 수신하고, 수신한 명령 신호에 대응하여 카메라 구동 모터를 구동하여 카메라를 좌회전, 중앙 위치, 우회전시킴으로써 카메라의 방향을 제어하는 단계를 포함하여 구성될 수 있다.
이와 같은 본 발명에 의하면, 가상 현실 장치를 이용하여 직관적으로 드론 주변의 시야를 확보하고, 모션 인식 장치를 통해 사용자의 모션을 인식하여 드론의 비행을 제어함으로써, 종래의 드론 제어 방식보다 더 쉽게 드론의 비행을 제어할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1의 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템의가상 현실 장치와 드론 간의 신호 송수신 관계를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법의 실행 과정을 나타낸 흐름도이다.
도 4는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법의 실행 과정을 구체적으로 나타낸 흐름도이다.
도 5는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템에 의한 드론 비행 제어의 예시를 나타낸 도면이다.
도 2는 도 1의 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템의가상 현실 장치와 드론 간의 신호 송수신 관계를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법의 실행 과정을 나타낸 흐름도이다.
도 4는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법의 실행 과정을 구체적으로 나타낸 흐름도이다.
도 5는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템에 의한 드론 비행 제어의 예시를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1 및 도 2는 본 발명의 실시예에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템을 나타낸 것으로서, 도 1은 전체적인 시스템 구성을 나타낸 도면이고, 도 2는 가상 현실 장치와 드론 간의 신호 송수신 관계를 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템(100)은 가상 현실 장치(110), 모션 인식 장치(120) 및 드론(130)을 포함하여 구성될 수 있다.
가상 현실 장치(110)는 사용자(예컨대, 드론 조종사)의 얼굴 부위에 착용되며, 시각적인 정보를 이용하여 사용자에게 가상의 공간을 보여준다. 이와 같은 가상 현실 장치(110)는 가상 현실 장치(110)가 사용자의 얼굴 부위에 착용된 상태에서 사용자가 얼굴을 좌측, 정면, 우측으로 돌림에 따라 각 방향에 따른 위치 변화를 감지하는 위치 감지 센서(미도시)와, 상기 드론(130)에 설치되어 있는 카메라(130c)의 방향을 제어하기 위한 컨트롤러(미도시)를 구비할 수 있다.
모션 인식 장치(120)는 상기 가상 현실 장치(110)에서 보여주는 가상 공간을 보면서 사용자(조종사)가 특정 모션을 취하면, 모션 인식 센서(미도시)를 통해 사용자의 모션을 인식하여 상응하는 비행 명령 신호를 드론(130)으로 전송한다. 이와 같은 모션 인식 장치(120)는 상기 모션 인식 센서를 통해 인식한 사용자의 모션을 미리 설정되어 저장된 모션과 비교하여 일치할 경우 미리 정해진 상응하는 비행 명령 신호를 송출하도록 구성될 수 있다.
이때, 상기 사용자의 모션에 상응하는 비행 명령 신호는, "손바닥을 올림: 드론의 이륙", "손바닥을 내림: 드론의 착륙", "손바닥을 시계 방향으로 이동: 앞으로 비행", "손바닥을 반시계 방향으로 이동: 뒤로 비행" 등으로 구성될 수 있다.
드론(130)은 몸체에 설치된 카메라(130c)를 이용하여 사물을 촬영하고, 촬영된 영상을 상기 가상 현실 장치(110)로 전송하며, 상기 모션 인식 장치(120)로부터의 비행 명령 신호를 수신하여 대응하는 비행 동작을 수행한다. 이와 같은 드론(130)에는 드론(130)의 위치 정보를 제공하기 위한 GPS, 드론(130)의 자세 제어를 위한 자이로 센서, 드론(130)의 시야에서 조망하는 주변의 지형, 지물을 촬영하기 위한 카메라(130c), 상기 모션 인식 장치(120) 및 가상 현실 장치(110)와 무선 네트워크를 통해 무선 통신을 수행하기 위한 무선 송수신 모듈 등이 설치될 수 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템을 기반으로 하여 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법에 대해 설명해 보기로 한다.
도 3은 본 발명의 실시예에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법의 실행 과정을 나타낸 흐름도이다.
도 3을 참조하면, 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법에 따라, 먼저 사용자(또는 드론 비행 제어 시스템 운용자)에 의해무선 조종되는 드론(130)과 사용자의 모션을 인식하여 상응하는 비행 명령 신호를 전송하는 모션 인식 장치(120) 사이의 통신을 설정한다(단계 S301). 여기서, 이상과 같은 단계 S301 이전에 사용자가 상기 모션 인식 장치(120) 앞에 서서 서로 다른 비행 명령 의미를 가지는 복수의 특정 모션(예를 들면, "손바닥을 올림", "손바닥을 내림", "손바닥을 시계 방향으로 이동", "손바닥을 반시계 방향으로 이동" 등)을 취하여, 그 복수의 특정 모션을 모션 인식 장치(120)에 등록하는 단계를 더 포함할 수 있다. 또한, 이상과 같은 드론(130)과 모션 인식 장치(120) 간의 통신 설정은 드론(130)과 모션 인식 장치(120) 간에 무선 네트워크에 의한 통신이 이루어질 수 있도록 두 장치 간에 무선 송수신되는 신호의 주파수(혹은 주파수 대역)나 무선통신 규격을 맞추는 것을 포함할 수 있다.
또한, 드론(130)에 설치되어 있는 카메라(130c)와 사용자가 착용하고 있는 가상 현실 장치(110) 사이의 통신을 설정한다(단계 S302). 여기서, 드론(130)의 카메라(130c)와 가상 현실 장치(110) 간의 통신 설정도 마찬가지로 드론(130)의 카메라(130c)와 가상 현실 장치(110) 간에 무선 네트워크에 의한 통신이 이루어질 수 있도록 두 장치 간에 무선 송수신되는 신호의 주파수(혹은 주파수 대역)나 무선통신 규격을 맞추는 것을 포함할 수 있다.
여기서, 이상과 같은 상기 단계 S301, S302는 도 3의 흐름도에서와 같이 반드시 이와 같은 순서로 진행되어야 하는 것을 의미하는 것은 아니며, 이 순서는 서로 바뀔 수도 있고, 또한 단계 S301, S302가 동시에 수행될 수도 있다.
이렇게 하여 드론(130)과 모션 인식 장치(120) 간의 통신 설정과 드론 (130)의 카메라(130c)와 가상 현실 장치(110) 간의 통신 설정이 완료된 후, 사용자가 상기 모션 인식 장치(120) 앞에서 특정 모션(예를 들면, "손바닥을 올림", "손바닥을 내림", "손바닥을 시계 방향으로 이동", "손바닥을 반시계 방향으로 이동" 등)을 취함으로써, 모션 인식 장치(120)에 의해 사용자의 모션을 인식하여 미리 설정되어 등록된 모션과 비교한다(단계 S303).
상기 비교 결과, 인식된 모션이 기등록된 모션과 일치하는 경우, 상기 모션 인식 장치(120)에 의해 사용자의 모션에 상응하는 비행 명령 신호를 드론(130)으로 전송하여 드론(130)의 비행을 제어한다(단계 S304). 여기서, 상기 사용자의 모션에 상응하는 비행 명령 신호는, "손바닥을 올림: 드론의 이륙", "손바닥을 내림: 드론의 착륙", "손바닥을 시계 방향으로 이동: 앞으로 비행", "손바닥을 반시계 방향으로 이동: 뒤로 비행" 등으로 구성될 수 있다.
한편, 상기 드론(130)으로부터 전송된 비행 데이터를 상기 가상 현실 장치(110)에 의해 수신하고, 수신한 비행 데이터를 바탕으로 드론 주변의 3차원 지도를 구성한다(단계 S305). 여기서, 상기 비행 데이터는 드론의 위치, 높이, 주변의 지형지물에 대한 영상 데이터를 포함할 수 있다. 이때, 상기 드론(130)의 위치와 높이 데이터는 드론에 설치된 GPS, 비행 제어기의 센서에 의해 획득할 수 있고, 주변의 지형지물에 대한 영상 데이터는 카메라(130c)의 촬영에 의해 획득할 수 있다.
이상에 의해 드론 주변의 3차원 지도가 구성되면, 그 구성된 드론 주변의 3차원 지도를 통해 가상 현실 장치(110)에 의해 드론(130)의 시야를 확보하고, 가상 현실 장치(110)의 움직임에 의해 드론(130)에 설치되어 있는 카메라(130c)의 방향(각도)을 제어한다(단계 S306). 여기서, 이와 같은 카메라(130c)의 방향(각도)을 제어하는 것에 대해서는 다음의 도 4를 참조하여 설명하기로 한다.
도 4는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법의 실행 과정을 구체적으로 나타낸 흐름도이다.
도 4를 참조하면, 전술한 바와 같이 먼저 드론(130)과 모션 인식 장치 (120) 사이의 통신을 설정하고, 모션 인식 장치(120)는 대기 상태로 유지된다(단계 S401, S402).
이러한 상태에서, 모션 인식 장치(120)에 의해 사용자(조종사)에 의한 모션(제스처) 탐지 여부를 판별한다(단계 S403). 이 판별에서 모션이 탐지되지 않았으면, 단계 S402로 회귀하여 대기 상태를 유지한다.
그리고 상기 단계 S403의 판별에서 모션이 탐지되었으면, 모션 인식 장치 (120)는 탐지된 모션이 등록된 모션인지를 확인하고(단계 S404), 모션이 인식되면 이륙, 좌우/회전, 착륙에 대응하는 명령 신호를 드론(130)으로 전송하여 드론 (130)의 비행을 제어한다(단계 S405∼S408).
이상과 같은 일련의 과정, 즉 상기 단계 S401∼S408은 모션 인식 장치 (120)와 드론(130) 간의 동작 메커니즘을 나타낸 것이다.
그리고 단계 S409∼S413은 드론(130)의 카메라(130c)와 가상 현실 장치(110) 간의 동작 메커니즘을 나타낸 것이다(도 2 참조).
도 2 및 도 4를 참조하면, 먼저 드론(130)의 카메라(130c)와 가상 현실 장치(110) 사이의 통신을 설정한다(단계 S409).
그런 후, 가상 현실 장치(110)에 설치되어 있는 위치 감지 센서가 사용자의 얼굴의 좌우 회전에 따른 가상 현실 장치(110)의 좌우 위치 변화를 감지하여, 가상 현실 장치(110)의 컨트롤러로 전달한다. 그러면, 가상 현실 장치(110)의 컨트롤러는 위치 감지 센서로부터의 정보를 확인하고, 대응하는 명령 신호를 드론(130)으로 전송하여 드론의 카메라(130c)를 좌회전, 정중앙, 우회전 등으로 카메라의 방향을 제어한다(단계 S410∼S413).
즉, 상기 카메라의 방향을 제어하는 과정은, 상기 가상 현실 장치(110)가 사용자의 얼굴 부위에 착용된 상태에서 사용자가 얼굴을 좌측, 정면, 우측으로 돌림에 따라 상기 가상 현실 장치(110)에 설치되어 있는 위치 감지 센서가 이를 감지하고, 상기 가상 현실 장치(110)의 컨트롤러가 상기 위치 감지 센서에 의해 감지된 신호를 전달받아 대응하는 명령 신호를 상기 드론(130)으로 전송하며, 상기 드론(130)에 설치되어 있는 컨트롤러가 이를 수신하고, 수신한 명령 신호에 대응하여 카메라 구동 모터를 구동하여 카메라(130c)를 좌회전, 중앙 위치, 우회전시킴으로써 카메라의 방향을 제어하게 된다.
한편, 도 5는 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법에 의한 드론 비행 제어의 예시를 나타낸 도면이다.
도 5에 도시된 바와 같이, 사용자(조종사)는 가상 현실 장치(110)를 얼굴 부위에 착용한 상태에서 모션 인식 장치(120) 앞에서 모션(예컨대, 손바닥을 올리거나 내림, 손바닥을 시계방향 또는 반시계 방향으로 이동시킴)을 취함으로써, 모션 인식 장치(120)가 이를 인식하여(즉, 손동작을 인식하여) 상응하는 명령 신호를 드론(130)으로 전송하고, 이를 수신한 드론(130)은 명령 신호에 따라 이륙, 착륙, 앞으로 비행, 뒤로 비행 등을 수행하게 된다.
이상의 설명과 같이, 본 발명에 따른 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법은 가상 현실 장치를 이용하여 직관적으로 드론 주변의 시야를 확보하고, 모션 인식 장치를 통해 사용자의 모션을 인식하여 드론의 비행을 제어함으로써, 종래의 드론 제어 방식보다 더 쉽게 드론의 비행을 제어할 수 있는 장점이 있다.
또한, 원격 조정기가 아닌 모션을 통하여 드론을 제어하므로 제어가 용이하고, 지상에서 하늘을 비행하는 드론을 보는 것이 아니라 드론의 입장에서 직관적으로 주변의 시야를 확보하여 지형지물을 확인하기 때문에 정확한 위치 및 지형지물 파악이 가능하며, 이에 따라 드론의 안전한 비행을 유도하여 사용자의 조종 미숙으로 인한 사고 발생을 사전에 방지할 수 있는 효과가 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 가상 현실 장치 120: 모션 인식 장치
130: 드론(drone) 130c: 카메라
130: 드론(drone) 130c: 카메라
Claims (10)
- 사용자의 얼굴 부위에 착용되며, 시각적인 정보를 이용하여 사용자에게 가상의 공간을 보여주는 가상 현실 장치;
상기 가상 현실 장치에서 보여주는 가상 공간을 보면서 사용자가 특정 모션을 취하면, 모션 인식 센서를 통해 사용자의 모션을 인식하여 상응하는 비행 명령 신호를 전송하는 모션 인식 장치; 및
몸체에 설치된 카메라를 이용하여 사물을 촬영하고, 촬영된 영상을 상기 가상 현실 장치로 전송하며, 상기 모션 인식 장치로부터의 비행 명령 신호를 수신하여 대응하는 비행 동작을 수행하는 드론을 포함하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템.
- 제1항에 있어서,
상기 가상 현실 장치는 가상 현실 장치가 사용자의 얼굴 부위에 착용된 상태에서 사용자가 얼굴을 좌측, 정면, 우측으로 돌림에 따라 각 방향에 따른 위치 변화를 감지하는 위치 감지 센서와, 상기 드론에 설치되어 있는 카메라의 방향을 제어하기 위한 컨트롤러를 구비하는 것을 특징으로 하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템.
- 제1항에 있어서,
상기 모션 인식 장치는 상기 모션 인식 센서를 통해 인식한 사용자의 모션을 미리 설정되어 저장된 모션과 비교하여 일치할 경우 미리 정해진 상응하는 비행 명령 신호를 송출하는 것을 특징으로 하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템.
- 제3항에 있어서,
상기 사용자의 모션에 상응하는 비행 명령 신호는, "손바닥을 올림: 드론의 이륙", "손바닥을 내림: 드론의 착륙", "손바닥을 시계 방향으로 이동: 앞으로 비행", "손바닥을 반시계 방향으로 이동: 뒤로 비행"을 포함하는 것을 특징으로 하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템.
- 제1항에 있어서,
상기 드론에는 드론의 위치 정보를 제공하기 위한 GPS, 드론의 자세 제어를 위한 자이로 센서, 드론의 시야에서 조망하는 주변의 지형, 지물을 촬영하기 위한 카메라, 상기 모션 인식 장치 및 가상 현실 장치와의 무선 통신을 위한 무선 송수신 모듈이 설치되어 있는 것을 특징으로 하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템.
- a) 무선 조종되는 드론과 사용자의 모션을 인식하여 상응하는 비행 명령 신호를 전송하는 모션 인식 장치 사이의 통신을 설정하는 단계;
b) 드론에 설치되어 있는 카메라와 사용자가 착용하고 있는 가상 현실 장치 사이의 통신을 설정하는 단계;
c) 사용자가 상기 모션 인식 장치 앞에서 특정 모션을 취함으로써, 모션 인식 장치에 의해 사용자의 모션을 인식하여 미리 설정되어 등록된 모션과 비교하는 단계;
d) 상기 비교 결과, 인식된 모션이 기등록된 모션과 일치하는 경우, 상기 모션 인식 장치에 의해 사용자의 모션에 상응하는 비행 명령 신호를 드론으로 전송하여 드론의 비행을 제어하는 단계;
e) 상기 드론으로부터 전송된 비행 데이터를 상기 가상 현실 장치에 의해 수신하고, 수신한 비행 데이터를 바탕으로 드론 주변의 3차원 지도를 구성하는 단계; 및
f) 상기 구성된 드론 주변의 3차원 지도를 통해 가상 현실 장치에 의해 드론의 시야를 확보하고, 가상 현실 장치의 움직임에 의해 드론에 설치되어 있는 카메라의 방향을 제어하는 단계를 포함하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법. - 제6항에 있어서,
상기 단계 a) 이전에 사용자가 상기 모션 인식 장치 앞에 서서 서로 다른 비행 명령 의미를 가지는 복수의 특정 모션을 취하여, 복수의 특정 모션을 모션 인식 장치에 등록하는 단계를 더 포함하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법.
- 제6항에 있어서,
상기 단계 d)에서 상기 사용자의 모션에 상응하는 비행 명령 신호는, "손바닥을 올림: 드론의 이륙", "손바닥을 내림: 드론의 착륙", "손바닥을 시계 방향으로 이동: 앞으로 비행", "손바닥을 반시계 방향으로 이동: 뒤로 비행" 을 포함하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법.
- 제6항에 있어서,
상기 단계 e)에서의 상기 비행 데이터는 드론의 위치, 높이, 주변의 지형지물에 대한 영상 데이터를 포함하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법.
- 제6항에 있어서,
상기 단계 f)에서의 상기 카메라의 방향을 제어하는 단계는,
f-1) 상기 가상 현실 장치가 사용자의 얼굴 부위에 착용된 상태에서 사용자가 얼굴을 좌측, 정면, 우측으로 돌림에 따라 상기 가상 현실 장치에 설치되어 있는 위치 감지 센서가 이를 감지하는 단계;
f-2) 상기 가상 현실 장치의 컨트롤러가 상기 위치 감지 센서에 의해 감지된 신호를 전달받아 대응하는 명령 신호를 상기 드론으로 전송하는 단계; 및
f-3) 상기 드론에 설치되어 있는 컨트롤러가 이를 수신하고, 수신한 명령 신호에 대응하여 카메라 구동 모터를 구동하여 카메라를 좌회전, 중앙 위치, 우회전시킴으로써 카메라의 방향을 제어하는 단계를 포함하는 모션 인식 및 가상 현실을 이용한 드론 비행 제어 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160110892A KR20180025416A (ko) | 2016-08-30 | 2016-08-30 | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160110892A KR20180025416A (ko) | 2016-08-30 | 2016-08-30 | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180025416A true KR20180025416A (ko) | 2018-03-09 |
Family
ID=61727761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160110892A KR20180025416A (ko) | 2016-08-30 | 2016-08-30 | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180025416A (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109637290A (zh) * | 2019-02-20 | 2019-04-16 | 马刚 | 一种无人机测试装置及其测试系统 |
| WO2020040330A1 (ko) * | 2018-08-23 | 2020-02-27 | 한서대학교 산학협력단 | Mems 관성센서를 이용한 쿼드콥터 자세 제어 시스템 |
| CN112740226A (zh) * | 2020-04-28 | 2021-04-30 | 深圳市大疆创新科技有限公司 | 基于人体指示的可移动物体的操作系统和方法 |
| CN113709415A (zh) * | 2021-08-20 | 2021-11-26 | 翰和文化教育(深圳)有限公司 | Vr720°全景场景数据交互系统及其使用方法 |
| US11989351B2 (en) | 2019-05-07 | 2024-05-21 | Adam Farley | Virtual, augmented and mixed reality systems with physical feedback |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160159463A1 (en) * | 2013-07-31 | 2016-06-09 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
-
2016
- 2016-08-30 KR KR1020160110892A patent/KR20180025416A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160159463A1 (en) * | 2013-07-31 | 2016-06-09 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
Non-Patent Citations (3)
| Title |
|---|
| Development and Implementation of an Unmanned Aerial Vehicle with Stereoscopic Cameras Controlled via a Virtual Reality Head-Mounted Display, 2015.02. * |
| 논문(2015.02.) * |
| 웹페이지(2015.07.) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020040330A1 (ko) * | 2018-08-23 | 2020-02-27 | 한서대학교 산학협력단 | Mems 관성센서를 이용한 쿼드콥터 자세 제어 시스템 |
| CN109637290A (zh) * | 2019-02-20 | 2019-04-16 | 马刚 | 一种无人机测试装置及其测试系统 |
| CN109637290B (zh) * | 2019-02-20 | 2024-06-11 | 中国人民武装警察部队后勤学院 | 一种无人机测试装置及其测试系统 |
| US11989351B2 (en) | 2019-05-07 | 2024-05-21 | Adam Farley | Virtual, augmented and mixed reality systems with physical feedback |
| CN112740226A (zh) * | 2020-04-28 | 2021-04-30 | 深圳市大疆创新科技有限公司 | 基于人体指示的可移动物体的操作系统和方法 |
| CN113709415A (zh) * | 2021-08-20 | 2021-11-26 | 翰和文化教育(深圳)有限公司 | Vr720°全景场景数据交互系统及其使用方法 |
| CN113709415B (zh) * | 2021-08-20 | 2024-10-15 | 翰和文化教育(深圳)有限公司 | Vr720°全景场景数据交互系统及其使用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9886033B2 (en) | System for piloting a drone in immersion | |
| US9738382B2 (en) | Drone immersion-piloting system | |
| KR101117207B1 (ko) | 스마트폰을 이용한 무인비행체 자동 및 수동 조종시스템 | |
| CN111372851B (zh) | 无人航空器控制系统、无人航空器控制方法、及可读存储媒体 | |
| KR20180025416A (ko) | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 | |
| US20170068246A1 (en) | Systems and methods for target tracking | |
| US20170371353A1 (en) | Automatic Tracking Mode For Controlling An Unmanned Aerial Vehicle | |
| KR101617411B1 (ko) | 드론 제어 방법 및 시스템 | |
| JP4012749B2 (ja) | 遠隔操縦システム | |
| TWI615301B (zh) | 自動輔助駕駛系統及其方法 | |
| US20180275659A1 (en) | Route generation apparatus, route control system and route generation method | |
| US20190243356A1 (en) | Method for controlling flight of an aircraft, device, and aircraft | |
| JP2018504690A (ja) | 無人機の飛行補助方法およびシステム、無人機、ならびに携帯端末 | |
| WO2015013979A1 (zh) | 遥控方法及终端 | |
| US10377487B2 (en) | Display device and display control method | |
| CN113508351A (zh) | 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质 | |
| WO2017113648A1 (zh) | 体感遥控器、体感遥控飞行系统和方法、无头控制方法 | |
| KR20170090888A (ko) | Hmd를 이용한 무인기 조종 장치 | |
| US20210034052A1 (en) | Information processing device, instruction method for prompting information, program, and recording medium | |
| KR101682797B1 (ko) | 체감형 무인항공기 제어 장치 및 그 제어 방법 | |
| US11573565B2 (en) | Controller for an unmanned aerial vehicle | |
| JP6560479B1 (ja) | 無人航空機制御システム、無人航空機制御方法、及びプログラム | |
| KR101623300B1 (ko) | 헤드 마운트 디스플레이 장치 및 그 동작 방법 | |
| JP7545758B2 (ja) | 飛行制御システム | |
| KR20190053018A (ko) | 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |