KR102045667B1 - 드론의 제어 신호 생성 방법 및 제어 장치 - Google Patents
드론의 제어 신호 생성 방법 및 제어 장치 Download PDFInfo
- Publication number
- KR102045667B1 KR102045667B1 KR1020180018642A KR20180018642A KR102045667B1 KR 102045667 B1 KR102045667 B1 KR 102045667B1 KR 1020180018642 A KR1020180018642 A KR 1020180018642A KR 20180018642 A KR20180018642 A KR 20180018642A KR 102045667 B1 KR102045667 B1 KR 102045667B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- drone
- user
- control signal
- generating
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- B64C2201/127—
-
- B64C2201/146—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 드론의 제어 신호 생성 방법 및 제어 장치에 관한 것이다.
사용자의 제스처 학습을 이용한 드론 제어 신호 생성 방법에 있어서, 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득하는 단계, 상기 촬영 영상을 시청 중인 사용자의 제스처를 인식하는 단계, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함한다.
이와 같이 본 발명의 실시예에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.
즉, 본 발명의 실시예를 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.
사용자의 제스처 학습을 이용한 드론 제어 신호 생성 방법에 있어서, 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득하는 단계, 상기 촬영 영상을 시청 중인 사용자의 제스처를 인식하는 단계, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함한다.
이와 같이 본 발명의 실시예에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.
즉, 본 발명의 실시예를 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.
Description
본 발명은 드론의 제어 신호 생성 방법 및 제어 장치에 관한 것으로, 더욱 상세하게는 사용자가 체감형 인터페이스를 사용하여 드론을 제어하기 위한 드론의 제어 신호 생성 방법 및 제어 장치에 관한 것이다. 특히, 본 발명은 2017년도 동일문화장학재단 학술연구비 지원사업에 의해 특허 출원되는 것이다.
드론(drone)은 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 군사용 무인항공기(UAV: unmanned aerial vehicle or uninhabited aerial vehicle)의 총칭으로서, 2010년대를 전후하여 군사적 용도 외 다양한 민간 분야에도 활용되고 있다.
현재 드론의 제어 방법은 크게 두 가지로 구분되며, 하나는 정찰 장비나 무기를 탑재하는 군용 드론에서 사용하는 원격 조정 비행 방식이고, 다른 하나는 일반용 드론에서 사용하는 근거리 조정 비행 방식이다.
원격 조정 비행 방식은 비행기 조정 시뮬레이터에 앉아서 조종하는 것과 같은 방식이며, 고가의 비용이 소요되며, 군용이나 특수 목적용으로 제작되기 때문에 일반용으로는 허가되지 않고 있다.
반면에 근거리 조정 비행 방식은 근거리에서 사용자가 드론을 눈으로 확인하면서 조종하는 방식으로 드론을 제작과 동시에 제어방법을 설정하기 때문에 제조사별로 제어방법이 상이하여 드론의 제어방법을 숙달하는데 많은 시간이 소요되며, 특히 초보자들은 안전문제가 일어나는 문제점을 가지고 있다.
또한, 기존에는 드론을 제어하기 위한 사용자의 제스처는 드론 제작업체에 의해 일괄적으로 결정되어 제품화가 되어 왔다. 이와 같은 이유로 오른쪽 팔의 동작만을 통하여 드론을 제어할 수 있는 신호를 생성할 수 있다고 가정하면, 오른쪽 팔의 동작을 감지할 수 있는 센서가 구비되지 않은 사용자 또는 팔의 동작에 장애가 있는 사용자의 경우에는 드론의 동작을 제어할 수 없다는 문제점이 있었다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제 10-1768780호(2017.06.09 등록)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 사용자 체감형 인터페이스를 이용하여 드론을 제어하기 위한 드론 제어 신호를 생성하는 방법 및 그 장치에 관한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 사용자의 학습을 이용한 드론 제어 신호 생성 방법에 있어서, 비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 단계, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함하는 드론 제어 신호 생성 방법.
복수의 동작으로 움직이면서 비행하는 드론을 촬영한 영상 및 드론 동작 제어 신호를 획득하는 단계를 더 포함하는 드론 제어 신호 생성 방법.
상기 드론은 조종기에 의해 복수의 동작으로 동작하는 드론 제어 신호 생성 방법.
상기 사용자의 제스처를 인식하는 단계에 있어서, 상기 사용자는 체감형 인터페이스를 통하여 상기 촬영 영상을 시청하며, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하는 드론 제어 신호 생성 방법.
상기 드론 동작 제어 신호를 생성하는 단계는, 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하는 단계, 상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 단계를 포함하는 드론 제어 신호 생성 방법.
사용자의 제스처 학습을 이용한 드론 제어 신호 생성 장치에 있어서, 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득하는 영상 획득부, 비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 제스처 인식부, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 모델링부, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 제어신호 생성부를 포함하는 드론 제어 신호 생성 장치.
상기 영상 획득부는, 복수의 제스처로 움직이면서 비행하는 드론을 촬영한 영상 및 드론 제어 신호를 더 획득하는 드론 제어 신호 생성 장치.
상기 드론은 조종기에 의해 복수의 제스처로 동작하는 드론 제어 신호 생성 장치.
상기 제스처 인식부는, 상기 사용자가 체감형 인터페이스를 통하여 상기 촬영 영상을 시청한 상태에서, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하는 드론 제어 신호 생성 장치.
상기 제스처 인식부가 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하면, 상기 제어신호 생성부는 상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 드론 제어 신호 생성 장치.
이와 같이 본 발명에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.
즉, 본 발명을 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.
도 1은 본 발명의 실시예에 따른 드론 제어 신호 생성장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 드론 제어 신호 생성방법을 나타낸 순서도 이다.
도 3은 도 2에 나타낸 S220 단계를 설명하기 위한 도면이다.
도 4는 도 2에 나타낸 S230 단계를 설명하기 위한 도면이다.
도 5는 도 2에 나타낸 S240 단계를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 드론 제어 신호 생성방법을 나타낸 순서도 이다.
도 3은 도 2에 나타낸 S220 단계를 설명하기 위한 도면이다.
도 4는 도 2에 나타낸 S230 단계를 설명하기 위한 도면이다.
도 5는 도 2에 나타낸 S240 단계를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 드론 제어 신호 생성장치의 구성을 나타낸 도면이다.
도 1과 같이, 본 발명의 실시예에 따른 드론 제어 신호 생성장치(100)는 영상획득부(110), 제스처 인식부(120), 모델링부(130), 제어신호 생성부(140) 및 통신부(150)를 포함한다.
먼저, 영상획득부(110)는 복수의 동작으로 동작하면서 비행하는 드론에 의해 촬영된 영상을 획득한다.
또한, 영상획득부(110)는 제3자에 의해서 촬영된 복수의 동작으로 동작하면서 비행하는 드론을 촬영한 영상을 더 획득할 수 있다.
제스처 인식부(120)는 사용자가 체감형 인터페이스 장비를 이용하여 영상획득부(110)에서 촬영된 영상을 시청한다.
그리고, 사용자는 동작감지 센서를 활용하여 촬영된 영상에 대응하는 모션제스처를 취하면, 모션제츠처 인식부(120)는 사용자에 의해 취해진 모션제스처를 인식한다.
모델링부(130)는 제스처 인식부(120)로부터 획득한 데이터와 이에 대응하는 드론의 동작을 학습모델을 활용하여 모델링을 수행한다.
여기서 학습 기반 모델은 머신 러닝(Machine Learning) 알고리즘뿐만 아니라 지도 학습(SupervisedLearning) 알고리즘, 딥 러닝(Deep Learning) 알고리즘 등을 통하여 구현될 수 있다.
학습 모델은은 사용자의 모션 제스쳐를 기준으로 축적된 정형 및 비정형의 빅데이터를 입력받아 반복적으로 인공신경망(AI)을 통하여 학습한 후, 이러한 학습을 바탕으로 사용자의 모션 인식 판단 패턴을 추론하여 저장하는 기능을 수행하도록 한다.
다음으로, 제어신호 생성부(140)는 사용자가 모델링부(130)에서 학습된 모션제스처를 취하면 이에 대응하는 드론 동작 제어 신호를 생성한다.
그리고, 통신부(150)는 생성된 드론 동작 제어 신호를 비행 중인 드론에게 무선 통신방식으로 전송한다.
이하에서는 도 2 내지 도 5를 이용하여 본 발명의 실시예에 따른 드론 제어 신호 생성 방법에 대하여 설명한다.
도 2는 본 발명의 실시예에 따른 드론 제어 신호 생성방법을 나타낸 순서도 이다.
도 2에 나타낸 것처럼, 본 발명의 실시예에 따른 드론의 제어 신호 생성 방법은, 사용자의 제스처를 인식하여 학습모델을 생성하는 학습단계와 생성한 학습모델을 토대로 드론을 제어하는 테스트 단계를 포함한다.
도 2에 나타낸 것과 같이 학습단계는 S210 내지 S230 단계를 포함하며, 테스트 단계는 S240 내지 S260단계를 포함한다.
먼저 학습 단계에 대하여 설명하면, 영상획득부(110)는 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득한다(S210).
즉, 제3자의 조종에 의하여 드론이 비행하면서 다양하게 자세를 변경하면, 드론에 장착된 카메라를 통하여 촬영된 영상을 획득한다.
또한, 영상획득부(110)는 복수의 동작으로 움직이면서 비행하는 드론을 촬영한 영상을 더 획득할 수 있다. 마찬가지로, 제3자의 조종에 의하여 드론이 비행하면서 다양하게 자세를 변경하면, 드론 주변에 설치된 카메라를 통하여 드론의 동작을 촬영한 영상을 획득한다.
여기서 드론의 동작은 이륙, 착륙, 상승, 하강, 좌회전, 우회전, 전방 회전, 후방 회전 등의 다양한 동작을 포함한다.
다음으로, 동작감지 센서를 부착한 사용자는 S210단계에서 획득한 촬영 영상을 시청하면서, 다양한 방식의 제스처를 취하면 제스처 인식부(120)는 사용자의 제스처를 인식한다(S220).
도 3은 도 2에 나타낸 S220 단계를 설명하기 위한 도면이다.
도 3에 나타낸 것처럼, 사용자는 HMD(Head Mounted Display), HUD(Head Up Display)와 같은 체감형 인터페이스 장치(121)를 장착한 상태에서 촬영 영상을 시청할 수도 있고, 주변에 설치된 디스플레이 장치를 이용하여 촬영 영상을 시청할 수도 있다.
그리고, 동작감지 센서(122)는 적외선 센서 또는 레이저 센서등으로 구현될 수 있고, 웨어러블 형태로 사용자의 신체 일부에 부착되거나 사용자에 의해 파지될 수 있다.
따라서, 동작감지 센서(122)는 촬영 영상을 시청 중인 사용자의 동작을 감지하여 사용자의 제스처에 관한 데이터를 획득할 수 있다.
다음으로, 모델링부(130)는 제스처 인식부(120)로부터 획득한 제스처 데이터와 이에 대응하는 드론의 동작 데이터를 학습모델을 적용하여 모델링을 수행한다(S230).
도 4는 도 2에 나타낸 S230 단계를 설명하기 위한 도면이다.
도 4에 도시한 것처럼, 학습 모델은 복수의 레이어(input layer, hidden layer, out layer)로 구성되며, 복수의 제스처 데이터(도 4에서는 "제스처1, 제스처2, 제스처3"로 예시함)가 학습 모델에 입력되면, 체감형 인터페이스를 통해 재생 중인 드론의 동작 데이터에 대응되는 제어 신호가 출력되도록 모델링된다.
여기서, 학습 모델은 사람의 뇌의 학습 기능을 모델화한 것으로 딥러닝 또는 머신 러닝등의 기술을 활용하여 입력되는 정보를 가공하여 제공하는 것을 포함한다.
특히, 머신러닝은 데이터로부터 우리에게 유용한 지식을 추출하여 새로운 데이터에 대한 판단에 적용하는 것으로, 주어진 데이터를 기반으로 훈련시키며 훈련된 지식을 기반으로 새로운 입력 데이터에 대한 적절한 답을 찾고자 하는 일련의 과정을 나타낸다.
따라서, 모델링부(130)는 제스처 인식부(120)로부터 획득한 제스처 데이터와 이에 대응하는 드론의 동작 데이터를 딥러닝 또는 머신 러닝을 통해 학습시켜 모션 인식을 위한 학습 모델을 생성한다.
따라서, 학습 모델을 통하여 사용자의 제스처에 대응하는 드론의 동작을 제어하기 위한 드론 제어 신호가 생성된다.
이와 같이 사용자의 제스처에 의한 드론의 동작에 대한 학습 단계가 종료되면, S240 내지 S260 단계에 따른 테스트 단계가 진행될 수 있다.
먼저, 제스처 인식부(120)는 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식한다(S240).
도 5는 도 2에 나타낸 S240 단계를 설명하기 위한 도면이다.
S220 단계와 마찬가지로 사용자는 동작감지 센서(122)를 신체 일부에 부착하거나 파지한 상태에서 드론의 동작을 제어하기 위한 제스처를 취하면, 제스처 인식부(120)는 동작감지 센서(122)로부터 사용자의 제스처를 인식하게 된다.
이때, 도 5와 같이 사용자는 별도의 체감형 인터페이스 장치(121)를 장착하지 않은 상태에서. 직접 비행 중인 드론을 보면서 드론의 동작을 제어하기 위한 제스처를 취할 수 있다.
또한, 드론과 원거리에 위치하는 사용자의 경우에는 체감형 인터페이스 장치(121)를 착용한 상태에서 드론으로부터 전송되는 촬영 영상 또는 비행 중인 드론을 촬영한 영상을 시청하면서 제스처를 취할 수도 있다.
다음으로, 제어신호 생성부(140)는 해당되는 제스처에 대응하는 학습된 드론 동작 제어 신호를 학습 모델을 통하여 생성한다(S250).
즉, 사용자에 의해 감지된 모션 데이터가 입력되면, 제어신호 생성부(140)는 입력된 모션 데이터를 학습 모델에 적용하여, 해당되는 제스처에 대응하는 드론의 제어 신호를 출력한다.
다음으로, 통신부(150)는 생성된 드론 제어 신호를 비행 중인 드론으로 전송한다(S260).
만일 드론이 사용자와 근거리에 있는 경우에는 블루투스 통신, 지그비 통신 등과 같은 근거리 통신을 이용할 수 있으며, 드론이 사용자와 원거리에 위치하는 경우에는 RF통신, LTE통신, 3G통신과 같은 원거리 통신을 이용할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.
즉, 본 발명의 실시예를 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다 .따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 드론 제어신호 생성장치, 110: 영상획득부,
120: 제스처 인식부, 121: 체감형 인터페이스,
122: 동작감지 센서, 130: 모델링부,
140: 제어신호 생성부, 150: 통신부
120: 제스처 인식부, 121: 체감형 인터페이스,
122: 동작감지 센서, 130: 모델링부,
140: 제어신호 생성부, 150: 통신부
Claims (10)
- 드론 제어 신호 생성 장치를 이용한 드론 제어 신호 생성 방법에 있어서,
비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 단계,
복수의 동작으로 비행하는 드론을 촬영한 영상 및 드론 동작 제어 신호를 획득하는 단계,
상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고
상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함하고,
상기 사용자의 제스처를 인식하는 단계는,
상기 사용자는 체감형 인터페이스를 통하여 상기 촬영된 영상을 시청하며, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하고,
상기 드론은 조종기에 의해 복수의 동작으로 움직이며,
상기 드론 동작 제어 신호를 생성하는 단계는,
신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하는 단계,
상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 단계를 포함하는 드론 제어 신호 생성 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 사용자의 제스처 학습을 이용한 드론 제어 신호 생성 장치에 있어서,
복수의 동작으로 비행하는 드론에 의해 촬영된 영상을 획득하는 영상 획득부,
비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 제스처 인식부,
상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 모델링부, 그리고
상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 제어신호 생성부를 포함하고,
상기 드론은 조종기에 의해 복수의 동작으로 움직이며,
상기 영상 획득부는,
복수의 제스처로 움직이면서 비행하는 드론을 촬영한 영상 및 드론 제어 신호를 더 획득하고,
상기 제스처 인식부는,
상기 사용자가 체감형 인터페이스를 통하여 상기 촬영된 영상을 시청한 상태에서, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하며,
상기 제스처 인식부가 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하면, 상기 제어신호 생성부는 상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 드론 제어 신호 생성 장치. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180018642A KR102045667B1 (ko) | 2018-02-14 | 2018-02-14 | 드론의 제어 신호 생성 방법 및 제어 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180018642A KR102045667B1 (ko) | 2018-02-14 | 2018-02-14 | 드론의 제어 신호 생성 방법 및 제어 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190098893A KR20190098893A (ko) | 2019-08-23 |
KR102045667B1 true KR102045667B1 (ko) | 2019-12-03 |
Family
ID=67763681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180018642A KR102045667B1 (ko) | 2018-02-14 | 2018-02-14 | 드론의 제어 신호 생성 방법 및 제어 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102045667B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102324059B1 (ko) | 2021-04-26 | 2021-11-10 | 주식회사 조인트리 | 드론 조작용 비행 영상 제공 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160217616A1 (en) * | 2015-01-28 | 2016-07-28 | CCP hf. | Method and System for Providing Virtual Display of a Physical Environment |
KR101645722B1 (ko) * | 2015-08-19 | 2016-08-05 | 아이디어주식회사 | 자동추적 기능을 갖는 무인항공기 및 그 제어방법 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170035547A (ko) * | 2015-09-23 | 2017-03-31 | 엘지이노텍 주식회사 | 원격 제어장치, 원격 제어방법 및 원격 제어시스템 |
-
2018
- 2018-02-14 KR KR1020180018642A patent/KR102045667B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160217616A1 (en) * | 2015-01-28 | 2016-07-28 | CCP hf. | Method and System for Providing Virtual Display of a Physical Environment |
KR101645722B1 (ko) * | 2015-08-19 | 2016-08-05 | 아이디어주식회사 | 자동추적 기능을 갖는 무인항공기 및 그 제어방법 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102324059B1 (ko) | 2021-04-26 | 2021-11-10 | 주식회사 조인트리 | 드론 조작용 비행 영상 제공 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20190098893A (ko) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107168352B (zh) | 目标追踪系统及方法 | |
US11126833B2 (en) | Artificial intelligence apparatus for recognizing user from image data and method for the same | |
EP3166106B1 (en) | Intent managing system | |
KR20190110498A (ko) | 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법 | |
CN109074748A (zh) | 图像处理设备、图像处理方法和可移动体 | |
CN106377228B (zh) | 基于Kinect的无人机操作员状态监视与分层控制方法 | |
CN205693767U (zh) | 无人机系统 | |
US10872438B2 (en) | Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same | |
US20190354178A1 (en) | Artificial intelligence device capable of being controlled according to user action and method of operating the same | |
CN113056315B (zh) | 信息处理装置、信息处理方法和程序 | |
KR102688239B1 (ko) | 알림을 제공하는 인공 지능 장치 및 그 방법 | |
CN105159452A (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
US20230195401A1 (en) | Information processing apparatus and information processing method | |
KR102045667B1 (ko) | 드론의 제어 신호 생성 방법 및 제어 장치 | |
Mantegazza et al. | Vision-based control of a quadrotor in user proximity: Mediated vs end-to-end learning approaches | |
TWI802115B (zh) | 無人機的控制裝置及其控制方法 | |
CN110543234B (zh) | 信息处理装置和非暂时性计算机可读介质 | |
US11921509B2 (en) | Information processing apparatus, information processing method, and program | |
US11548144B2 (en) | Robot and controlling method thereof | |
US11464380B2 (en) | Artificial intelligence cleaner and operating method thereof | |
US11550328B2 (en) | Artificial intelligence apparatus for sharing information of stuck area and method for the same | |
US11288840B2 (en) | Artificial intelligence apparatus for estimating pose of head and method for the same | |
KR102425372B1 (ko) | 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법 | |
WO2021131950A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20240203099A1 (en) | Artificial intelligence device and 3d agency generating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |