KR102045667B1 - 드론의 제어 신호 생성 방법 및 제어 장치 - Google Patents

Abstract

본 발명은 드론의 제어 신호 생성 방법 및 제어 장치에 관한 것이다.
사용자의 제스처 학습을 이용한 드론 제어 신호 생성 방법에 있어서, 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득하는 단계, 상기 촬영 영상을 시청 중인 사용자의 제스처를 인식하는 단계, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함한다.
이와 같이 본 발명의 실시예에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.
즉, 본 발명의 실시예를 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.

Description

드론의 제어 신호 생성 방법 및 제어 장치{MATH0D AND DEVICE FOR GENERATING CONTROL SIGNAL OF DRONES}

본 발명은 드론의 제어 신호 생성 방법 및 제어 장치에 관한 것으로, 더욱 상세하게는 사용자가 체감형 인터페이스를 사용하여 드론을 제어하기 위한 드론의 제어 신호 생성 방법 및 제어 장치에 관한 것이다. 특히, 본 발명은 2017년도 동일문화장학재단 학술연구비 지원사업에 의해 특허 출원되는 것이다.

드론(drone)은 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 군사용 무인항공기(UAV: unmanned aerial vehicle or uninhabited aerial vehicle)의 총칭으로서, 2010년대를 전후하여 군사적 용도 외 다양한 민간 분야에도 활용되고 있다.

현재 드론의 제어 방법은 크게 두 가지로 구분되며, 하나는 정찰 장비나 무기를 탑재하는 군용 드론에서 사용하는 원격 조정 비행 방식이고, 다른 하나는 일반용 드론에서 사용하는 근거리 조정 비행 방식이다.

원격 조정 비행 방식은 비행기 조정 시뮬레이터에 앉아서 조종하는 것과 같은 방식이며, 고가의 비용이 소요되며, 군용이나 특수 목적용으로 제작되기 때문에 일반용으로는 허가되지 않고 있다.

반면에 근거리 조정 비행 방식은 근거리에서 사용자가 드론을 눈으로 확인하면서 조종하는 방식으로 드론을 제작과 동시에 제어방법을 설정하기 때문에 제조사별로 제어방법이 상이하여 드론의 제어방법을 숙달하는데 많은 시간이 소요되며, 특히 초보자들은 안전문제가 일어나는 문제점을 가지고 있다.

또한, 기존에는 드론을 제어하기 위한 사용자의 제스처는 드론 제작업체에 의해 일괄적으로 결정되어 제품화가 되어 왔다. 이와 같은 이유로 오른쪽 팔의 동작만을 통하여 드론을 제어할 수 있는 신호를 생성할 수 있다고 가정하면, 오른쪽 팔의 동작을 감지할 수 있는 센서가 구비되지 않은 사용자 또는 팔의 동작에 장애가 있는 사용자의 경우에는 드론의 동작을 제어할 수 없다는 문제점이 있었다.

본 발명의 배경이 되는 기술은 대한민국 등록특허 제 10-1768780호(2017.06.09 등록)에 개시되어 있다.

본 발명이 이루고자 하는 기술적 과제는 사용자 체감형 인터페이스를 이용하여 드론을 제어하기 위한 드론 제어 신호를 생성하는 방법 및 그 장치에 관한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따르면, 사용자의 학습을 이용한 드론 제어 신호 생성 방법에 있어서, 비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 단계, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함하는 드론 제어 신호 생성 방법.

복수의 동작으로 움직이면서 비행하는 드론을 촬영한 영상 및 드론 동작 제어 신호를 획득하는 단계를 더 포함하는 드론 제어 신호 생성 방법.

상기 드론은 조종기에 의해 복수의 동작으로 동작하는 드론 제어 신호 생성 방법.

상기 사용자의 제스처를 인식하는 단계에 있어서, 상기 사용자는 체감형 인터페이스를 통하여 상기 촬영 영상을 시청하며, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하는 드론 제어 신호 생성 방법.

상기 드론 동작 제어 신호를 생성하는 단계는, 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하는 단계, 상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 단계를 포함하는 드론 제어 신호 생성 방법.

사용자의 제스처 학습을 이용한 드론 제어 신호 생성 장치에 있어서, 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득하는 영상 획득부, 비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 제스처 인식부, 상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 모델링부, 그리고 상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 제어신호 생성부를 포함하는 드론 제어 신호 생성 장치.

상기 영상 획득부는, 복수의 제스처로 움직이면서 비행하는 드론을 촬영한 영상 및 드론 제어 신호를 더 획득하는 드론 제어 신호 생성 장치.

상기 드론은 조종기에 의해 복수의 제스처로 동작하는 드론 제어 신호 생성 장치.

상기 제스처 인식부는, 상기 사용자가 체감형 인터페이스를 통하여 상기 촬영 영상을 시청한 상태에서, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하는 드론 제어 신호 생성 장치.

상기 제스처 인식부가 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하면, 상기 제어신호 생성부는 상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 드론 제어 신호 생성 장치.

이와 같이 본 발명에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.

즉, 본 발명을 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.

도 1은 본 발명의 실시예에 따른 드론 제어 신호 생성장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 드론 제어 신호 생성방법을 나타낸 순서도 이다.
도 3은 도 2에 나타낸 S220 단계를 설명하기 위한 도면이다.
도 4는 도 2에 나타낸 S230 단계를 설명하기 위한 도면이다.
도 5는 도 2에 나타낸 S240 단계를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 드론 제어 신호 생성장치의 구성을 나타낸 도면이다.

도 1과 같이, 본 발명의 실시예에 따른 드론 제어 신호 생성장치(100)는 영상획득부(110), 제스처 인식부(120), 모델링부(130), 제어신호 생성부(140) 및 통신부(150)를 포함한다.

먼저, 영상획득부(110)는 복수의 동작으로 동작하면서 비행하는 드론에 의해 촬영된 영상을 획득한다.

또한, 영상획득부(110)는 제3자에 의해서 촬영된 복수의 동작으로 동작하면서 비행하는 드론을 촬영한 영상을 더 획득할 수 있다.

제스처 인식부(120)는 사용자가 체감형 인터페이스 장비를 이용하여 영상획득부(110)에서 촬영된 영상을 시청한다.

그리고, 사용자는 동작감지 센서를 활용하여 촬영된 영상에 대응하는 모션제스처를 취하면, 모션제츠처 인식부(120)는 사용자에 의해 취해진 모션제스처를 인식한다.

모델링부(130)는 제스처 인식부(120)로부터 획득한 데이터와 이에 대응하는 드론의 동작을 학습모델을 활용하여 모델링을 수행한다.

여기서 학습 기반 모델은 머신 러닝(Machine Learning) 알고리즘뿐만 아니라 지도 학습(SupervisedLearning) 알고리즘, 딥 러닝(Deep Learning) 알고리즘 등을 통하여 구현될 수 있다.

학습 모델은은 사용자의 모션 제스쳐를 기준으로 축적된 정형 및 비정형의 빅데이터를 입력받아 반복적으로 인공신경망(AI)을 통하여 학습한 후, 이러한 학습을 바탕으로 사용자의 모션 인식 판단 패턴을 추론하여 저장하는 기능을 수행하도록 한다.

다음으로, 제어신호 생성부(140)는 사용자가 모델링부(130)에서 학습된 모션제스처를 취하면 이에 대응하는 드론 동작 제어 신호를 생성한다.

그리고, 통신부(150)는 생성된 드론 동작 제어 신호를 비행 중인 드론에게 무선 통신방식으로 전송한다.

이하에서는 도 2 내지 도 5를 이용하여 본 발명의 실시예에 따른 드론 제어 신호 생성 방법에 대하여 설명한다.

도 2는 본 발명의 실시예에 따른 드론 제어 신호 생성방법을 나타낸 순서도 이다.

도 2에 나타낸 것처럼, 본 발명의 실시예에 따른 드론의 제어 신호 생성 방법은, 사용자의 제스처를 인식하여 학습모델을 생성하는 학습단계와 생성한 학습모델을 토대로 드론을 제어하는 테스트 단계를 포함한다.

도 2에 나타낸 것과 같이 학습단계는 S210 내지 S230 단계를 포함하며, 테스트 단계는 S240 내지 S260단계를 포함한다.

먼저 학습 단계에 대하여 설명하면, 영상획득부(110)는 복수의 동작으로 움직이면서 비행하는 드론에 의해 촬영된 영상을 획득한다(S210).

즉, 제3자의 조종에 의하여 드론이 비행하면서 다양하게 자세를 변경하면, 드론에 장착된 카메라를 통하여 촬영된 영상을 획득한다.

또한, 영상획득부(110)는 복수의 동작으로 움직이면서 비행하는 드론을 촬영한 영상을 더 획득할 수 있다. 마찬가지로, 제3자의 조종에 의하여 드론이 비행하면서 다양하게 자세를 변경하면, 드론 주변에 설치된 카메라를 통하여 드론의 동작을 촬영한 영상을 획득한다.

여기서 드론의 동작은 이륙, 착륙, 상승, 하강, 좌회전, 우회전, 전방 회전, 후방 회전 등의 다양한 동작을 포함한다.

다음으로, 동작감지 센서를 부착한 사용자는 S210단계에서 획득한 촬영 영상을 시청하면서, 다양한 방식의 제스처를 취하면 제스처 인식부(120)는 사용자의 제스처를 인식한다(S220).

도 3은 도 2에 나타낸 S220 단계를 설명하기 위한 도면이다.

도 3에 나타낸 것처럼, 사용자는 HMD(Head Mounted Display), HUD(Head Up Display)와 같은 체감형 인터페이스 장치(121)를 장착한 상태에서 촬영 영상을 시청할 수도 있고, 주변에 설치된 디스플레이 장치를 이용하여 촬영 영상을 시청할 수도 있다.

그리고, 동작감지 센서(122)는 적외선 센서 또는 레이저 센서등으로 구현될 수 있고, 웨어러블 형태로 사용자의 신체 일부에 부착되거나 사용자에 의해 파지될 수 있다.

따라서, 동작감지 센서(122)는 촬영 영상을 시청 중인 사용자의 동작을 감지하여 사용자의 제스처에 관한 데이터를 획득할 수 있다.

다음으로, 모델링부(130)는 제스처 인식부(120)로부터 획득한 제스처 데이터와 이에 대응하는 드론의 동작 데이터를 학습모델을 적용하여 모델링을 수행한다(S230).

도 4는 도 2에 나타낸 S230 단계를 설명하기 위한 도면이다.

도 4에 도시한 것처럼, 학습 모델은 복수의 레이어(input layer, hidden layer, out layer)로 구성되며, 복수의 제스처 데이터(도 4에서는 "제스처1, 제스처2, 제스처3"로 예시함)가 학습 모델에 입력되면, 체감형 인터페이스를 통해 재생 중인 드론의 동작 데이터에 대응되는 제어 신호가 출력되도록 모델링된다.

여기서, 학습 모델은 사람의 뇌의 학습 기능을 모델화한 것으로 딥러닝 또는 머신 러닝등의 기술을 활용하여 입력되는 정보를 가공하여 제공하는 것을 포함한다.

특히, 머신러닝은 데이터로부터 우리에게 유용한 지식을 추출하여 새로운 데이터에 대한 판단에 적용하는 것으로, 주어진 데이터를 기반으로 훈련시키며 훈련된 지식을 기반으로 새로운 입력 데이터에 대한 적절한 답을 찾고자 하는 일련의 과정을 나타낸다.

따라서, 모델링부(130)는 제스처 인식부(120)로부터 획득한 제스처 데이터와 이에 대응하는 드론의 동작 데이터를 딥러닝 또는 머신 러닝을 통해 학습시켜 모션 인식을 위한 학습 모델을 생성한다.

따라서, 학습 모델을 통하여 사용자의 제스처에 대응하는 드론의 동작을 제어하기 위한 드론 제어 신호가 생성된다.

이와 같이 사용자의 제스처에 의한 드론의 동작에 대한 학습 단계가 종료되면, S240 내지 S260 단계에 따른 테스트 단계가 진행될 수 있다.

먼저, 제스처 인식부(120)는 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식한다(S240).

도 5는 도 2에 나타낸 S240 단계를 설명하기 위한 도면이다.

S220 단계와 마찬가지로 사용자는 동작감지 센서(122)를 신체 일부에 부착하거나 파지한 상태에서 드론의 동작을 제어하기 위한 제스처를 취하면, 제스처 인식부(120)는 동작감지 센서(122)로부터 사용자의 제스처를 인식하게 된다.

이때, 도 5와 같이 사용자는 별도의 체감형 인터페이스 장치(121)를 장착하지 않은 상태에서. 직접 비행 중인 드론을 보면서 드론의 동작을 제어하기 위한 제스처를 취할 수 있다.

또한, 드론과 원거리에 위치하는 사용자의 경우에는 체감형 인터페이스 장치(121)를 착용한 상태에서 드론으로부터 전송되는 촬영 영상 또는 비행 중인 드론을 촬영한 영상을 시청하면서 제스처를 취할 수도 있다.

다음으로, 제어신호 생성부(140)는 해당되는 제스처에 대응하는 학습된 드론 동작 제어 신호를 학습 모델을 통하여 생성한다(S250).

즉, 사용자에 의해 감지된 모션 데이터가 입력되면, 제어신호 생성부(140)는 입력된 모션 데이터를 학습 모델에 적용하여, 해당되는 제스처에 대응하는 드론의 제어 신호를 출력한다.

다음으로, 통신부(150)는 생성된 드론 제어 신호를 비행 중인 드론으로 전송한다(S260).

만일 드론이 사용자와 근거리에 있는 경우에는 블루투스 통신, 지그비 통신 등과 같은 근거리 통신을 이용할 수 있으며, 드론이 사용자와 원거리에 위치하는 경우에는 RF통신, LTE통신, 3G통신과 같은 원거리 통신을 이용할 수 있다.

이와 같이 본 발명의 실시예에 따르면, 기존의 드론을 제어하기 위한 일괄적인 동작에서 탈피하여, 사용자가 자신이 보유하고 있는 센서의 종류, 신체 상태, 기호에 따라 능동적으로 드론을 제어하기 위한 동작 제스처를 생성할 수 있다.

즉, 본 발명의 실시예를 이용하면, 신체의 특정 부위의 동작을 감지할 수 있는 센서만 구비되어 있는 사용자, 또는 신체 일부의 동작에 장애가 있는 사용자의 경우에도 사용자 자신만의 고유 동작을 생성하여 드론을 제어할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다 .따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100: 드론 제어신호 생성장치, 110: 영상획득부,
120: 제스처 인식부, 121: 체감형 인터페이스,
122: 동작감지 센서, 130: 모델링부,
140: 제어신호 생성부, 150: 통신부

Claims (10)

1. 드론 제어 신호 생성 장치를 이용한 드론 제어 신호 생성 방법에 있어서,
   비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 단계,
   복수의 동작으로 비행하는 드론을 촬영한 영상 및 드론 동작 제어 신호를 획득하는 단계,
   상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 단계, 그리고
   상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 단계를 포함하고,
   상기 사용자의 제스처를 인식하는 단계는,
   상기 사용자는 체감형 인터페이스를 통하여 상기 촬영된 영상을 시청하며, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하고,
   상기 드론은 조종기에 의해 복수의 동작으로 움직이며,
   상기 드론 동작 제어 신호를 생성하는 단계는,
   신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하는 단계,
   상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 단계를 포함하는 드론 제어 신호 생성 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 사용자의 제스처 학습을 이용한 드론 제어 신호 생성 장치에 있어서,
   복수의 동작으로 비행하는 드론에 의해 촬영된 영상을 획득하는 영상 획득부,
   비행하는 드론에 의해 촬영된 영상을 시청 중인 사용자의 제스처를 인식하는 제스처 인식부,
   상기 사용자의 제스처에 대응하는 상기 드론의 동작을 학습 모델을 통해 모델링하는 모델링부, 그리고
   상기 사용자가 학습된 제스처를 취하면, 상기 제스처에 대응하는 드론 동작 제어 신호를 생성하는 제어신호 생성부를 포함하고,
   상기 드론은 조종기에 의해 복수의 동작으로 움직이며,
   상기 영상 획득부는,
   복수의 제스처로 움직이면서 비행하는 드론을 촬영한 영상 및 드론 제어 신호를 더 획득하고,
   상기 제스처 인식부는,
   상기 사용자가 체감형 인터페이스를 통하여 상기 촬영된 영상을 시청한 상태에서, 상기 사용자의 신체의 일부에 장착된 제스처 감지 센서를 통하여 상기 사용자의 제스처를 인식하며,
   상기 제스처 인식부가 신체의 일부에 제스처 감지 센서를 장착한 사용자의 제스처를 인식하면, 상기 제어신호 생성부는 상기 제스처에 대응하는 학습된 드론 동작 제어 신호를 상기 학습 모델을 통하여 생성하는 드론 제어 신호 생성 장치.
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images