KR101973174B1 - 제스처 인식 기반 무인기 제어 장치 및 방법 - Google Patents

제스처 인식 기반 무인기 제어 장치 및 방법 Download PDF

Info

Publication number
KR101973174B1
KR101973174B1 KR1020160158286A KR20160158286A KR101973174B1 KR 101973174 B1 KR101973174 B1 KR 101973174B1 KR 1020160158286 A KR1020160158286 A KR 1020160158286A KR 20160158286 A KR20160158286 A KR 20160158286A KR 101973174 B1 KR101973174 B1 KR 101973174B1
Authority
KR
South Korea
Prior art keywords
gesture
user
uav
signal
control command
Prior art date
Application number
KR1020160158286A
Other languages
English (en)
Other versions
KR20180059110A (ko
Inventor
강현
구본기
신학철
윤여찬
이준우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160158286A priority Critical patent/KR101973174B1/ko
Publication of KR20180059110A publication Critical patent/KR20180059110A/ko
Application granted granted Critical
Publication of KR101973174B1 publication Critical patent/KR101973174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 기반 무인기 제어 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 제스처 인식 기반 무인기 제어 장치는 무인기로부터 촬영된 영상 신호를 수신하고, 상기 무인기를 제어하는 제어 명령 신호를 상기 무인기에 송신하는 통신부; 상기 영상 신호를 이용하여 영상 출력 장치를 통해 사용자에게 상기 무인기가 촬영한 영상을 출력하는 디스플레이부; 제스처 센서를 이용하여 사용자의 제스처를 인식하여 제스처 신호를 생성하는 인식부 및 상기 제스처 신호를 변환하여 상기 제어 명령 신호를 생성하는 제어부를 포함한다.

Description

제스처 인식 기반 무인기 제어 장치 및 방법 {APPARATUS FOR CONTROLLING DRONE BASED ON GESTURE-RECOGNITION AND METHOD FOR USING THE SAME}
본 발명은 영상 및 제어 기술에 관한 것으로, 보다 상세하게는 무인기가 촬영한 영상을 통해 사용자의 제스처 인식에 기반하여 무인기를 제어하는 기술에 관한 것이다.
무인기는 사람이 갈수 없는 곳이나 위험한 곳을 적은 비용으로 탐색할 수 있는 장점을 가지고 있다. GPS 신호를 기반하여 목적지를 정하고 카메라와 각종 센서를 통해서 임무를 수행하는데 카메라의 화각이 제한되어 불편한 점이 있다. 최근에는 광각카메라나 짐벌 장치를 통한 카메라의 회전이 가능하여 임무의 편이성을 증대시키고 있다.
무인기는 지상체와 연결되어 임무를 수행하는데 지상체는 보통 무인기의 센서정보를 도시하는 부, 무인기를 제어하는 부, 카메라 같은 각종 센서 수신부, 지도등을 활용한 임무장치부가 있다. 짐벌에 연결된 카메라들은 카메라 센서 수신부에 부착된 조이스틱을 사용하여 제어하기도 한다.
조이스틱과 카메라 화면을 도시하는 디스플레이로 임무 화면을 보는 작업은 추가적인 인원이 필요하며, 조이스틱 제어와 이동된 카메라 화면 보는 상황에서 보다 직관적인 인터페이스가 필요하다.
또한, 이전 발명에서 몰입형, 가상현실, 증강현실 도구의 도입으로 카메라 화면을 직접 HMD(Head mounted display)로 표시하는 방법이 제시되었는데, 이 경우 기존 디스플레이 정보나 명령을 위해서 HMD를 쓰고 벗거나, See through HMD 를 사용해야 하는 제한점이 생긴다.
한편, 한국등록특허 제10-1408077호"가상 영상을 이용한 무인기 조종 장치 및 방법"는 무인기에서 획득되는 영상을 이용하지 않고도 무인기를 조종할 수 있도록 하는 무인기 조종 장치 및 방법을 개시하고 있다.
그러나, 한국등록특허 제10-1408077호는 HMD 착용 중에는 HMD의 시선 방향에 따라 무인기의 방향 만을 제어하는 한계가 있다.
본 발명은 무인기가 영상을 촬영하여 무인기 제어 장치가 영상을 수신하는 상황에서 영상 출력 장치를 통하여 몰입형 영상을 제공하고 사용자의 제스처를 통해서 카메라의 회전, 도시정보의 변화, 비행제어 명령 등을 처리하는 것을 목적으로 한다.
또한, 본 발명은 사용자의 제스처를 인식하여 HMD를 사용하고 있는 동안에도 기존명령, 카메라 제어, 영상 출력 방식의 변경 등을 수행하는 것을 목적으로 한다.
또한, 본 발명은 HMD를 사용하여 무인기를 제어하는데 있어서, 직관적인 인터페이스를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 제스처 기반 무인기 제어 장치는 무인기로부터 촬영된 영상 신호를 수신하고, 상기 무인기를 제어하는 제어 명령 신호를 상기 무인기에 송신하는 통신부; 상기 영상 신호를 이용하여 영상 출력 장치를 통해 사용자에게 상기 무인기가 촬영한 영상을 출력하는 디스플레이부; 제스처 센서를 이용하여 사용자의 제스처를 인식하여 제스처 신호를 생성하는 인식부 및 상기 제스처 신호를 변환하여 상기 제어 명령 신호를 생성하는 제어부를 포함한다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 제스처 기반 무인기 제어 방법은 무인기로부터 촬영된 영상 신호를 수신하여 사용자에게 출력하는 단계; 사용자의 제스처를 인식하여 제스처 신호를 생성하는 단계; 상기 제스처 신호를 변환하여 생성한 제어 명령 신호를 상기 무인기에 송신하여 상기 무인기를 제어하는 단계를 포함한다.
본 발명은 무인기가 영상을 촬영하여 무인기 제어 장치가 영상을 수신하는 상황에서 영상 출력 장치를 통하여 몰입형 영상을 제공하고 사용자의 제스처를 통해서 카메라의 회전, 도시정보의 변화, 비행제어 명령 등을 처리할 수 있다.
또한, 본 발명은 사용자의 제스처를 인식하여 HMD를 사용하고 있는 동안에도 기존명령, 카메라 제어, 영상 출력 방식의 변경 등을 수행할 수 있다.
또한, 본 발명은 HMD를 사용하여 무인기를 제어하는데 있어서, 직관적인 인터페이스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 무인기와 무인기 제어 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 무인기의 일 예를 세부적으로 나타낸 블록도 이다.
도 3은 도 1에 도시된 무인기 제어 장치의 일 예를 세부적으로 나타낸 블록도이다.
도 4는 도 3에 도시된 제어부의 일 예를 세부적으로 나타낸 블록도이다.
도 5는 도 3에 도시된 인식부의 일 예를 세부적으로 나타낸 블록도이다.
도 6은 도 3에 도시된 디스플레이부의 일 예를 세부적으로 나타낸 블록도이다.
도 7은 본 발명의 일실시예에 따른 무인기 제어 방법을 나타낸 동작흐름도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 무인기와 무인기 제어 장치를 나타낸 블록도이다. 도 2는 도 1에 도시된 무인기의 일 예를 세부적으로 나타낸 블록도 이다. 도 3은 도 1에 도시된 무인기 제어 장치의 일 예를 세부적으로 나타낸 블록도이다. 도 4는 도 3에 도시된 제어부의 일 예를 세부적으로 나타낸 블록도이다. 도 5는 도 3에 도시된 인식부의 일 예를 세부적으로 나타낸 블록도이다. 도 6은 도 3에 도시된 디스플레이부의 일 예를 세부적으로 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 제스처 인식 기반 무인기 제어 장치는 무인기(100)와 무인기(100)를 제어하는 무인기 제어 장치(200)를 포함한다.
도 2를 참조하면, 본 발명의 일실시예에 따른 무인기(100)는 통신부(110), 비행 제어부(120) 및 카메라 제어부(130)를 포함한다.
통신부(110)는 무인기 제어 장치(200)와 무선으로 데이터 송수신을 수행할 수 있다.
비행 제어부(120)는 각종 서보모터로 비행제어 알고리즘을 수행하면서 기타 센서의 입력을 지상체에 전달할 수 있다.
카메라 제어부(130)는 영상을 촬영하는 카메라와 제어하드웨어를 포함할 수 있다.
이 때, 카메라 제어부(130)는 카메라를 2축 방향으로 회전(상하, 좌우 회전)시키는 짐벌 장치 및 광각 렌즈 중 적어도 하나를 더 포함할 수 있다.
이 때, 광각 렌즈를 포함하는 카메라는 광각 카메라 혹은 복수개의 카메라로 구형 영상을 출력할 수 있다.
이 ?, 광각 렌즈를 포함하는 카메라는 360도 카메라에 상응할 수 있으며, 어안렌즈를 통해 광각을 사용하거나 렌즈 앞에 구형, 꼬깔형 거울을 장착하여 광각 영상을 생성할 수도 있다.
도 3을 참조하면, 본 발명의 일실시예에 따른 무인기 제어 장치(200)는 통신부(210), 제어부(220), 인식부(230) 및 디스플레이부(240)를 포함한다.
통신부(210)는 무인기(100)가 촬영한 영상의 영상 신호를 수신할 수 있다.
이 때, 통신부(210)는 무인기(100)를 제어하기 위한 제어부(220)로부터 전달 받아 제어 명령 신호를 무인기(100)에 송신할 수 있다.
제어부(220)는 사용자의 제스처를 인식한 제스처 신호 및 사용자가 제어 장치를 통해 입력한 입력 신호 중 적어도 하나를 제어 명령 신호로 변환하여 통신부(210)에 전달할 수 있다.
도 4를 참조하면, 제어부(220)는 지상체 제어부(221), 임무 제어부(222) 및 사용자 제어부(223)을 포함할 수 있다.
지상체 제어부(221)는 기본적인 무인기 제어 장치(200)의 제어 및 운영을 총괄할 수 있다.
임무 제어부(222)는 무인기(100)가 촬영한 영상을 디스플레이부(240)에 전달하고, 제어 명령 신호를 통신부(210)에 전달할 수 있다.
사용자 제어부(223)는 인식부(230)로부터 제스처 신호를 수신하여 제어 명령 신호로 변환할 수 있다.
또한, 사용자 제어부(223)는 사용자가 제어 장치를 통해 입력하는 입력 신호를 제어 명령 신호로 변환할 수 있다.
제어 장치는 버튼, 조이스틱, 키보드, 마우스 등의 일반적인 제어 장치에 상응할 수 있다.
이 때, 사용자 제어부(223)는 변환된 제어 명령 신호를 임무 제어부(222) 또는 통신부(210)에 전달할 수 있다.
이 때, 임무 제어부(222)는 제어 명령 신호를 전달 받아 디스플레이부(240)에 전달할 수도 있다.
인식부(230)는 제스처 센서를 이용하여 사용자의 제스처를 인식하여 제스처 신호를 생성할 수 있다.
도 5를 참조하면, 인식부(230)는 제스처 인식부(231) 및 제스처 센서부(232)를 포함할 수 있다.
제스처 인식부(231)는 제스처와 비제스처를 구분하는 제스처 스파팅을 수행할 수 있다.
이 때, 제스처 인식부(231)는 제스처 스파팅을 수행하지 않고 지속적으로 모든 제스처를 인식하여 카메라의 회전 명령을 포함한 제스처 신호를 생성할 수도 있다.
제스처 센서부(232)는 근전도 검사 센서(232a) 및 요/피치/롤 센서(232b) 등을 포함할 수 있다.
제스처 센서부(232)는 사용자 머리의 움직임을 추적하는 지자기 센서와 관성 센서를 이용하여 머리의 상하 좌우 회전 값을 파악할 수 있다.
본 발명의 일실시예에 따르면, 사용자가 머리를 움직임에 따라 회전된 카메라를 통해서 영상을 받을 수 있게 되어서 이전에 조이스틱으로 카메라 영상을 회전한 것에 비해 직관적인 명령을 내릴 수 있다. 이는 비행 하고 나서 임무에도 유용하게 사용될 수도 있지만, 이 착륙시에 무인기 조종사가 다른 방해물 간섭 없이 안전하게 이착륙, 택싱하는데 도움이 된다.
사용자의 손제스처 인식은 많은 연구가 있지만, 손제스처 인식은 제스처 스파팅(제스처와 비제스처를 구분하는 방법)에 어려움과 손제스처 인식 후에 명령수행이라는 인식 지연 시간이 있어 한계를 가지고 있다. 반면에 근전도검사(Electromyography:EMG)는 마우스 클릭과 같은 신뢰도를 가지는 장점이 있다.
근전도 검사 센서(232a)는 사용자의 근육에 부착하여 근육의 움직임에서만 만들어진 신호를 파악하고 제스처와 비제스처를 판단할 수 있다.
이 때, 근전도 검사 센서(232a)는 어금니물기, 눈 깜박거림과 같은 근전도 정보를 이용하여 마우스 클릭 정도의 신뢰도를 가진 제스처 신호를 생성할 수 있다.
요/피치/롤 센서(232b)는 머리의 roll 회전은 yaw pitch 회전에 비해 상대적으로 사용되지 않는 회전 방향이므로, 짐벌 시스템의 구성에 따라 roll 회전을 구현할 수 도 있지만 일반적인 짐벌에서 상하(Pitch), 좌우(yaw)회전만을 이용하여 제스처 신호를 생성할 수 있다.
이 때, 요/피치/롤 센서(232b)는 왼쪽으로 머리 까딱거리기, 오른쪽 머리 까딱거리기 등의 제스처를 제스처 신호로 생성할 수 있다.
또한, 제스처 센서부(232)는 간단한 짧은 손 제스처들도 비전 카메라를 통해서 제스처를 인식할 수 있다.
또한, 제스처 센서부(232)는 적외선 스테레오카메라를 사용하여 10개 손가락의 위치자세를 트래킹하여 인식 할 수 있다.
디스플레이부(240)는 영상 출력 장치를 통해 사용자에게 상기 무인기가 촬영한 영상을 출력할 수 있다.
이 때, 영상 출력 장치는 사용자에게 몰입형 영상을 제공할 수 있는 HUD(Head Up Display) 또는 HMD(Head Mount Display) 장치 등에 상응할 수 있다.
몰입형 영상을 표현하는 HMD는 외부영상이 추가적으로 보이느냐 안보이느냐로 구분할 수 있다. 전자는 See-through 타입 HMD 라고 하는데 Microsoft사의 홀로렌즈, Google사의 구글글래스(Project Glass)등이 대표적이다. 본 발명에서는 두 가지 타입의 HMD 모두 적용이 가능하나, 무인기 제어의 특성상 사용되는 사례가 달라 질 수 있다. 일반적으로 See-through 타입의 HMD는 주변광의 세기에 민감한 편인데 야외 주간일 경우에는 사용 불가 상태가 있을 수 있다. 외부영상이 안보이는 경우에도 HMD에 카메라를 달아서 See-Though 효과를 묘사할 수 있는데, 이는 주변광의 세기변화에도 덜 민감하게 안정적인 영상을 보여줄 수 있다.
See-through 의 장점은 HMD 내에 도시되지 않는 지상체 제어시스템의 다른 인터페이스를 볼 수 있다는 것인데 이 경우 HMD 도시정보와 실제 인터페이스 정보와 혼용할 수 있는 특별 훈련이 필요하다.
이러한 장애로 HMD를 착용하는 순간에도 필수 정보들을 사용자의 선택에 따라 도시될 필요가 있는데 이 때, 상기 인식부(230)를 통해 사용자의 제스처를 반영하면 직관적으로 무인기 제어를 수행할 수 있다.
도 6을 참조하면, 디스플레이부(240)는 디스플레이 출력부(241) 및 디스플레이 제어부(242)를 포함한다.
디스플레이 출력부(241)는 무인기(100)가 촬영한 영상을 영상 출력 장치를 통해 사용자에게 몰입형 영상을 출력할 수 있다.
디스플레이 제어부(242)는 기존 카메라 영상을 60Hz 이상의 속도로 몰입형 영상으로 변환하여 보여주면서 각종 비행 제어 정보도 함께 도시하도록 디스플레이 출력부(241)에 도시 정보를 전달할 수 있다.
즉, 이착륙시에 현재 기체의 위치/방향, 지상체의 위치/방향, 착륙장의 위치/방향 정보들은 다른 항공 정보와 달리 이착륙시에만 중요한 정보이다. 동시에 기체의 방향/자세/고도/속도는 특수상황에서만 보일 필요가 있는 정보이다. 이러한 정보들을 효과적으로 보이기 위해서는 사용자의 제스처에 따라 도시정보를 바꿔서 출력할 필요가 있다.
디스플레이 제어부(242)는 무인기(100)의 카메라가 광각 렌즈를 사용하는 경우, 기존 광각 영상에서 사용자 눈에 맞는 영상으로 재구성 할 수 있다.
이 때, 디스플레이 제어부(242)는 광각 렌즈를 사용하는 카메라의 입력 영상이 구형 영상 또는 파노라마 영상이기 때문에, 사용자의 화각에 맞는 영상으로 30Hz 내외의 속도로 매핑하여 영상을 변환할 수 있다.
이 때, 디스플레이 제어부(242)는 인식부(230)로부터 제어 명령 신호를 수신하여 영상 출력 장치 제어 및 영상 변환에 반영할 수도 있다.
도 7은 본 발명의 일실시예에 따른 무인기 제어 방법을 나타낸 동작흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 제스처 기반 무인기 제어 방법은 영상을 수신할 수 있다(S310).
즉, 단계(S310)는 무인기(100)가 촬영한 영상을 수신하여 사용자에게 영상 출력 장치를 통해 출력할 수 있다.
이 때, 단계(S310)는 촬영한 영상을 영상 출력 장치를 통해 사용자에게 몰입형 영상을 출력할 수 있다.
단계(S310)는 기존 카메라 영상을 60Hz 이상의 속도로 몰입형 영상으로 변환하여 보여주면서 각종 비행 제어 정보도 함께 도시하도록 도시 정보를 출력할 수 있다.
즉, 이착륙시에 현재 기체의 위치/방향, 지상체의 위치/방향, 착륙장의 위치/방향 정보들은 다른 항공 정보와 달리 이착륙시에만 중요한 정보이다. 동시에 기체의 방향/자세/고도/속도는 특수상황에서만 보일 필요가 있는 정보이다. 이러한 정보들을 효과적으로 보이기 위해서는 사용자의 제스처에 따라 도시정보를 바꿔서 출력할 필요가 있다.
이 때, 단계(S310)는 무인기(100)의 카메라가 광각 렌즈를 사용하는 경우, 기존 광각 영상에서 사용자 눈에 맞는 영상으로 재구성 할 수 있다.
이 때, 단계(S310)는 광각 렌즈를 사용하는 카메라의 입력 영상이 구형 영상 또는 파노라마 영상이기 때문에, 사용자의 화각에 맞는 영상으로 30Hz 내외의 속도로 매핑하여 영상을 변환할 수 있다.
또한, 본 발명의 일실시예에 따른 제스처 기반 무인기 제어 방법은 제스처를 인식할 수 있다(S320).
즉, 단계(S320)는 제스처 센서를 이용하여 사용자의 제스처를 인식하여 제스처 신호를 생성할 수 있다.
이 때, 단계(S320)는 제스처와 비제스처를 구분하는 제스처 스파팅을 수행할 수 있다.
이 때, 단계(S320)는 제스처 스파팅을 수행하지 않고 지속적으로 모든 제스처를 인식하여 카메라의 회전 명령을 포함한 제스처 신호를 생성할 수도 있다.
이 때, 단계(S320)는 근전도 검사 센서(232a) 및 요/피치/롤 센서(232b) 등을 이용 하여 제스처 신호를 생성할 수 있다.
또한, 단계(S320)는 사용자 머리의 움직임을 추적하는 지자기 센서와 관성 센서를 이용하여 머리의 상하 좌우 회전 값을 파악할 수 있다.
본 발명의 일실시예에 따르면, 사용자가 머리를 움직임에 따라 회전된 카메라를 통해서 영상을 받을 수 있게 되어서 이전에 조이스틱으로 카메라 영상을 회전한 것에 비해 직관적인 명령을 내릴 수 있다. 이는 비행 하고 나서 임무에도 유용하게 사용될 수도 있지만, 이 착륙시에 무인기 조종사가 다른 방해물 간섭 없이 안전하게 이착륙, 택싱하는데 도움이 된다.
사용자의 손제스처 인식은 많은 연구가 있지만, 손제스처 인식은 제스처 스파팅(제스처와 비제스처를 구분하는 방법)에 어려움과 손제스처 인식 후에 명령수행이라는 인식 지연 시간이 있어 한계를 가지고 있다. 반면에 근전도검사(Electromyography: EMG)는 마우스 클릭과 같은 신뢰도를 가지는 장점이 있다.
이 때, 단계(S320)는 근전도 검사 센서(232a)를 사용자의 근육에 부착하여 근육의 움직임에서만 만들어진 신호를 파악하고 제스처와 비제스처를 판단할 수 있다.
이 때, 단계(S320)는 근전도 검사 센서(232a)가 어금니물기, 눈 깜박거림과 같은 근전도 정보를 이용하여 마우스 클릭 정도의 신뢰도를 가진 제스처 신호를 생성할 수 있다.
또한, 단계(S320)는 요/피치/롤 센서(232b)가 머리의 roll 회전은 yaw pitch 회전에 비해 상대적으로 사용되지 않는 회전 방향이므로, 짐벌 시스템의 구성에 따라 roll 회전을 구현할 수 도 있지만 일반적인 짐벌에서 상하(Pitch), 좌우(yaw)회전만을 이용하여 제스처 신호를 생성할 수 있다.
따라서, 단계(S320)는 요/피치/롤 센서(232b)가 왼쪽으로 머리 까딱거리기, 오른쪽 머리 까딱거리기 등의 제스처를 제스처 신호로 생성할 수 있다.
이 때, 단계(S320)는 간단한 짧은 손 제스처들도 비전 카메라를 통해서 제스처를 인식할 수 있다.
이 때, 단계(S320)는 적외선 스테레오카메라를 사용하여 10개 손가락의 위치자세를 트래킹하여 인식 할 수 있다.
또한, 본 발명의 일실시예에 따른 제스처 기반 무인기 제어 방법은 영상을 제어할 수 있다(S330).
즉, 단계(S330)는 사용자의 제스처를 인식한 제스처 신호를 제어 명령 신호로 변환하여 무인기(100) 및 무인기(100)의 카메라를 제어할 수 있다.
이 때, 단계(S330)는 제스처 신호를 수신하여 제어 명령 신호로 변환할 수 있다.
또한, 단계(S330)는 사용자가 제어 장치를 통해 입력하는 입력 신호를 제어 명령 신호로 변환할 수 있다.
제어 장치는 버튼, 조이스틱, 키보드, 마우스 등의 일반적인 제어 장치에 상응할 수 있다.
이 때, 단계(S330)는 변환한 제어 명령 신호를 무인기(100)에 송신할 수 있다.
이 때, 단계(S330)는 무인기(100)가 제어 명령 신호를 수신하고 제어 명령에 따라 무인기(100)의 제어 및 무인기 카메라의 제어를 수행할 수 있다.
이 때, 단계(S330)는 무인기(100)가 제어 명령에 따라 제어된 이후 카메라가 촬영한 영상을 다시 무인기 제어 장치(200)에 송신하여 사용자에게 영상을 출력할 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 제스처 인식 기반 무인기 제어 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 무인기 110: 통신부
120: 비행 제어부 130: 카메라 제어부
200: 무인기 제어 장치 210: 통신부
220: 제어부 221: 지상체 제어부
222: 임무 제어부 223: 사용자 제어부
230: 인식부 231: 제스처 인식부
232: 제스처 센서부 232a: 근전도 검사 센서
232b: 요/피치/롤 센서 240: 디스플레이부
241: 디스플레이 출력부 242: 디스플레이 제어부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (10)

  1. 무인기로부터 촬영된 영상 신호를 수신하고, 상기 무인기를 제어하는 제어 명령 신호를 상기 무인기에 송신하는 통신부;
    상기 영상 신호를 이용하여 영상 출력 장치를 통해 사용자에게 상기 무인기가 촬영한 영상을 출력하는 디스플레이부;
    제스처 센서를 이용하여 사용자의 제스처를 인식하여 제스처 신호를 생성하는 인식부; 및
    상기 제스처 신호를 변환하여 상기 제어 명령 신호를 생성하는 제어부;
    를 포함하고,
    상기 인식부는
    사용자의 근육에 부착되어 근전도를 검사하는 근전도 검사 센서, 사용자 머리의 상하(Pitch), 좌우(yaw)회전을 추적하는 요/피치/롤 센서 및 상기 사용자의 10개의 손가락의 위치와 자세를 트래킹하는 적외선 스테레오 카메라를 포함하고,
    상기 근전도 검사 센서를 이용하여 사용자의 근육 정보로부터 근전도 신호를 생성하고,
    상기 근전도 신호를 이용하여 상기 제스처 신호에 대한 사용자의 제스처와 비제스처를 판단하고,
    상기 요/피치/롤 센서를 이용하여 상기 사용자 머리에 대한 제스처를 인식하고, 상기 적외선 스테레오 카메라를 이용하여 상기 사용자의 10개의 손가락에 대한 제스처를 인식하는 것을 특징으로 하는 제스처 인식 기반 무인기 제어 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서
    상기 제어부는,
    상기 제스처로 판단된 제스처 신호를 변환하여 생성된 제어 명령 신호를 이용하여 상기 무인기와 상기 무인기의 출력 영상을 제어하는 것을 특징으로 하는 제스처 인식 기반 무인기 제어 장치.
  6. 청구항 5에 있어서,
    상기 인식부는
    상기 요/피치/롤 센서를 이용하여 사용자의 머리 회전 값으로부터 제2 제스처 신호를 생성하는 것을 특징으로 하는 제스처 인식 기반 무인기 제어 장치.
  7. 청구항 6에 있어서
    상기 제어부는,
    상기 제2 제스처 신호를 이용하여 상기 무인기의 카메라를 제어하기 위한 카메라 회전 명령을 포함하는 제어 명령 신호를 생성하는 것을 특징으로 하는 제스처 인식 기반 무인기 제어 장치.
  8. 청구항 7에 있어서,
    상기 디스플레이부는
    상기 제어 명령 신호에 기반하여 영상에 출력되는 상기 무인기의 도시 정보를 전환하는 것을 특징으로 하는 제스처 인식 기반 무인기 제어 장치.
  9. 삭제
  10. 무인기로부터 촬영된 영상 신호를 수신하고, 상기 무인기를 제어하는 제어 명령 신호를 상기 무인기에 송신하는 단계;
    상기 영상 신호를 이용하여 영상 출력 장치를 통해 사용자에게 상기 무인기가 촬영한 영상을 출력하고, 제스처 센서를 이용하여 사용자의 제스처를 인식하여 제스처 신호를 생성하는 단계; 및
    상기 제스처 신호를 변환하여 생성한 상기 제어 명령 신호를 이용하여 상기 무인기를 제어하는 단계;
    를 포함하고,
    상기 제스처 신호를 생성하는 단계는
    상기 제스처 센서가 사용자의 근육에 부착되어 근전도를 검사하는 근전도 검사 센서, 사용자 머리의 상하(Pitch), 좌우(yaw)회전을 추적하는 요/피치/롤 센서 및 상기 사용자의 10개의 손가락의 위치와 자세를 트래킹하는 적외선 스테레오 카메라를 포함하고,
    상기 근전도 검사 센서를 이용하여 사용자의 근육 정보로부터 근전도 신호를 생성하고,
    상기 근전도 신호를 이용하여 상기 제스처 신호에 대한 사용자의 제스처와 비제스처를 판단하고,
    상기 요/피치/롤 센서를 이용하여 상기 사용자 머리에 대한 제스처를 인식하고, 상기 적외선 스테레오 카메라를 이용하여 상기 사용자의 10개의 손가락에 대한 제스처를 인식하는 것을 특징으로 하는 제스처 인식 기반 무인기 제어 방법.
KR1020160158286A 2016-11-25 2016-11-25 제스처 인식 기반 무인기 제어 장치 및 방법 KR101973174B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160158286A KR101973174B1 (ko) 2016-11-25 2016-11-25 제스처 인식 기반 무인기 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158286A KR101973174B1 (ko) 2016-11-25 2016-11-25 제스처 인식 기반 무인기 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180059110A KR20180059110A (ko) 2018-06-04
KR101973174B1 true KR101973174B1 (ko) 2019-04-26

Family

ID=62628524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158286A KR101973174B1 (ko) 2016-11-25 2016-11-25 제스처 인식 기반 무인기 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101973174B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114944014B (zh) * 2022-05-30 2024-04-30 国网江苏省电力有限公司徐州供电分公司 一种基于3d姿态的端到端手势识别设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286376B1 (ko) 2013-03-07 2013-07-15 건국대학교 산학협력단 무인 비행체 제어 시스템 및 방법
KR101658332B1 (ko) * 2016-03-31 2016-09-20 송주희 근전도를 이용한 드론 제어장치
KR101745651B1 (ko) 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286376B1 (ko) 2013-03-07 2013-07-15 건국대학교 산학협력단 무인 비행체 제어 시스템 및 방법
KR101745651B1 (ko) 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법
KR101658332B1 (ko) * 2016-03-31 2016-09-20 송주희 근전도를 이용한 드론 제어장치

Also Published As

Publication number Publication date
KR20180059110A (ko) 2018-06-04

Similar Documents

Publication Publication Date Title
US11947387B2 (en) Headset computer that uses motion and voice commands to control information display and remote devices
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
CN107223223B (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
CN108769531B (zh) 控制拍摄装置的拍摄角度的方法、控制装置及遥控器
US20210350762A1 (en) Image processing device and image processing method
CN104781873A (zh) 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
WO2005124694A1 (en) Device and method for presenting an image of the surrounding world
US20220004767A1 (en) Method and Device for Presenting Synthesized Reality Content in Association with Recognized Objects
US11804052B2 (en) Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
CN103977539A (zh) 颈椎康复保健辅助训练系统
WO2018184232A1 (zh) 体感遥控方法、控制装置、云台和无人飞行器
US11625037B2 (en) Methods and systems for searchlight control for aerial vehicles
JP2018142764A (ja) 表示システム、表示装置、及び、表示装置の制御方法
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
JP2003267295A (ja) 遠隔操縦システム
KR101973174B1 (ko) 제스처 인식 기반 무인기 제어 장치 및 방법
WO2018209557A1 (zh) 用于设备控制的方法、设备和计算机可读存储介质
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP2021073796A (ja) 制御装置、及び画像を取得する方法
EP3865984B1 (en) Methods and systems for searchlight control for aerial vehicles
US11405548B1 (en) Camera system for a remotely operated vehicle
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
US20220166917A1 (en) Information processing apparatus, information processing method, and program
CN113273174A (zh) 待跟随目标的确定方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant