KR20200054729A - 인공지능 음성입력 기반 드론 제어시스템 - Google Patents

Abstract

드론, 제어장치 및 음성 입출력부를 포함하고, 상기 제어장치는 상기 음성 입출력부에 의하여 획득되는 상기 사용자의 음성입력을 드론의 제어명령으로 변환하고, 상기 변환된 제어명령을 상기 드론에 전송하는, 인공지능 음성입력 기반 드론 제어시스템이 개시된다.

Description

인공지능 음성입력 기반 드론 제어시스템 {DRONE CONTROLLING SYSTEM BASED ON ARTIFICIAL INTELLIGENCE VOICE INPUT}

본 발명은 인공지능 음성입력 기반 드론 제어시스템에 관한 것이다.

일반적인 드론 제어기술은 사람이 직접 드론을 보고 컨트롤러를 통해 제어하는 방식에 관한 것이며, 사람이 직접 드론을 보고 조종하지 않는 비시계비행은 원칙적으로 금지되어 있다. 하지만 경우에 따라 비시계비행이 불가피한 경우가 있으며, 이 경우 관제실에서 화면을 통해 드론의 비행상황을 확인하고, 제어명령을 전달한다.

이러한 상황에서, 어떠한 상황에서도 신속한 드론 제어를 가능케 하는 드론 제어 및 관제방법의 개발이 요구되고 있다.

본 발명이 해결하고자 하는 과제는 인공지능 음성입력 기반 드론 제어시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능 음성입력 기반 드론 제어시스템은, 드론, 제어장치 및 음성 입출력부를 포함하고, 상기 제어장치는 상기 음성 입출력부에 의하여 획득되는 상기 사용자의 음성입력을 드론의 제어명령으로 변환하고, 상기 변환된 제어명령을 상기 드론에 전송한다.

또한, 상기 시스템은, 트리거 버튼을 더 포함하고, 상기 제어장치는 상기 트리거 버튼이 온 상태일 때 상기 사용자의 음성입력을 획득할 수 있다.

또한, 상기 드론은 하나 이상의 센서를 포함하고, 상기 드론은 상기 하나 이상의 센서로부터 수집되는 정보를 상기 제어장치에 전달하고, 상기 제어장치는 상기 음성 입출력부를 통하여 상기 수집되는 정보에 대응하는 음성을 출력할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 음성을 이용하여 드론을 용이하게 제어할 수 있는 시스템을 제공할 수 있다.

구체적으로, 인공지능 기반 음성인식을 통해 비상시 신속하게 드론에 제어명령을 전달할 수 있으며, 이를 통해 드론의 조종실수를 예방하고, 추락으로 인해 고가의 장비를 훼손하거나, 2차 사고가 발생하는 것을 막을 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 인공지능 음성기반 드론제어 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따른 GCS 시스템을 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 일 실시 예에 따른 인공지능 음성기반 드론제어 시스템을 도시한 도면이다.

도 1을 참조하면, 드론(10), 제어장치(100) 및 음성 입출력부(200)가 도시되어 있다.

도 1에 도시된 드론(10), 제어장치(100) 및 음성 입출력부(200)의 형태, 종류 및 구조는 예시로서 표현된 것이며, 이에 제한되지 않는다.

일 실시 예에서, 드론(10)은 비행 드론일 수 있으나, 이에 제한되지 않으며, 예를 들어 지상 드론, 수중 드론 등을 포함할 수 있다.

일 실시 예에서, 드론(10)은 비행명령 신호를 전달받는 RF 수신모듈, 영상 정보를 수집하는 영상 카메라 및 영상 정보를 전송하는 LTE 통신 모듈을 포함할 수 있다.

일 실시 예에서, 드론(10)은 RF, WiFi, MicroWave, 위성신호, LTE, 5G 중 적어도 하나를 포함하는 무선통신모듈을 포함할 수 있다.

실시 예에 따라서, 드론(10)은 다양한 정보를 수집할 수 있는 하나 이상의 센서를 포함할 수 있고, 센서를 이용하여 수집된 정보 또한 LTE 통신 모듈을 이용하여 전송될 수 있다.

예를 들어, 드론(10)은 기상정보를 수집할 수 있는 하나 이상의 센서를 포함할 수 있으며, 이를 이용하여 바람, 강수, 온도, 습도, 일조량, 미세먼지, 방사능 및 기타 화학물질 등을 감지하고, 정보를 수집할 수 있다.

드론(10)의 LTE 통신 모듈을 통해 전송된 정보는 서버에서 관리되고, 제어장치(100)에 전달될 수 있다.

일 실시 예에서, 서버는 클라우드 서버일 수 있으나, 이에 제한되는 것은 아니다. 서버는 제어장치(100)로부터 수신되는 제어명령과, 드론(10)으로부터 수신되는 정보를 관리하며, 마찬가지로 제어장치(100)로부터 수신되는 제어명령이 드론(10)에 전달될 수 있도록 하고, 드론(10)으로부터 수신되는 정보를 제어장치(100)에 전달할 수 있으나, 명령과 정보가 전달되는 방법 및 루트가 이에 제한되는 것은 아니다.

일 실시 예에서, 제어장치(100)는 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 제어장치(100)는 원격에서 드론(10)을 제어하기 위한 명령을 포함하는 신호를 송출할 수 있는 모든 종류의 장치를 의미할 수 있으며, 드론(10)에 직접적으로 신호를 전달하는 장치와, 해당 장치에 명령을 포함하는 신호를 전달하는 장치를 포함하는 복수의 장치들의 시스템으로 구성될 수도 있다.

드론(10)에 신호를 전달하는 방법은 RF 신호를 이용할 수도 있으나, 이에 제한되는 것은 아니며, LTE 통신을 포함하는 네트워크 통신 또한 이용할 수 있다.

일 실시 예에서, 제어장치(100)는 데스크탑과 서버를 포함하는 관제 시스템으로 구성될 수도 있고, 또한 노트북 컴퓨터, 스마트폰, 태블릿 PC와 같이 휴대가능한 장치를 포함할 수도 있다.

일 실시 예에서, 제어장치(100)는 화면을 통해 드론(10)으로부터 촬영되는 영상을 표시하고, 자율 제어 및 사용자로부터 수신되는 제어정보에 기초하여 드론(10)을 제어할 수 있다.

본 명세서에서, 드론(10)의 제어는 단순제어뿐 아니라 드론 제어와 관련된 시스템과 연계된 기상정보와, 드론 비행금지구역 및 드론 혼잡도 트래픽정보를 포함하는 각종 정보를 서버, 클라우드 서버 또는 시스템으로부터 수신하며, 이에 기반하여 드론 제어시스템이 음성호출을 통해 수신한 정보에 따라 드론의 비행여부 및 비행경로 등을 종합적으로 설정하는 것을 포함하는 의미로 이해된다.

일 실시 예에서, 제어장치(100)는 터프북(Toughbook)을 포함할 수 있으나, 이에 제한되지 않는다.

일 실시 예에서, 제어장치(100)는 드론(10)의 제어를 위해 GCS(Ground Control System)를 이용할 수 있다. 제어장치(100)는 일반적인 GCS와 같이 사용자의 조작에 기반하여 드론 제어를 수행할 수 있으나, 그 대신에, 혹은 이와 같이, 음성 명령에 기반한 드론 제어를 수행할 수 있다.

예를 들어, 드론 제어는 자율제어와 함께 음성명령에 기반하여 수행될 수도 있고, 사용자의 조작에 기반하여 제어되되 사용자의 조작이 어려운 경우(예를 들어, 긴급한 상황이나, 사용자가 다른 일을 하고 있는 등) 사용자의 음성을 인식함으로써 음성 기반 제어가 수행될 수도 있다.

일 실시 예에서, 음성 입출력부(200)는 헤드셋을 포함할 수 있으나, 이에 제한되는 것은 아니며, 반드시 음성 입력부와 출력부가 함께 있어야 하는 것도 아니다.

음성 입출력부(200)는 사용자로부터 음성을 입력받고, 이를 제어장치(100)에 전달한다. 제어장치(100)는 각각의 음성명령 및 이에 대응하는 매칭 코드를 설정하고, 음성 입출력부(200)의 마이크를 통해 입력되는 음성명령에 기반하여 드론(10)의 제어를 수행할 수 있다.

예를 들어, 각각의 음성명령은 서로 다른 드론 제어코드와 매칭될 수 있다. 사용자의 음성입력이 수행되는 경우, 제어장치(100)는 이를 직접 처리할 수도 있고, 서버로 전달하여 서버에 의하여 처리되도록 할 수도 있다.

제어장치(100) 혹은 서버는 사용자의 음성입력을 파싱 및 인식하여 텍스트화하거나, 텍스트화한 후 파싱하여 사용자의 음성입력으로부터 하나 이상의 음성명령을 추출할 수 있다. 추출된 음성명령은 매칭 코드에 기반하여 이에 대응하는 드론 제어코드로 변환되고, 변환된 드론 제어코드는 드론(10)에 전달되어, 드론(10)의 제어에 활용될 수 있다.

일 실시 예에서, 음성명령은 주소검색, 이륙, 착륙 및 복귀명령을 포함할 수 있으나, 이에 제한되는 것은 아니다.

예를 들어, 음성명령은 이륙, 착륙, 정지, 복귀 등의 비행제어 명령, 고도변경, 일시정지, 비행 등의 동작제어 명령, 안전고도 확보와 같은 비행 안전제어 명령 및 복귀장소 변경 등의 비행 경로 제어명령 등을 포함할 수 있으나, 이에 제한되는 것은 아니다.

예를 들어, 특정 이벤트 발생시 사용자는 음성인식을 통해 건물명, 도로명 검색 등을 통하여 주소를 검색하고, GCS 상에 비행 목적지를 표시하도록 할 수 있다. 또한, 비행 목적지를 선택한 후 물리 입력 장치를 이용하여 비행 경로를 지정함으로써, 이벤트 경로를 지정할 수 있다. 이벤트 경로의 지정 또한 음성 명령을 통해 수행될 수 있다.

또한, 음성을 통해 사전 지정 경로를 선정하고, 드론(10)에 비행 명령을 전달할 수도 있다. 예를 들어, 음성인식을 통해 사전에 지정된 비행경로를 선택할 수 있으며, 이에 기반하여 드론(10)에 비행명령이 전달될 수 있다.

또한, 음성을 통해 비행 환경을 검색하고, 정보를 제공받을 수 있다. 예를 들어, 사용자의 음성 입력에 대응하는 결과가 화면 및 음성으로 출력될 수 있으며, 풍속이나 비행 속도와 같은 기상 및 비행 상태 정보를 음성으로 질의하고, 확인할 수 있다.

또한, 음성을 통해 비행경로에 대한 정보를 질의 및 획득할 수 있으며, 예를 들어 드론(10)의 비행 경로 내 최고 고도를 미리 확인하거나, 사후적으로 히스토리를 확인할 수 있다. 예를 들어, 건물 내부를 비행하는 경우 최고 고도를 제한할 수 있으며, 드론(10)이 비행해야 할 고도의 범위를 음성명령으로 전달할 수 있다.

일 실시 예에서, 음성명령은 외부 음성인식 서비스 플랫폼을 활용하여 인식 및 변환될 수도 있다. 예를 들어, 음성인식 서비스 플랫폼은 GSC로부터 입력되는 음성명령을 인식하고, 텍스트로 변환할 수 있다.

일 실시 예에서, 텍스트로 변환된 음성명령은 파싱되고, 키워드 단위로 매칭되어 드론 제어코드로 변환될 수도 있으나, 실시 예에 따라 자연어처리를 통해 음성명령에 포함된 드론 제어명령을 인식하고, 이에 기반하여 드론 제어코드를 생성하고, 드론을 제어할 수도 있다.

일 실시 예에서, 드론(10)으로부터 수집되는 정보 및 드론(10)의 비행과 연관된 기상정보, 상황정보, 주변정보 등이 음성 입출력부(200)를 통해 사용자에게 전달될 수 있다.

예를 들어, 드론(10)의 기체상태나 주변 기상상황 등이 음성으로 사용자에게 제공될 수 있으며, 나아가 드론(10)에 구비된 센서를 이용하여 센싱된 다양한 정보가 음성으로 사용자에게 제공될 수 있다.

사용자는 음성으로 제공되는 정보에 기반하여 드론(10)에 전달할 제어명령을 결정하고, 음성명령을 통해 이를 드론(10)에 전달할 수 있다.

따라서, 사용자는 드론(10)을 일일이 보고 제어하지 않아도, 음성으로 제공되는 정보에 기반하여 다시 음성으로 드론의 제어를 위한 명령을 전달할 수 있다.

도 2는 일 실시 예에 따른 GCS 시스템을 도시한 도면이다.

도 2에 도시된 GCS 시스템은 예시로서 개시된 것으로, 개시된 실시 예에 따른 GCS 시스템의 구조 및 구성요소가 이에 제한되는 것은 아니다.

도 2를 참조하면, GCS 시스템은 제어장치(100), 음성 입출력부(200) 및 트리거 버튼(300)을 포함한다.

일 실시 예에서, 제어장치(100)는 음성인식 기반 GCS(110)가 내장된 드론 관제용 컴퓨터일 수 있다. 예를 들어, 제어장치(100)는 터프북일 수 있으나, 이에 제한되는 것은 아니다.

일 실시 예에서, 음성 입출력부(200)는 관제용 마이크 및 헤드셋을 포함할 수 있다.

일 실시 예에서, 트리거 버튼(300)은 페달 형태 혹은 스위치 형태로 구성될 수 있으나 이에 제한되지 않으며, 사용자가 트리거 버튼(300)을 눌렀을 때 음성명령의 입력이 수행되도록 하는 역할을 수행할 수 있다.

예를 들어, 사용자가 음성명령을 하고자 하는 경우, 트리거 버튼(300)을 누른 채로 음성입력을 수행할 수 있고, 트리거 버튼(300)이 눌린 상태에서 입력된 음성만이 음성명령으로 인식될 수 있다. 실시 예에 따라서, 트리거 버튼(300)은 온/오프 방식으로 구성될 수도 있고, 트리거 버튼(300)을 계속해서 누르고 있는 동안에만 동작하도록 구성될 수도 있으며, 이는 제한되지 않는다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10 : 드론
100 : 제어장치
200 : 음성 입출력부

Claims (3)

1. 드론;
   제어장치; 및
   음성 입출력부; 를 포함하고,
   상기 제어장치는 상기 음성 입출력부에 의하여 획득되는 상기 사용자의 음성입력을 드론의 제어명령으로 변환하고, 상기 변환된 제어명령을 상기 드론에 전송하는,
   인공지능 음성입력 기반 드론 제어시스템.
2. 제1 항에 있어서,
   상기 시스템은,
   트리거 버튼; 을 더 포함하고,
   상기 제어장치는 상기 트리거 버튼이 온 상태일 때 상기 사용자의 음성입력을 획득하는,
   인공지능 음성입력 기반 드론 제어시스템.
3. 제1 항에 있어서,
   상기 드론은 하나 이상의 센서를 포함하고,
   상기 드론은 상기 하나 이상의 센서로부터 수집되는 정보를 상기 제어장치에 전달하고,
   상기 제어장치는 상기 음성 입출력부를 통하여 상기 수집되는 정보에 대응하는 음성을 출력하는,
   인공지능 음성입력 기반 드론 제어시스템.

Images