KR20170123999A

KR20170123999A - 원격 제어 기기의 위치 인식을 위한 영상 gps 맵 오버레이 방법

Info

Publication number: KR20170123999A
Application number: KR1020160053463A
Authority: KR
Inventors: 조영임; 박재완; 임효석
Original assignee: 가천대학교 산학협력단
Priority date: 2016-04-29
Filing date: 2016-04-29
Publication date: 2017-11-09
Also published as: KR101887509B1

Abstract

본 발명은 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법을 공개한다. 이 방법은 서보 모터, 카메라, 마이크로 프로세서, 필터, PID 제어기, GPS부 및 짐벌을 구비하는 원격 제어 기기의 위치 인식을 위한 영상 GPS 장치에 있어서, (a) 위성에서 수신되는 상기 원격 제어 기기의 GPS 데이터를 CGPS를 이용하여 경도, 위도, 시간을 기준으로 분류하는 단계; (b) 상기 분류된 GPS 데이터를 XGPS를 이용하여 GUI를 통해서 시각 자료로 변환하는 단계; (c) 상기 변환된 시각 자료를 웹 서버에 업로드하여 오프라인 맵 및 온라인 맵에 상기 원격 제어 기기의 위치 데이터를 전송하는 단계; (d) 상기 오프라인 맵 및 상기 온라인 맵이 상기 위치 데이터를 전송받아 상기 원격 제어 기기의 위치를 표시하는 단계; (e) 하이퍼텍스트 전송 규약에 따라 영상 스트리밍 방식으로 서버 포트를 열어 상기 오프라인 맵 및 상기 온라인 맵을 확인하는 단계; (f) 상기 웹 서버 내 디스플레이부의 텍스트 블록에 디스플레이되는 상기 위치 데이터의 좌표값이 상기 오프라인 맵 및 상기 온라인 맵에 함께 오버레이되어 디스플레이되는 단계; 및 (g) 상기 원격 제어 기기의 현재 위치에 대한 오버레이 상 오류 발생시 사용자 단말기를 이용해서 재확인하는 단계;를 포함하는 것을 특징으로 한다.

Description

원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법{A video GPS map overlaying method for positioning of a remote control device}

본 발명은 영상 GPS 맵 오버레이 방법에 관한 것으로서, 특히 GPS를 이용하여 측정된 원격 제어 기기의 위치에 대한 좌표값을 웹 서버의 맵에 오버레이시켜 원격 제어 기기의 위치 및 카메라에서 촬영되는 영상을 웹 서버 및 사용자 단말기를 통해 확인하여, 원격 제어 기기가 처한 상황 및 실시간 영상을 육안으로 보고 특수한 상황 등에 능동적으로 대처함으로써 보다 안정적인 수행을 할 수 있는 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법에 관한 것이다.

GPS(Global Positioning System)는 1970년초 미국 국방부가 지구상에 있는 물체의 위치를 측정하기 위하여 60억불을 들여 만든 군사 목적의 시스템이다.

그러나, 오늘날에는 일부를 민간에게 개방하는 것을 전제로 미 의회에서 승인되어 민간에서도 사용되고 있어, GPS를 이용하면 위치와 시간을 얻을 수 있다.

24개의 GPS 위성(실제로는 보충 위성 3개 포함 27개)이 서로 다른 궤도로 지구 대기권을 계속 회전하고 있다.

이는 지구상의 어느 시간 어느 곳에서도 4개 이상의 위성 신호를 얻을 수 있도록 하기 위함이다.

위치를 측정하기 위해서는 동시에 최고 4개의 위성으로부터 신호를 받아야 한다. 물론 더 많은 위성으로부터 신호를 받으면 보다 정확한 위치 값을 얻을 수 있다.

GPS 수신기는 동시에 처리하는 위성 신호의 개수에 따라 4 채널, 8 채널 등이 있다.

GPS 위치 측정 데이터는 군사상으로 사용되는 PPS(Precision Positioning Service)와, 민간에 제공되고 있는 SPS(Standard Positioning Service)로 구분되며 이들은 일정한 오차의 범위를 가진다.

이러한 오차를 보정하는 방법으로 특정 위치의 좌표 값과 그 곳의 측정값과의 차이를 이용하여 보정된 데이터를 반영하는 DGPS(Differential GPS)가 사용된다.

DGPS를 사용하면 오차 범위를 5m 이내로 줄일 수 있다.

최근 국내에서 DGPS 보정 데이터를 FM 방송을 통하여 제공하는 DARC 시스템도 선보이고 있다.

또 다른 위치 측정 시스템으로 구 소련의 GLONASS가 있으며, 최근에 GPS와 GLONASS 신호를 동시에 사용하여 오차 범위를 줄이는 방법도 개발되었다.

주로 비행기, 선박, 차량의 항법 장치에 전자 지도(GIS)와 함께 GPS가 사용되고 있으며, 사람들이나 차량 등 이동체의 위치를 파악하는 데에도 사용된다.

또한, 개인 휴대용 GPS 수신기가 개발되어 미지 탐사나, 군 작전시 자기 위치 파악에 이용되고 있다.

최근에는 GPS 수신기를 내장하는 휴대용 이동 통신 단말기도 개발, 출시되고 있다.

또한, 이미 아마존에서는 드론에 GPS를 장착하여 택배 서비스를 실시한다고 발표를 하였다. 이 후 구글과 알리바바도 드론 택배 산업에 도전하고 있다.

그러나, 택배를 배달하려면 드론에 장착된 3 개의 GPS로 좌표를 받아 현관문 바로 앞으로 배달을 해야 하는데, 좌표를 받는 인공 위성의 위치에 따라 GPS의 오차가 바뀐다는 점이 문제점이다.

이러한 이유로 미국 연방항공청(FAA)이 아마존의 드론 이용 허가를 제외하기도 하였다.

아마존에서 사용하려는 드론의 무게와 고도를 비교하면 상업적으로 사용 가능한 기준을 초과하기 때문에 아마존의 무인 드론 택배 운행은 힘들 것으로 전망되며, 게다가 해커가 드론을 해킹하는 사례까지 더해져 드론 산업은 전망이 좋지 않다.

이런 소식에도 불구하고 드론 산업은 꾸준히 개발되고 있고, 몇 년 이내에 운행될 수 있게 하려는 연구들이 국내외적으로 많이 진행되고 있다.

KR 10-1204720 B1

본 발명의 목적은 GPS를 이용하여 측정된 원격 제어 기기의 위치에 대한 좌표값을 웹 서버의 맵에 오버레이시켜 각 서버 별로 각 원격 제어 기기의 위치 및 카메라에서 촬영되는 영상을 웹 서버 및 사용자 단말기를 통해 확인함으로써, 원격 제어 기기가 사용자의 시야 범위를 벗어난 거리에 있더라도 사용자 단말기가 원격 제어 기기의 위치를 정확하게 인식하여 작동 명령할 수 있는 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법은 서보 모터, 카메라, 마이크로 프로세서, 필터, PID 제어기, GPS부 및 짐벌을 구비하는 원격 제어 기기의 위치 인식을 위한 영상 GPS 장치에 있어서, (a) 위성에서 수신되는 상기 원격 제어 기기의 GPS 데이터를 CGPS를 이용하여 경도, 위도, 시간을 기준으로 분류하는 단계; (b) 상기 분류된 GPS 데이터를 XGPS를 이용하여 GUI를 통해서 시각 자료로 변환하는 단계; (c) 상기 변환된 시각 자료를 웹 서버에 업로드하여 오프라인 맵 및 온라인 맵에 상기 원격 제어 기기의 위치 데이터를 전송하는 단계; (d) 상기 오프라인 맵 및 상기 온라인 맵이 상기 위치 데이터를 전송받아 상기 원격 제어 기기의 위치를 표시하는 단계; (e) 하이퍼텍스트 전송 규약에 따라 영상 스트리밍 방식으로 서버 포트를 열어 상기 오프라인 맵 및 상기 온라인 맵을 확인하는 단계; (f) 상기 웹 서버 내 디스플레이부의 텍스트 블록에 디스플레이되는 상기 위치 데이터의 좌표값이 상기 오프라인 맵 및 상기 온라인 맵에 함께 오버레이되어 디스플레이되는 단계; 및 (g) 상기 원격 제어 기기의 현재 위치에 대한 오버레이 상 오류 발생시 사용자 단말기를 이용해서 재확인하는 단계;를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 사용자 단말기는 유선 단말기 및 무선 단말기를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 영상 GPS 장치는 상기 마이크로 프로세서가 상기 원격 제어 기기의 이동에 대한 3축 자이로 센싱 값 및 3축 가속도 값을 출력하고, 상기 필터가 상기 3축 자이로 센싱 값 및 상기 3축 가속도 값을 인가받아 롤 및 피치의 가속도 값을 각도로 변환하여 필터링하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 필터는 아래의 수학식에 의해 필터링하고,

상기 gyrData는 상기 3축 자이로 센싱 값이고, 상기 accData는 상기 3축 가속도 값이며, 상기 0.98 및 상기 0.02의 상수값은 임의로 결정되는 파라미터값인 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 영상 GPS 장치는 상기 PID 제어기가 상기 필터링된 값을 인가받아 비례 이득값, 적분 이득값 및 미분 이득값을 조절하여 펄스 폭 변조로 상기 원격 제어 기기에 동력을 제공하는 상기 서보 모터를 제어하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법은 상기 PID 제어기의 동작은 감산부가 상기 필터링된 값을 인가받아 목표값에서 감산하여 에러값을 산출하는 단계; 비례 제어부가 상기 에러값을 인가받아 상기 비례 이득값과 승산하여 제1 출력하는 단계; 적분 제어부가 상기 에러값을 인가받아 적분한 후 상기 적분 이득값과 승산하여 제2 출력하는 단계; 미분 제어부가 상기 에러값을 인가받아 미분한 후 상기 미분 이득값과 승산하여 제3 출력하는 단계; 및 가산부가 상기 제1 내지 제3 출력을 인가받아 가산하여 상기 서보 모터를 제어하는 단계;를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 PID 제어기는 SimpleBGC 프로그램을 이용하여 상기 비례 이득값, 상기 적분 이득값 및 상기 미분 이득값을 산출하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 영상 GPS 장치는 상기 웹 서버가 상기 카메라를 통해 촬영되는 실시간 영상 정보를 무선 인터넷 망을 통해 인가받아 상기 사용자 단말기에 전달하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 웹 서버의 동작은 상기 카메라가 영상 데이터 입력을 받기 위해 활성화되는 단계; 사용자 프로그램이 커널을 통해 상기 영상 데이터의 입출력 요청을 확인하는 단계; 상기 영상 데이터의 입출력 요청이 확인된 경우 장치 드라이버로 상기 입력된 영상이 전송되는 단계; 상기 전송된 영상 데이터가 HTML 형태로 스크립이 생성되는 단계; 및 상기 전송된 영상 데이터가 링크를 통해 웹 스트리밍되는 단계;를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 GPS부는 USB 인터페이스를 이용할 수 있는 USB 모듈인 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상기 원격 제어 기기는 드론 및 무선 제어(Radio Control, RC) 기기를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법은 서보 모터, 카메라, 마이크로 프로세서, 필터, PID 제어기, GPS부 및 짐벌을 구비하는 원격 제어 기기의 위치 인식을 위한 영상 GPS 장치에 있어서, (a) 위성에서 수신되는 상기 원격 제어 기기의 GPS 데이터를 CGPS를 이용하여 경도, 위도, 시간을 기준으로 분류하는 단계; (b) 상기 분류된 GPS 데이터를 XGPS를 이용하여 GUI를 통해서 시각 자료로 변환하는 단계; (c) 상기 변환된 시각 자료를 웹 서버에 업로드하여 오프라인 맵 및 온라인 맵에 상기 원격 제어 기기의 위치 데이터를 전송하는 단계; (d) 상기 오프라인 맵 및 상기 온라인 맵이 상기 위치 데이터를 전송받아 상기 원격 제어 기기의 위치를 표시하는 단계; (e) 하이퍼텍스트 전송 규약에 따라 영상 스트리밍 방식으로 서버 포트를 열어 상기 오프라인 맵 및 상기 온라인 맵을 확인하는 단계; (f) 상기 웹 서버 내 디스플레이부의 텍스트 블록에 디스플레이되는 상기 위치 데이터의 좌표값이 상기 오프라인 맵 및 상기 온라인 맵에 함께 오버레이되어 디스플레이되는 단계; 및 (g) 상기 원격 제어 기기의 현재 위치에 대한 오버레이 상 오류 발생시 사용자 단말기를 이용해서 재확인하는 단계;를 포함하고, 무선 인터넷 망 및 AP 중계기 라우터를 이용하여 원격 제어 거리를 확장하는 것을 특징으로 한다.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의할 경우, 원격 제어 기기의 조종자 또는 관제 담당자가 각 기기가 처한 상황을 GPS 텍스트 값만으로 예상하는 것이 아니라, 기기의 상황 또는 기기가 처한 환경의 실시간 영상을 육안으로 보고 식별이 가능하기 때문에, 원격 제어 기기가 특수한 상황에 처할 경우 이를 회피 또는 다른 명령을 내리게 할 때 좋은 판단 자료가 되어 보다 안정적인 수행을 할 수 있게 되고, 종래의 맵에만 의존하는 경우 오버레이 상태에서 발생하는 딜레이 문제를 극복할 수 있게 된다.

도 1은 본 발명에 따른 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 동작을 설명하기 위한 순서도이다.
도 2는 도 1에 도시된 영상 GPS 맵 오버레이 방법을 구현하기 위한 영상 GPS 장치(100)의 블록도이다.
도 3은 도 2에 도시된 영상 GPS 장치(100) 내 PID 제어기(150)의 동작을 설명하기 위한 순서도이다.
도 4는 도 2에 도시된 영상 GPS 장치(100) 내 PID 제어기(150)의 블록도이다.
도 5는 도 2에 도시된 웹 서버(200)의 동작을 설명하기 위한 순서도이다.
도 6은 도 2에 도시된 영상 GPS 장치(100) 내 GPS부(160)의 재료인 USB 모듈을 나타내는 사진이다.
도 7은 도 2에 도시된 영상 GPS 장치(100)에서 CGPS를 이용하여 GPS 값을 분류해서 디스플레이한 화면이다.
도 8은 도 2에 도시된 영상 GPS 장치(100)에서 XGPS를 이용하여 GPS 값을 시각적으로 디스플레이한 화면이다.
도 9는 도 2에 도시된 영상 GPS 장치(100)에서 GPS 값을 웹 서버(200)에서 수신하여 현재의 위치를 맵에 오버레이시킨 결과를 디스플레이한 화면이다.
도 10은 도 2에 도시된 영상 GPS 장치(100)에서 GPS 값을 웹 서버(200)에서 수신하여 텍스트 블록에 좌표값이 나오도록 디스플레이한 화면이다.
도 11은 도 2에 도시된 영상 GPS 장치(100)에서 GPS 값을 웹 서버(200)에서 수신하여 현재의 위치를 사용자의 무선 단말기(300)에서 재확인하기 위해 디스플레이한 화면이다.
도 12는 도 2에 도시된 영상 GPS 장치(100) 내 서보 모터(110)의 사진이다.
도 13은 도 2에 도시된 영상 GPS 장치(100) 내 마이크로 프로세서(130)의 사진이다.
도 14는 도 2에 도시된 영상 GPS 장치(100) 내 마이크로 프로세서(130)의 3축 자이로 센싱 값 및 3축 가속도 값과 상보 필터(140)를 이용하여 필터링된 데이터에 대한 결과 파형 그래프이다.
도 15는 도 4에 도시된 PID 제어기(150)에서 이득값을 산출하는 SimpleBGC 프로그램의 화면이다.
도 16은 도 2에 도시된 영상 GPS 장치(100)에 고프로 카메라(120)를 장착한 2축 짐벌(170)의 사시도이다.
도 17은 도 4에 도시된 PID 제어기(150)에서 PID 테스트를 한 결과에 대한 결과 파형이다.
도 18은 도 2에 도시된 영상 GPS 장치(100)에서 웹 스크립을 이용한 웹 스트리밍을 나타내는 사진이다.
도 19는 도 2에 도시된 영상 GPS 장치(100)에서 파이어 폭스를 통한 재생이 확인된 화면을 나타내는 사진이다.
도 20은 도 2에 도시된 영상 GPS 장치(100)에서 다음 팟 플레이어 등의 일반 플레이어에서 영상을 재생한 화면을 나타내는 사진이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

도 1은 본 발명에 따른 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 동작을 설명하기 위한 순서도이다.

도 2는 도 1에 도시된 영상 GPS 맵 오버레이 방법을 구현하기 위한 영상 GPS 장치(100)의 블록도로서, 서보 모터(110), 카메라(120), 마이크로 프로세서(130), 필터(140), PID 제어기(150), GPS부(160) 및 짐벌(170)을 구비한다.

도 3은 도 2에 도시된 영상 GPS 장치(100) 내 PID 제어기(150)의 동작을 설명하기 위한 순서도이다.

도 4는 도 2에 도시된 영상 GPS 장치(100) 내 PID 제어기(150)의 블록도로서, 감산부(151), 비례 제어부(152), 적분 제어부(153), 미분 제어부(154) 및 가산부(155)를 구비한다.

도 5는 도 2에 도시된 웹 서버(200)의 동작을 설명하기 위한 순서도이다.

도 1 내지 도 5를 참조하여 본 발명에 따른 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 개략적인 동작을 설명하면 다음과 같다.

먼저, GPS 어플리케이션의 일종인 CGPS를 이용하여 위성에서 수신되는 상기 원격 제어 기기의 GPS 데이터를 경도, 위도, 시간을 기준으로 분류한다(S110).

분류된 GPS 데이터를 GPS 어플리케이션의 일종인 XGPS를 이용하여 GUI를 통해서 시각 자료로 변환하면(S120), 변환된 시각 자료를 웹 서버에 업로드하여(S130) 오프라인 맵 및 온라인 맵에 상기 원격 제어 기기의 위치 데이터를 전송한다(S140).

오프라인 맵 및 상기 온라인 맵이 위치 데이터를 전송받아 상기 원격 제어 기기의 위치를 표시하면(S150), 하이퍼텍스트 전송 규약(Hypertext Transfer Protocol, HTTP)에 따라 영상 스트리밍 방식으로 서버 포트를 열어 상기 오프라인 맵 및 상기 온라인 맵을 확인한다(S160).

웹 서버 내 디스플레이부의 텍스트 블록에 디스플레이되는 상기 위치 데이터의 좌표값이 상기 오프라인 맵 및 상기 온라인 맵에 함께 오버레이되어 디스플레이된다(S170).

또한, 원격 제어 기기의 현재 위치에 대한 오버레이 상 오류가 발생하는 경우 사용자 단말기를 이용해서 재확인된다(S180).

본 발명에 따른 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법의 상세한 동작 설명은 후술하도록 한다.

한편, 영상 GPS 장치(100) 내 PID 제어기(150)의 개략적인 동작은 다음과 같다.

감산부(151)가 필터(140)에서 필터링된 값을 인가받아 목표값에서 감산하여 에러값을 산출한다(S210).

비례 제어부(152)가 감산부(151)로부터 에러값을 인가받아 비례 이득값과 승산하여 제1 출력한다(S220).

적분 제어부(153)가 감산부(151)로부터 에러값을 인가받아 적분한 후 적분 이득값과 승산하여 제2 출력한다(S230).

미분 제어부(154)가 감산부(151)로부터 에러값을 인가받아 미분한 후 미분 이득값과 승산하여 제3 출력한다(S240).

가산부(155)가 비례 제어부(152), 적분 제어부(153) 및 미분 제어부(154)로부터 제1 내지 제3 출력을 인가받아 가산하여 서보 모터(110)를 제어한다(S250).

본 발명에 따른 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법을 구현하기 위한 영상 GPS 장치(100) 내 PID 제어기(150)의 상세한 동작 설명은 후술하도록 한다.

한편, 도 2 및 도 5를 참조하여 웹 서버(200)의 개략적인 동작을 설명하면 다음과 같다.

먼저, 카메라(120)가 영상 데이터 입력을 받기 위해 활성화되면(S310), 사용자 프로그램이 커널을 통해 영상 데이터의 입출력 요청을 확인한다(S320).

영상 데이터의 입출력 요청이 확인된 경우 장치 드라이버(미도시)로 입력된 영상이 전송된다(S330).

전송된 영상 데이터는 HTML 형태로 스크립이 생성되고(S340), 링크를 통해 웹 스트리밍된다(S350).

본 발명에 따른 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법을 구현하기 위한 웹 서버(200)의 상세한 동작 설명은 후술하도록 한다.

GPS 데이터 맵 오버레이

도 6은 도 2에 도시된 영상 GPS 장치(100) 내 GPS부(160)의 재료인 USB 모듈을 나타내는 사진이다.

도 7은 도 2에 도시된 영상 GPS 장치(100)에서 CGPS를 이용하여 GPS 값을 분류해서 디스플레이한 화면이다.

도 8은 도 2에 도시된 영상 GPS 장치(100)에서 XGPS를 이용하여 GPS 값을 시각적으로 디스플레이한 화면이다.

도 9는 도 2에 도시된 영상 GPS 장치(100)에서 GPS 값을 웹 서버(200)에서 수신하여 현재의 위치를 맵(220)에 오버레이시킨 결과를 디스플레이한 화면이다.

도 10은 도 2에 도시된 영상 GPS 장치(100)에서 GPS 값을 웹 서버(200)에서 수신하여 텍스트 블록에 좌표값이 나오도록 디스플레이한 화면이다.

도 11은 도 2에 도시된 영상 GPS 장치(100)에서 GPS 값을 웹 서버(200)에서 수신하여 현재의 위치를 사용자의 무선 단말기(300)에서 재확인하기 위해 디스플레이한 화면이다.

일반적으로 GPS시스템은 GPS 수신기가 세 개 이상의 GPS 위성(50)으로부터 송신된 신호를 수신하여 위성(50)과 수신기의 위치를 결정하는 시스템으로서, 위성(50)에서 송신된 신호와 수신기에서 수신된 신호의 시간차를 측정하면 위성(50)과 수신기 사이의 거리를 구할 수 있는데, 이때 송신된 신호에는 위성(50)의 위치에 대한 정보가 들어 있다.

실제로 최소한 세 개의 위성(50)과의 거리와 각 위성(50)의 위치를 알게 되면 삼변 측량에서와 같은 방법을 이용해 수신기의 위치를 계산할 수 있다.

그러나, 시계가 완전히 정확하지 않기 때문에 오차를 보정하고자 보통 네 개 이상의 위성(50)을 이용해 위치를 결정한다.

위성(50)의 개수 또한 예전에는 위성(50)수가 충분하지 않았고 예전 GPS 장치는 무겁고 정확도 또한 많이 낮아 사용도가 낮았지만 최근 들어 언제 어디서든 충분한 위성(50)과 연결할 수 있는 환경이 만들어지면서 무료로 사용이 가능하게 되었다.

현재 네비게이션, 스마트폰, 자녀보호용 액세서리 등에 다양한 형태로 들어가서 착용 및 소지자의 위치를 자유롭게 확인할 수 있다.

이러한 GPS기술은 드론이나 RC등에도 점차적으로 적용되고 있다.

즉, 조종 거리가 넓은 RC 및 드론의 경우 시야 범위를 넘어서도 GPS상에서 표시해주는 좌표계를 가지고 조종을 하는 경우가 많다.

또한, RC 및 드론 등을 원격으로 제어할 때 GPS의 좌표는 하나의 네비게이션에 사용된다.

현재 고가형 드론들에 적용되는 호버링(Hovering)이라는 공중 정지 기능은 좀더 정밀하게 적용하기 위해서 또는 드론의 위치를 식별하기 위해서 요즘에도 많이 활용하는 추세이고, 드론 뿐만 아니라 RC 계열에서는 원거리 조종이나 균형 또는 위치 표시를 위해 많이 포함되어 있다.

하지만, 이러한 호버링용 부품은 대형 또는 30분 이상 비행 또는 운영하는 기기에만 적용되는 기술로서, 소형 또는 저가형 기기에는 적용되어 있지 않다.

그리고, 최근 군집화나 인공지능 기술을 적용한 무인 항공기들은 이 GPS의 연산값이 필수적으로 포함되어 있다.

따라서, 본 발명은 GPS 기술을 간단한 연산값으로만 출력해내지 않고, 그 값을 이용해 현재의 위치를 시각적으로 알아볼 수 있도록 위치 데이터 값을 하나의 맵(220)(map)에 업로드하여, 자신의 위치를 확인 할 수 있도록 함으로써 기기의 위치를 정확하게 알려 주게 된다.

그 뿐 아니라 시야 범위를 벗어난 거리에 기기가 있어도 본 발명은 기기의 위치를 정확하게 인식하여 명령이나 상황에 대한 확인을 시각적으로 가능하게 해줄 수 있다.

먼저, 본 발명에서 사용하는 GPS부(160) 재료는 USB 인터페이스를 이용할 수 있는 하나의 완제품 형태인 도 6의 USB 모듈을 선정하였다.

USB 모듈은 노트북용 즉 윈도우용 드라이버가 많기 때문에 리눅스 오픈 하드웨어를 사용한 플랫폼에 오픈 소스 등의 적용에 많은 제약을 가지고 있었다.

그러나, USB 인터페이스로서 탈부착에 용이성을 가지고 있으며, 완제품이기 때문에 효율적으로 전원을 관리 할 수 있다.

이로 인해 장시간 적용에 좀 더 유연하게 대체하는데 효율적이라는 것을 확인하게 되었고, 인터페이스만 잘 맞추고 드라이버만 제대로 적용해준다면 GPS에서 나오는 데이터를 받아내는데 딜레이가 약 3초 만에 GPS에서 나오는 데이터가 정확하게 들어오는 것을 확인하였다.

또한, 약 40분 이상 동작을 해주어도 정상적으로 위치에 어긋나지 않고 현재의 위치를 값으로 표시해주는 것을 확인할 수 있었으므로, 약 30 ~ 40분 정도의 장시간 작동하는 드론 뿐 아니라, 약 1 ~ 2 시간 작동하는 드론에도 충분히 적용이 가능한 것을 알 수 있다.

이와 같이 GPS부(160) 재료를 선정한 후에는 해당 GPS가 주는 값을 단순히 수신하기만 하는 것이 아니라 수신되는 위치 데이터를 하나의 데이터로 분류해야만 한다.

따라서, 본 발명은 GPS 값을 경도, 위도, 현재의 시간 등을 기준으로 GPS 어플리케이션의 일종인 CGPS를 이용하여 분류해서 수신하여 디스플레이부(240)에 도 7과 같이 디스플레이한다.

나아가, 본 발명은 해당 GPS가 주는 값을 단순히 수신하여 보여주는 것이 아닌 시각적인 데이터로써 제공을 하기 때문에 GUI를 통해서 GPS의 데이터를 시각적인 자료로써 수신한다.

이를 위해서 본 발명은 도 7에서 보는 바와 같이 GUI 소스를 가지고 있는 GPS 어플리케이션의 일종인 XGPS를 이용하여 GPS에서 나오는 데이터 값을 하나의 시각 자료로 변환한다.

하지만, XGPS는 물리적으로 디스플레이 연결이 되어 있을 때만 GUI를 확인할 수 있으므로, 본 발명은 이것을 웹 서버(200)에 업로드하여 오프라인 맵(220)에 데이터를 전송한다.

이를 통하여 하나의 서버에서 영상뿐만이 아닌 오프라인 맵 및 온라인 맵에서 수신되는 데이터 값을 위치로 표시해 준다.

본 발명에서는 인트라넷 WIFI 네트워크 망에서 사용을 기준으로 하여 오프라인 맵을 지원하며 국내에도 지도를 지원해주는 구글 맵(google map)을 이용하기로 한다.

간단한 하이퍼텍스트 전송 규약(Hypertext Transfer Protocol, HTTP)에 따라 영상 스트리밍과 같은 방법으로 서버 포트를 열어서 ip:port를 통해서 맵(220)을 확인할 수 있다.

하이퍼텍스트 전송 규약에 명령을 주면 자신의 위치를 확인할 수 있고, 도 9에서처럼 이 화면은 html 스크랩을 만들어서 맵(220)을 확인할 수 있다.

또한, 도 10처럼 웹 서버(200)의 디스플레이부(240)의 텍스트 블록에 디스플레이되는 GPS 위치 데이터의 좌표값이 맵(220)에 함께 오버레이되어 디스플레이되도록 하여 컴퓨터에서 시각적으로만 받는 종래의 맵 오버레이가 맵에만 의존하게 되어 오버레이 상태에서 일어나는 딜레이 문제를 극복할 수 있다.

하지만, 맵(220)이 좌표값과 함께 오버레이되면 해당 좌표값을 다른 컴퓨터 또는 모바일 단말기에서 입력하여 현 위치에 대한 오버레이 상에서 오류가 발생했을 때 재차 또는 다른 기기로 확인을 가능하게 했기 때문에 개인용 컴퓨터(PC)와 같은 유선 단말기나 스마트 폰과 같은 무선 단말기를 이용해서 재확인이 가능하다.

도 12는 도 2에 도시된 영상 GPS 장치(100) 내 서보 모터(110)의 사진이다.

도 13은 도 2에 도시된 영상 GPS 장치(100) 내 마이크로 프로세서(130)의 사진이다.

도 1 내지 도 13을 참조하여 도 1에 도시된 영상 GPS 맵 오버레이 방법을 구현하기 위한 영상 GPS 장치(100)의 각 구성요소의 기능을 설명하면 다음과 같다.

서보 모터(110)는 원격 제어 기기에 동력을 제공하고, 카메라(120)는 서보 모터(110)에 부착되어 원격 제어 기기의 이동에 따라 실시간으로 영상을 촬영한다.

마이크로 프로세서(130)는 원격 제어 기기 내 기판에 장착되어 원격 제어 기기의 이동에 대한 3축 자이로 센싱 값 및 3축 가속도 값을 출력한다.

필터(140)는 마이크로 프로세서(130)로부터 3축 자이로 센싱 값 및 3축 가속도 값을 인가받아 롤 및 피치의 가속도 값을 각도로 변환하여 필터링한다.

PID 제어기(150)는 필터(140)로부터 필터링된 값을 인가받아 비례 이득값, 적분 이득값 및 미분 이득값을 조절하여 펄스 폭 변조로 서보 모터(110)를 제어한다.

GPS부(160)는 위성(50)으로부터 수신되는 원격 제어 기기의 위치 데이터를 분류하고 시각 자료로 변환 및 웹 서버(200)에 전송하여 원격 제어 기기의 현재 위치를 맵에 좌표값과 함께 오버레이시킨다.

여기에서, 맵(220)은 오프라인 맵 및 온라인 맵을 포함한다.

짐벌(170)은 원격 제어 기기를 지지하고 주변 환경에 따라 흔들림 없이 평형 상태를 유지시키면서, 3축에 대하여 원격 제어 기기의 회전을 허용한다.

사용자 단말기(300)는 원격 제어 기기의 현재 위치에 대한 오버레이 상에서 오류 발생시 원격 제어 기기의 현재 위치를 재확인한다.

도 1 내지 도 13을 참조하여 도 1에 도시된 영상 GPS 맵 오버레이 방법을 구현하기 위한 영상 GPS 장치(100)의 상세한 동작을 설명하면 다음과 같다.

짐벌(gimbal)의 구현

드론을 조종하면서 조종기와 드론만 가지고 날아가는 모습만 본다면 조종하는 입장에서 매우 단순한 조종이 될 것이지만, 높은 하늘에서 직접 보지 못하는 곳을 영상으로 본다면 드론의 재미가 매우 커질 것이다.

하지만, 바람에 의해 드론이 흔들리면 장착되어 있는 카메라(120)도 흔들려 만족스러운 영상을 보지 못할 것이다.

따라서, 어떠한 주변 환경에서도 카메라(120)가 장착된 드론이 흔들림 없이 평형 상태를 유지하는 짐벌(170)을 제작하는 것이 필요하다.

짐벌이란 일반적으로 물 위에 떠 있는 구조물의 동요에 관계없이 기기나 장비가 수평 및 연직으로 놓일 수 있도록 전후 좌우 방향축에 대하여 회전을 허용하는 회전 허용 지지틀을 말한다.

도 2에 도시된 영상 GPS 장치(100)를 구현하기 위해 짐벌(170)을 제작하는 과정을 요약하면, 마이크로 프로세서(130)의 3축 자이로 센싱 값 및 3축 가속도 값을 상보 필터(140)를 이용하여 필터링하여 PID 제어를 통해 펄스 폭 변조(PWM)로 모터를 제어한다.

먼저, 짐벌(170)의 기능을 하게 해주는 보드가 필요한데, kk2.0 보드는 LED 모니터를 통해 P, I, D의 이득값을 변경할 수 있기 때문에 다른 프로그래밍적 부분은 건드리지 않고도 쉽게 짐벌(170)의 기능을 할 수 있게 해준다.

본 발명은 파이 카메라(120)로의 영상 스트리밍과 멀티 스레드(multi thread)가 가능한 라즈베리 파이(raspberry pi)를 사용하여 짐벌(170)을 제작한다.

짐벌(170)의 모터는 DC 모터 대신 서보 모터 sg90 모델과 같은 AC 모터를 사용한다.

이는 드론의 움직임에 따라 모터도 움직인다고 볼 때, 롤(roll), 피치(pitch)가 180도 정도를 벗어나지 않기 때문에 180도 까지만 움직이는 모터를 선택해도 되기 때문이다.

마이크로 프로세서(130) 모듈은 자이로 센서와 가속도계가 합쳐진 모듈로서, 원격 제어 기기의 이동에 대한 3축 자이로값과 3축 가속도 값을 출력한다.

마이크로 프로세서(130)와 라즈베리 파이(raspberry pi)를 연결하려면 I²C(Inter Integrated Circuit) 통신을 허용하고 VCC, SDA, SCL, GND를 라즈베리 파이의 맞는 핀에 연결해야 한다.

2 축 짐벌(170)을 제작하기 위해서는 먼저 마이크로 프로세서(130)를 이용하여 가속도 값을 알아야 하는데, 롤(roll), 피치(pitch)의 가속도 값을 각도로 변환하면 변환된 값이 불안정하다.

따라서, 마이크로 프로세서(130)의 자이로 값을 구하여 가속도 값과 함께 필터(140)를 사용하여 필터링하면 보다 더 안정된 값을 얻을 수 있다.

자이로값과 가속도값을 구하는 코드는 마이크로 프로세서(130)의 자이로값 및 가속도 값의 주소가 있는데 이 주소값을 데이터 형식으로 변환한다.

가속도 센서는 노이즈가 심하고 움직임 값이 왜곡될 수 있지만, 시간이 지나도 오차가 누적되지 않는다.

자이로 센서는 각속도를 검출하는 센서로서, 출력 범위는 250/sec 인데 출력 값은 16383이다.

이 출력된 값을 각속도로 변환해주는 과정이 자이로 출력값/131 이다.

자이로 센서의 단점은 계산이 반복될 때마다 출력값이 계속 마이너스 쪽으로 발산해 가는데 이것이 자이로 센서의 단점이다.

즉, 오차값이 계속 누적되기 때문에 가속도 센서와 자이로 센서의 장점만을 합치기 위해 필터(140)의 역할이 중요하다.

필터(140)의 종류는 칼만 필터와 상보 필터가 있는데, 칼만 필터를 사용하면 상보 필터보다 더 좋은 필터링된 값을 얻을 수 있지만, 복잡함 때문에 연산시간이 길어져서 본 발명에서는 연산 시간이 빠른 상보 필터(140)를 사용한다.

도 14는 도 2에 도시된 영상 GPS 장치(100) 내 마이크로 프로세서(130)의 3축 자이로 센싱 값 및 3축 가속도 값과 상보 필터(140)를 이용하여 필터링된 데이터에 대한 결과 파형 그래프이다.

도 14에서 (a) 파형은 자이로값, (b) 파형은 가속도값, (c) 파형은 상보 필터(140)를 이용하여 필터링된 데이터를 나타낸다.

다음의 수학식 1은 마이크로 프로세서(130)의 3축 자이로 센싱 값 및 3축 가속도 값을 이용하여 필터링한 데이터의 수학식이다.

여기에서, gyrData는 3축 자이로 센싱 값이고, accData는 3축 가속도 값이며, 0.98 및 0.02 같은 상수값은 임의로 결정되는 파라미터값이다.

수학식 1을 사용하여 산출된 필터링된 데이터()값을 출력해 보면 마이크로 프로세서(130)의 롤(roll), 피치(pitch) 움직임과 일치함을 볼 수 있다.

도 1 내지 도 4를 참조하여 도 2에 도시된 영상 GPS 장치(100) 내 PID 제어기(150)의 상세한 동작을 설명하면 다음과 같다.

PID 제어기(150)에서 각각 비례, 적분, 미분한 값들을 구하기 위해서는 이득값(gain)이 필요한데, 이 이득값을 얻기 위해 튜닝(tuning)하는 과정이 PID 제어하는 부분에서 가장 중요하다.

각각의 이득값의 수치에 따라 목표값으로 수렴하는 과정에서 상당한 시간차나 오차율 등의 차이를 보인다.

비례이득 값을 어느 정도 증가시키면 플랜트 과도응답 상승시간(rise time)을 줄이는 효과가 있으나, 정상상태 오차(steady state error)를 없애지는 못한다.

적분이득 값은 정상상태 오차를 제거하는 효과를 가지고 있지만, 과도응답 특성을 나쁘게 만들 수 있다.

미분이득 값은 시스템의 안정도를 향상시키는 효과를 갖고 있어서, 오버슈트를 줄이고, 과도응답 특성을 향상시킬 수 있다

도 3 및 도 4에서 에러값은 '목표값-현재값'으로 구할 수 있는데, 이 값을 비례 제어부(151)에서 비례 이득값과 승산해주면 P제어, 에러값을 적분 제어부(152)에서 적분해주고 적분 이득값을 승산하면 I제어, 그리고 에러값을 미분 제어부(153)에서 미분해주고 미분 이득값을 승산해주면 D제어가 된다.

이 3가지를 합산하면 최종 결과값이 나오는데 이 값들은 이득값에 따라 달라진다.

이 이득값은 SimpleBGC 프로그램으로 구해줄 수 있다.

도 15는 도 4에 도시된 PID 제어기(150)에서 이득값을 산출하는 SimpleBGC 프로그램의 화면이다.

도 16은 도 2에 도시된 영상 GPS 장치(100)에 고프로 카메라(120)를 장착한 2축 짐벌(170)의 사시도이다.

도 17은 도 4에 도시된 PID 제어기(150)에서 PID 테스트를 한 결과에 대한 결과 파형이다.

도 15에서 보는 바와 같이, P, I, D값을 설정해주고 쓰기(write) 값으로 적용시키고 짐벌(170)을 흔들어보면, 흔들림 정도와 흔들리다가 일정한 값, 즉 원위치로 돌아가는 걸 확인할 수 있다.

쿼드콥터 드론은 무거운 짐벌(170)을 들고 날 수 없기 때문에 2축 프레임(frame)을 제작한다.

제작된 프레임과 축을 담당할 모터 그리고 라즈베리 파이에 연결한 파이 카메라(120)를 결합하면 도 16과 같은 짐벌(170)의 기본적인 형태로 제작될 수 있다.

그런데, 서보 모터(110)에서 문제점은 롤(roll) 방향과 피치(pitch) 방향으로 모터를 움직였을 경우 떨림 현상이 일어나기에 정상적인 형태를 유지할 수가 없다는 점이다.

떨림 현상이 발생하는 이유는 모터의 토크나 주기 등 여러 가지 이유가 있을 수 있어서 sg90보다 토크가 강한 모터를 사용하거나 주기를 적절히 조절해 주는 방법을 사용할 수 있다.

본 발명에서는 x축(roll)의 모터 주기를 30 Hz로 조절하여 떨림을 방지한다.

또한, 파이 카메라(120)를 실시간 스트리밍 프로토콜(real-time streaming protocol, RTSP)로 테스트 해보면 약 1초 정도의 지연 시간이 발생하여 깨끗한 영상을 받을 수 없으나, 파이 카메라(120)를 지연 없이 실행시키려면 카메라(120)의 점유율이 커져서 오히려 단점이 될 수도 있다.

일반적으로 도 17과 같이 PID 테스트값이 일정한 값으로 수렴하면 PID 제어에 성공한 것으로 본다.

보통 제대로 튜닝한 이득값으로 PID 제어한 출력값을 보면 0.000xxxxxxxx값인데, 짐벌(170)의 경우 '0'에 가까운 값을 계속 유지하게 하면 짐벌(170)을 만들 수 있다.

마이크로 프로세서(130)의 롤(roll), 피치(pitch) 움직임에 따라 움직이는 2개의 모터 및 파이 카메라(120)를 모터에 부착하여 실시간으로 영상을 볼 수 있다.

웹 스트리밍

본 발명에서 구현한 영상 스트리밍 기술은 단순히 영상을 촬영하고 저장하고 그 후에 영상 데이터를 활용하는 방식이 아니다.

이 장치에서는 웹 서버(200)가 먼저 무선 인터넷 망을 이용해서 원격 제어 기기의 실시간 영상 정보를 받아들인 후, 각 기기의 상황을 기기 조종자 또는 관제 역할을 맡은 담당자의 사용자 단말기(300)에 전달한다.

기기 조종자 또는 관제 담당자가 각 기기가 처한 상황을 GPS 값만으로 예상하는 것이 아니라, 기기의 상황 또는 기기가 처한 환경을 사용자 단말기(300)에 디스플레이되는 영상 스트리밍 동작을 통해 육안으로 보고 식별이 가능하기 때문에, 만약에 특수한 경우에 처할 경우 이를 회피 또는 다른 명령을 내리게 할 때 좋은 판단 자료가 되어 보다 안정적인 수행을 할 수 있도록 이끌어 주는 장점이 있다.

또한, 영상 스트리밍 동작을 통해 실시간으로 영상을 확인할 수 있게 되므로 현재 상황에 대해 능동적으로 대처할 수 있게 자료를 제공한다는 장점이 있다.

본 발명이 목표로 하는 영상 스트리밍은 LOS(line-of-sight) 환경에서 약 100 m에서도 15 fps 유지 또는 임의로 지정한 초당 프레임 수(frame per second, fps)를 유지하면서 약 1000 ~ 500 ms 이하의 래이턴시(latency)를 목표로 한다.

그리고 실험에서 나오는 주관적인 결과는 이 실험 환경을 기준으로 한다.

도 18은 도 2에 도시된 영상 GPS 장치(100)에서 웹 스크립을 이용한 웹 스트리밍을 나타내는 사진이다.

웹 스트리밍(Mjpg-Stream)은 Mjpg 형식의 스트리밍 방식으로, 기본적인 웹 스트리밍 방식 또는 기타 외부 기기에서 파이캠을 이용한 웹 스트리밍 서비스를 하기 위하여 도 18와 같은 웹 스트리밍이 가장 최적화되어 있다.

웹 스트리밍은 기본적인 웹사이트에서 재생을 지원해주는데, 이러한 재생 방식을 이용해서 본 발명의 하드웨어에 적용한다.

한편, 지스트리머(Gstreamer)는 미디어 처리 구성 요소인 그래프를 구성하기 위한 라이브러리로 비디오(비선형 편집) 처리를 통한 스트리밍이다.

이 라이브러리는 LGPL(Lesser General Public License)로 배포되는 라이브러리로 API(Application Programming Interface)와 ABI(Application Binary Interface)는 모두 병렬로 설치할 수 있게 해주기 때문에 본 발명에서 적용된다.

객체 모델을 기반으로 객체 지향 설계를 하고, 코어 또한 500 KB 이하의 소형 코어 라이브러리이며 동시에 코드는 65 K 라인이기 때문에 저전력에 저용량 스트리밍 설계를 할 수 있다.

실제로 이 코드만을 실행 했을 때 5V 2500 mAh 약 9.6Wh 의 보조 전원으로 오픈 하드웨어와 오픈 하드웨어 전용 카메라(120)(약 0.75W) 보드(2.05W)를 이용해서 직접 테스트 해본 결과, 약 3.5 시간 가량 사용 가능하였다.

그러나, 스트리밍을 컴퓨터나 서버 쪽에서도 보기 위해서는 실시간 스트리밍 프로토콜에 해당 라이브러리를 입혀서 스트리밍을 연결해주지 않으면 따로 파이프라인을 만들어야 한다.

도 19는 도 2에 도시된 영상 GPS 장치(100)에서 파이어 폭스를 통한 재생이 확인된 화면을 나타내는 사진이다.

도 20은 도 2에 도시된 영상 GPS 장치(100)에서 다음 팟 플레이어 등의 일반 플레이어에서 영상을 재생한 화면을 나타내는 사진이다.

Video4Linux는 리눅스에서 카메라(120)가 영상 입력을 받기 위한 표준 디바이스로 활성화하면 사용자 프로그램이 커널을 통해 입출력(I/O) 요청을 확인하고, 입출력 요청이 확인된 경우 장치 드라이버로 입력된 영상의 전송이 이루어지도록 해주는 장치 드라이버와 API의 실시간 지원을 위한 비디오 캡쳐 리눅스 시스템을 이용한다.

이 스트리밍은 전송된 영상 데이터가 HTML로 스크립을 만들어서 사용이 가능하고, 일반 플레이에서 링크를 통한 웹 스트리밍이 가능하다.

또한, http에서 html 스크립만 있다면 모바일 기기에서도 실시간 카메라 스트리밍이 가능하다.

도 19과 같이, 간단한 웹 플러그인만 있다면 파이어 폭스 크롬(firefox chrome) 에서도 영상을 재생할 수 있고, h.264의 경우 html5에서도 기본 지원한다.

이를 이용해서 약 2초의 영상 딜레이가 있었지만 WIFI 환경에서도 끊기지 않는 영상을 확인 할 수 있다.

또한, 기본적으로 wifi를 사용하기 때문에 사용자의 편의에 따라서 2.4ghz 또는 5ghz 대역을 임의적으로 사용이 가능하다.

또한, 도 20에서 보는 바와 같이, 영상 스트리밍은 H.264를 사용하면서 다음 팟 플레이어 등의 일반 플레이어에서도 실시간 스트리밍이 가능하므로 웹 서버(200) 리얼 타임 스트리밍으로는 이 방식이 가장 적합한 것을 알 수 있다.

한편, 본 발명은 일반에 공개된 wifi를 사용하지 않고 폐쇄 네트워크망(인트라넷)을 사용하여 해킹의 위험을 줄였다.

이는 드론들과 서버의 독자적인 네트워크망을 구축하여 서버와 드론간의 원활한 통신이 가능하게 한다.

또한, 군집화된 드론들 간에 GPS를 장착하여 서로간의 위치 인식이 가능하게 해주어 확인된 드론의 위치를 서버에서 확인할 수 있게 한다.

이와 같이, 본 발명의 드론에 부착된 카메라(120)는 단순히 드론의 움직임에 따라 움직이는 형태가 아닌 나쁜 기상 등에서의 상황에서도 흔들림을 최소화하는 짐벌(170)을 이용하여 주변 상황을 확인 가능하게 해준다.

또한, 드론 조작을 플랫폼 내에서 어떠한 기종이나 심지어 커스텀(custom) 드론에도 이 플랫폼이 적용을 가능하게 하여 드론의 제어를 할 수 있게 한다.

이 드론 제어 기능이 가능하다면 각 기기의 사양을 다르게 하여 각자 일에 분업을 맡게 할 수 있다.

즉, 거리, 중량, 크기에 따라 나누어 다양한 웹 서비스를 제공 할 수 있게 되고, 다양한 작업이나 개발을 하는 사람들도 각기 원하는 목표에 맞게 드론을 취사 선택 할 수 있다.

또한, 방범이나 경계 지역을 높은 상공에서 드론의 소리가 들리지 않을 정도로 충분히 고도 비행을 통해서 국방 경계지역 감시 등 다양한 환경에서의 적용도 가능하다.

또한, WIFI 즉 2.4 ghz 대역 네트워크의 거리 문제는 AP 중계기 라우터를 이용하면 간단하게 활용 범위를 넓힐 수 있어 극복할 수 있고, 기존의 실시간 fpv(first-person view)가 가지는 한계점을 극복 할 수 있다.

이와 같이, 본 발명은 종래에 GPS를 이용하여 측정된 원격 제어 기기의 위치에 대한 좌표값을 웹 서버의 맵에 오버레이시켜 각 서버 별로 각 원격 제어 기기의 위치 및 카메라에서 촬영되는 영상을 웹 서버 및 사용자 단말기를 통해 확인함으로써, 원격 제어 기기가 사용자의 시야 범위를 벗어난 거리에 있더라도 사용자 단말기가 원격 제어 기기의 위치를 정확하게 인식하여 작동 명령할 수 있는 원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법을 제공한다.

이를 통하여, 원격 제어 기기의 조종자 또는 관제 담당자가 각 기기가 처한 상황을 GPS 텍스트 값만으로 예상하는 것이 아니라, 기기의 상황 또는 기기가 처한 환경의 실시간 영상을 육안으로 보고 식별이 가능하기 때문에, 원격 제어 기기가 특수한 상황에 처할 경우 이를 회피 또는 다른 명령을 내리게 할 때 좋은 판단 자료가 되어 보다 안정적인 수행을 할 수 있게 되고, 종래의 맵에만 의존하는 경우 오버레이 상태에서 발생하는 딜레이 문제를 극복할 수 있게 된다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

Claims

서보 모터, 카메라, 마이크로 프로세서, 필터, PID 제어기, GPS부 및 짐벌을 구비하는 원격 제어 기기의 위치 인식을 위한 영상 GPS 장치에 있어서,
(a) 위성에서 수신되는 상기 원격 제어 기기의 GPS 데이터를 CGPS를 이용하여 경도, 위도, 시간을 기준으로 분류하는 단계;
(b) 상기 분류된 GPS 데이터를 XGPS를 이용하여 GUI를 통해서 시각 자료로 변환하는 단계;
(c) 상기 변환된 시각 자료를 웹 서버에 업로드하여 오프라인 맵 및 온라인 맵에 상기 원격 제어 기기의 위치 데이터를 전송하는 단계;
(d) 상기 오프라인 맵 및 상기 온라인 맵이 상기 위치 데이터를 전송받아 상기 원격 제어 기기의 위치를 표시하는 단계;
(e) 하이퍼텍스트 전송 규약에 따라 영상 스트리밍 방식으로 서버 포트를 열어 상기 오프라인 맵 및 상기 온라인 맵을 확인하는 단계;
(f) 상기 웹 서버 내 디스플레이부의 텍스트 블록에 디스플레이되는 상기 위치 데이터의 좌표값이 상기 오프라인 맵 및 상기 온라인 맵에 함께 오버레이되어 디스플레이되는 단계; 및
(g) 상기 원격 제어 기기의 현재 위치에 대한 오버레이 상 오류 발생시 사용자 단말기를 이용해서 재확인하는 단계;
를 포함하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 1 항에 있어서,
상기 사용자 단말기는
유선 단말기 및 무선 단말기를 포함하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 1 항에 있어서,
상기 영상 GPS 장치는
상기 마이크로 프로세서가 상기 원격 제어 기기의 이동에 대한 3축 자이로 센싱 값 및 3축 가속도 값을 출력하고,
상기 필터가 상기 3축 자이로 센싱 값 및 상기 3축 가속도 값을 인가받아 롤 및 피치의 가속도 값을 각도로 변환하여 필터링하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 3 항에 있어서,
상기 필터는
아래의 수학식에 의해 필터링하고,

상기 gyrData는 상기 3축 자이로 센싱 값이고, 상기 accData는 상기 3축 가속도 값이며, 상기 0.98 및 상기 0.02의 상수값은 임의로 결정되는 파라미터값인 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 3 항에 있어서,
상기 영상 GPS 장치는
상기 PID 제어기가 상기 필터링된 값을 인가받아 비례 이득값, 적분 이득값 및 미분 이득값을 조절하여 펄스 폭 변조로 상기 원격 제어 기기에 동력을 제공하는 상기 서보 모터를 제어하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 5 항에 있어서,
상기 PID 제어기의 동작은
감산부가 상기 필터링된 값을 인가받아 목표값에서 감산하여 에러값을 산출하는 단계;
비례 제어부가 상기 에러값을 인가받아 상기 비례 이득값과 승산하여 제1 출력하는 단계;
적분 제어부가 상기 에러값을 인가받아 적분한 후 상기 적분 이득값과 승산하여 제2 출력하는 단계;
미분 제어부가 상기 에러값을 인가받아 미분한 후 상기 미분 이득값과 승산하여 제3 출력하는 단계; 및
가산부가 상기 제1 내지 제3 출력을 인가받아 가산하여 상기 서보 모터를 제어하는 단계;
를 포함하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 6 항에 있어서,
상기 PID 제어기는
SimpleBGC 프로그램을 이용하여 상기 비례 이득값, 상기 적분 이득값 및 상기 미분 이득값을 산출하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 1 항에 있어서,
상기 영상 GPS 장치는
상기 웹 서버가 상기 카메라를 통해 촬영되는 실시간 영상 정보를 무선 인터넷 망을 통해 인가받아 상기 사용자 단말기에 전달하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 8 항에 있어서,
상기 웹 서버의 동작은
상기 카메라가 영상 데이터 입력을 받기 위해 활성화되는 단계;
사용자 프로그램이 커널을 통해 상기 영상 데이터의 입출력 요청을 확인하는 단계;
상기 영상 데이터의 입출력 요청이 확인된 경우 장치 드라이버로 상기 입력된 영상이 전송되는 단계;
상기 전송된 영상 데이터가 HTML 형태로 스크립이 생성되는 단계; 및
상기 전송된 영상 데이터가 링크를 통해 웹 스트리밍되는 단계;
를 포함하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 1 항에 있어서,
상기 GPS부는
USB 인터페이스를 이용할 수 있는 USB 모듈인 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
제 1 항에 있어서,
상기 원격 제어 기기는
드론 및 무선 제어(Radio Control, RC) 기기를 포함하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.
서보 모터, 카메라, 마이크로 프로세서, 필터, PID 제어기, GPS부 및 짐벌을 구비하는 원격 제어 기기의 위치 인식을 위한 영상 GPS 장치에 있어서,
(a) 위성에서 수신되는 상기 원격 제어 기기의 GPS 데이터를 CGPS를 이용하여 경도, 위도, 시간을 기준으로 분류하는 단계;
(b) 상기 분류된 GPS 데이터를 XGPS를 이용하여 GUI를 통해서 시각 자료로 변환하는 단계;
(c) 상기 변환된 시각 자료를 웹 서버에 업로드하여 오프라인 맵 및 온라인 맵에 상기 원격 제어 기기의 위치 데이터를 전송하는 단계;
(d) 상기 오프라인 맵 및 상기 온라인 맵이 상기 위치 데이터를 전송받아 상기 원격 제어 기기의 위치를 표시하는 단계;
(e) 하이퍼텍스트 전송 규약에 따라 영상 스트리밍 방식으로 서버 포트를 열어 상기 오프라인 맵 및 상기 온라인 맵을 확인하는 단계;
(f) 상기 웹 서버 내 디스플레이부의 텍스트 블록에 디스플레이되는 상기 위치 데이터의 좌표값이 상기 오프라인 맵 및 상기 온라인 맵에 함께 오버레이되어 디스플레이되는 단계; 및
(g) 상기 원격 제어 기기의 현재 위치에 대한 오버레이 상 오류 발생시 사용자 단말기를 이용해서 재확인하는 단계;
를 포함하고,
무선 인터넷 망 및 AP 중계기 라우터를 이용하여 원격 제어 거리를 확장하는 것을 특징으로 하는,
원격 제어 기기의 위치 인식을 위한 영상 GPS 맵 오버레이 방법.