KR101530581B1 - 무인 이동체 원격제어 시스템 및 방법 - Google Patents

무인 이동체 원격제어 시스템 및 방법 Download PDF

Info

Publication number
KR101530581B1
KR101530581B1 KR1020140171802A KR20140171802A KR101530581B1 KR 101530581 B1 KR101530581 B1 KR 101530581B1 KR 1020140171802 A KR1020140171802 A KR 1020140171802A KR 20140171802 A KR20140171802 A KR 20140171802A KR 101530581 B1 KR101530581 B1 KR 101530581B1
Authority
KR
South Korea
Prior art keywords
control unit
moving object
smart terminal
ground station
information
Prior art date
Application number
KR1020140171802A
Other languages
English (en)
Inventor
황호정
Original Assignee
황호정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 황호정 filed Critical 황호정
Priority to KR1020140171802A priority Critical patent/KR101530581B1/ko
Application granted granted Critical
Publication of KR101530581B1 publication Critical patent/KR101530581B1/ko
Priority to PCT/KR2015/012938 priority patent/WO2016089067A1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 무인 비행체나 무인 선박 등과 같이 지점간 자동항법 제어가 가능하도록 구성된 무인 이동체를 스마트 단말을 통해서 안정적 방식으로 광역 원격제어가 가능하도록 한 무인 이동체 원격제어 시스템 및 방법에 관한 것으로, 이동체 운행 제어를 위해 사용되고 있는 전용 제어부에 범용적으로 사용되는 스마트 단말기를 연결하고 해당 스마트 단말기에 전용 어플리케이션을 구성하는 것으로 다양한 프로토콜을 지원하면서 무인 이동체와 용이하게 연동하고, 이러한 연동을 통해 자동 항법 운항 제어나 실시간 영상 및 상태 모니터링이 가능하며, 이동체에 적용된 센서나 하드웨어 혹은 소프트웨어 이상 발생 시 용이한 리셋과 복원은 물론이고 운항 중 소프트웨어나 설정의 변경이 가능하게 되는 효과가 있다.

Description

무인 이동체 원격제어 시스템 및 방법{Autonomous Mobile Agent remote control system and method thereof}
본 발명은 무인 이동체 원격제어 시스템 및 방법에 관한 것으로, 특히 이동체 제어 프로그램이 실행되는 전용 제어부를 통해 제어되는 무인 이동체를 스마트 단말을 통해서 관리하여 안정적 방식으로 광역 원격제어가 가능하도록 한 무인 이동체 원격제어 시스템 및 방법에 관한 것이다.
최근 무인 항공체를 통해서 넓은 지역을 높은 고도에서 감시하거나 특정한 기능(비콘 신호 발생, 농약 살포, 물체의 운반, 경고 방송 등)을 수행하고자 하는 사례가 증가하고 있으며, 무인 선박을 통해서 넓은 지역에 대한 환경을 감시하거나 특정한 기능(수질검사, 녹조류 검사, 어군탐지, 부이 관리, 지형 탐지 등)을 수행하는 사례 역시 증가하고 있다.
즉, 무인 이동체의 구동부의 성능이 개선되고 무인 이동체의 전원 성능이 개선되면서 무인 이동체 이용에 대한 경제성과 활용성이 높아지고 있으므로 점차 이러한 무인 이동체에 대한 사용이 증가하고 있는 실정이다.
하지만, 아직까지 대부분의 무인 이동체는 근거리 통신을 이용하여 조작자가 해당 무인 이동체를 보면서 직접 제어하는 방식이 일반적이며, 원거리 자동 항법 제어를 위해서는 제어부의 구성이 복잡해지고 통신부 성능이 개선되어야 하므로 비용이 급증하며, 이러한 복잡성에 의해 운행 중 하드웨어나 소프트웨어 문제가 발생하는 경우 후속 조치가 어려운 상황이 발생하게 된다.
예컨대, 광역에서 사용되고 있는 무인 정찰기의 경우 그 가격이 대단히 높으며 이를 제어하기 위한 전용 지상국 제어 센터 구성에도 대단히 높은 비용이 발생하게 되므로 소방, 재난, 군사적 목적과 같이 높은 비용에도 불구하고 반드시 필요한 경우에 한정적으로 이용되고 있으며, 이러한 고가의 무인 원격 제어 시스템을 이용한다 하더라도 하드웨어나 소프트웨어의 문제가 발생하게 될 경우 이를 해결할 적당한 방법이 없는 실정이다.
따라서, 다양한 무인 이동체가 보편화되고 있는 상황에서, 이를 좀 더 효과적이고 안정적으로 제어하면서 그 제어 범위를 광역으로 확장하고, 운행 중 발생되는 각종 이상 상황에 능동적으로 대응할 수 있도록 하는 저렴한 시스템에 대한 요구가 증가하고 있는 실정이다.
한국 등록특허 제10-0679690호 [카메라폰이 장착되는 이동체와, 카메라폰이 장착되는 이동체의 원격 제어 시스템 및 화상정보 처리와 그 이동체 원격 제어방법]
전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 이동체 운행 제어를 위해 사용되고 있는 전용 제어부와 다양한 프로토콜을 지원하면서 용이하게 연동하고, 이러한 연동을 통해 자동 항법 운항 제어나 실시간 영상 및 상태 모니터링이 가능하며, 이동체에 적용된 센서나 하드웨어 혹은 소프트웨어 이상 발생 시 용이한 리셋과 복원은 물론이고 운항 중 소프트웨어나 설정의 변경도 가능하도록 구성한 스마트 단말기를 부가한 무인 이동체 원격제어 시스템 및 방법을 제공하는 것이다.
본 발명 실시예들의 다른 목적은 이동체 운행을 위한 전용 제어부를 스마트 단말기가 광역 통신망을 통해 원격지 지상국 단말기나 지상국 관제 센터의 제어를 통해 관리하며, 스마트 단말기의 내장 카메라를 통한 고화질 영상을 저장한 후 지상국의 요청에 따라 검색 및 선별하여 제공하고, 이상 상황 발생 시 스마트 단말기를 미러링 방식으로 동기화하여 제어할 수 있도록 하여 저렴하면서도 다양한 방식으로 원격 제어가 가능하도록 한 스마트 단말기를 부가한 무인 이동체 원격제어 시스템 및 방법을 제공하는 것이다.
본 발명 실시예들의 또 다른 목적은 이동체 운행을 위한 전용 제어부에 연결되어 운행에 따른 정보를 제공하는 이동체 센서들의 상태를 스마트 단말기가 자신에 내장된 센서들의 상태와 비교하여 이상 여부를 검증하고, 이상 발생 시 전용 제어부에 연결된 센서 사용 설정을 변경한 후 자신의 센서 측정값을 기 사용되는 값으로 변환하여 제공하는 것으로 센서 이상에 대한 대응이 가능하도록 한 무인 이동체 원격제어 시스템 및 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 이동체 원격제어 시스템은 제어 설정 인터페이스를 통해 기록되는 이동체 제어 프로그램과 설정을 기반으로 외부 인터페이스를 통해 입출력되는 센서, 영상 및 통신 신호를 처리하고 구동부를 제어하여 이동체를 운행하며 제어 상태 정보와 전송 영상을 생성하는 이동체 제어를 위한 전용 제어부와; 상기 전용 제어부의 인터페이스들과 스마트 단말기에 적용된 표준 인터페이스를 연동시키는 연동 인터페이스와; 상기 연동 인터페이스를 통해 상기 전용 제어부에 연결되고 지상국과 광역 무선 통신망을 통해 연결되어 상기 전용 제어부에서 수신한 제어 상태 정보와 전송 영상을 지상국에 전송하고, 지상국으로부터 수신한 운행 정보나 이동체 원격 제어 정보를 상기 전용 제어부의 이동체 제어 프로그램 및 설정에 따른 입출력 정보로 프로토콜 변환하여 전용 제어부에 제공하며, 지상국 요청에 따라 상기 전용 제어부의 제어 설정 인터페이스를 통해 이동체의 운행 중에 상기 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하는 스마트 단말기를 포함한다.
일례로서, 상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 지상국의 요청에 따라 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하며, 상기 전용 제어부는 상기 리셋되는 동안 이동체 기본 제어 상태를 유지할 수 있다.
일례로서, 상기 스마트 단말기는 내장 카메라를 포함하고, 내장 카메라로 촬영된 영상을 리사이즈하여 상기 전용 제어부에 영상 정보로 제공하고 상태 정보가 온스크린 디스플레이 방식으로 표시된 전송 영상을 수신하여 지상국에 제공할 수 있다.
일례로서, 상기 스마트 단말기는 자체적으로 카메라와 해당 카메라를 통해 촬영되는 영상을 저장하는 메모리를 구비하고, 운행 시 영상을 촬영 및 저장하고 상기 지상국의 요청에 따라 저장 내용의 검색 및 전송이나 실시간 전송을 제공할 수 있다.
일례로서, 상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 자신의 상태를 파악하여 기 설정된 기준에 따라 이상 여부를 판단하고, 이상 발생 시 이상 발생 종류에 따라 미리 설정된 대응 기능을 수행하여 이상에 대응할 수 있다.
일례로서, 상기 스마트 단말기는 이동체 센서들 중 스마트 단말기에 내장된 센서들에 대응되는 센서들의 출력들을 비교하여 이동체 센서의 오류를 검출하거나 전용 제어부의 제어 상태 정보를 통해 이동체 센서 이상을 파악하면 상기 이동체 센서를 사용하도록 되어 있는 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하고 내장된 센서의 출력을 상기 이동체 센서의 출력에 맞추어 변환한 후 상기 전용 제어부에 제공할 수 있다.
일례로서, 상기 스마트 단말기는 지상국과의 통신 연결 이상이 판단되면 새로운 지상국과의 연결을 대기하며 미리 수신된 운항 정보에 따라 자동 운항하되, 다른 지상국의 연결이 시도될 경우 인증을 통해 연동할 수 있다.
일례로서, 상기 스마트 단말기는 광역 통신망 외의 근거리 통신 구성을 포함하며, 상기 지상국의 요청에 따라 근거리 통신 정보를 광역 통신망에 연동시키는 억세스 포인트로 동작할 수 있다.
일례로서, 상기 스마트 단말기는 후방 및 전방 카메라를 구비하며, 지상국 요청에 따라 전방 카메라를 통해 이동체 내부 영상을 제공할 수 있다.
일례로서, 상기 스마트 단말기는 터치 디스플레이를 포함하며, 지상국 요청에 따라 터치 디스플레이의 표시 영상을 그대로 미러링하여 전송하고 지상국의 제어 신호를 터치 입력으로 처리할 수 있다.
본 발명의 다른 실시예에 따른 무인 이동체 원격제어 방법은 이동체 센서와 구동부를 제어하는 전용 제어부와 연결된 스마트 단말기가 광역 통신망으로 지상국에 접속하여 지상국으로부터 수신되는 운행 정보나 제어 정보를 기반으로 이동체를 제어하는 무인 이동체 원격제어 방법으로서, 지상국의 운행정보와 제어 정보를 수신한 스마트 단말기가 전용 제어부를 제어하여 이동체를 운행하면서 상기 전용 제어부가 제공하는 상태 정보와 전송 영상을 지상국에 광역 통신망을 통해 전달하는 단계와; 상기 스마트 단말기가 운행 중 지상국으로부터 전용 제어부에 기록되어 실행 중인 이동체 제어 프로그램이나 설정 변경에 대한 요청을 수신하는 경우 변경에 대한 정보를 수신한 후 운행 중에 상기 전용 제어부에 이동체 제어 프로그램이나 설정을 변경하는 단계와; 상기 스마트 단말기가 상기 전용 제어부의 상태 정보에 이상이 발생하거나 지상국으로부터 요청을 받는 경우 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하는 단계를 포함하되, 상기 전용 제어부는 이동체 제어 프로그램이나 설정 변경, 혹은 리셋되는 동안 이동체 기본 제어 상태를 유지할 수 있다.
본 발명 실시예에 따른 무인 이동체 원격제어 시스템 및 방법은 이동체 운행 제어를 위해 사용되고 있는 전용 제어부에 범용적으로 사용되는 스마트 단말기를 연결하고 해당 스마트 단말기에 전용 어플리케이션을 구성하는 것으로 다양한 프로토콜을 지원하면서 무인 이동체와 용이하게 연동하고, 이러한 연동을 통해 자동 항법 운항 제어나 실시간 영상 및 상태 모니터링이 가능하며, 이동체에 적용된 센서나 하드웨어 혹은 소프트웨어 이상 발생 시 용이한 리셋과 복원은 물론이고 운항 중 소프트웨어나 설정의 변경까지도 가능하게 되는 효과가 있다.
본 발명 실시예에 따른 무인 이동체 원격제어 시스템 및 방법은 이동체 운행을 위한 전용 제어부를 스마트 단말기가 광역 통신망을 통해 원격지 지상국 단말기나 지상국 관제 센터의 제어를 통해 관리하며, 스마트 단말기의 내장 카메라를 통한 고화질 영상을 저장한 후 지상국의 요청에 따라 검색 및 선별하여 제공하고, 이상 상황 발생 시 스마트 단말기를 미러링 방식으로 동기화하여 제어할 수 있도록 하여 저렴하면서도 다양한 방식으로 원격 제어가 가능하므로 고가의 무인 이동체를 원격지에서 제어할 때 안전하고 안정적으로 제어를 유지할 수 있는 효과가 있다.
본 발명 실시예에 따른 무인 이동체 원격제어 시스템 및 방법은 이동체 운행을 위한 전용 제어부에 연결되어 운행 관련 정보를 제공하는 이동체 센서들의 상태를 스마트 단말기가 자신에 내장된 센서들의 상태와 비교하여 이상 여부를 검증하고, 이상 발생 시 전용 제어부에 연결된 센서 사용 설정을 변경한 후 자신의 센서 측정값을 기 사용되는 값으로 변환하여 제공하여 센서 이상에 대한 대응이 가능하므로 고가의 무인 이동체를 안전하게 운행할 수 있는 효과가 있다.
도 1은 무인 이동체의 원격 제어 시스템 구성을 보인 예시도.
도 2는 무인 이동체에 적용되는 전용 제어부의 예시적 구성을 보인 개념도.
도 3은 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템의 구성을 보인 개념도.
도 4는 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템 중 무인 이동체에 구성되는 이동체 제어 블록을 보인 예시도.
도 5는 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 전용 제어부를 갱신하는 예를 보인 순서도.
도 6은 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 이상 발생에 대응하는 예를 보인 순서도.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 특히, 무인 이동체의 경우 본 발명의 실시예에서는 무인 비행체를 예시로 들고 있으나, 무인 선박이나 무인 차량 등의 경우도 동일한 기술적 원리가 적용될 수 있으므로 무인 이동체는 무인 비행체뿐만이 아닌 다양한 종류의 이동체들을 포괄적으로 의미하는 것이다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 무인 이동체의 원격 제어 시스템 구성을 보인 예시도로서, 도시된 바와 같은 무인 이동체(10)에 구성된 이동체 제어 블록(11~15)과 이를 시야가 미치는 거리에서 원격제어하는 지상 제어국(20)으로 구성된다.
상기 센서부(12)는 이동체의 운행을 위해 필요한 각종 센서로서 예컨대 가속도 센서, 자이로 센서, 지자계센서, 위치센서(GPS), 전력 센서 등을 포함할 수 있다.
구동부(13)는 이동체(10)의 운행에 필요한 추친력과 방향 제어 등을 위한 모터, 엔진, 서보모터, 솔레노이드 등일 수 있다.
카메라(14)는 이동체(10)의 운행 중 시야를 확인하거나 관찰 영역을 녹화하기 위한 영상을 제공할 수 있고, 통신부(15)는 와이파이(Wifi)나 RF 방식 통신 모듈로서, 지상 제어국(20)에 영상 정보와 상태 정보를 제공하고 운행을 위한 제어 정보를 수신할 수 있다.
전용 제어부(11)는 무인 이동체(10) 별로 다른 센서부(12), 구동부(13), 카메라(14) 및 통신부(15)의 종류와 기능 및 방식에 따라 연결될 인터페이스 및 처리 방식에 대한 설정과 이러한 설정 내용을 기반으로 해당 무인 이동체(10)의 종류와 기능에 따른 이동체 운행 제어를 수행하는 커스텀 이동체 제어 프로그램이 기록되어 실행된다. 즉, 전용 제어부(11)는 기본적으로 다양한 종류의 센서들, 구동부들, 통신 모듈들 및 카메라와 연동할 수 있는 기능이 정의되어 센서의 상태 및 통신 모듈을 통한 지상 제어국의 제어 명령에 따라 구동부를 제어하여 이동체를 운행할 수 있도록 하는 기본 구성이 마련되어 있는 이동체 제어용 상용 제어모듈일 수 있는데, 이를 사용하기 위해서는 어떠한 인터페이스 포트에 어떠한 센서들을 연결하고, 어떠한 통신 방식의 모듈을 연결하며, 어떠한 구동부를 어떠한 포트에 연결하여 어떠한 용도로 사용할 것인지에 대한 설정과 이러한 설정을 토대로 어떠한 운행 알고리즘을 통해서 제어를 수행할 것인지가 정의된 이동체 제어 프로그램을 별도로 생성한 후 이를 해당 전용 제어부(11)에 마련된 제어 설정 인터페이스를 통해서 다운로드하여 기록한 다음 해당 이동체 제어 프로그램을 실행시키는 방식을 이용한다.
예컨대 전용 제어부(11)는 제어 프로그램에 따라 특정한 센서의 값을 기준으로 구동부를 적절하게 제어하는 것으로 운행 상태를 유지하거나 변화시킬 수 있고, 지상국의 제어 명령에 따른 움직임을 특정 센서의 값들을 기준으로 적절하게 조절하여 원하는 결과가 나타나도록 할 수 있으며, 카메라로부터 영상을 수신하여 해당 영상에 각종 상태 정보를 온스크린 디스플레이 방식으로 삽입하여 이를 지상 제어국(20)에 송출할 수 있다.
또한, 최근의 전용 제어부(11)의 경우 제어 프로그램 이상이나 기타 원인에 의해 제어가 중단되는 경우에도 추락하지 않도록 기본적인 자세유지 기능이 독립적으로 수행되는 기능을 구비하고 있다.
하지만, 이러한 전용 제어부(11)를 이용하는 경우 지상 제어국(20)으로부터 실제 운행을 위한 직접적 제어를 수신하여 운행하는 원격 제어의 특성상 통신부(15)의 통신 범위를 벗어나는 경우 제어가 어려운 한계가 있다.
이러한 제어 거리의 문제를 해결하기 위해서 고출력 무선 통신 방식을 이용할 경우 이를 위한 무선 환경 구축 및 유지 비용이 높고, 고출력 통신 시 각종 규제와 노이즈가 많아 광역 원격 제어를 위해 필요한 비용과 성능 저하가 과도한 문제가 있다.
특히, 다양한 환경에서 사용되는 무인 이동체의 경우 운행 환경에 의한 물리적 충격이나 커스텀 이동체 제어 프로그램의 오류, 센서의 이상, 통신 이상 등의 각종 이상 상황이 발생할 가능성이 높고 이를 운행 중 복구하기 어려워 원격제어 시 고가의 무인 이동체가 파손되거나 망실되는 경우가 발생할 수 있으므로 광역 원격제어가 범용적으로 사용되기 어렵다.
도 2는 본 발명의 실시예에 적용되는 전용 제어부(100)의 구성을 보인 것으로, 도시된 바와 같이 구동을 위한 전원부(180)로부터 전원을 받아 동작하는 것으로서, 설정을 포함하는 이동체 제어 프로그램이 기록되어 실행되는 제어 유닛(120)과, 이러한 제어 유닛(120)에 대한 설정 정보 변경이나 이동체 제어 프로그램의 기록이 가능하도록 하는 제어 설정 인터페이스(110)와, 이러한 제어 유닛(120)과 각종 외부 구성들(통신부, 센서부, 카메라, 사용자 정의 입출력, 구동부)과 연동하기 위한 외부 인터페이스(130)와, 전원부(180)와 연결되어 전용 제어부(100) 및 외부 인터페이스로 연결된 외부 구성들 중 전원이 필요한 구성에 전원을 제공하는 전원 관리 유닛(140)과, 카메라를 통해 제공되는 영상을 적절한 해상도로 변경하여 센서값이나 운행에 관련된 각종 상태 정보들을 온스크린 디스플레이 방식으로 삽입하여 전송할 영상을 생성하여 출력하는 영상 처리 유닛(150)과, 제어 유닛(120)의 이상 발생 시 기본적인 자세 제어나 위치 유지 등의 최소 기본 동작 제어가 독립적으로 수행되는 운전 제어 유닛(160)과, 각종 구동부들을 적절한 전력과 제어 방식으로 제어하는 구동 제어 유닛(170)을 포함한다.
제어 유닛(120)은 예를 들어 마이크로 프로세서 유닛(MCU)의 구조를 가질 수 있는데, 통상 실행될 제어 프로그램 개발 단계나 설치 단계에서 이동체 제어 프로그램이 기록된다. 이러한 이동체 제어 프로그램이나 설정 변경은 이동체 생산, 관리 단계에서 이루어지며, 제어 설정 인터페이스(110)는 이러한 제어 유닛(120)에 기록될 프로그램을 온칩 상태에서 기록할 수 있는 ICSP(In Circuit Serial Programming) 인터페이스일 수도 있고, 제어 유닛(120)이 부트로더(하드웨어를 초기화하고 프로그램 이미지를 로드하여 실행하며, 이러한 프로그램 이미지를 변경할 경우 이러한 변경된 프로그램 이미지를 다시 로드하여 기능을 수행하는 구성) 기능을 구비할 경우 이러한 부트로더에 제어 프로그램 이미지를 제공하는 인터페이스 일 수 있다.
본 발명의 실시예에 따른 무인 이동체 원격제어 시스템은 이러한 전용 제어부(100)의 구성을 최대한 활용함으로써 비교적 저렴한 비용으로 광역 원격 제어 기능과 이상 상태에 대한 파악 및 복구 기능을 제공하며, 기존 무인 이동체 시스템을 용이하게 재활용할 수 있도록 하여 범용성을 높일 수 있는 방식으로, 이러한 전용 제어부(100)에 스마트 단말기(200)를 연동시킨 구조를 가진다.
도 3은 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템의 구성을 보인 개념도이다. 도시된 바와 같이 무인 이동체에 구성되는 이동체 제어 블록(점선)이 광역 무선 통신망을 포함하는 통신망(300)을 통해서 지상국(400)과 연동하는 구성을 보인 것이다.
도시된 바와 같이 이동체 제어 블록은 전용 제어부(100)와, 해당 전용 제어부(100)에 연결되는 센서부(101), 구동부(102), 카메라(103) 및 이러한 전용 제어부(100)와 연동 인터페이스(250)를 통해 연동되는 스마트 단말기(200)로 구성된다.
스마트 단말기(200)는 일반적으로 알려져 있는 스마트폰, 태블릿, 이동통신 단말기 등과 같이 내부적으로 다양한 어플리케이션이 설치되어 동작할 수 있고, 3G, 4G(LTE, LTE-A) 와 같은 광역 이동 통신을 지원하고 와이파이(WiFi)나 블루투스(Bluetooth) 등의 근거리 통신을 지원함과 아울러 다양한 센서(가속도, 지자계, 자이로스코프, 위치(GPS), 조도 센서 등)를 구비하며, 고해상도 카메라(후방 카메라, 전방 카메라)를 내장한 단말기를 의미한다.
이러한 스마트 단말기(200)는 표준화된 유선 인터페이스 포트를 구비하며 대부분 시리얼 방식으로 데이터를 송수신하기 때문에 이를 통해서 전용 제어부(100)와 외부 인터페이스를 통해 통신함과 아울러 제어 설정 인터페이스를 통해 전용 제어부의 설정이나 제어 프로그램을 갱신하고 리셋하기 위해서 연동 인터페이스(250)를 더 구성한다.
이러한 연동 인터페이스(250)는 상기 전용 제어부(100)의 인터페이스들과 스마트 단말기(200)에 적용된 표준 인터페이스를 연동시키기 위해서 내부적으로 직렬과 병렬 신호를 변환하는 구성이나 특정 정보를 특정한 타이밍에 제공하기 위한 변환 구성들이 포함될 수 있으며, 이러한 신호 변환 구성이 전용 제어부(100)에 내장될 경우 인터페이스 간을 전기적으로 연결하는 연결 선로일 수 있다.
도시된 스마트 단말기(200)를 포함한 이동체 제어 블록은, 크게 전용 제어부(100)와 스마트 단말기(200)로 구성되는데, 전용 제어부(100)가 무인 이동체의 기본적인 운행 제어와 기본적인 모니터링 정보 생성은 이동체 제어에 적합한 속도와 성능으로 빠르게 수행하고, 스마트 단말기(200)가 이러한 전용 제어부(100)와 연동하면서 지상국(400)과 광역 통신 방식으로 통신하여 상위 레벨에서 포괄적 운행이나 광역 운행에 관하여 제어하고 모니터링 정보를 제공한다. 이를 통해서 넓은 지역에 대한 지점(GPS 좌표) 기반 운행이나 부가 기능의 수행(예컨대, 수집 정보의 분석이나 통신 중계기 기능, 비콘 신호 발생, 농약 살포, 물체의 운반, 경고 방송 등)이 가능함과 아울러 운행 중인 상황에서 전용 제어부(100)를 리셋하거나 전용 제어부(100)의 제어 프로그램을 갱신하거나 설정을 변경하는 등의 운행 중 기능 갱신 및 오류 복구가 가능하다. 또한, 스마트 단말기(200)에 이미 다양한 센서들이 존재하고 있기 때문에 전용 제어부(100)의 운행 상태 정보를 기반으로 센서부(101)의 이상을 검증하거나 이상 시 이를 대체할 수 있고, 카메라(103)의 기능 역시 스마트 단말기(200)에 내장된 기능으로 대체할 수 있다.
즉, 스마트 단말기만으로 이동체를 직접 제어하고자 할 경우 스마트 단말기의 운영체제 특성상 멀티태스킹 우선순위나 작업 처리 순위 때문에 이동체의 직접 제어에 지연이 발생하거나 처리가 즉각적으로 이루어지지 않을 수 있고, 이러한 약간의 제어 처리 지연에 의해서도 이동체가 파손되거나 망실될 가능성이 존재하기 때문에 스마트 단말기만으로 이동체를 제어하는 것은 바람직하지 않으며, 도시된 바와 같이 즉각적 제어가 필수적인 이동체 제어는 전용 제어부가 수행하도록 하고 스마트 단말기는 이러한 전용 제어부를 관리하는 방식이 안정적 제어에 가장 적합하다. 또한, 이러한 구성을 채택함으로써 실질적인 자동항법 운행은 스마트 단말기에서 대부분 처리하게 되므로 지상국(400)의 구성을 간소화할 수 있게 된다.
지상국(400)은 광역에서 이동체를 원격 제어하는 구성으로 다양한 종류의 지상국 단말기가 사용될 수 있는데, 스마트 단말기(420)나 일반 컴퓨터(410)를 가리지 않고 이동 통신망(300)을 통해 연결되거나 혹은 인터넷을 통해 연결된 다양한 종류의 단말기를 이용할 수 있다.
한편, 지상국(400)은 무인 이동체의 스마트 단말기(200)와 이동통신망(300)을 통해 직접 연결하여 간단한 제어 방식으로 관제할 수 있으며, 필요한 경우 이동체의 스마트 단말기(200)에 대한 접속 정보로 여러 지상국들이 선택적으로 접속하여 관제할 수 있다. 즉, A 지상국에서 관제하다가 광역 통신을 중단하고(이 경우에도 무인 이동체는 설정된 운행 경로에 따라 자동 운행됨) B 지상국에서 무인 이동체의 스마트 단말기에 광역 통신으로 접속하여 관제를 지속할 수 있다.
결국, 도시된 바와 같이 높은 성능과 다양한 어플리케이션의 설치 및 구동과 광역 통신을 제공하고 자체 센서들과 카메라를 통해서 다양한 서비스를 제공할 수 있지만 범용 운영체제 상에서 그래픽 인터페이스를 기반으로 동작하기 때문에 비교적 순간 대응에 한계가 있는 스마트 단말기(200)와 무인 이동체 제어를 위해서 최적화된 전용 제어부(100)의 효과적인 결합에 의해서 무인 이동체 제어 정밀도와 안정성은 그대로 유지하면서 스마트 단말기의 높은 연산 성능이나 광역 통신 성능, 내장 센서들의 활용 등이 가능하여 각종 이상 상황에 대한 대응과 복원이 가능하고 다양한 부가 서비스 제공이 가능한 무인 이동체 원격 제어가 가능하게 된다.
도 4는 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템 중 무인 이동체에 구성되는 이동체 제어 블록의 구성을 보인 구성도이다.
도시된 바와 같이 스마트 단말기(200)는 연동 인터페이스(250)를 통해 전용 제어부(100)와 연동하는데, 전용 제어부(100)의 외부 인터페이스(130), 제어 설정 인터페이스(110) 및 전원 관리 유닛(140)과 연동한다.
기본적으로 스마트 단말기(200)는 광역 통신망(3G, 4G(LTE, LTE-A) 이동통신 데이터망)을 통해 지상국(400)과 연결되며, 지상국(400)의 제어 요청에 따라 전용 제어부(100)의 운행을 제어하고, 전용 제어부(100)가 제공하는 제어 상태 정보나 카메라 영상을 처리한 전송 영상을 지상국(400)에 제공한다.
이러한 스마트 단말기(200)의 도시된 구성을 살펴보면, 우선 전용 제어부(100)의 제어 상태 정보나 지상국의 요청에 따라 상기 전용 제어부(100)가 이동체 제어를 위해 내부적으로 보유한 정보 및 지상국에서 수신된 이동체의 운행정보를 백업하고 상기 전용 제어부(100)를 리셋한 후 상기 백업된 내용으로 복원하는 리셋 관리부(245)와, 전용 제어부(100)가 제공하는 제어 상태 정보에 포함된 이동체 센서 정보와 자체적으로 내장하고 있는 센서들과의 편차를 확인하고, 필요한 경우 내장하고 있는 센서값을 이동체 센서에 대응되는 규격으로 변환하여 제공하는 센서 관리부(270)와, 지상국과 정보를 주고 받는 광역 통신과 필요한 경우 억세스 포인트로 동작하는 근거리 통신(와이파이, 블루투스 등) 기능을 제공하는 복합 통신부(280)와, 내장된 카메라를 통해서 이동체 외부의 고화질 영상(예컨대 스마트 단말기 후면에 내장되는 고화질 카메라)이나 이동체 내부의 영상(예컨대 스마트 단말기의 전면에 내장되는 카메라)을 촬영하여 내장 혹은 외장 메모리에 저장하며 지상국이 저장된 영상을 검색 및 선택하거나 실시간 전송하도록 하는 영상 저장 및 관리부(225)와, 전용 제어부(100)가 제공하는 전송 영상이나 영상 저장 및 관리부(225)의 영상을 지상국에 스트리밍 영상으로 제공하는 영상 전송부(220)와, 지상국이 제공하는 광역 운행 정보를 분석하여 전용 제어부(100)의 운행을 제어하는 것으로 자동 항법이 가능하도록 하는 운행 관리부(230)와, 지상국의 요청에 따라 현재 스마트 단말기의 터치 디스플레이의 표시 영상을 그대로 미러링하여 전송하고 지상국의 제어 신호를 터치 입력으로 처리하는 미러링 동기화부(290)와, 운행 중 전용 제어부(100)의 설정이나 제어 유닛(120)에서 실행 중인 이동체 제어 프로그램을 제어 설정 인터페이스(110)를 통해 갱신하는 프로그램 및 설정 갱신부(260)와, 전용 제어부(100) 제어 상태 정보나 지상국의 제어, 자신의 상태를 파악하여 기 설정된 기준에 따라 이상 여부를 판단하고, 이상 발생 시 이상 발생 종류에 따라 미리 설정된 대응 기능을 수행하는 이상 판단부(240)와, 전용 제어부(100)의 커스텀 설정 및 제어 프로그램에 따른 전용 제어부(100) 프로토콜과 범용적인 지상국 제어 프로토콜을 변환하여 상호 연동하도록 하는 연동 변환부(250)와, 이러한 각 구성부들(220 내지 290)을 통합 관리하는 원격 제어부(210)를 포함한다.
여기서, 영상 전송부(220)는 스마트 단말기(200)에 내장된 카메라를 통해서 촬영된 영상을 전용 제어부(100)에 제공 혹은 리사이즈하여 제공하고, 전용 제어부(100)가 가공한 전송 영상을 수신하여 지상국에 제공하는 것으로 이동체 카메라 기능을 스마트 단말기(200)의 내장 카메라로 대체할 수도 있고, 이러한 기능이 선택적으로 동작할 수도 있다.
프로그램 및 설정 갱신부(260)의 동작에 의해 전용 제어부(100)의 실행 중인 제어 프로그램(혹은 설정)이 갱신되는 경우 전용 제어부(100)는 그 동작이 중단되고 재시동을 위해서 리셋되어야 하므로 이 경우 리셋 관리부(245)와 연동할 수 있다. 본 발명의 실시예에서 전용 제어부(100)의 설정 변경은 전용 제어부(100)에서 실행중인 제어 프로그램의 재 프로그래밍(라이팅)이 필요하거나 필요하지 않을 수 있으며, 제어 프로그램에 포함된 설정 변경의 경우 제어 프로그램의 갱신과 동일하게 처리될 수 있다.
한편, 앞서 설명했던 바와 같이 전용 제어부(100)의 제어 유닛(120)의 이동체 제어 프로그램이 실행되면 센서부의 센싱 상태나 제어 조작에 따라 구동부를 제어하고 영상을 처리하여 전송 영상을 생성하며 전원을 관리하면서 이동체 운행을 제어한다. 이러한 전용 제어부(100)의 제어는 기본적으로 지상국의 직접적 원격 조작 신호를 수신하고 일방적인 전송 영상의 제공이 기본이므로 여러 지점을 경유하는 자동 항법 제어나 영상을 분석하여 그에 따라 제어를 수행하도록 하는 등의 복합적인 제어를 위한 구성은 포함되어 있지 않으며, 이동체 제어 프로그램과 설정의 종류에 따라 제어 방식과 성능도 이동체마다 상이할 수 있다.
따라서, 스마트 단말기(200)에 구성된 연동 변환부(250)는 지상국이 제공하는 이동체 제어 및 운행 제어에 대한 정보를 전용 제어부(100)가 처리할 수 있도록 제어 프로토콜을 변환하거나 제어 타이밍으로 변환하여 전용 제어부(100)에 제공하고, 전용 제어부(100)로부터 상태 정보와 전송 영상을 수신하여 지상국이 원하는 형태로 변환한다. 예컨대, 특정 지점을 중심으로 원을 그리면서 선회하도록 하는 지상국의 제어 정보를 수신한 경우 연동 변환부(250)는 이를 해당 전용 제어부의 제어 프로그램이 받아들일 수 있는 일련의 제어 명령으로 변환하여 이를 제공할 수 있으며, 이러한 연동 변환부(250)의 변환 설정은 전용 제어부(100)에서 수행중인 이동체 제어 프로그램의 설정을 기반으로 할 수 있다.
이상 판단부(240)는 전용 제어부(100)의 제어 상태 정보를 기반으로 전용 제어부(100)의 오작동 여부를 판단하거나 이동체 센서의 이상을 판단하여 전용 제어부(100)의 오작동이나 작동 중지 등을 판단하면 리셋 관리부(245)를 통해 전용 제어부(100)를 리셋하고, 이동체 센서의 이상을 판단하면 센서 관리부(270)를 통해서 해당 이동체 센서를 사용하도록 설정되어 있는 전용 제어부(100)의 사용 센서의 설정을 스마트 단말기의 센서로 변경한 후 내장 센서의 값을 이동체 센서 출력에 대응하도록 변경하여 제공할 수 있다. 만일 스마트 단말기(200)의 자체 이상이 판단되면 스마트 단말기(200) 자체를 리셋하는 구성을 더 부가할 수도 있다(특히, 최근의 스마트 단말기(200)는 자체적으로 처리 속도가 일정 수준 이하가 되거나 정지 상태가 되면 자동적으로 리셋이 수행되므로 스마트 단말기(200)의 기능이 동작하지 않는 상황이 지속될 가능성은 낮다). 한편, 스마트 단말기(200)의 광역 통신 이상이 발생할 경우 이상 판단부(240)는 해당 광역 통신을 중단하고 새로운 지상국의 접속을 대기하도록 하며, 기존 지상국이나 새로운 지상국이 접속을 시도할 경우 인증 절차를 수행하여 인증된 지상국인 경우 연동을 재개하도록 한다. 이를 통해서 복수 지상국이 운행 중인 단일 무인 이동체를 순차적으로 관제할 수도 있게 된다.
한편, 원격 제어부(210)는 전용 제어부(100)가 제공하는 제어 상태나 전송 영상 혹은 영상 내장 카메라를 통한 영상을 분석하여 이동 객체를 파악하거나 지형을 파악하거나, 특정 감시 목적에 따른 분석(화재, 산불 등) 등이 가능하며, 근거리 통신 수단을 중계기로 활용하여 이동체가 위치한 지역에 위치한 근거리 통신 수단(예컨데 블루투스)에 대한 원격 정보 교환이 가능하도록 하는 등 다양한 부가 서비스가 가능할 수 있다. 또한, 이동체의 종류와 기능에 따라 비콘 신호 발생, 농약 살포, 물체의 운반, 경고 방송, 지형 탐지 등의 수질검사, 녹조류 검사, 어군탐지, 부이 관리, 지형 탐지 등의 다양한 부가 기능 수행도 가능할 수 있음은 물론이다.
이렇게, 스마트 단말기(200)를 통해서 무인 이동체의 제어에 최적화된 전용 제어부를 관리하면서 통합적인 관제가 가능하도록 하고, 지능적인 이상 판단과 그 복구가 가능하여 광역 원격 제어에 따른 우려를 줄일 수 있으며 어플리케이션의 추가나 변경을 통해서 다양한 부가 서비스들을 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 전용 제어부를 갱신하는 예를 보인 순서도로서, 도시된 바와 같이 무인 이동체에 구성되는 전용 제어부에 대해서 해당 무인 이동체의 센싱 및 구동 특징에 맞추어 생성된 전용 제어부 프로그램을 라이팅하고 필요한 설정을 완료하여 운행 준비를 마친다.
이후 이동체 운행을 위해서 스마트 단말기가 지상국으로부터 운행 경로 정보를 수신한다. 이러한 운행 경로 정보는 운행할 각 위치들에 대한 GPS 정보들과 지형 정보(예컨대, 운행 경로 상 고도 정도 등)를 포함할 수 있다.
스마트 단말기는 운행 경로 정보를 기반으로 전용 제어부를 제어하여 이동체의 운행을 관리하며 전용 제어부로부터 제어 상태 정보를 수신하고 전송 영상 정보를 수신하여 이를 지상국이 원하는 형태로 변환하여 광역 통신 방식으로 전송한다.
이렇게 스마트 단말기가 운행을 유지하면서 관련 모니터링 정보(제어 상태 정보 및 전송 영상)를 지상국에 제공하는 가운데, 지상국에서는 모니터링 정보를 토대로 새로운 운행 정보를 제공하거나, 설정 변경 정보를 제공하거나 혹은 영상 소스나 해상도 등을 선택하는 정보를 제공할 수 있다. 이를 수신한 스마트 단말기는 새로운 운행 정보로 기존 운행 정보를 갱신하여 운행을 지속할 수 있고, 설정 변경에 따라 제어 기준을 변경하거나 센서를 변경할 수 있으며, 이동체 카메라 대신 스마트 단말기의 내장 카메라를 이용하여 영상을 전송할 수 있다. 이러한 제어에 미러링 방식을 이용할 수도 있다.
이러한 운행 중 지상국의 관제 중 지상국이 전용 제어부에서 실행 중인 이동체 제어 프로그램의 갱신을 요청하는 경우 구비하고 있던 새로운 이동체 제어 프로그램이나 지상국으로부터 수신한 새로운 이동체 제어 프로그램으로 전용 제어부의 이동체 제어 프로그램을 갱신하게 되는데, 이를 위해서 우선 운행정보와 이동체 제어를 위해 전용 제어부에서 관리하던 제어 상태 정보들을 백업하고 전용 제어부를 프로그래밍 대기 상태로 전환시킨다. 이러한 상황에서도 전용 제어부의 운전 제어 유닛은 기본 운행 제어를 독립적으로 유지한다.
이후 새로운 이동체 제어 프로그램을 전용 제어부에 라이팅한 후 전용 제어부를 재 기동시키고 백업된 정보들을 활용하여 운행 상태를 복구하며 새롭게 실행되는 이동체 제어 프로그램에 맞추어 연동 정보를 재구성한다. 이러한 새로운 이동체 제어 프로그램에 따른 연동 정보는 해당 이동체 제어 프로그램에 대응되어 기 설정된 것일 수 있다.
이렇게 운행 중에도 전용 제어부의 이동체 제어 프로그램을 다시 라이팅하여 변경된 것으로 실행시킬 수 있으므로 이동체 제어 프로그램 개발이나 운행 중 기능의 업그레이드, 오류 수정 등이 용이하게 가능할 수 있다.
도 6은 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 이상 발생에 대응하는 예를 보인 순서도로서, 도시된 바와 같이 무인 이동체에 구성되는 전용 제어부에 대해서 해당 무인 이동체의 센싱 및 구동 특징에 맞추어 생성된 전용 제어부 프로그램을 라이팅하고 필요한 설정을 완료하여 운행 준비를 마친 후 스마트 단말기가 지상국으로부터 운행 정보를 수신하여 운행 경로를 설정하며 그에 따라 이동체를 운행한다. 이동체 운행 시 제어 상태 정보와 전송 영상이 지상국에 모니터링 정보로 제공되며, 필요한 경우 스마트 단말기는 내장 카메라를 통해서 고화질 영상 정보를 기록하고 제어 상태 정보를 포함하는 각종 운행 정보를 백업한다. 이러한 정보는 지상국이 검색하거나 요청하여 확인할 수 있다.
이렇게 이동체의 운행이 이루어지는 과정에서 스마트 단말기는 전용 제어부가 제공하는 제어 상태 정보나 스마트 단말기의 자체 상태를 기 설정된 기준에 따라 감시하는 것으로 이상 발생을 검출할 수 있다. 예컨대 전용 제어부가 일정 시간 제어 상태 정보나 전송 영상을 제공하지 않는다거나 스마트 단말기의 자체 처리 속도가 과도하게 느려진다거나, 제어 상태 정보에 포함된 센서들의 값이 스마트 단말기의 내장 센서의 값과 과도하게 차이가 발생한다거나, 지상국과 통신이 중단된다거나 하는 상황이 발생할 수 있으며, 스마트 단말기는 이를 구분하여 검출할 수 있다.
이렇게 이상이 발생되는 경우 해당 이상의 종류에 따라 전용 제어부나 스마트 단말기의 자체 이상으로 판단되면 전용 제어부나 스마트 단말기는 필요한 정보를 백업한 후 리셋을 수행하고 리셋 후 재기동 시 백업된 내용을 복구한다.
만일, 이동체 센서의 이상이 파악되며 전용 제어부의 사용 센서에 대한 설정을 변경한 후 스마트 단말기의 센서값을 이동체 센서와 같은 출력 형태로 변환하여 전용 제어부에 제공한다.
만일, 스마트 단말기의 광역 통신망에 이상이 발생되는 경우 상기 스마트 단말기는 새로운 지상국과의 연결을 대기하며 미리 수신된 운항 정보에 따라 자동 운항하되, 다른 지상국의 연결이 시도될 경우 인증을 통해 연동한다.
이상과 같이 스마트 단말기를 적용하는 것으로 다양한 종류의 이상에 대해서 대응할 수 있어 고가의 무인 이동체를 먼 거리에서 원격 제어하는 상황이라도 안심하고 운영할 수 있게 된다.
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
100: 전용 제어부 110: 제어 설정 인터페이스
120: 제어 유닛 130: 외부 인터페이스
140: 전원 관리 유닛 150: 영상처리 유닛
160: 운전제어 유닛 170: 구동제어 유닛
200: 스마트 단말기 210: 원격 제어부
220: 영상 전송부 225: 영상 저장 및 관리부
230: 운행 관리부 240: 이상 판단부
245: 리셋 관리부 250: 연동 변환부
260: 프로그램 및 설정 갱신부 270: 센서 관리부
280: 복합 통신부 290: 미러링 동기화부
300: 통신망 400: 지상국

Claims (11)

  1. 제어 설정 인터페이스를 통해 기록되는 이동체 제어 프로그램과 설정을 기반으로 외부 인터페이스를 통해 입출력되는 센서, 영상 및 통신 신호를 처리하고 구동부를 제어하여 이동체를 운행하며 제어 상태 정보와 전송 영상을 생성하는 이동체 제어를 위한 전용 제어부와;
    상기 전용 제어부의 인터페이스들과 스마트 단말기에 적용된 표준 인터페이스를 연동시키는 연동 인터페이스와;
    상기 연동 인터페이스를 통해 상기 전용 제어부와 연결되고 지상국과 광역 무선 통신망을 통해 연결되어 상기 전용 제어부에서 수신한 제어 상태 정보와 전송 영상을 지상국에 전송하고, 지상국으로부터 수신한 운행 정보나 이동체 원격 제어 정보를 상기 전용 제어부의 이동체 제어 프로그램 및 설정에 따른 입출력 정보로 프로토콜 변환하여 전용 제어부에 제공하며, 지상국 요청에 따라 상기 전용 제어부의 제어 설정 인터페이스를 통해 이동체의 운행 중에 상기 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하는 스마트 단말기를 포함하고,
    상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 자신의 상태를 파악하여 기 설정된 기준에 따라 이상 여부를 판단하고, 이상 발생 시 이상 발생 종류에 따라 미리 설정된 대응 기능을 수행하여 이상에 대응하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  2. 청구항 1에 있어서, 상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 지상국의 요청에 따라 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하며, 상기 전용 제어부는 리셋되는 동안 이동체 기본 제어 상태를 유지하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  3. 청구항 1에 있어서, 상기 스마트 단말기는 내장 카메라를 포함하고, 내장 카메라로 촬영된 영상을 리사이즈하여 상기 전용 제어부에 영상 정보로 제공하고 상태 정보가 온스크린 디스플레이 방식으로 표시된 전송 영상을 수신하여 지상국에 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  4. 청구항 1에 있어서, 상기 스마트 단말기는 자체적으로 카메라와 해당 카메라를 통해 촬영되는 영상을 저장하는 메모리를 구비하고, 운행 시 영상을 촬영 및 저장하고 상기 지상국의 요청에 따라 저장 내용의 검색 및 전송이나 실시간 전송을 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  5. 삭제
  6. 청구항 1에 있어서, 상기 스마트 단말기는 이동체 센서들 중 스마트 단말기에 내장된 센서에 대응되는 센서의 출력을 내장된 센서의 출력과 비교하여 이동체 센서의 오류를 검출하거나 전용 제어부의 제어 상태 정보를 통해 이동체 센서 이상을 파악하면 상기 이동체 센서를 사용하도록 되어 있는 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하고 내장된 센서의 출력을 상기 이동체 센서의 출력에 맞추어 변환한 후 상기 전용 제어부에 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  7. 청구항 1에 있어서, 상기 스마트 단말기는 지상국과의 통신 연결 이상이 판단되면 새로운 지상국과의 연결을 대기하며 미리 수신된 운항 정보에 따라 자동 운항하되, 다른 지상국의 연결이 시도될 경우 인증을 통해 연동하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  8. 청구항 1에 있어서, 상기 스마트 단말기는 광역 통신망 외의 근거리 통신 구성을 포함하며, 상기 지상국의 요청에 따라 근거리 통신 정보를 광역 통신망에 연동시키는 억세스 포인트로 동작하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  9. 청구항 1에 있어서, 상기 스마트 단말기는 후방 및 전방 카메라를 구비하며, 지상국 요청에 따라 전방 카메라를 통해 이동체 내부 영상을 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  10. 청구항 1에 있어서, 상기 스마트 단말기는 터치 디스플레이를 포함하며, 지상국 요청에 따라 터치 디스플레이의 표시 영상을 그대로 미러링하여 전송하고 지상국의 제어 신호를 터치 입력으로 처리하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.

  11. 이동체 센서와 구동부를 제어하는 전용 제어부와 연결된 스마트 단말기가 광역 통신망으로 지상국에 접속하여 지상국으로부터 수신되는 운행 정보나 제어 정보를 기반으로 이동체를 제어하는 무인 이동체 원격제어 방법으로서,
    지상국의 운행정보와 제어 정보를 수신한 스마트 단말기가 전용 제어부를 제어하여 이동체를 운행하면서 상기 전용 제어부가 제공하는 상태 정보와 전송 영상을 지상국에 광역 통신망을 통해 전달하는 단계와;
    상기 스마트 단말기가 운행 중 지상국으로부터 전용 제어부에 기록되어 실행 중인 이동체 제어 프로그램이나 설정 변경에 대한 요청을 수신하는 경우 변경에 대한 정보를 수신한 후 운행 중에 상기 전용 제어부에 이동체 제어 프로그램이나 설정을 변경하는 단계와;
    상기 스마트 단말기가 상기 전용 제어부의 상태 정보에 이상이 발생하거나 지상국으로부터 요청을 받는 경우 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하는 단계를 포함하되,
    상기 전용 제어부는 이동체 제어 프로그램이나 설정 변경, 혹은 리셋되는 동안 이동체 기본 제어 상태를 유지하는 것을 특징으로 하는 무인 이동체 원격제어 방법.
KR1020140171802A 2014-12-03 2014-12-03 무인 이동체 원격제어 시스템 및 방법 KR101530581B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140171802A KR101530581B1 (ko) 2014-12-03 2014-12-03 무인 이동체 원격제어 시스템 및 방법
PCT/KR2015/012938 WO2016089067A1 (ko) 2014-12-03 2015-11-30 무인 이동체 원격제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140171802A KR101530581B1 (ko) 2014-12-03 2014-12-03 무인 이동체 원격제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101530581B1 true KR101530581B1 (ko) 2015-06-22

Family

ID=53519541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140171802A KR101530581B1 (ko) 2014-12-03 2014-12-03 무인 이동체 원격제어 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101530581B1 (ko)
WO (1) WO2016089067A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007045A1 (ko) * 2015-07-06 2017-01-12 엘지전자 주식회사 무인 항공기, 이동 단말기 및 그것들의 제어방법
KR101732870B1 (ko) * 2016-02-12 2017-05-24 주식회사 이노와이어리스 드론을 이용한 네트워크 최적 위치 탐색 시스템
KR101761522B1 (ko) * 2015-10-30 2017-07-25 시아오미 아이엔씨. 무선 네트워크 접속 수립 방법, 장치, 시스템, 프로그램 및 저장 매체
WO2018092961A1 (ko) * 2016-11-18 2018-05-24 주식회사 승우 비행체를 이용한 통신서비스 시스템
KR20180089822A (ko) * 2017-02-01 2018-08-09 안지수 드론 조종 평가 시스템
KR20200114172A (ko) * 2019-03-27 2020-10-07 동강엠텍(주) 무인으로 운항되는 반잠수식 레저보트
WO2023069537A1 (en) * 2021-10-20 2023-04-27 Rotor Technologies, Inc. Methods and systems for remote controlled vehicle

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108476221B (zh) * 2017-04-07 2021-03-26 深圳市大疆创新科技有限公司 一种无人机的信号处理方法、设备、监听设备
CN108521815A (zh) * 2017-06-22 2018-09-11 深圳市大疆创新科技有限公司 用于移动终端的摇杆组件以及遥控系统
CN110303999A (zh) * 2019-06-29 2019-10-08 清华大学苏州汽车研究院(吴江) 一种无人驾驶汽车测试监控系统
WO2021159346A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 无人驾驶汽车的远程接管系统和方法、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035659A (ko) * 2004-04-08 2004-04-29 최영희 날개를 갖는 관측용 비행체의 구성 및 날개의 구동방법
JP2006213302A (ja) * 2005-01-24 2006-08-17 Ota Business Sozo Kyogikai 携帯電話回線による移動物体の広域・高精度制御方式
JP2014091335A (ja) * 2012-10-31 2014-05-19 Mobile Core Inc 飛行体を利用した無線通信システムおよび無線通信方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109767B2 (ja) * 1998-10-09 2008-07-02 ヤマハ発動機株式会社 無人ヘリコプタの飛行制御システム
KR100679690B1 (ko) * 2004-08-04 2007-02-07 바로비젼(주) 카메라폰이 장착되는 이동체와, 카메라폰이 장착되는이동체의 원격 제어시스템 및 화상정보 처리와 그 이동체원격 제어방법
KR101179912B1 (ko) * 2011-12-06 2012-09-06 이순창 복수의 휴대 단말을 연동시키는 더미 터치 스크린 시스템
KR101425598B1 (ko) * 2013-07-01 2014-08-04 한국지역난방공사 스마트폰을 이용한 주요 설비 모니터링 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035659A (ko) * 2004-04-08 2004-04-29 최영희 날개를 갖는 관측용 비행체의 구성 및 날개의 구동방법
JP2006213302A (ja) * 2005-01-24 2006-08-17 Ota Business Sozo Kyogikai 携帯電話回線による移動物体の広域・高精度制御方式
JP2014091335A (ja) * 2012-10-31 2014-05-19 Mobile Core Inc 飛行体を利用した無線通信システムおよび無線通信方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Embedded News 기사 "안드로이드 폰과 무인항공기를 이용한 감시시스템" (2012.03.05.) *
Embedded News 기사 "안드로이드 폰과 무인항공기를 이용한 감시시스템" (2012.03.05.)*

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007045A1 (ko) * 2015-07-06 2017-01-12 엘지전자 주식회사 무인 항공기, 이동 단말기 및 그것들의 제어방법
KR101761522B1 (ko) * 2015-10-30 2017-07-25 시아오미 아이엔씨. 무선 네트워크 접속 수립 방법, 장치, 시스템, 프로그램 및 저장 매체
US10136459B2 (en) 2015-10-30 2018-11-20 Xiaomi Inc. Method, device, and system for establishing wireless network connection
KR101732870B1 (ko) * 2016-02-12 2017-05-24 주식회사 이노와이어리스 드론을 이용한 네트워크 최적 위치 탐색 시스템
WO2018092961A1 (ko) * 2016-11-18 2018-05-24 주식회사 승우 비행체를 이용한 통신서비스 시스템
KR20180089822A (ko) * 2017-02-01 2018-08-09 안지수 드론 조종 평가 시스템
KR102050247B1 (ko) * 2017-02-01 2019-11-29 안진섭 드론 조종 평가 시스템
KR20200114172A (ko) * 2019-03-27 2020-10-07 동강엠텍(주) 무인으로 운항되는 반잠수식 레저보트
KR102163133B1 (ko) * 2019-03-27 2020-10-08 동강엠텍(주) 무인으로 운항되는 반잠수식 레저보트
WO2023069537A1 (en) * 2021-10-20 2023-04-27 Rotor Technologies, Inc. Methods and systems for remote controlled vehicle

Also Published As

Publication number Publication date
WO2016089067A1 (ko) 2016-06-09

Similar Documents

Publication Publication Date Title
KR101530581B1 (ko) 무인 이동체 원격제어 시스템 및 방법
US20210223794A1 (en) Aerial vehicle video and telemetric data synchronization
CN110027709B (zh) 自动化无人机系统
WO2018077050A1 (zh) 一种目标跟踪方法以及飞行器
US8818572B1 (en) System and method for controlling a remote aerial device for up-close inspection
US20140098990A1 (en) Distributed Position Identification
US20100118147A1 (en) Methods and apparatus for adaptively streaming video data based on a triggering event
US20170102699A1 (en) Drone control through imagery
US20200245217A1 (en) Control method, unmanned aerial vehicle, server and computer readable storage medium
CN111307291B (zh) 基于无人机的地表温度异常检测和定位方法、装置及系统
US20220248359A1 (en) Aircraft time synchronization system and method
US20140049654A1 (en) Information providing system, information providing device, image capture device, and computer program
CN110383712A (zh) 通信中继方法、中继飞行体、程序以及记录介质
WO2020154959A1 (zh) 多负载图传方法、控制系统、控制终端、无人机和服务器
US20230197034A1 (en) Ruggedized remote control display latency and loss of signal detection for harsh and safety-critical environments
CN110690514B (zh) 电池自放电周期调整方法及无人飞行器
WO2020121665A1 (ja) 情報処理装置
CN112995907A (zh) 一种监控系统、监控方法、存储介质和电子设备
US11551541B2 (en) Configuring devices in control systems
KR101986800B1 (ko) 드론 장착용/드론 원격 제어용 스마트 폰을 이용한 드론 제어 시스템 및 방법
JP7302431B2 (ja) 測定システムおよび測定方法
CN111491031A (zh) 一种救灾现场的机器人通信传输系统及方法
WO2020107465A1 (zh) 控制方法、无人机和计算机可读存储介质
KR102521235B1 (ko) 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법
KR20230101586A (ko) 농업용 자율 주행 차량 관제 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190710

Year of fee payment: 5