KR101083128B1 - 영상기반 무인항공기 비행시험 시스템 및 방법 - Google Patents

영상기반 무인항공기 비행시험 시스템 및 방법 Download PDF

Info

Publication number
KR101083128B1
KR101083128B1 KR1020100050665A KR20100050665A KR101083128B1 KR 101083128 B1 KR101083128 B1 KR 101083128B1 KR 1020100050665 A KR1020100050665 A KR 1020100050665A KR 20100050665 A KR20100050665 A KR 20100050665A KR 101083128 B1 KR101083128 B1 KR 101083128B1
Authority
KR
South Korea
Prior art keywords
flight
image
command
flight control
information
Prior art date
Application number
KR1020100050665A
Other languages
English (en)
Inventor
김산
Original Assignee
한국항공우주산업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주산업 주식회사 filed Critical 한국항공우주산업 주식회사
Priority to KR1020100050665A priority Critical patent/KR101083128B1/ko
Application granted granted Critical
Publication of KR101083128B1 publication Critical patent/KR101083128B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C19/00—Aircraft control not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Abstract

본 발명은 모니터링 장비와 비행제어컴퓨터와 비행모의컴퓨터와 영상센서 구동모의장비와 3D영상생성기 및 영상처리기를 포함하여 구성된 영상기반 무인항공기 비행시험 시스템과 제어명령을 전송하는 단계와 이를 통해 비행조종명령 및 영상센서 구동명령을 생성하는 단계와 비행정보와 영상센서 상태데이터를 시뮬레이션하는 단계와 3D영상을 생성하는 단계와 그 3D영상을 분석하는 단계 및 비행조종명령을 재생성하여 비행을 제어하는 단계를 포함하여 구성된 영상기반 무인항공기 비행시험 방법에 관한 것으로서 본 발명에 의할 경우 지상에서 가상의 3D영상을 이용한 모의 비행을 통해 무인항공기의 비행시험을 할 수 있으므로 안전하게 테스트를 할 수 있고, 시간과 비용이 절감되는 효과가 있다.

Description

영상기반 무인항공기 비행시험 시스템 및 방법{IMAGE BASED UAV FLIGHT TEST SYSTEM AND METHOD}
본 발명은 무인항공기(UAV:Unmanned Aerial Vehicle)의 비행시험 시스템 및 방법에 관한 것으로서, 보다 상세하게는 가상의 3차원 영상을 기반으로 하여 무인항공기를 제어하고 비행시험을 수행하는 영상기반 무인항공기 비행시험 시스템 및 방법에 관한 것이다.
종래에는 무인항공기의 비행시험을 하는 경우에 무인항공기의 각종 장비를 개별적으로 점검한 후 무인항공기의 실제 비행을 통해 비행정보를 획득하는 방법으로 비행시험을 실시하였다.
일반적으로 이러한 종래의 무인항공기 비행시험 시스템은 무인항공기 및 원격지에서 무인항공기의 비행을 제어하는 지상통제 차량을 포함하고, 무인항공기에 탑재되는 비행제어컴퓨터는 고도계, 속도계, 항법장비, 온도센서 등으로부터 비행정보를 획득함과 동시에 상기 지상통제차량의 통신장비로부터 전송받은 명령에 따라 무인비행기 조종면의 조종명령을 생성하였다.
이러한 종래의 무인항공기 비행시험 방법은 각 장비별로 개별 점검을 통하여 테스트해야 하므로, 하드웨어나 소프트웨어의 문제점을 발견하기 어려운 문제가 있었고 실 비행테스트로 검증을 해야 하므로 새로운 기술을 적용하고 테스트하는 경우에 그 기술이 불안정하거나 오작동하면 무인항공기를 잃을 수 있는 문제가 있었다. 따라서 새로운 기술을 무인항공기에 적용함에 있어서도 만전을 기해야 하므로 신기술을 적용하는데 많은 시간이 걸리고 비용이 증가하였다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 비행 전 비행제어 및 소프트웨어를 검증함으로써 위험요소를 사전에 제거하고, 기술적용의 신속성을 보유할 수 있으며, 실제 비행시험의 일부를 대체하여 비용이 감소되도록 하는 영상기반 무인항공기 비행시험 시스템 및 방법을 제공하고자 한다.
본 발명은 실시간으로 비행과 관련된 상태정보를 표시하고, 제어명령을 비행제어컴퓨터로 전송하는 모니터링 장비;와 상기 제어명령으로부터 비행조종명령과 영상센서 구동명령을 생성하여, 상기 비행조종명령은 비행모의컴퓨터로 전송하고 상기 영상센서 구동명령은 영상센서 구동모의장비로 전송하는 비행제어컴퓨터;와 상기 비행조종명령으로부터 비행 운동을 실시간으로 시뮬레이션하여 시뮬레이션된 비행정보를 상기 비행제어컴퓨터로 전송하는 비행모의컴퓨터;와 상기 영상센서 구동명령으로부터 상기 영상센서의 구동상황을 실시간으로 시뮬레이션하여 시뮬레이션된 영상센서 상태데이터를 상기 비행제어컴퓨터와 3D영상생성기로 전송하는 영상센서 구동모의장비;와 상기 시뮬레이션된 비행정보와 상기 시뮬레이션된 영상센서 상태데이터를 수신하고 이를 반영하여 연산함으로써 실제 무인항공기의 영상센서로부터 획득한 영상과 유사한 가상의 3D영상을 생성하는 3D영상생성기; 및 상기 3D영상생성기에서 생성된 상기 3D영상을 분석하고 처리하여 그 영상처리 데이터를 상기 비행제어컴퓨터로 전송하는 영상처리기;를 포함하여 구성되고, 상기 비행제어컴퓨터는, 상기 비행모의컴퓨터로부터 수신한 상기 시뮬레이션된 비행정보와 상기 영상처리기로부터 수신한 상기 영상처리 데이터를 이용하여 상기 비행조종명령을 재생성하고, 재생성된 비행조종명령을 통해 비행제어를 실시하며, 상기 비행제어컴퓨터에서 수신하는 모든 비행과 관련된 상태정보를 실시간으로 상기 모니터링 장비로 전송하는 것을 특징으로 하는 영상기반 무인항공기 비행시험 시스템을 제공한다.
여기서, 상기 시뮬레이션된 비행정보에는, 구동기 피드백 신호, 고도 정보, 속도 정보, 항법 정보, 자세 정보, 엔진 피드백 데이터 및 센서 피드백 데이터 중 어느 하나 이상이 포함되는 것을 특징으로 할 수 있다.
여기서, 상기 재생성된 비행조종명령에는, 영상추적 명령, 표적위치 계산명령, 카메라유도명령, 영상기반 자동이착륙명령 및 영상기반 충돌회피명령 중 어느 하나 이상이 포함되는 것을 특징으로 할 수 있다.
여기서, 상기 3D영상은, 좌표값이 표시되는 지도데이터를 포함하는 것을 특징으로 할 수 있다.
또한, 본발명은 (a) 실시간으로 비행과 관련된 상태정보가 표시되는 모니터링 장비를 통해 비행제어컴퓨터로 제어명령을 전송하는 단계;와 (b) 상기 비행제어컴퓨터가 상기 제어명령을 수신하여 비행조종명령과 영상센서 구동명령을 생성하고, 상기 비행조종명령은 비행모의컴퓨터로 전송하고 상기 영상센서 구동명령은 영상센서 구동모의장비로 전송하는 단계;와 (c) 상기 비행모의컴퓨터가 상기 비행조종명령을 수신하여 이로부터 비행 운동을 실시간으로 시뮬레이션하고 시뮬레이션된 비행정보를 상기 비행제어컴퓨터로 전송하는 단계;와 (d) 상기 영상센서 구동모의장비가 상기 영상센서 구동명령을 수신하여 이로부터 상기 영상센서의 구동상황을 실시간으로 시뮬레이션하고 시뮬레이션된 영상센서 상태데이터를 상기 비행제어컴퓨터와 3D영상생성기로 전송하는 단계;와 (e) 상기 3D영상생성기가 상기 시뮬레이션된 비행정보와 상기 시뮬레이션된 영상센서 상태데이터를 수신하고 이를 반영하여 연산함으로써 실제 무인항공기의 영상센서로부터 획득한 영상과 유사한 가상의 3D영상을 생성하는 단계;와 (f) 영상처리기가 상기 3D영상생성기에서 생성된 상기 3D영상을 분석하고 처리하여 그 영상처리 데이터를 상기 비행제어컴퓨터로 전송하는 단계; 및 (g) 상기 비행제어컴퓨터가 상기 시뮬레이션된 비행정보와 상기 영상처리 데이터를 이용하여 상기 비행조종명령을 재생성하고, 재생성된 비행조종명령을 통해 비행제어를 실시하는 단계;를 포함하여 구성되고, 상기 비행제어컴퓨터는, 상기 비행제어컴퓨터에서 수신하는 모든 비행과 관련된 상태정보를 실시간으로 상기 모니터링 장비로 전송하는 것을 특징으로 하는 영상기반 무인항공기 비행시험 방법을 제공한다.
여기서, 상기 시뮬레이션된 비행정보에는, 구동기 피드백 신호, 고도 정보, 속도 정보, 항법 정보, 자세 정보, 엔진 피드백 데이터 및 센서 피드백 데이터 중 어느 하나 이상이 포함되는 것을 특징으로 할 수 있다.
여기서, 상기 재생성된 비행조종명령에는, 영상추적 명령, 표적위치 계산명령, 카메라유도명령, 영상기반 자동이착륙명령 및 영상기반 충돌회피명령 중 어느 하나 이상이 포함되는 것을 특징으로 할 수 있다.
여기서, 상기 3D영상은, 좌표값이 표시되는 지도데이터를 포함하는 것을 특징으로 할 수 있다.
본 발명은 지상에서 3D 가상영상을 통하여 무인항공기 제어를 수행함으로써 실 비행시 발생하는 위험요소를 분석할 수 있으며, 모의 비행을 통해 무인항공기의 비행시험을 할 수 있으므로 안전하게 테스트를 할 수 있고, 시간과 비용이 절감되는 효과가 있다.
또한, 신기술을 무인항공기에 적용하는 경우에도 지상에서 모의 비행시험을 통해 이를 검증할 수 있으므로 신기술을 적용하는 시간이 단축되는 효과가 있다.
도 1은 본 발명에 따른 영상기반 무인항공기 비행시험 시스템의 구성도,
도 2는 본 발명에 따른 영상기반 무인항공기 비행시험 방법의 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 여기서, 각 도면에 제시된 동일한 참조부호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 바람직한 실시예에 따른 영상기반 무인항공기 비행시험 시스템의 구성도이고, 도 2는 본 발명의 바람직한 실시예에 따른 영상기반 무인항공기 비행시험 방법의 흐름도이다.
이하에서는 먼저 상기 영상기반 무인항공기 비행시험 시스템의 각 구성에 대해서 도 1을 참고하여 설명한 다음 상기 영상기반 무인항공기 비행시험 방법의 각 단계를 도 2를 참고하여 설명하고자 한다.
먼저, 도 1에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 영상기반 무인항공기 비행시험 시스템은 모니터링 장비(100), 비행제어컴퓨터(200), 비행모의컴퓨터(300), 영상센서 구동모의장비(400), 3D영상생성기(500) 및 영상처리기(600)를 포함하여 구성될 수 있다.
여기서, 모니터링 장비(100)는 실시간으로 비행과 관련된 상태정보를 표시하고 제어명령을 비행제어컴퓨터(200)로 전송하는 장치이다. 즉, 모니터링 장비(100)는 비행제어컴퓨터(200)에서 전송된 다양한 비행정보들을 실시간으로 모니터에 표시하여 외부의 조종자가 비행시험 상황을 한눈에 파악할 수 있도록 해주며, 이를 통해 외부 조종자는 무인항공기에 적절한 제어명령을 지시할 수 있게 된다. 상기 모니터링 장비(100)는 지상통제센터나 지상통제차량 등에 설치될 수 있다.
비행제어컴퓨터(200)는 실제 무인항공기에 탑재되는 장비로서 상기 제어명령으로부터 비행조종명령과 영상센서 구동명령을 생성하여, 상기 비행조종명령은 비행모의컴퓨터(300)로 전송하고 상기 영상센서 구동명령은 영상센서 구동모의장비(400)로 전송하는 역할을 한다. 상기 모니터링 장비(100)에서 전송된 상기 제어명령은 무인항공기 자체를 제어하는 비행조종명령과 무인항공기의 전면 등에 설치된 영상센서의 구동을 제어하는 영상센서 구동명령으로 나뉘어 질 수 있는데, 제어명령을 비행조종명령과 영상센서 구동명령으로 나누어 생성하는 작업을 비행제어컴퓨터(200)에서 수행하게 된다.
상기 비행조종명령에는 상기 무인항공기의 구동기, 고도, 속도, 항법, 자세, 센서 및 엔진 등을 제어하는 명령이 포함될 수 있다. 비행제어컴퓨터(200)에서는 상기 비행조종명령을 통해 무인항공기의 비행 운동을 제어한다. 또한 상기 비행조종명령은 이후 시뮬레이션된 비행정보들을 반영하여 재생성될 수 있는데 이에 대해서는 하기의 영상처리기(600) 부분에서 함께 설명한다.
상기 영상센서 구동명령은 상기 무인항공기를 통해 볼 수 있는 영상을 제어하는 명령으로서 실제 무인항공기의 비행에서는 영상센서를 조종하여 시선 및 시야를 변경하는 명령에 해당된다. 영상센서의 구동을 제어함으로써 무인항공기의 비행 시뮬레이션 상황을 모니터링 장비(100)에서도 실시간으로 파악할 수 있게 된다.
비행모의컴퓨터(300)는 상기 비행제어컴퓨터(200)로부터 수신한 상기 비행조종명령으로부터 비행운동을 실시간으로 시뮬레이션하며 시뮬레이션된 비행정보를 상기 비행제어컴퓨터(200)로 다시 전송하는 장치이다.
즉, 본 발명은 무인항공기를 실제로 비행시켜 테스트하는 것이 아니라 지상에서 모의 비행으로 테스트하는 것이므로, 무인항공기가 실제 비행상황에 있는 것과 같은 모의상황을 형성해주는 장치가 필요한데, 비행모의컴퓨터(300)가 그 역할을 수행한다. 구체적으로 비행모의컴퓨터(300)는 상기 비행조종명령에 따라 구동기 피드백 신호를 연산하고 비행 운동을 계산하여 무인항공기의 속도, 고도, 자세 등이 변경되는 것을 실시간으로 시뮬레이션한다. 따라서 비행모의컴퓨터(300)에 의해 실제 무인항공기의 비행이 제어되는 것과 같은 상황이 연출되며, 제어된 이후 시뮬레이션된 각종 비행정보는 실시간으로 비행제어컴퓨터(200)로 전송된다.
상기 시뮬레이션된 비행정보에는 구동기 피드백 신호, 고도 정보, 속도 정보, 항법 정보, 자세 정보, 엔진 피드백 데이터 및 센서 피드백 데이터 등이 포함될 수 있다.
영상센서 구동모의장비(400)는 상기 비행제어컴퓨터(200)로부터 상기 영상센서 구동명령을 수신하며, 이 명령에 따라 구동되는 상기 영상센서의 구동상황과 상태정보를 실시간으로 시뮬레이션하는 장치이다.
상기 비행모의컴퓨터(300)와 마찬가지로 영상센서 구동모의장비(400) 역시 시뮬레이션된 정보를 제공하는 장치인데, 비행모의컴퓨터(300)가 무인항공기의 고도나 자세 등의 비행정보를 시뮬레이션하는 장치라면, 영상센서 구동모의장비(400)는 무인항공기의 전면부 등에 부착된 영상센서의 구동상황과 구동 후의 시선이나 시야각 등의 상태정보를 시뮬레이션하는 장치이다. 이렇게 영상센서 구동모의장비(400)에 의해 시뮬레이션된 영상센서 상태데이터는 비행제어컴퓨터(200)와 3D영상생성기(500)로 각각 전송된다.
3D영상생성기(500)는 상기 시뮬레이션된 비행정보와 상기 시뮬레이션된 영상센서 상태데이터를 수신하고 이를 반영하여 실제 무인항공기의 영상센서로부터 획득한 영상과 유사한 가상의 3D영상을 생성하는 장치이다. 도 1에 도시된 바와 같이 상기 시뮬레이션된 비행정보는 상기 비행제어컴퓨터(200)에서 전송되어 3D영상생성기(500)에서 수신되며 상기 시뮬레이션된 영상센서 상태데이터는 상기 영상센서 구동모의장비(400)로부터 수신하게 된다.
상기에서 검토한 바와 같이 상기 시뮬레이션된 비행정보에는 무인항공기의 자세, 고도 등의 모의 정보가 포함되고, 상기 시뮬레이션된 영상센서 상태데이터에는 무인항공기의 시선이나 시야각 등에 대한 모의 정보가 포함되어 있으므로, 3D영상생성기(500)는 이러한 정보들을 토대로 하여 실제 무인항공기가 비행하면서 획득하는 영상과 유사한 가상의 영상을 생성할 수 있다. 예를 들어 실제 무인항공기가 비행할 지역의 산이나 계곡과 같은 지형지물을 3D영상생성기(500)를 통해 가상으로 표현하고 무인항공기의 시뮬레이션된 비행정보와 시뮬레이션된 영상센서 상태데이터를 이용하여 무인항공기가 3D영상에 나타나 있는 산과 가까워지는 상황을 실시간의 가상영상으로 생성하면, 실제 무인항공기가 산에 접근하는 것과 유사한 영상이 표현되고, 외부의 조종자는 모니터링 장비(100)를 통해 이 영상을 실시간으로 확인할 수 있게 된다.
이때, 상기 3D영상생성기(500)에서 생성된 상기 3D영상에는 좌표값이 표시되는 지도데이터가 포함될 수 있으며, 상기 좌표값은 UTM(Universal Transverse Mercator) 좌표계 등으로 표시할 수 있다. 이러한 지도데이터가 포함되면 3D영상에 대한 분석이 용이하게 되고 보다 정확한 모의 비행상황 파악이 가능하게 된다.
영상처리기(600)는 상기 3D영상생성기(500)로부터 상기 3D영상을 수신한 후 이를 분석하고 처리하여 그 영상처리 데이터를 상기 비행제어컴퓨터(200)로 전송하는 역할을 한다. 예를 들어, 상기 3D영상내의 목표위치와 무인항공기의 좌표값을 분석하여 상호간의 거리 및 도달 시간 등을 계산할 수도 있다.
이렇게, 영상처리기(600)에서 분석된 영상처리 데이터들은 다시 비행제어컴퓨터(200)로 전송되어 비행조종명령을 재생성하는데 쓰이게 된다. 구체적으로, 상기 비행제어컴퓨터(200)에서는 상기 영상처리기(600)로부터 전송된 영상처리 데이터와 상기 비행모의컴퓨터(300)로부터 전송된 상기 고도, 속도 등의 모의 비행정보를 반영하여 비행조종명령을 재생성한다.
재생성된 비행조종명령에는 영상추적 명령, 표적위치 계산명령, 카메라유도명령, 영상기반 자동이착륙명령 및 영상기반 충돌회피명령 등이 포함될 수 있다.
영상추적명령은 영상에 표시된 목표물을 추적하도록 비행을 제어하는 명령이고, 표적위치 계산명령은 표적을 향해 비행을 제어하면서 표적위치와 무인항공기 사이의 거리를 계산하도록 하는 명령이며, 카메라유도명령은 무인항공기에 장착된 카메라의 시선을 유지하며 비행하도록 제어하는 명령이고, 영상기반 자동이착륙명령은 영상센서의 영상을 통해 무인항공기가 자동으로 이륙하거나 착륙하도록 제어하는 명령이며, 영상기반 충돌회피명령은 영상에 나타나는 장애물을 식별하여 자동으로 이를 회피하도록 비행을 제어하는 명령이다.
영상기반 충돌회피명령을 예로 들어 설명하면, 상기 모니터링 장비(100)에서 전송된 제어명령에 따라 무인항공기가 모의로 제어되어 무인항공기의 비행 운동이 변경되었는데 만약 그 위치에서 충돌위험이 있는 물체가 3D영상의 분석 결과 파악되었다면 그러한 영상처리 데이터 및 비행정보를 비행제어컴퓨터(200)에서 수신하여 새로운 비행조종명령인 영상기반 충돌회피명령을 재생성함으로써 물체와의 충돌을 회피하도록 무인항공기를 제어하게 된다.
그리고, 상기에서 검토한 무인항공기의 모든 비행과 관련된 상태정보는 실시간으로 비행제어컴퓨터(200)에서 상기 모니터링 장비(100)로 전송되어 디스플레이됨으로써 외부 조종자가 실시간으로 파악하고 분석할 수 있다.
이하에서는, 도 2를 참고하여 본 발명의 바람직한 실시예에 따른 영상기반 무인항공기 비행시험 방법에 대하여 설명하도록 한다.
먼저, (a) 단계는 실시간으로 비행과 관련된 상태정보가 표시되는 모니터링 장비(100)를 통해 비행제어컴퓨터(200)로 제어명령을 전송하는 단계이다(s10). 상기 제어명령은 외부의 지상통제센터나 지상통제차량의 조종자에 의해 생성될 수 있으며, 상기 제어명령에 따라 제어되는 비행 상태정보는 실시간으로 비행제어컴퓨터로(200)부터 모니터링 장비(100)로 피드백되어 디스플레이된다.
그 다음, (b) 단계는 상기 비행제어컴퓨터(200)가 상기 제어명령을 수신하여 비행조종명령과 영상센서 구동명령을 생성하고, 상기 비행조종명령은 비행모의컴퓨터(300)로 전송하고(s20) 상기 영상센서 구동명령은 영상센서 구동모의장비(400)로 전송하게 된다(s30). 비행제어컴퓨터(200)는 검토한 바와 같이 실제 무인항공기에 탑재되는 장비로서 상기 비행조종명령을 생성하여 무인항공기의 비행 운동을 제어하고 영상센서 구동명령을 생성하여 무인항공기의 시선이나 시야각 등을 제어한다.
그 다음으로, (c) 단계와 (d) 단계는 모두 상기 (b) 단계의 제어명령을 시뮬레이션하는 단계가 된다. 도 2에 도시된 바와 같이 (c) 단계와 (d) 단계가 수행되는 루트는 각각 다르므로 (c) 단계와 (d) 단계는 동시에 진행될 수 있다.
(c) 단계는 비행모의컴퓨터(300)가 무인항공기의 비행 상황을 시뮬레이션하는 단계이고, (d) 단계는 영상센서 구동모의장비(400)가 무인항공기에 장착된 영상센서의 구동 상황을 시뮬레이션하는 단계이다.
구체적으로, (c) 단계에서 비행모의컴퓨터(300)는 구동기 피드백 신호를 연산하고(s40) 비행 운동을 계산함으로써(s60) 구동기 피드백 신호, 고도, 속도, 자세 및 항법 등의 비행정보를 시뮬레이션하고, (d) 단계에서 영상센서 구동모의장비(400)는 영상센서의 구동연산(s50)을 통해 영상센서 상태데이터를 시뮬레이션한다.
(c) 단계에서 시뮬레이션된 비행정보 즉, 상기 비행조종명령에 따라 시뮬레이션된 상태의 구동기 피드백 신호, 고도정보, 속도정보, 항법 정보, 자세 정보, 엔진 피드백 데이터 및 센서 피드백 데이터 등은 상기 비행제어컴퓨터(200)로 다시 전송된다(s80). (d) 단계에서 시뮬레이션된 영상센서 상태데이터 즉, 상기 영상센서 구동명령에 따라 시뮬레이션된 영상센서의 시선이나 시야각 등에 관한 정보는 비행제어컴퓨터(200)와 3D영상생성기(500)로 전송된다(s70).
그 다음, (e) 단계는 3D영상생성기(500)가 가상의 3D영상을 생성하는 단계이다(s90). 3D영상생성기(500)가 상기 (c) 단계 이후 상기 비행제어컴퓨터(200)로부터 상기 시뮬레이션된 비행정보를 수신하고, 여기에 상기 (d) 단계의 상기 영상센서 구동모의장비(400)로부터 수신한 상기 시뮬레이션된 영상센서 상태데이터를 반영하여 연산함으로써 실제 무인항공기의 영상센서로부터 획득한 영상과 유사한 가상의 3D영상이 생성된다. 이러한 3D영상에는 좌표값이 표시되는 지도데이터가 포함될 수 있으며, 상기 좌표값은 UTM(Universal Transverse Mercator) 좌표계 등으로 표시할 수 있다.
그 다음, (f) 단계는 영상처리기(600)가 상기 3D영상생성기(500)에서 생성된 3D영상을 분석하는 단계이다(s100). 3D영상내의 표적위치와 무인항공기 사이의 거리 계산, 정확도 분석 등 다양한 분석을 수행하고, 그 결과인 영상처리 데이터를 상기 비행제어컴퓨터(200)로 전송한다.
그 다음, (g) 단계에서는 비행제어컴퓨터(200)가 상기 (f) 단계의 영상처리기로(600)부터 수신한 상기 영상처리 데이터와 상기 (c) 단계의 비행모의컴퓨터(300)로부터 수신한 상기 시뮬레이션된 비행정보를 이용하여 비행조종명령을 재생성하게 된다(s110). 재생성된 비행조종명령에는 영상추적 명령, 표적위치 계산명령, 카메라유도명령, 영상기반 자동이착륙명령, 영상기반 충돌회피명령 등이 포함될 수 있으며 각각의 명령에 대해서는 상기에서 검토한 바와 같다. 이후 재생성된 비행조종명령에 따라 무인항공기의 비행이 제어되고(s120), 이렇게 제어되는 무인항공기의 비행과 관련된 상태정보들은 모두 모니터링 장비(100)로 실시간으로 전송되어 디스플레이된다(s130).
이러한 일련의 과정을 구체적인 실시예를 통해 살펴보면, 일 실시예로서 본 발명인 영상기반 무인항공기 비행시험 방법을 이용하여 무인항공기의 자동착륙명령을 테스트하는 경우를 생각해 볼 수 있다. 우선 (a) 지상통제센터에서 조종자가 모니터링 장비(100)를 통해 자동착륙명령을 지시하게 된다. (b) 비행제어컴퓨터(200)는 상기 자동착륙명령을 수신하여 비행조종명령과 영상센서 구동명령을 생성하고 이를 각각 비행모의컴퓨터(300)와 영상센서 구동모의장비(400)로 전송한다. (c) 비행모의컴퓨터(300)에서는 비행조종명령에 따라 무인항공기의 고도와 속도가 감소하게 되는 상황이 시뮬레이션되고, 이렇게 시뮬레이션된 비행정보들은 비행제어컴퓨터(200)로 다시 전송된다. 또한 (d) 영상센서 구동모의장비(400)에서는 영상센서 구동명령에 따라 영상센서가 착륙지점의 영상을 비추도록 구동되는 상황이 시뮬레이션되며, 그 시뮬레이션된 영상센서 상태데이터가 비행제어컴퓨터(200)와 3D영상생성기(500)로 전송된다. (e) 3D영상생성기(500)에서는 상기 시뮬레이션된 정보들을 종합하여 착륙지점을 향해 무인항공기가 접근하는 상황을 3차원의 가상영상을 통해 실시간으로 생성하고, (f) 영상처리기(600)는 3D영상의 착륙지점과 무인항공기와의 거리 등을 분석하며 그 영상처리데이터를 비행제어컴퓨터(200)로 전송한다. (g) 비행제어컴퓨터(200)에서는 상기 영상처리데이터와 비행정보를 반영하여 착륙지점에 충분히 가까워지면 비행조종명령을 재생성하여 착륙바퀴를 꺼내고 속도를 줄이는 등의 착륙명령을 생성함으로써 무인항공기를 착륙시키게 된다. 이러한 일련의 자동착륙명령의 시험 상황은 모니터링 장비(100)를 통해 실시간으로 디스플레이되므로 외부의 조종자는 실제로 무인항공기가 지상에 착륙하는 영상과 유사한 가상의 3D영상을 확인하게 되고, 이를 분석함으로써 자동착륙 제어명령이 제대로 작동하는지 여부를 판단할 수 있게 된다.
종래에는 위와 같은 경우 무인항공기를 실제로 비행시켜 지상에 안전하게 착륙할 수 있는지 여부를 시험해야되었다. 따라서 만약 새로 개발한 자동착륙명령이 불안정하면 무인항공기가 지면과 충돌하게 되므로 시험단계에서 무인항공기를 잃을 수 있는 부담이 있었다. 그러나 본 발명에 따르면 지상에서 가상의 3D영상을 이용하여 모의 비행을 함으로써 자동착륙 제어명령의 안전성을 검증할 수 있으므로 안전하게 테스트를 할 수 있고, 시간과 비용도 줄일 수 있게 된다.
100: 모니터링 장비 200: 비행제어컴퓨터
300: 비행모의컴퓨터 400: 영상센서 구동모의장비
500: 3D영상생성기 600: 영상처리기

Claims (8)

  1. 실시간으로 비행과 관련된 상태정보를 표시하고, 제어명령을 비행제어컴퓨터로 전송하는 모니터링 장비;
    상기 제어명령으로부터 비행조종명령과 영상센서 구동명령을 생성하여, 상기 비행조종명령은 비행모의컴퓨터로 전송하고 상기 영상센서 구동명령은 영상센서 구동모의장비로 전송하는 비행제어컴퓨터;
    상기 비행조종명령으로부터 비행 운동을 실시간으로 시뮬레이션하여 시뮬레이션된 비행정보를 상기 비행제어컴퓨터로 전송하는 비행모의컴퓨터;
    상기 영상센서 구동명령으로부터 상기 영상센서의 구동상황을 실시간으로 시뮬레이션하여 시뮬레이션된 영상센서 상태데이터를 상기 비행제어컴퓨터와 3D영상생성기로 전송하는 영상센서 구동모의장비;
    상기 시뮬레이션된 비행정보와 상기 시뮬레이션된 영상센서 상태데이터를 수신하고 이를 반영하여 연산함으로써 실제 무인항공기의 영상센서로부터 획득한 영상과 유사한 가상의 3D영상을 생성하는 3D영상생성기; 및
    상기 3D영상생성기에서 생성된 상기 3D영상을 분석하고 처리하여 그 영상처리 데이터를 상기 비행제어컴퓨터로 전송하는 영상처리기;를 포함하여 구성되고,
    상기 비행제어컴퓨터는,
    상기 비행모의컴퓨터로부터 수신한 상기 시뮬레이션된 비행정보와 상기 영상처리기로부터 수신한 상기 영상처리 데이터를 이용하여 상기 비행조종명령을 재생성하고, 재생성된 비행조종명령을 통해 비행제어를 실시하며,
    상기 비행제어컴퓨터에서 수신하는 모든 비행과 관련된 상태정보를 실시간으로 상기 모니터링 장비로 전송하는 것을 특징으로 하는 영상기반 무인항공기 비행시험 시스템.
  2. 제1항에 있어서,
    상기 시뮬레이션된 비행정보에는,
    구동기 피드백 신호, 고도 정보, 속도 정보, 항법 정보, 자세 정보, 엔진 피드백 데이터 및 센서 피드백 데이터 중 어느 하나 이상이 포함되는 것을 특징으로 하는 영상기반 무인항공기 비행시험 시스템.
  3. 제1항에 있어서,
    상기 재생성된 비행조종명령에는,
    영상추적 명령, 표적위치 계산명령, 카메라유도명령, 영상기반 자동이착륙명령 및 영상기반 충돌회피명령 중 어느 하나 이상이 포함되는 것을 특징으로 하는 영상기반 무인항공기 비행시험 시스템.
  4. 제1항에 있어서,
    상기 3D영상은,
    좌표값이 표시되는 지도데이터를 포함하는 것을 특징으로 하는 영상기반 무인항공기 비행시험 시스템.
  5. (a) 실시간으로 비행과 관련된 상태정보가 표시되는 모니터링 장비를 통해 비행제어컴퓨터로 제어명령을 전송하는 단계;
    (b) 상기 비행제어컴퓨터가 상기 제어명령을 수신하여 비행조종명령과 영상센서 구동명령을 생성하고, 상기 비행조종명령은 비행모의컴퓨터로 전송하고 상기 영상센서 구동명령은 영상센서 구동모의장비로 전송하는 단계;
    (c) 상기 비행모의컴퓨터가 상기 비행조종명령을 수신하여 이로부터 비행 운동을 실시간으로 시뮬레이션하고 시뮬레이션된 비행정보를 상기 비행제어컴퓨터로 전송하는 단계;
    (d) 상기 영상센서 구동모의장비가 상기 영상센서 구동명령을 수신하여 이로부터 상기 영상센서의 구동상황을 실시간으로 시뮬레이션하고 시뮬레이션된 영상센서 상태데이터를 상기 비행제어컴퓨터와 3D영상생성기로 전송하는 단계;
    (e) 상기 3D영상생성기가 상기 시뮬레이션된 비행정보와 상기 시뮬레이션된 영상센서 상태데이터를 수신하고 이를 반영하여 연산함으로써 실제 무인항공기의 영상센서로부터 획득한 영상과 유사한 가상의 3D영상을 생성하는 단계;
    (f) 영상처리기가 상기 3D영상생성기에서 생성된 상기 3D영상을 분석하고 처리하여 그 영상처리 데이터를 상기 비행제어컴퓨터로 전송하는 단계; 및
    (g) 상기 비행제어컴퓨터가 상기 시뮬레이션된 비행정보와 상기 영상처리 데이터를 이용하여 상기 비행조종명령을 재생성하고, 재생성된 비행조종명령을 통해 비행제어를 실시하는 단계;를 포함하여 구성되고,
    상기 비행제어컴퓨터는,
    상기 비행제어컴퓨터에서 수신하는 모든 비행과 관련된 상태정보를 실시간으로 상기 모니터링 장비로 전송하는 것을 특징으로 하는 영상기반 무인항공기 비행시험 방법.
  6. 제5항에 있어서,
    상기 시뮬레이션된 비행정보에는,
    구동기 피드백 신호, 고도 정보, 속도 정보, 항법 정보, 자세 정보, 엔진 피드백 데이터 및 센서 피드백 데이터 중 어느 하나 이상이 포함되는 것을 특징으로 하는 영상기반 무인항공기 비행시험 방법.
  7. 제5항에 있어서,
    상기 재생성된 비행조종명령에는,
    영상추적 명령, 표적위치 계산명령, 카메라유도명령, 영상기반 자동이착륙명령 및 영상기반 충돌회피명령 중 어느 하나 이상이 포함되는 것을 특징으로 하는 영상기반 무인항공기 비행시험 방법.
  8. 제5항에 있어서,
    상기 3D영상은,
    좌표값이 표시되는 지도데이터를 포함하는 것을 특징으로 하는 영상기반 무인항공기 비행시험 방법.
KR1020100050665A 2010-05-28 2010-05-28 영상기반 무인항공기 비행시험 시스템 및 방법 KR101083128B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100050665A KR101083128B1 (ko) 2010-05-28 2010-05-28 영상기반 무인항공기 비행시험 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100050665A KR101083128B1 (ko) 2010-05-28 2010-05-28 영상기반 무인항공기 비행시험 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101083128B1 true KR101083128B1 (ko) 2011-11-11

Family

ID=45397659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100050665A KR101083128B1 (ko) 2010-05-28 2010-05-28 영상기반 무인항공기 비행시험 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101083128B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101236195B1 (ko) 2012-07-24 2013-02-26 대한민국 실시간 무인첩보기 영상 시뮬레이터와 훈련시뮬레이션의 연동 방법 및 그 시스템
KR101408077B1 (ko) * 2014-01-29 2014-06-18 국방과학연구소 가상 영상을 이용한 무인기 조종 장치 및 방법
KR20160043705A (ko) * 2014-10-14 2016-04-22 (주)세이프텍리서치 무인 비행체를 이용한 원격 비행 체험 시스템
KR20160071631A (ko) * 2014-12-12 2016-06-22 주식회사 한화 제어 정보 검증 시스템 및 방법
KR101637972B1 (ko) * 2016-01-19 2016-07-08 한국항공대학교 산학협력단 무인 비행체를 이용하여 이동하는 피사체를 다면 촬영하기 위한 항공 촬영시스템 및 방법
WO2016111595A1 (ko) * 2015-01-09 2016-07-14 주식회사 대한항공 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
KR101691393B1 (ko) * 2015-09-22 2017-01-09 국방과학연구소 영상 시뮬레이션 시스템
WO2019134155A1 (zh) * 2018-01-07 2019-07-11 深圳市大疆创新科技有限公司 图像数据处理方法、设备、平台及存储介质
KR102066228B1 (ko) * 2019-04-22 2020-01-14 국방과학연구소 비정상 시나리오 기반의 비행시험 중 비상폭파 추천 방법
KR20200009638A (ko) 2018-07-19 2020-01-30 정성철 근거리용 드론 감지 장치
KR102091204B1 (ko) * 2019-05-30 2020-03-19 신일정보기술(주) 무인 비행체 비행 제어 검사 시스템 및 그 방법
KR102187315B1 (ko) * 2019-08-30 2020-12-07 경북대학교 산학협력단 로그 기반의 드론 시뮬레이션 장치 및 방법
KR20210126865A (ko) * 2020-04-13 2021-10-21 한국항공우주산업 주식회사 무인항공기용 영상감지기 모의구동 시스템 및 방법
KR20210140991A (ko) * 2020-05-14 2021-11-23 재단법인대구경북과학기술원 가상현실 기반의 차량 검사 시스템
US11276325B2 (en) * 2014-09-30 2022-03-15 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation
CN114727013A (zh) * 2013-04-19 2022-07-08 索尼公司 飞行相机和由飞行相机执行的方法
KR102522264B1 (ko) * 2021-12-07 2023-04-18 국방과학연구소 폭발물 탐지를 위한 드론의 hils 시스템
WO2023080954A1 (en) * 2021-11-08 2023-05-11 Wing Aviation Llc Improving performance of autonomous vehicle operation in varying conditions by using imagery generated with machine learning for simulations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842104B1 (ko) 2007-06-15 2008-06-30 주식회사 대한항공 Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
JP2009069824A (ja) 2007-09-14 2009-04-02 Boeing Co:The 時間シフトのオプションを有する統合シミュレーションを用いて装置の動作を制御するための方法およびシステム
JP2010049051A (ja) 2008-08-22 2010-03-04 Mitsubishi Heavy Ind Ltd シミュレーションシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842104B1 (ko) 2007-06-15 2008-06-30 주식회사 대한항공 Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
JP2009069824A (ja) 2007-09-14 2009-04-02 Boeing Co:The 時間シフトのオプションを有する統合シミュレーションを用いて装置の動作を制御するための方法およびシステム
JP2010049051A (ja) 2008-08-22 2010-03-04 Mitsubishi Heavy Ind Ltd シミュレーションシステム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101236195B1 (ko) 2012-07-24 2013-02-26 대한민국 실시간 무인첩보기 영상 시뮬레이터와 훈련시뮬레이션의 연동 방법 및 그 시스템
US11953904B2 (en) 2013-04-19 2024-04-09 Sony Group Corporation Flying camera and a system
CN114727013A (zh) * 2013-04-19 2022-07-08 索尼公司 飞行相机和由飞行相机执行的方法
KR101408077B1 (ko) * 2014-01-29 2014-06-18 국방과학연구소 가상 영상을 이용한 무인기 조종 장치 및 방법
US11276325B2 (en) * 2014-09-30 2022-03-15 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation
KR101683275B1 (ko) * 2014-10-14 2016-12-06 (주)세이프텍리서치 무인 비행체를 이용한 원격 비행 체험 시스템
KR20160043705A (ko) * 2014-10-14 2016-04-22 (주)세이프텍리서치 무인 비행체를 이용한 원격 비행 체험 시스템
KR101685116B1 (ko) 2014-12-12 2016-12-09 주식회사 한화 제어 정보 검증 시스템 및 방법
KR20160071631A (ko) * 2014-12-12 2016-06-22 주식회사 한화 제어 정보 검증 시스템 및 방법
WO2016111595A1 (ko) * 2015-01-09 2016-07-14 주식회사 대한항공 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
US10656650B2 (en) 2015-01-09 2020-05-19 Korean Air Lines Co., Ltd. Method for guiding and controlling drone using information for controlling camera of drone
KR101691393B1 (ko) * 2015-09-22 2017-01-09 국방과학연구소 영상 시뮬레이션 시스템
KR101637972B1 (ko) * 2016-01-19 2016-07-08 한국항공대학교 산학협력단 무인 비행체를 이용하여 이동하는 피사체를 다면 촬영하기 위한 항공 촬영시스템 및 방법
WO2019134155A1 (zh) * 2018-01-07 2019-07-11 深圳市大疆创新科技有限公司 图像数据处理方法、设备、平台及存储介质
US11303810B2 (en) 2018-01-07 2022-04-12 SZ DJI Technology Co., Ltd. Image data processing method, device, platform, and storage medium
KR20200009638A (ko) 2018-07-19 2020-01-30 정성철 근거리용 드론 감지 장치
KR102066228B1 (ko) * 2019-04-22 2020-01-14 국방과학연구소 비정상 시나리오 기반의 비행시험 중 비상폭파 추천 방법
KR102091204B1 (ko) * 2019-05-30 2020-03-19 신일정보기술(주) 무인 비행체 비행 제어 검사 시스템 및 그 방법
KR102187315B1 (ko) * 2019-08-30 2020-12-07 경북대학교 산학협력단 로그 기반의 드론 시뮬레이션 장치 및 방법
KR102369171B1 (ko) * 2020-04-13 2022-03-03 한국항공우주산업 주식회사 무인항공기용 영상감지기 모의구동 시스템 및 방법
KR20210126865A (ko) * 2020-04-13 2021-10-21 한국항공우주산업 주식회사 무인항공기용 영상감지기 모의구동 시스템 및 방법
KR20210140991A (ko) * 2020-05-14 2021-11-23 재단법인대구경북과학기술원 가상현실 기반의 차량 검사 시스템
KR102380050B1 (ko) 2020-05-14 2022-03-29 재단법인대구경북과학기술원 가상현실 기반의 차량 검사 시스템
WO2023080954A1 (en) * 2021-11-08 2023-05-11 Wing Aviation Llc Improving performance of autonomous vehicle operation in varying conditions by using imagery generated with machine learning for simulations
KR102522264B1 (ko) * 2021-12-07 2023-04-18 국방과학연구소 폭발물 탐지를 위한 드론의 hils 시스템

Similar Documents

Publication Publication Date Title
KR101083128B1 (ko) 영상기반 무인항공기 비행시험 시스템 및 방법
US10642270B2 (en) Aircrew automation system and method
AU2018204057B2 (en) Aircrew automation system and method with integrated imaging and force sensing modalities
US10902165B2 (en) Deployable development platform for autonomous vehicle (DDPAV)
US20190278272A1 (en) Method, device, and system for object testing
JP2019055769A (ja) 航空機システムにおいて障害物を検出するためのシステム及び方法
KR100842105B1 (ko) 무인항공기의 신뢰성 확보를 위한 가상 비행시험 방법
US8911236B2 (en) Training method and system comprising mixed real and virtual images
CN113496635B (zh) 飞行模拟器和飞行训练模拟方法
KR20130088506A (ko) 무인항공기에 대한 비행 제어 소프트웨어를 검증하기 위한 장치 및 방법
CN101976278A (zh) 基于虚拟现实技术的飞机降落辅助系统及方法
KR101437747B1 (ko) 영상 처리 장치 및 방법
CN105632271B (zh) 一种低速风洞模型飞行实验地面模拟训练系统
CN111459121A (zh) 车辆辅助驾驶测试系统和方法
CN114488848A (zh) 面向室内建筑空间的无人机自主飞行系统及仿真实验平台
RU2351000C2 (ru) Способ и комплекс средств управления летательным аппаратом
US9874422B2 (en) Stationary and mobile test device for missiles
KR101396292B1 (ko) 전장 상황과 동일한 비행 환경을 구현하는 비행 시뮬레이터 장치
KR20190016841A (ko) 10축 센서를 이용한 멀티콥터 무인비행장치 시뮬레이터 시스템
RU2493606C2 (ru) Способ обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
WO2007030028A1 (fr) Procédé et ensemble de commande d'un appareil volant
KR102522264B1 (ko) 폭발물 탐지를 위한 드론의 hils 시스템
KR20180052273A (ko) 시스템 통합 시험 시스템과 연동하는 비행체 시각화 시스템
CN116069052A (zh) 一种无人机模拟飞行训练装置和方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141110

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161108

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181105

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191106

Year of fee payment: 9