KR101777385B1 - 칼만 필터를 이용한 비행 속도 산출 장치 - Google Patents

칼만 필터를 이용한 비행 속도 산출 장치 Download PDF

Info

Publication number
KR101777385B1
KR101777385B1 KR1020160055553A KR20160055553A KR101777385B1 KR 101777385 B1 KR101777385 B1 KR 101777385B1 KR 1020160055553 A KR1020160055553 A KR 1020160055553A KR 20160055553 A KR20160055553 A KR 20160055553A KR 101777385 B1 KR101777385 B1 KR 101777385B1
Authority
KR
South Korea
Prior art keywords
shape
shapes
image
calculating
coordinate
Prior art date
Application number
KR1020160055553A
Other languages
English (en)
Inventor
조영기
최원석
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020160055553A priority Critical patent/KR101777385B1/ko
Application granted granted Critical
Publication of KR101777385B1 publication Critical patent/KR101777385B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G01P21/02—Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers
    • B64D2700/62184—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치에 관한 것으로서, 더욱 상세하게는 비행 중 실시간으로 획득된 영상을 처리하고 상기 처리된 영상에서 하나 이상의 형상을 식별하는 영상 처리부; 상기 식별된 하나 이상의 형상의 개수와 각 형상의 모양을 확인하는 형상 개수 확인부; 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상의 중심좌표값들을 이용하여 오류 형상이 존재하는지를 확인하는 오류 형상 확인부; 상기 각 형상의 좌표값들의 변화값이 기설정된 좌표 변화값 이하인 경우, 각 형상의 좌표값들을 칼만 필터에 입력하여 각 형상들의 중심좌표를 계산하는 중심좌표 계산부; 및 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 각도를 계산하여 각속도 값을 산출하는 각속도 산출부를 포함한다.

Description

칼만 필터를 이용한 비행 속도 산출 장치 {APPARATUS FOR CALCULATING FLIGHT SPEED USING KALMAN FILTER}
본 발명은 비행 속도 산출 장치에 관한 것으로서, 더욱 상세하게는 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치에 관한 것이다.
유도 비행체, 드론, 비행기 등에는 여러 센서가 탑재되어 있다. 자이로스코프, 가속도계, 관성측정장치(IMU: Inertial measurement unit) 등 다양하게 구비되어 있어서 이를 통해서 비행하고 있는 자기 자신의 위치 및 자세를 스스로 파악할 수 있다.
특히, 롤 방향 속도는 비행체 등에서 자세를 잡기 위해서 꼭 필요한 정보이다.
하지만, 이러한 센서들은 고가의 제품이다. 유도 비행체, 드론, 비행기 등에서는 상황에 따라 큰 부피를 차지할 수 있다.
특히, 드론이 최근 초소형화되고 있으며, 비행체의 전자부문도 점점 소형 및 경량화되고 있는 추세이다.
대한민국 공개특허공보 제10-2010-0016915호 (2010.02.16. 공개)
일반적으로, 드론과 비행체는 영상을 기본적으로 수신한다. 따라서 드론과 비행체는 이 영상 정보를 통해서 비행하는 비행체 또는 드론의 자세 및 위치를 파악할 수 있다면 큰 이점이 될 것이다. 왜냐하면, 굳이 자이로나 가속도계를 구비할 필요가 없기 때문이다. 이러한 경우에는 소형화 및 비용 절감의 두 가지 장점이 생길 수 있다.
이를 위해, 본 발명의 실시 예들은 비행 중에 수집되는 영상 정보를 이용하여 자이로스코프(gyroscope) 없이 롤 레이트(Roll rate) 각속도를 실시간으로 측정하여 비행 자세를 조절할 수 있는, 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치를 제공하고자 한다.
이를 통해, 본 발명의 실시 예들은 자이로스코프의 구매 비용을 줄일 뿐만 아니라, 드론과 비행체의 소형화에도 큰 역할을 할 수 있는, 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치를 제공하고자 한다.
본 발명의 제1 측면에 따르면, 비행 중 실시간으로 획득된 영상을 처리하고 상기 처리된 영상에서 하나 이상의 형상을 식별하는 영상 처리부; 상기 식별된 하나 이상의 형상의 개수와 각 형상의 모양을 확인하는 형상 개수 확인부; 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상의 중심좌표값들을 이용하여 오류 형상이 존재하는지를 확인하는 오류 형상 확인부; 상기 각 형상의 좌표값들의 변화값이 기설정된 좌표 변화값 이하인 경우, 각 형상의 좌표값들을 칼만 필터에 입력하여 각 형상들의 중심좌표를 계산하는 중심좌표 계산부; 및 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 각도를 계산하여 각속도 값을 산출하는 각속도 산출부를 포함하는 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치가 제공될 수 있다.
상기 영상 처리부는 상기 획득된 영상이 컬러 영상이면 컬러 영상을 흑백 영상으로 이진화 처리하는 이진화부; 상기 이진화 처리된 흑백 영상에서 기설정된 픽셀의 밝기 값 이하인 픽셀을 흑색으로 배경 처리하는 밝기 처리부; 상기 배경 처리된 흑백 영상에서 기설정된 픽셀 수 이하의 픽셀로 이루어진 노이즈 형상을 제거하는 노이즈 제거부; 및 상기 노이즈 형상이 제거된 영상에서 하나 이상의 형상을 식별하는 형상 식별부를 포함할 수 있다.
상기 오류 형상 확인부는 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값 이상인지를 확인하여 오류 형상 유무를 확인할 수 있다.
상기 오류 형상 확인부는 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수이고, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값을 초과하는 경우, 새로 추가되는 오류 형상 또는 사라지는 오류 형상이 존재하는 것으로 판단할 수 있다.
상기 중심좌표 계산부는 상기 확인된 형상의 개수와 대응되도록 칼만 필터의 개수를 실시간으로 증가시키거나 감소시키고, 각 형상들의 중심좌표를 대응되는 칼만 필터에 각각 입력하여 각 형상들의 중심좌표를 계산할 수 있다.
상기 중심좌표 계산부는 각 형상의 중심좌표 평균값, 각 형상의 중심좌표 분산값 및 각 형상의 형상중심좌표의 측정값을 칼만 필터에 적용하여 각 형상들의 중심좌표를 계산할 수 있다.
상기 각속도 산출부는 비행 중에 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 롤 방향으로 각도를 계산하여 각속도 값을 산출할 수 있다.
한편, 본 발명의 제2 측면에 따르면, 비행 중 실시간으로 획득된 영상을 처리하고 상기 처리된 영상에서 하나 이상의 형상을 식별하는 단계; 상기 식별된 하나 이상의 형상의 개수와 각 형상의 모양을 확인하는 단계; 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상의 중심좌표값들을 이용하여 오류 형상이 존재하는지를 확인하는 단계; 상기 각 형상의 좌표값들의 변화값이 기설정된 좌표 변화값 이하인 경우, 각 형상의 좌표값들을 칼만 필터에 입력하여 각 형상들의 중심좌표를 계산하는 단계; 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 각도를 계산하여 각속도 값을 산출하는 단계; 및 상기 각속도 값을 실시간으로 디스플레이하는 단계를 포함하는 칼만 필터와 영상 정보를 이용한 비행 속도 산출 방법이 제공될 수 있다.
상기 하나 이상의 형상을 식별하는 단계는 상기 획득된 영상이 컬러 영상이면 컬러 영상을 흑백 영상으로 이진화 처리하는 단계; 상기 이진화 처리된 흑백 영상에서 기설정된 픽셀의 밝기 값 이하인 픽셀을 흑색으로 배경 처리하는 단계; 상기 배경 처리된 흑백 영상에서 기설정된 픽셀 수 이하의 픽셀로 이루어진 노이즈 형상을 제거하는 단계; 및 상기 노이즈 형상이 제거된 영상에서 하나 이상의 형상을 식별하는 단계를 포함할 수 있다.
상기 오류 형상이 존재하는지를 확인하는 단계는 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값 이상인지를 확인하여 오류 형상 유무를 확인할 수 있다.
상기 오류 형상이 존재하는지를 확인하는 단계는 상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값을 초과하는 경우, 새로 추가되는 오류 형상 또는 사라지는 오류 형상이 존재하는 것으로 판단할 수 있다.
상기 중심좌표를 계산하는 단계는 상기 확인된 형상의 개수와 대응되도록 칼만 필터의 개수를 실시간으로 증가시키거나 감소시키고, 각 형상들의 중심좌표를 대응되는 칼만 필터에 각각 입력하여 각 형상들의 중심좌표를 계산할 수 있다.
상기 중심좌표 계산부는 각 형상의 중심좌표 평균값, 각 형상의 중심좌표 분산값 및 각 형상의 형상중심좌표의 측정값을 칼만 필터에 적용하여 각 형상들의 중심좌표를 계산할 수 있다.
상기 각속도 값을 산출하는 단계는 비행 중에 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 롤 방향으로 각도를 계산하여 각속도 값을 산출할 수 있다.
본 발명의 실시 예들은 비행 중에 수집되는 영상 정보를 이용하여 자이로스코프(gyroscope) 없이 롤 레이트(Roll rate) 각속도를 실시간으로 측정하여 비행 자세를 조절할 수 있다.
이를 통해, 본 발명의 실시 예들은 자이로스코프의 구매 비용을 줄일 뿐만 아니라, 드론과 비행체의 소형화에도 큰 역할을 할 수 있다.
도 1은 본 발명의 실시 예에 따른 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치의 구성도이다.
도 2는 본 발명의 실시 예에 따른 영상 처리부에서 컬러 영상을 흑백 영상으로 전환하는 과정에 대한 설명도이다.
도 3은 본 발명의 실시 예에 따른 영상 처리부에서 정해진 픽셀 발기의 이상의 형태를 식별하는 과정에 대한 설명도이다.
도 4는 본 발명의 실시 예에 따른 영상 처리부에서 가장 큰 형상을 식별하는 과정에 대한 설명도이다.
도 5는 본 발명의 실시 예에 따른 영상 처리부에서 식별된 여러 개의 형상의 영상에 대한 설명도이다.
도 6은 본 발명의 실시 예에 따른 비행 중의 영상에 대한 설명도이다.
도 7은 본 발명의 실시 예에 따른 샘플링 구간에 따른 형상의 개수 확인 과정에 대한 설명도이다.
도 8은 본 발명의 실시 예에 따른 샘플링 구간에 따른 형상의 개수 확인 과정에서 오류 형상이 없는 경우에 대한 설명도이다.
도 9는 본 발명의 실시 예에 따른 샘플링 구간에 따른 형상의 개수 확인 과정에서 오류 형상이 있는 경우에 대한 설명도이다.
도 10은 본 발명의 실시 예에 따른 중심좌표 계산부에서의 칼만 필터를 이용한 중심좌표 계산 과정에 대한 설명도이다.
도 11은 본 발명의 실시 예에 따른 각속도 산출부에서의 각속도 산출 과정에 대한 설명도이다.
도 12는 본 발명의 실시 예에 따른 칼만 필터와 영상 정보를 이용한 비행 속도 산출 방법에 대한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 1은 본 발명의 실시 예에 따른 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치(100)는 영상 디코더(110), 영상 처리부(120), 형상 개수 확인부(130), 오류 형상 확인부(140), 중심좌표 계산부(150) 및 각속도 산출부(160)를 포함한다. 일례로, 영상 처리부(120), 형상 개수 확인부(130), 오류 형상 확인부(140) 및 각속도 산출부(160)는 FPGA(field programmable gate array, 필드 프로그래머블 게이트 어레이)로 구현될 수 있고, 중심좌표 계산부(150)는 디지털 신호를 처리하는 DSP(Digtial signal processor)로 구현될 수 있다.
이하, 도 1의 칼만 필터와 영상 정보를 이용한 비행 속도 산출 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
우선, 영상 디코더(110)는 비행 중 실시간으로 획득된 영상 정보 또는 영상 엔코더 또는 네트워크 카메라에서 전송된 영상 정보인 디지털 비디오 및 오디오를 아날로그 신호로 해독한다.
영상 처리부(120)는 영상 디코더(110)를 통해 비행 중 실시간으로 획득된 영상을 처리하고 그 처리된 영상에서 하나 이상의 형상을 식별한다. 여기서, 영상 처리부(120)는 영상 디코더(110)를 통해 비행 중에 획득된 영상 정보를 아날로그 신호로 변환하여 전달받을 수 있다.
그리고 형상 개수 확인부(130)는 영상 처리부(120)에서 식별된 하나 이상의 형상의 개수와 각 형상의 모양을 확인한다.
이후, 오류 형상 확인부(140)는 형상 개수 확인부(130)에서 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상의 중심좌표값들을 이용하여 오류 형상이 존재하는지를 확인한다.
여기서, 오류 형상 확인부(140)는 형상 개수 확인부(130)에서 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값 이상인지를 확인하여 오류 형상이 존재하는지를 확인한다.
구체적으로 살펴보면, 오류 형상 확인부(140)는 형상 개수 확인부(130)에서 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수이고, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값을 초과하는 경우, 새로 추가되는 오류 형상 또는 사라지는 오류 형상이 존재하는 것으로 판단할 수 있다.
그리고 중심좌표 계산부(150)는 각 형상의 좌표값들의 변화값이 기설정된 좌표 변화값 이하인 경우, 각 형상의 좌표값들을 칼만 필터에 입력하여 각 형상들의 중심좌표를 계산한다.
여기서, 중심좌표 계산부(150)는 형상 개수 확인부(130)에서 확인된 형상의 개수와 대응되도록 칼만 필터의 개수를 실시간으로 증가시키거나 감소시키고, 각 형상들의 중심좌표를 대응되는 칼만 필터에 각각 입력하여 각 형상들의 중심좌표를 계산할 수 있다.
또한, 중심좌표 계산부(150)는 각 형상의 중심좌표 평균값, 각 형상의 중심좌표 분산값 및 각 형상의 형상중심좌표의 측정값을 칼만 필터에 적용하여 각 형상들의 중심좌표를 계산할 수 있다.
각속도 산출부(160)는 중심좌표 계산부(150)에서 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 각도를 계산하여 각속도 값을 산출한다.
여기서, 각속도 산출부(160)는 비행 중에 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 롤 방향으로 각도를 계산하여 각속도 값을 산출할 수 있다.
한편, 영상 처리부(120)는 이진화부(121), 밝기 처리부(122) 및 노이즈 제거부(123)를 포함한다.
이진화부(121)는 획득된 영상이 컬러 영상이면 컬러 영상을 흑백 영상으로 이진화 처리한다.
밝기 처리부(122)는 이진화부(121)에서 이진화 처리된 흑백 영상에서 기설정된 픽셀의 밝기 값 이하인 픽셀을 흑색으로 배경 처리한다.
노이즈 제거부(123)는 배경 처리된 흑백 영상에서 기설정된 픽셀 수 이하의 픽셀로 이루어진 노이즈 형상을 제거한다.
형상 식별부는 노이즈 제거부(123)에서 노이즈 형상이 제거된 영상에서 하나 이상의 형상을 식별한다.
이와 같이, 영상 처리부(120)는 드론 또는 유도비행체에서 바라보는 컬러 또는 흑백 영상에서 비행 중인 드론 또는 유도비행체의 롤 레이트(Roll Rate)를 추출하기 위해서는 별도의 영상 처리 과정을 수행한다. 도 2 내지 도 4를 참조하여 살펴보기로 한다.
한편, 도 2 내지 도 4에 도시된 형상은 인위적으로 탱크만 놓은 하나의 예시이다.
도 2 내지 도 4에 도시된 탱크 형상(201)을 일례로 이용하여 영상 처리부(120)에서의 실시간 영상 처리 과정을 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 영상 처리부에서 컬러 영상을 흑백 영상으로 전환하는 과정에 대한 설명도이다.
도 2에 도시된 바와 같이, 영상 처리부(120)는 영상 디코더(110)를 통해 획득된 영상이 컬러 영상일 경우 흑백 영상(210)으로 전환한다. 즉, 영상 처리부(120)의 이진화부(121)는 컬러 영상을 이진화 처리한다.
도 3은 본 발명의 실시 예에 따른 영상 처리부에서 정해진 픽셀 발기의 이상의 형태를 식별하는 과정에 대한 설명도이다.
도 3에 도시된 바와 같이, 영상 처리부(120)는 각 영상 프레임 상에서 픽셀의 밝기 정도를 미리 설정한다. 그리고 영상 처리부(120)는 기설정된 픽셀의 밝기 정도 이하인 픽셀들을 검은색(310)으로 배경 처리한다. 반면, 영상 처리부(120)는 기설정된 픽셀의 밝기를 초과하는 픽셀로 이루어진 형상만(301)을 식별한다.
여기서, 영상 처리부(120)는 배경 처리된 영상의 노이즈 제거를 위해서 미리 정해진 작은 수의 픽셀로 이루어진 형상을 제거할 수 있다.
도 4는 본 발명의 실시 예에 따른 영상 처리부에서 가장 큰 형상을 식별하는 과정에 대한 설명도이다.
도 4에 도시된 바와 같이, 영상 처리부(120)는 남은 형상 중 가장 큰 형상(401)을 식별할 수 있다.
한편, 도 2 내지 도 4에 도시된 과정은 FPGA를 이용하여 실시간으로 영상 처리한다. 이 형상의 개수는 FPGA에서 얼마나 많은 픽셀 덩어리를 형상으로 남기고 제거할 것이냐에 따라서 달라질 것이다. 즉, 사용자가 전체 영상 픽셀 사이즈에 따라서 처음에 프로그래밍할 때 정하기 나름이다.
도 5는 본 발명의 실시 예에 따른 영상 처리부에서 식별된 여러 개의 형상의 영상에 대한 설명도이다.
비행 중에서 유도탄과 드론이 바라보는 영상은 여러 개의 형상(501)이 도 5에 도시된 바와 같이 나타난다. 이와 같이 바라보는 영상에는 진행 방향과 대응되는 영상의 중심(500)이 나타나 있다.
도 6은 본 발명의 실시 예에 따른 비행 중의 영상에 대한 설명도이다.
도 6에 도시된 바와 같이, 비행체와 드론은 정면으로 날아가게 되면, 도 5에 도시된 영상에 보이는 형상의 개수와 모양은 실시간으로 변할 것이다. 왜냐하면, 영상의 중심 부분은 점점 확대가 될 것이다. 따라서, 영상의 중심 부분에서는 날아가면서 새로 생성되는 형상(601)이 발생한다.
반대로, 영상의 중심 부분으로부터 가장자리 부분 및 가장자리 부분에 있던 형상들(602)은 점점 영상에서 사라지게 될 것이기 때문이다. 여기서, 형상 개수 확인부(130)는 비행 중에 실시간으로 형상의 개수를 파악한다.
도 7은 본 발명의 실시 예에 따른 샘플링 구간에 따른 형상의 개수 확인 과정에 대한 설명도이다.
도 7에 도시된 바와 같이, 비행 속도 산출 장치(100)는 실시간으로 영상에 위치한 형상들을 파악하여 형상의 개수가 정해진 시간만큼 일치하는 시간에만 각도 추출 과정으로 진행한다. 만약, 형상의 개수가 정해진 시간만큼 일치하지 않는 경우, 비행 속도 산출 장치(100)는 각도 추출 과정으로 진행하지 않고 새로운 형상의 개수를 파악한다. 왜냐하면, 새로 추가되거나 사라지는 형상이 있을 경우에 각도 추출에 오류가 있을 수 있기 때문이다.
도 7에 도시된 바와 같이, 예를 들어, 연속적으로 형상의 개수가 5개가 연속으로 3번 나오는 구간(710)에는 신규로 생성되는 형상이 없고 바깥으로 사라지는 형상이 없다고 볼 수 있다.
하지만, 이러한 구간(710)에서도 영상에서 순간적으로 하나의 형상이 사라지고 하나의 형상이 추가된 것이라면 문제가 생길 수 있다. 이를 막기 위해서, 오류 형상 확인부(140)는 5개의 중심좌표 값을 X축, Y축에 대하여 더하는 연산을 계속하여 형상이 5개가 계속 나오는 구간(710)에서 갑자기 변하는지를 확인한다.
상기 확인 결과, 하나의 형상이 사라지고 하나의 형상이 순간적으로 생긴 사건이라고 확인되면, 비행 속도 산출 장치(100)는 각도 추출 과정으로 진행하지 않고 영상 내에서 형상의 개수를 다시 확인하여 정해진 시간만큼 일치하는 시간을 확인한다.
도 8은 본 발명의 실시 예에 따른 샘플링 구간에 따른 형상의 개수 확인 과정에서 오류 형상이 없는 경우에 대한 설명도이다.
도 8에 도시된 바와 같이, 오류 형상 확인부(140)는 연속적으로 형상의 개수가 5개가 연속으로 3번 나오는 구간(710) 즉, 샘플링 구간 1 내지 3(711 내지 713)의 각 샘플링 구간에서 5개의 중심좌표 값을 X축, Y축에 대하여 더하는 연산을 수행한다.
일례로, 샘플링 구간 1(711)에서 형상들의 X축 좌표들의 합은 20이고, 형상들의 Y축좌표들의 합은 37이다.
다음으로, 샘플링 구간 2(712)에서 형상들의 X축 좌표들의 합은 22이고, 형상들의 X축좌표들의 합은 34이다.
이후, 샘플링 구간 3(713)에서 형상들의 X축 좌표들의 합은 19이고, 형상들의 X축좌표들의 합은 40이다.
여기서, 형상들의 X축 좌표들의 합은 2 또는 4의 변화 값을 가지고, Y축 좌표들의 합은 3 또는 6의 변화값을 가진다.
이와 같이, 오류 형상 확인부(140)는 형상들의 X축 좌표들의 합과 Y축 좌표들의 합이 좌표들의 기설정된 변화 값(예컨대, 10 등)을 초과하지 않아 오류 형상이 존재하지 않은 경우, 각도 추출 과정으로 진행하여 수행한다.
도 9는 본 발명의 실시 예에 따른 샘플링 구간에 따른 형상의 개수 확인 과정에서 오류 형상이 있는 경우에 대한 설명도이다.
도 9에 도시된 바와 같이, 도 8과 동일하게 오류 형상 확인부(140)는 연속적으로 형상의 개수가 5개가 연속으로 3번 나오는 구간(710) 즉, 샘플링 구간 1 내지 3(711 내지 713)의 각 샘플링 구간에서 5개의 중심좌표 값을 X축, Y축에 대하여 더하는 연산을 수행한다.
일례로, 샘플링 구간 1(711)에서 형상들의 X축 좌표들의 합은 20이고, 형상들의 Y축좌표들의 합은 37이다.
다음으로, 샘플링 구간 2(712)에서 형상들의 X축 좌표들의 합은 70이고, 형상들의 X축좌표들의 합은 60이다.
이후, 샘플링 구간 3(713)에서 형상들의 X축 좌표들의 합은 90이고, 형상들의 X축좌표들의 합은 20이다.
여기서, 형상들의 X축 좌표들의 합은 50 또는 20의 변화 값을 가지고, Y축 좌표들의 합은 23 또는 40의 변화값을 가진다.
이와 같이, 오류 형상 확인부(140)는 형상들의 X축 좌표들의 합과 Y축 좌표들의 합이 좌표들의 기설정된 변화 값(예컨대, 10)을 초과하여 오류 형상이 존재하는 경우, 각도 추출 과정으로 진행하지 않는다.
도 9에 도시된 영상을 살펴보면, 오류 형상 확인부(140)는 샘플링 구간 1(711)에서 식별된 제1 형상(701)을 샘플링 구간 2(712) 및 샘플링 구간 3(713)에서는 사라지는 오류 형상으로 판단한다.
또한, 오류 형상 확인부(140)는 샘플링 구간 1(711)에서는 식별되지 않은 제2 형상(702)을 샘플링 구간 2(712) 및 샘플링 구간 3(713)에서는 새로 추가되는 오류 형상으로 판단한다.
도 8에 도시된 바와 같이, 비행 속도 산출 장치(100)는 FIFO 형상 개수가 연속되게 기설정된 샘플링 구간(예컨대, 3번 샘플링 구간) 동안 식별되고, 그때의 형상들의 중심점을 더한 값이 기설정된 변화 값을 초과하지 않는다면, 칼만 필터 입력 대기를 위한 과정을 수행한다.
도 10은 본 발명의 실시 예에 따른 중심좌표 계산부(150)에서의 칼만 필터를 이용한 중심좌표 계산 과정에 대한 설명도이다.
도 10에 도시된 바와 같이, 중심좌표 계산부(150)는 도 8 및 도 9와 같은 과정을 거친 중심 좌표를 칼만 필터에 입력하여 각 형상들의 중심좌표를 얻는다.
여기서, 중심좌표 계산부(150)는 형상의 개수에 따라서 칼만 필터의 개수도 FPGA에서 실시간으로 증가 또는 감소시켜서 정확한 각 형상들의 중심좌표를 얻는다.
일례로, 중심좌표 계산부(150)는 형상의 개수가 5개인 경우, 1번 내지 5번 형상의 X, Y 좌표를 각각 칼만 필터 1 내지 5(1011 내지 1015)에 입력하여 1번 내지 5번 형상의 X, Y 좌표를 계산한다. 즉, 중심좌표 계산부(150)는 실시간으로 파악된 형상의 개수에 맞게 칼만 필터를 적용하여 각 형상들의 중심좌표를 하기의 [수학식 1] 내지 [수학식 3]과 같이 계산할 수 있다.
Figure 112016043369826-pat00001
여기서, xt는 상태 벡터(State vector)이며, 형상의 중심점 좌표{X좌표, Y좌표}'를 나타낸다. At= {1,1}', Bt= {0,0}', εt는 평균은 0을 갖고 공분산(Covariance)은 Rt를 갖는 가우시안형태의 노이즈를 나타낸다.
Figure 112016043369826-pat00002
여기서, Zt 는 형상 중심 좌표의 측정값이다. Ct= {1,1}', δt는 평균은 0을 갖고 공분산(Covariance)은 Rt를 갖는 가우시안 형태의 노이즈를 나타낸다.
한편, At, Ct,εt의 공분산(Covariance) 값, δt의 공분산(Covariance) 값이 적용한다.
Figure 112016043369826-pat00003
상기 [수학식 3]은 칼만 필터 알고리듬(Algotithm Kalman filter)을 설명하는 식이다. 입력은 xt의 평균과 공분산인 μt -1, ∑t-1 그리고 제어 벡터(Control vector)인 ut 그리고 측정값 zt 이다.
여기서, μt -1을 살펴보면, μt -1은 형상의 중심좌표 평균값이고, 초기값을 0으로 넣으면 그 다음에는 칼만 필터의 μt , 출력값이 들어가게 된다. 왜냐하면, 칼만 필터는 순환(Recursive) 필터이기 때문이다.
∑t-1을 살펴보면, ∑t-1은 형상의 중심좌표 분산 값이고, 초기값은 큰 값을 넣는다. 그 다음에는 칼만 필터의 ∑t 출력값이 들어가게 된다.
그리고 측정값 zt를 살펴보면, zt는 형상의 중심좌표의 측정값을 나타낸다.
한편, 이러한 입력에 대한 출력은 칼만 필터 알고리듬을 거쳐서 나온 xt의 평균과 공분산인 ut, ∑t이다.
여기서, Rt 와 Qt 는 각각 선형시스템 오차에 대한 공분산(Covariance), 측정 오차에 대한 공분산(Covariance)으로서, 후자는 센서가 가지고 있는 오류라고 생각할 수 있다.
도 11은 본 발명의 실시 예에 따른 각속도 산출부에서의 각속도 산출 과정에 대한 설명도이다.
도 11에 도시된 바와 같이, 도 10과 같은 칼만 필터를 이용한 중심좌표 계산 과정에 따라 정확한 형상들의 좌표가 계산된다.
각속도 산출부(160)는 이 좌표 값에서 아크탄젠트(arctan) 함수를 취해서 각도를 실시간으로 얻어낸 후, 시간으로 나누어 각속도 값을 추출할 수 있다.
각속도 산출부(160)는 각 샘플링 구간에서 추출된 각속도 값(θa, θb )을 서로 빼고, 그 차이값(θb-θa)을 시간으로 나누어 롤 방향의 각속도를 산출할 수 있다.
도 12는 본 발명의 실시 예에 따른 칼만 필터와 영상 정보를 이용한 비행 속도 산출 방법에 대한 흐름도이다.
영상 처리부(120)의 이진화부(121)는 획득된 영상이 컬러 영상이면 컬러 영상을 흑백 영상으로 이진화 처리한다(S101).
그리고 영상 처리부(120)의 밝기 처리부(122)는 이진화부(121)에서 이진화 처리된 흑백 영상에서 기설정된 픽셀의 밝기 값 이하인 픽셀을 흑색으로 배경 처리한다(S102).
이어서, 영상 처리부(120)의 노이즈 제거부(123)는 배경 처리된 흑백 영상에서 기설정된 픽셀 수 이하의 픽셀로 이루어진 노이즈 형상을 제거한다(S103).
그리고 형상 식별부는 노이즈 제거부(123)에서 노이즈 형상이 제거된 영상에서 하나 이상의 형상을 식별한다(S104).
이후, 형상 개수 확인부(130)는 영상 처리부(120)에서 식별된 하나 이상의 형상의 개수와 각 형상의 모양을 확인한다(S105).
그리고 오류 형상 확인부(140)는 형상 개수 확인부(130)에서 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상의 중심좌표값들을 이용하여 오류 형상이 존재하는지를 확인한다(S106).
상기 확인 결과(S106), 오류 형상이 존재하지 않으면, 중심좌표 계산부(150)는 각 형상의 좌표값들의 변화값이 기설정된 좌표 변화값 이하인 경우, 각 형상의 좌표값들을 칼만 필터에 입력하여 각 형상들의 중심좌표를 계산한다(S107).
반면, 상기 확인 결과(S106), 오류 형상이 존재하면, 중심좌표 계산부(150)는 획득된 영상을 영상 처리하는 S101 과정부터 다시 수행한다.
그리고 각속도 산출부(160)는 중심좌표 계산부(150)에서 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 각도를 계산하여 각속도 값을 산출한다(S108).
한편 비행 속도 산출 장치(100)는 디스플레이부(미도시)를 더 포함하며, 디스플레이부는 각속도 산출부(160)에 의해 산출된 각속도 값을 실시간으로 디스플레이할 수 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 비행 속도 산출 장치
110: 영상 디코더
120: 영상 처리부
121: 이진화부
122: 밝기 처리부
123; 노이즈 제거부
130: 형상 개수 확인부
140: 오류 형상 확인부
150: 중심좌표 계산부
160: 각속도 산출부

Claims (7)

  1. 비행 중 실시간으로 획득된 영상을 처리하고 상기 처리된 영상에서 하나 이상의 형상을 식별하는 영상 처리부;
    상기 식별된 하나 이상의 형상의 개수와 각 형상의 모양을 확인하는 형상 개수 확인부;
    상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상의 좌표값들의 변화값을 이용하여 오류 형상이 존재하는지를 확인하는 오류 형상 확인부;
    상기 각 형상의 좌표값들의 변화값이 기설정된 변화값 이하인 경우, 각 형상의 좌표값들을 칼만 필터에 입력하여 각 형상들의 중심좌표를 계산하는 중심좌표 계산부; 및
    상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 각도를 계산하여 각속도 값을 산출하는 각속도 산출부
    를 포함하는 것을 특징으로 하는 비행 속도 산출 장치.
  2. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 획득된 영상이 컬러 영상이면 컬러 영상을 흑백 영상으로 이진화 처리하는 이진화부;
    상기 이진화 처리된 흑백 영상에서 기설정된 픽셀의 밝기 값 이하인 픽셀을 흑색으로 배경 처리하는 밝기 처리부;
    상기 배경 처리된 흑백 영상에서 기설정된 픽셀 수 이하의 픽셀로 이루어진 노이즈 형상을 제거하는 노이즈 제거부; 및
    상기 노이즈 형상이 제거된 영상에서 하나 이상의 형상을 식별하는 형상 식별부
    를 포함하는 것을 특징으로 하는 비행 속도 산출 장치.
  3. 제 1 항에 있어서,
    상기 오류 형상 확인부는,
    상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수인 경우, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값 이상인지를 확인하여 오류 형상 유무를 확인하는 것을 특징으로 하는 비행 속도 산출 장치.
  4. 제 1 항에 있어서,
    상기 오류 형상 확인부는,
    상기 확인된 형상의 개수가 기설정된 샘플링 구간에서 동일한 개수이고, 각 형상들의 X축 및 Y축 좌표의 합산 좌표값들의 변화 좌표값이 기설정된 변화 값을 초과하는 경우, 새로 추가되는 오류 형상 또는 사라지는 오류 형상이 존재하는 것으로 판단하는 것을 특징으로 하는 비행 속도 산출 장치.
  5. 제 1 항에 있어서,
    상기 중심좌표 계산부는,
    상기 확인된 형상의 개수와 대응되도록 칼만 필터의 개수를 실시간으로 증가시키거나 감소시키고, 각 형상들의 중심좌표를 대응되는 칼만 필터에 각각 입력하여 각 형상들의 중심좌표를 계산하는 것을 특징으로 하는 비행 속도 산출 장치.
  6. 제 1 항에 있어서,
    상기 중심좌표 계산부는,
    각 형상의 중심좌표 평균값, 각 형상의 중심좌표 분산값 및 각 형상의 형상중심좌표의 측정값을 칼만 필터에 적용하여 각 형상들의 중심좌표를 계산하는 것을 특징으로 하는 비행 속도 산출 장치.
  7. 제 1 항에 있어서,
    상기 각속도 산출부는,
    비행 중에 상기 계산된 각 형상들의 중심좌표로부터 실시간으로 변하는 롤 방향으로 각도를 계산하여 각속도 값을 산출하는 것을 특징으로 하는 비행 속도 산출 장치.
KR1020160055553A 2016-05-04 2016-05-04 칼만 필터를 이용한 비행 속도 산출 장치 KR101777385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160055553A KR101777385B1 (ko) 2016-05-04 2016-05-04 칼만 필터를 이용한 비행 속도 산출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160055553A KR101777385B1 (ko) 2016-05-04 2016-05-04 칼만 필터를 이용한 비행 속도 산출 장치

Publications (1)

Publication Number Publication Date
KR101777385B1 true KR101777385B1 (ko) 2017-09-11

Family

ID=59926024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160055553A KR101777385B1 (ko) 2016-05-04 2016-05-04 칼만 필터를 이용한 비행 속도 산출 장치

Country Status (1)

Country Link
KR (1) KR101777385B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015135333A (ja) 2015-02-13 2015-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015135333A (ja) 2015-02-13 2015-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
광류를 이용한 영상기반 무인항공기의 자세 추정
영상처리와 확장칼만필터를 이용한 쿼드로터의 동적 물체 추종
칼만필터를 이용한 무인기의 표적위치 추정 정확도 개선

Similar Documents

Publication Publication Date Title
US20190164310A1 (en) Camera registration in a multi-camera system
US20200264011A1 (en) Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle
CN106705936B (zh) 一种无人机高度优化方法及装置
US6188330B1 (en) Windshear detection system
WO2018141198A1 (zh) 无人机飞行高度的检测方法、装置及无人机
KR101804681B1 (ko) 저해상도 2d 라이다 센서를 이용한 사람 탐지 장치 및 방법
CN112051591A (zh) 一种激光雷达与惯性测量单元的检测方法及相关装置
CN105716625B (zh) 用于自动地检测飞行器的监测传感器的失准的方法和系统
CN107018356B (zh) 将来自图像传感器的图像叠加在外部景观的合成第二图像上的图形化表示方法
CN106708088B (zh) 坐标计算方法及装置、飞行控制方法及系统、无人机
KR101777385B1 (ko) 칼만 필터를 이용한 비행 속도 산출 장치
KR101784955B1 (ko) 영상 정보를 이용한 비행 속도 산출 방법
KR20170092359A (ko) 회전 모션센서를 이용한 3축 자세정보 계측 시스템
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
KR101858976B1 (ko) 자세 및 방위각 측정장치의 가속도센서 신호처리 방법
JP3005682B1 (ja) 滑走路画像を用いた位置・姿勢の割出し方法およびその装置
WO2021016875A1 (zh) 飞行器的降落方法、无人飞行器及计算机可读存储介质
KR101983892B1 (ko) 웨어러블 디바이스를 이용한 차량 내 제스처 인식방법, 장치 및 기록매체
CN108072371B (zh) 定位方法、定位装置和电子设备
KR101688642B1 (ko) 무인기 영상기반 자동 착륙을 위한 마커 인식 장치 및 방법
Rajput et al. Hazard detection on runways using image processing techniques
CN112446384B (zh) 快速实例分割
WO2024067498A1 (zh) 飞行器的速度监测方法、装置、存储介质及飞行器
US11017256B2 (en) Rapid analysis of images
JPH09282460A (ja) 自動目標認識装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant