KR101962933B1 - 해상 기동 물체 탐지 추적 방법 및 해상 기동 물체 탐지 추적 장치 - Google Patents

Abstract

본 발명은 카메라 센서부를 통해 영상을 입력받아 영상에 포함된 해상 기동 물체를 탐지하는 탐지단계, 상기 탐지단계에서 탐지된 해상 기동 물체에 해당하는 유효 추적 창을 생성하는 유효 추적 창 생성단계 및 상기 유효 추적 창 생성단계에서 생성된 유효 추적 창의 크기에 따라 탐색 범위를 제한하기 위한 마스크 필터(Mask Filter)를 생성하는 마스크 필터 생성 단계를 포함하는 해상 기동 물체 탐지 추적 방법으로서, 본 발명에 의하면, 해상 수면의 빛 반사로 인한 노이즈의 영향을 줄이고, 해상 환경에서 모양과 크기, 질감, 방향성이 유사한 다수의 물체가 영상에 입력되었을 시 목표 표적으로 분류하여 보다 정확히 탐지 및 추적할 수 있다.

Description

해상 기동 물체 탐지 추적 방법 및 해상 기동 물체 탐지 추적 장치{DETECTION AND TRACKING METHOD FOR SEA-SURFACE MOVING OBJECT}

본 발명은 해상을 기동하는 물체를 탐지하고 추적하기 위한 방법 및 장치에 관한 것이다.

종래의 적외선 영상을 통해 기동하는 해상 물체의 탐지 및 추적 기법은 해상 수면의 빛 반사 및 환경의 영향으로 발생되는 클러터와 같은 노이즈의 영향을 줄이는 것이 주요한 과제로서 이를 줄이고자 하는 노력이 계속되어 왔다.

특히, 적외선 센서가 비행체와 같은 기동하는 플랫폼에 탑재되어 있는 경우 해상수면과의 거리가 가까워질수록 영상으로 입력되는 노이즈가 기하 급수적으로 늘어나기 때문에 이에 상응하는 알고리즘 및 기법이 상당히 복잡해지게 되고, 그에 따라 산출된 값과 실제 표적과의 오차가 발생할 수 있는 확률도 높아진다.

또한 기동하는 물체가 크기나 모양, 방향성이 유사한 다수의 군집형일 경우, 적외선 영상과 같은 형상정보 수준이 떨어지는 환경에서는 목표하는 표적의 탐지/추적의 성능을 보장할 수 없게 된다.

일반적으로 MITL(Man-In-The-Loop)시스템을 적용한 비행체는 운용자가 CCD/IR 카메라로부터 수신된 영상에 나타난 표적 이미지를 확인하고, 비행체 조준점을 운용자 모니터를 통해 지정하면, 비행체는 운용자의 명령에 따라 지정된 위치의 표적을 격추하는 임무를 수행하게 된다.

이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

한국등록특허공보 제10-1428587호

본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 해상 수면의 빛 반사로 인한 노이즈의 영향을 줄이고, 해상 환경에서 모양과 크기, 질감, 방향성이 유사한 다수의 물체가 영상에 입력되었을 시 목표 표적으로 분류하여 보다 정확히 탐지 및 추적하기 위한 방법 및 장치를 제공하는 데 그 목적이 있다.

본 발명의 일 관점에 의한 해상 기동 물체 탐지 추적 방법은, 카메라 센서부를 통해 영상을 입력받아 영상에 포함된 해상 기동 물체를 탐지하는 탐지단계, 상기 탐지단계에서 탐지된 해상 기동 물체에 해당하는 유효 추적 창을 생성하는 유효 추적 창 생성단계 및 상기 유효 추적 창 생성단계에서 생성된 유효 추적 창의 크기에 따라 탐색 범위를 제한하기 위한 마스크 필터(Mask Filter)를 생성하는 마스크 필터 생성 단계를 포함한다.

상기 마스크 필터 생성 단계에서 생성된 마스크 필터를 통과한 이진 영상에 포함된 표적에 대한 실제 위치좌표를 외부 데이터로부터 수집하여, 상기 이진 영상의 크기에 대응되는 픽셀좌표로 변환하고 표적의 중심점에 해당되는 픽셀 좌표로 추정하는 MITL(Man-In-The-Loop) 표적정보 생성단계를 더 포함할 수 있다.

그리고, 상기 MITL 표적정보 생성단계에 의한 표적의 중심점 좌표를 상기 유효 추적 창 영역에서 탐지된 물체들의 픽셀 중심점과 비교함으로써 표적의 중심 값을 추적 점으로 결정하는 유효 추적 창 영역 표적 검출 단계를 더 포함할 수 있다.

또한, 상기 유효 추적 창 영역 표적 검출 단계에 의해 상기 추적 점이 결정되면, 상기 마스크 필터를 초기화하여 재생성하는 마스크 필터 갱신 단계를 더 포함할 수 있다.

그리고, 상기 추적 점에 해당되는 표적의 중심 값을 Kalman Filter 알고리즘을 이용하여 추적하는 표적 추적단계를 더 포함할 수 있다.

상기의 MITL(Man-In-The-Loop) 표적정보 생성단계에 의해 상기 마스크 필터를 통과한 표적 이외의 물체를 포함하는 이진 영상에서 실제 추적하고자 하는 표적의 결정을 가능하게 하는 것을 특징으로 한다.

그리고, 상기 유효 추적 창은 탐지단계에 의해 이진 영상에서 탐지된 물체의 개체마다 픽셀 수를 블록과 같이 설정하고, 최대 물체 개수 내에서 상기 탐지된 물체들을 포함하는 유효 추적 창의 영역을 산출하는 것을 특징으로 한다.

다음으로, 본 발명의 일 관점에 의한 해상 기동 물체 탐지 추적 장치는, 카메라 센서부를 통해 영상을 입력받아 상기 영상에 포함된 물체를 탐지하는 물체 탐지부, 상기 물체 탐지부에 의해 탐지된 해상 기동 물체에 따라 유효 추적 창을 생성하는 유효 추적창 생성부 및 상기 유효 추적창 생성부에 의해 생성된 유효 추적 창의 크기에 따라 탐색 범위를 제한하기 위한 마스크 필터(Mask Filter)를 생성하는 마스크 필터 생성부를 포함한다.

상기 마스크 필터 생성부에서 생성된 마스크 필터를 통과한 이진 영상에 포함된 표적에 대한 실제 위치좌표를 외부 데이터로부터 수집하여, 상기 이진 영상의 크기에 대응되는 픽셀좌표로 변환하고 표적의 중심점에 해당되는 픽셀 좌표로 추정하는 MITL(Man-In-The-Loop) 표적정보 생성부를 더 포함할 수 있다.

그리고, 상기 MITL 생성부에 의한 표적의 중심점 좌표를 상기 유효 추적 창 영역에서 탐지된 물체들의 픽셀 중심점과 비교함으로써 표적의 중심 값을 추적점으로 결정하는 유효추적 창 영역 표적좌표 검출부를 더 포함할 수 있다.

본 발명의 해상 기동 물체 탐지 추적 방법 및 장체에 의하면, 영상 센서에서 탐지된 물체에 대응되는 크기의 유효추적 창을 설정하여 탐지 단계에서 노이즈의 영향을 줄이고, 유효 추적 창 범위 내에서 탐지된 물체 후보군 중 MTIL 기술의 컴퓨터 프로세스 능력을 활용하여, 다수의 물체 중 목표로 하는 표적을 강인하게 추적할 수 있다.

도 1은 본 발명의 해상 기동 물체 탐지 추적 장치에 대한 구성도이다.
도 2는 유효 추적 창 영역 생성 방법에 대한 예시 도면이다.
도 3은 마스크 필터 생성 방법에 대한 예시 도면이다.
도 4는 마스크 필터를 통과한 이진 영상의 예시 도면이다.
도 5는 갱신된 마스크 필터를 통과한 표적 이진 영상의 예시 도면이다.
도 6은 본 발명이 적용되지 않은 원 이진 영상 표적 검출결과에 대한 시뮬레이션이다.
도 7은 본 발명을 적용한 이진 영상 표적 검출결과에 대한 시뮬레이션이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.

이하, 도 1 내지 도 7을 참조하여 본 발명에 의한 해상 기동 물체 탐지 추적 방법 및 탐지 추적 장치를 설명하기로 한다.

발명에서 제시하는 MITL(Man-In-The-Loop)기술은 지상의 컴퓨터 프로세스 능력을 활용하여 비행체의 타격지점 지정위치를 제시함으로써, 타격지점의 정확성을 높이고, 운용자의 전문성 의존도를 낮출 수 있는 장점이 있다. 여기서 지상의 컴퓨터 프로세스 능력이라 함은 외부 센서데이터 처리 및 입력 영상처리 능력을 말한다.

도 1은 본 발명에 따른 해상 기동 물체 탐지 추적 장치의 구성을 개략적으로 도시한 것이다.

본 발명의 해상 기동 물체 탐지 추적 장치(101)는, 카메라 센서부(102), 영상 입력부(103), 물체 탐지부(104), 유효 추적창 생성부(105), 마스크 필터 생성부(106), MITL표적정보 생성부(107), 유효추적 창 영역 표적좌표 검출부(108), 마스크 필터 갱신부(109), 추적부(110), 종료부(111)를 포함한다.

이러한 본 발명의 해상 기동 물체 탐지 추적 장치(101)에 의해 구현되는 해상 기동 물체 탐지 추적 방법을 이하에서 순서적으로 설명한다.

1. 탐지단계

적외선 카메라를 포함하는 카메라 센서부(102)로부터 영상 입력부(103)가 비디오 영상 이미지를 입력받고, 입력되는 비디오 영상 이미지(103)에서 움직이는 물체를 탐지하는 데에는 배경제거 알고리즘으로 GMM(Gaussian Mixture Model)을 적용한다.

배경으로부터 분리된 물체는 일반적으로 사물의 형태를 구성하고 있는 구조적인 외형의 특징을 추출하기 위한 과정으로 모폴로지(Morphology) 연산을 수행함으로써 노이즈를 제거한다.

물체 탐지부(104)는 Blob 분석을 통해 넓이, 둘레, 장??단축 길이와 같은 이미지 안에 연결된 픽셀들의 개체들을 계산하여 물체의 기준 값을 만족시키는 물체를 탐지결과로 반환한다.

2. 유효 추적 창 생성 단계

유효 추적창 생성부(105)는 적외선 영상에서 탐지된 물체의 영역을 설정하여 제한된 영역 안에서 탐지된 물체가 노이즈의 영향을 피하고 지속적으로 추적하기 위한 방법으로 유효 추적 창을 생성한다.

이는 순차적으로 입력되는 영상에서 물체의 자세가 바뀌거나 관심영역 외에 클러터가 나타나더라도 유효 추적 창 영역 범위에서 탐지된 결과를 반영하기 때문에 물체자세 변동에 따른 물체영역의 픽셀 수 변화는 추적이 정상적으로 이루어지는데 영향이 미미하게 한다.

단, 유효 추적 창 크기는 물체와의 거리에 따라 픽셀 수 변화량이 중요한 입력 값이 되는데, 물체의 이동방향 및 물체와 카메라 센서가 근접하는 속도에 대한 정확한 계측이 요구된다.

제안하는 기법으로 유효 추적 창 생성을 나타내는 알고리즘은 아래 표 1과 같다. 상기 과정의 Blob 분석을 통해 나타난 이진 영상

에서 탐지된 물체의 데이터 정보를

라고 할 때, j는 전체 영상 프레임 1-f까지 중 j 번째 프레임이며, i는 j 번째 프레임에서 탐지된 물체 수이다.

입력 영상에서 탐지된 물체가 존재하면 개체마다

물체의 중심점, 개체를 구성하는 가로/세로의 픽셀 수를 블록

와 같이 설정하고, 유효 추적 창의 영역

를 산출한다. 이때 탐지되는 물체의 최대 개수를

값으로 제한한다. 이는 유효 추적 창 생성에 따른 계산량을 줄이고자 함이다.

유효 추적 창 크기를 결정하는 데에는 표적픽셀 수 추정치가 기준이 되며, 표 1에서와 같이 상수 값(

)으로 시간에 따라 물체의 픽셀영역 수의 변화율을 반영한다. 유효 추적 창의 크기 생성과정은 도 2와 같다.

[표 1] 유효 추정 창 생성(Validation gate generator)

3. 마스크 필터 생성 단계

마스크 필터 생성부(106)에서는 상기 과정에서 유효 추적 창이 생성되면, 추적 창의 크기를 반영하여 도 3과 같이 탐색 범위를 제한하는 마스크 필터(Mask Filter)를 생성하는데, 마스크필터를 통과한 탐지물체의 이진 영상의 결과는 도 4의 예와 같다.

4. MITL(Man-In-The-Loop) 표적정보 생성단계

상기 유효 추적 창의 영역 크기에 대응되는 마스크 필터를 통과한 이진 영상은 추적하고자 하는 표적과 함께 모양과 크기, 질감, 방향성이 유사한 다수의 물체를 포함하기 때문에 실제 추적하고자 하는 표적을 결정해야 한다.

따라서 MITL 표적 정보 생성부(107)는 지상에서 실시간으로 수집된 외부 센서데이터의 표적의 실제 위치좌표를 카메라 플랫폼의 위치, 자세, 표적과의 거리를 환산하여 영상의 크기에 대응되는 픽셀좌표로 변환하고 표적의 중심점에 해당되는 픽셀 좌표로 추정한다.

5. 유효 추적 창 영역 표적 검출 단계

유효 추적 창 영역 표적좌표 검출부(108)에서는 영상에서 표적위치에 해당되는 물체의 중심점 좌표를 비행체에 전송하면, 상기 과정에서 생성된 유효 추적 창 영역에서 탐지된 물체들의 픽셀 중심점과 Euclidean distance 값을 기준으로 비교한다. 이때 최소값을 갖는 물체를 표적으로 검출하여 영역의 중심 값을 추적 점으로 반환한다.

6. 마스크 필터 갱신 단계

마스크 필터 갱신부(109)에서는 상기 과정에서 유일하게 물체의 추적 점으로 반환된 값을 입력 받게 되면, 이전 생성된 마스크 필터는 초기화되며 해당하는 표적영역의 유효 추적 창 크기를 반영한 마스크 필터를 재생성한다.

마스크 필터 갱신에 따른 표적 이진 영상 검출 결과는 도 5와 같다.

MITL 표적 정보가 변동되기 전까지 갱신된 마스크 필터를 유지한다.

7. 표적 추적단계

상기 과정에서 추적 점에 해당되는 표적의 중심 값을 유일하게 추적하기 위해서 추적부(110)는 Kalman Filter 알고리즘을 사용하여 물체를 추적한다. Kalman Filter는 영상에서 탐지된 물체의 속도 및 위치 변화량 등의 상태변수를 측정하고, 이것의 평균 및 분산 값을 근거로 상태변수를 업데이트하여 이동물체의 다음위치를 예측하는 과정을 수행함으로써 물체를 추적한다.

도 6은 기법을 적용하지 않은 원 영상으로, 관심 표적을 포함하여 노이즈의 영향으로 인한 다수의 클러터 및 관심 표적과 유사한 물체가 함께 탐지되어 나타남을 알 수 있다.

반면, 도 7과 같이 본 발명의 방법을 적용한 영상에서는 관심표적만 검출되었기 때문에 Kalman Filter 알고리즘의 이동물체에 대한 강인한 추적을 보장할 수 있게 된다.

이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.

101 : 해상 기동 물체 탐지 추적 장치
102 : 카메라 센서부
103 : 영상 입력부
104 : 물체 탐지부
105 : 유효 추적창 생성부
106 : 마스크 필터 생성부
107 : MITL 표적정보 생성부
108 : 유효추적 창 영역 표적좌표 검출부
109 : 마스크 필터 갱신부
110 : 추적부
111 : 종료부

Claims (9)

1. 삭제
2. 카메라 센서부를 통해 영상을 입력받아 배경제거 알고리즘을 통해 배경을 분리하고, Blob(binary large object) 분석을 통해 영상에 포함된 해상 기동 물체를 탐지하는 탐지단계;
   상기 탐지단계에서 탐지된 해상 기동 물체에 해당하는 유효 추적 창을 생성하는 유효 추적 창 생성단계;
   상기 유효 추적 창 생성단계에서 생성된 유효 추적 창의 크기에 따라 탐색 범위를 제한하기 위한 마스크 필터(Mask Filter)를 생성하는 마스크 필터 생성 단계; 및
   상기 마스크 필터 생성 단계에서 생성된 마스크 필터를 통과한 이진 영상에 포함된 표적에 대한 실제 위치좌표를 외부 데이터로부터 수집하여, 상기 이진 영상의 크기에 대응되는 픽셀좌표로 변환하고 표적의 중심점에 해당되는 픽셀 좌표로 추정하는 MITL(Man-In-The-Loop) 표적정보 생성단계를 포함하고,
   상기 유효 추적 창 생성단계는,
   탐지된 물체가 존재하면 각 개체를 구성하는 가로 및 세로의 픽셀 수를 블록

   

   와 같이 설정하고, 유효 추적창의 영역

   

   를 산출하는 것을 특징으로 하며,
   상기 외부 데이터는 지상에서 실시간으로 센싱하여 수집되는 외부 센서데이터인 것을 특징으로 하는,
   해상 기동 물체 탐지 추적 방법.
   

   

   
   

   

   : Blob 분석을 통해 나타난 이진 영상

   

   에서 탐지된 물체의 데이터 정보, j는 전체 영상 프레임 1-f 중 j번째 프레임, i는 j번째 프레임에서 탐지된 물체 수,
   

   

   
   

   

   
   

   

   
   

   

   
   

   
3. 청구항 2에 있어서,
   상기 MITL 표적정보 생성단계에 의한 표적의 중심점 좌표를 상기 유효 추적 창 영역에서 탐지된 물체들의 픽셀 중심점과 비교함으로써, 최소값을 갖는 유일한 표적의 중심 값을 추적 점으로 결정하는 유효 추적 창 영역 표적 검출 단계를 더 포함하는,
   해상 기동 물체 탐지 추적 방법.
4. 청구항 3에 있어서,
   상기 유효 추적 창 영역 표적 검출 단계에 의해 상기 추적 점이 결정되면, 상기 마스크 필터를 초기화하여 재생성하는 마스크 필터 갱신 단계를 더 포함하는,
   해상 기동 물체 탐지 추적 방법.
5. 청구항 3에 있어서,
   MITL(Man-In-The-Loop) 표적정보 생성단계에 의해 상기 마스크 필터를 통과한 표적 이외의 물체를 포함하는 이진 영상에서 실제 추적하고자 하는 표적의 결정을 가능하게 하는 것을 특징으로 하는,
   해상 기동 물체 탐지 추적 방법.
6. 청구항 5에 있어서,
   상기 유효 추적 창은 탐지단계에 의해 이진 영상에서 탐지된 물체의 개체마다 픽셀 수를 블록과 같이 설정하고, 최대 물체 개수 내에서 상기 탐지된 물체들을 포함하는 유효 추적 창의 영역을 산출하는 것을 특징으로 하는,
   해상 기동 물체 탐지 추적 방법.
7. 삭제
8. 카메라 센서부를 통해 영상을 입력받아 배경제거 알고리즘을 통해 배경을 분리하고, Blob(binary large object) 분석을 통해 상기 영상에 포함된 물체를 탐지하는 물체 탐지부;
   상기 물체 탐지부에 의해 탐지된 해상 기동 물체에 따라 유효 추적 창을 생성하는 유효 추적창 생성부;
   상기 유효 추적창 생성부에 의해 생성된 유효 추적 창의 크기에 따라 탐색 범위를 제한하기 위한 마스크 필터(Mask Filter)를 생성하는 마스크 필터 생성부; 및
   상기 마스크 필터 생성부에서 생성된 마스크 필터를 통과한 이진 영상에 포함된 표적에 대한 실제 위치좌표를 외부 데이터로부터 수집하여, 상기 이진 영상의 크기에 대응되는 픽셀좌표로 변환하고 표적의 중심점에 해당되는 픽셀 좌표로 추정하는 MITL(Man-In-The-Loop) 표적정보 생성부를 더 포함하고,
   상기 유효 추적 창 생성부는,
   탐지된 물체가 존재하면 각 개체를 구성하는 가로 및 세로의 픽셀 수를 블록

   

   와 같이 설정하고, 유효 추적창의 영역

   

   를 산출하는 것을 특징으로 하며,
   상기 외부 데이터는 지상에서 실시간으로 센싱하여 수집되는 외부 센서데이터인 것을 특징으로 하는,
   해상 기동 물체 탐지 추적 장치.
   

   

   
   

   

   : Blob 분석을 통해 나타난 이진 영상

   

   에서 탐지된 물체의 데이터 정보, j는 전체 영상 프레임 1-f 중 j번째 프레임, i는 j번째 프레임에서 탐지된 물체 수,
   

   

   
   

   

   
   

   

   
   

   

   
   

   
9. 청구항 8에 있어서,
   상기 MITL 표적정보 생성부에 의한 표적의 중심점 좌표를 상기 유효 추적 창 영역에서 탐지된 물체들의 픽셀 중심점과 비교함으로써, 최소값을 갖는 유일한 표적의 중심 값을 추적점으로 결정하는 유효추적 창 영역 표적좌표 검출부를 더 포함하는,
   해상 기동 물체 탐지 추적 장치.

Images