KR101886856B1 - 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 - Google Patents
이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 Download PDFInfo
- Publication number
- KR101886856B1 KR101886856B1 KR1020170123936A KR20170123936A KR101886856B1 KR 101886856 B1 KR101886856 B1 KR 101886856B1 KR 1020170123936 A KR1020170123936 A KR 1020170123936A KR 20170123936 A KR20170123936 A KR 20170123936A KR 101886856 B1 KR101886856 B1 KR 101886856B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- information
- infrared
- visible light
- equation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G06K2017/0045—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
본 발명은 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법에 관한 것으로, 더욱 상세하게는 이종센서 탐색기내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 적외선 표적 데이터 산출부; 이종센서 탐색기내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 가시광 표적 데이터 산출부; 상기 적외선 표적 데이터 산출부와 가시광 표적 데이터 산출부가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 중첩비율 추출부; 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 산출하는 표적 간 거리 계산부; 및 상기 중첩비율 추출부에서 산출된 근사화 정보와 상기 표적 간 거리 계산부에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 산출하고 상기 최종결합표적을 시각화 하는 표적정보 산출부를 포함하여 구성된다.
Description
본 발명은 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법에 관한 것으로, 더욱 상세하게는 이종센서 탐색기내 적외선 및 가시광 영상에서 각각의 표적추적 결과를 결합하여 하나의 최종결합표적을 생성하는 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법에 관한 것이다.
일반적인 적외선 표적 영상과 가시광 표적 영상을 이용하는 이종센서의 표적추적은 각각의 추적결과에 대해 하나의 표적을 생성하는 표적 결합 방법을 적용하는 것보다는 적외선 표적 영상과 가시광 표적 영상을 영상신호처리단계에서 하나의 영상으로 만드는 영상 융합을 통해 표적 추적하는 방법이 많이 사용되고 있다.
영상 융합을 통해 표적을 추적하는 경우 적외선 표적 영상과 가시광 표적 영상 중에서 적외선 표적 영상을 주축으로 두고 적외선 표적 영상의 추적결과를 산출하여 그에 대응하는 가시광 표적 영상의 추적결과를 보조적으로 사용하는 방식이 많이 사용된다.
허나, 이와 같은 경우 적외선 표적 영상에서 표적을 추적하지 못할 경우에는 가시광 표적 영상에서도 표적 추적 결과를 생성할 수 없는 문제점이 있었다.
본 발명은 이와 같은 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 이종센서 탐색기 내 적외선 및 가시광 영상에서 각각의 표적추적 결과를 결합하여 하나의 최종결합표적을 생성하는데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템은 이종센서 탐색기 내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 적외선 표적 데이터 산출부; 이종센서 탐색기 내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 가시광 표적 데이터 산출부; 상기 적외선 표적 데이터 산출부와 가시광 표적 데이터 산출부가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 중첩비율 추출부; 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 산출하는 표적 간 거리 계산부; 및 상기 중첩비율 추출부에서 산출된 근사화 정보와 상기 표적 간 거리 계산부에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 산출하고 상기 최종결합표적을 시각화 하는 표적정보 산출부를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 적외선 표적 데이터 산출부는, 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 산출하는 밝기정보 산출부; 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 적외선 크기정보 산출부; 및 상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 적외선 정규화부를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 가시광 표적 데이터 산출부는, 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 산출하는 형태정보 산출부; 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 가시광 크기정보 산출; 및 상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 가시광 정규화부를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 중첩비율 추출부는,
상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율정보를 산출하는 중첩비율 산출부; 및 상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 산출하는 근사화 정보 산출부를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템을 이용한 데이터 결합방법에 있어서, 적외선 표적 데이터 산출부가 이종센서 탐색기 내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 A 단계; 가시광 표적 데이터 산출부가 이종센서 탐색기 내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 B 단계; 중첩비율 추출부가 상기 적외선 표적 데이터 산출부와 가시광 표적 데이터 산출부가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 C 단계; 표적 간 거리 계산부가 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 산출하는 D 단계; 및 표적정보 산출부가 상기 중첩비율 추출부에서 산출된 근사화 정보와 상기 표적 간 거리 계산부에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 산출하고 상기 최종결합표적을 시각화 하는 E 단계를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 A 단계는, 밝기정보 산출부가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 산출하는 단계; 적외선 크기정보 산출부가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 단계; 및 적외선 정규화부가 상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 B 단계는, 형태정보 산출부가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 산출하는 단계; 가시광 크기정보 산출부가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 단계; 및 가시광 정규화부가 상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따르면, 상기 C 단계는, 중첩비율 산출부가 상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율을 산출하는 중첩비율정보를 산출하는 단계; 및 근사화 정보 산출부가 상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 제시하는 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법은 이종센서 탐색기로 내 적외선 및 가시광 영상의 각각 표적추적의 결과를 결합하여 하나의 최종결합표적을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 데이터 결합시스템의 블록도
도 2는 본 발명의 일실시예에 따른 데이터 결합시스템의 상세 블록도
도 3은 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합방법의 순서도
도 4는 본 발명의 일실시예에 따른 데이터 결합시스템의 적외선 표적 데이터 산출부의 정규화정보 산출 순서도
도 5는 본 발명의 일실시예에 따른 데이터 결합시스템의 가시광 표적 데이터 산출부의 정규화정보 산출 순서도
도 6은 본 발명의 일실시예에 따른 데이터 결합시스템의 중첩비율 추출부의 근사화정보 산출 순서도
도 7a는 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합에 의한 표적결합정보 예시도1
도 7b는 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합에 의한 표적결합정보 예시도2
도 2는 본 발명의 일실시예에 따른 데이터 결합시스템의 상세 블록도
도 3은 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합방법의 순서도
도 4는 본 발명의 일실시예에 따른 데이터 결합시스템의 적외선 표적 데이터 산출부의 정규화정보 산출 순서도
도 5는 본 발명의 일실시예에 따른 데이터 결합시스템의 가시광 표적 데이터 산출부의 정규화정보 산출 순서도
도 6은 본 발명의 일실시예에 따른 데이터 결합시스템의 중첩비율 추출부의 근사화정보 산출 순서도
도 7a는 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합에 의한 표적결합정보 예시도1
도 7b는 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합에 의한 표적결합정보 예시도2
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구성될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우만이 아니라, 다른 부분을 통해 “간접적으로 연결”되는 경우도 포함하여 어떤 부분이 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함 할 수 있는 것을 의미한다.
이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 설명하면 다음과 같다.
먼저 도 1은 본 발명의 일실시예에 따른 데이터 결합시스템의 블록도이다.
도 1에 도시된 바와 같이 본 발명에 따른 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템(2)은 이종센서 탐색기(1)내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 적외선 표적 데이터 산출부(100)와 이종센서 탐색기(1)내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 가시광 표적 데이터 산출부(200)와 상기 적외선 표적 데이터 산출부(100)와 가시광 표적 데이터 산출부(200)가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 중첩비율 추출부(300)와 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 산출하는 표적 간 거리 계산부(400) 및 상기 중첩비율 추출부(300)에서 산출된 근사화 정보와 상기 표적 간 거리 계산부(400)에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 산출하고 상기 최종결합표적을 시각화 하는 표적정보 산출부(500)를 포함하여서 구성된다.
도 2는 본 발명의 일실시예에 따른 데이터 결합시스템의 상세 블록도이다. 본 발명에 따른 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템(2)은 도 2에 도시된 바와 같이 적외선 표적 데이터 산출부(100)는 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 산출하는 밝기정보 산출부(110)와 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 적외선 크기정보 산출부(120) 및 상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 적외선 정규화부(130)를 포함하여 구성되며, 가시광 표적 데이터 산출부(210)는 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 산출하는 형태정보 산출부(210)와 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 가시광 크기정보 산출부(220) 및 상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 가시광 정규화부(230)를 포함하여 구성되며, 중첩비율 추출부(300)는 상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율정보를 산출하는 중첩비율 산출부(310) 및 상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 산출하는 근사화 정보 산출부(320)를 포함하여서 구성된다.
이하에서는 상기한 구성을 갖는 본 발명에 따른 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템의 데이터 결합 방법에 대해서 도 3 내지 도 7을 통해 상세하게 설명한다.
도 3은 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합방법의 순서도이다. 도 3에 도시된 바와 같이 본 발명에 따른 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템(2)의 데이터 결합은 상기 적외선 표적 데이터 산출부(100)가 먼저 이종센서 탐색기(1)내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 단계(S100)와 상기 가시광 표적 데이터 산출부(200)가 이종센서 탐색기(1)내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 단계(S200)와 상기 중첩비율 추출부(300)가 상기 적외선 표적 데이터 산출부(100)와 가시광 표적 데이터 산출부(200)가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 단계(S300)와 상기 표적 간 거리 계산부(400)가 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 산출하는 단계(S400)와 상기 표적정보 산출부(500)가 상기 중첩비율 추출부(300)에서 산출된 근사화 정보와 상기 표적 간 거리 계산부(400)에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 산출하고 상기 최종결합표적을 시각화 하는 단계(S500)를 통해서 이루어진다.
도 4는 본 발명의 일실시예에 따른 데이터 결합시스템의 적외선 표적 데이터 산출부의 정규화정보 산출 순서도이다. 도 4에 도시된 바와 같이 상기 적외선 표적 데이터 산출부(100)가 먼저 이종센서 탐색기(1)내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 단계(S100)는 상세하게는 상기 밝기정보 산출부(110)가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 산출하는 단계(S110)와 상기 적외선 크기정보 산출부(120)가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 단계(S120)와 상기 적외선 정규화부(130)가 상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 단계(S130)를 포함하여 이루어진다.
먼저 상기 밝기정보 산출부(110)가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 산출하는 단계(S110)는
을 통해서 이루어지며 상기 수학식 1의 는 추적결과에서 표적의 밝기 평균 값, 는 적외선 영상에서 밝기 값, n은 개수이고, 는 적외선 표적 영상에서 현재 추적결과의 위치, 는 추적중심의 좌표를 의미한다.
다음으로 상기 적외선 크기정보 산출부(120)가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 단계(S120)는
다음으로 상기 적외선 정규화부(130)가 상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 단계(S130)는
도 5는 본 발명의 일실시예에 따른 데이터 결합시스템의 가시광 표적 데이터 산출부의 정규화정보 산출 순서도이다. 도 5에 도시된 바와 같이 상기 가시광 표적 데이터 산출부(200)가 이종센서 탐색기(1)내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 단계(S200)는 상세하게는 상기 형태정보 산출부(210)가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 산출하는 단계(S210)와 상기 가시광 크기정보 산출부(220)가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 단계(S220)와 상기 가시광 정규화부(230)가 상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 단계(S230)를 포함하여 이루어진다.
먼저 상기 형태정보 산출부(210)가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 산출하는 단계(S210)는
를 통해서 이루어지며 상기 수학식 4의 는 추적결과에서 표적 중심의 수평 최대 값과 수직 최대 값, 는 가시광 표적 영상에서 현재 추적결과의 위치, 는 추적중심의 좌표를 의미한다.
다음으로 상기 가시광 크기정보 산출부(220)가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 산출하는 단계(S220)는
다음으로 상기 가시광 정규화부(230)가 상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 단계(S230)는
도 6은 본 발명의 일실시예에 따른 데이터 결합시스템의 중첩비율 추출부의 근사화정보 산출 순서도이다. 도 6에 도시된 바와 같이 상기 중첩비율 추출부(300)가 상기 적외선 표적 데이터 산출부(100)와 가시광 표적 데이터 산출부(200)가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 단계(S300)는 상세하게는 상기 중첩비율 산출부(310)가 상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율정보를 산출하는 단계(S310)와 상기 근사화 정보 산출부(320)가 상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 산출하는 단계(S320)를 포함하여 이루어진다.
먼저 상기 중첩비율 산출부(310)가 상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율정보를 산출하는 단계(S310)는
다음으로 상기 근사화 정보 산출부(320)가 상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 산출하는 단계(S320)는
상기 표적 간 거리 계산부(400)가 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 산출하는 단계(S400)는
마지막으로 상기 표적정보 산출부(500)가 상기 중첩비율 추출부(300)에서 산출된 근사화 정보와 상기 표적 간 거리 계산부(400)에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 산출하고 상기 최종결합표적을 시각화 하는 단계(S500)는
도 7a는 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합에 의한 표적결합정보 예시도1이며, 도 7b는 본 발명의 일실시예에 따른 데이터 결합시스템을 이용한 데이터 결합에 의한 표적결합정보 예시도2이다. 도 7a와 도 7b는 본 발명에 따른 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템(2)의 데이터 결합 방법과정을 통해서 최종적으로 상기 이종센서 탐색기(1)내 적외선 및 가시광 표적 영상의 추적결과를 데이터 결합을 통해 상기 표적정보 산출부(500)가 산출한 최종결합표적을 시각화한 정보를 예시적으로 나타낸 것이다. 따라서 본 발명에 따른 데이터 결합시스템(2)은 적외선 및 가시광 영상의 추적결과를 통해서 최종적으로 하나의 최종결합표적을 산출해 냄으로써 종래의 이종센서의 표적추적 방법이 가지고 있던 적외선 표적 영상에서 표적을 추적하지 못할 경우에는 가시광 표적 영상에서도 표적 추적 결과를 생성할 수 없는 문제점을 해소할 수 있다.
본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시 예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1 : 이종센서 탐색기
2 : 데이터 결합시스템
100 : 적외선 표적 데이터 산출부
110 : 밝기정보 산출부
120 : 적외선 크기정보 산출부
130 : 적외선 정규화부
200 : 가시광 표적 데이터 산출부
210 : 형태정보 산출부
220 : 가시광 크기정보 산출부
230 : 가시광 정규화부
300 : 중첩비율 추출부
310 : 중첩비율 산출부
320 : 근사화 정보 산출부
400 : 표적 간 거리 계산부
500 : 표적정보 산출부
2 : 데이터 결합시스템
100 : 적외선 표적 데이터 산출부
110 : 밝기정보 산출부
120 : 적외선 크기정보 산출부
130 : 적외선 정규화부
200 : 가시광 표적 데이터 산출부
210 : 형태정보 산출부
220 : 가시광 크기정보 산출부
230 : 가시광 정규화부
300 : 중첩비율 추출부
310 : 중첩비율 산출부
320 : 근사화 정보 산출부
400 : 표적 간 거리 계산부
500 : 표적정보 산출부
Claims (8)
- 데이터 결합시스템(2)에 있어서,
이종센서 탐색기(1)내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 적외선 표적 데이터 산출부(100);
이종센서 탐색기(1)내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 가시광 표적 데이터 산출부(200);
상기 적외선 표적 데이터 산출부(100)와 가시광 표적 데이터 산출부(200)가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 중첩비율 추출부(300);
상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 하기의 수학식 9에 의해 산출하는 표적 간 거리 계산부(400); 및
[수학식 9]
상기 수학식 9의 는 정규화 된 적외선 표적과 가시광 표적의 중심에 대해 표적 간 거리 계산 값을 의미한다.
상기 중첩비율 추출부(300)에서 산출된 근사화 정보와 상기 표적 간 거리 계산부(400)에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 하기의 수학식 10에 의해 산출하고 상기 최종결합표적을 시각화 하는 표적정보 산출부(500);
[수학식 10]
상기 수학식 10의 는 하기 수학식 8의 와 상기 수학식 9의 로부터 새로운 하나의 결합좌표를 산출한 결과를 의미한다.
를 포함하되,
상기 적외선 표적 데이터 산출부(100)는,
적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 하기의 수학식 1에 의해 산출하는 밝기정보 산출부(110);
[수학식 1]
상기 수학식 1의 는 추적결과에서 표적의 밝기 평균 값, 는 적외선 영상에서 밝기 값, n은 개수이고, 는 적외선 표적 영상에서 현재 추적결과의 위치, 는 추적중심의 좌표를 의미한다.
적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 하기의 수학식 2에 의해 산출하는 적외선 크기정보 산출부(120); 및
[수학식 2]
상기 수학식 2의 는 추적결과에서의 표적의 크기 평균 값, 는 수평에 대한 크기 값, 는 수직에 대한 크기 값을 의미한다.
상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 하기의 수학식 3에 의해 산출하는 적외선 정규화부(130);
[수학식 3]
상기 수학식 3의 는 표적의 밝기와 크기 데이터에 대해 정규화 한 결과를 의미한다.
를 포함하되,
상기 가시광 표적 데이터 산출부(200)는,
가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 하기의 수학식 4에 의해 산출하는 형태정보 산출부(210);
[수학식 4]
상기 수학식 4의 는 추적결과에서 표적 중심의 수평 최대 값과 수직 최대 값, 는 가시광 표적 영상에서 현재 추적결과의 위치, 는 추적중심의 좌표를 의미한다.
가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 하기의 수학식 5에 의해 산출하는 가시광 크기정보 산출부(220); 및
[수학식 5]
상기 수학식 5의 는 추적결과에서의 표적의 크기 평균 값, 는 수평에 대한 크기 값, 는 수직에 대한 크기 값, n은 개수를 의미한다.
상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 하기의 수학식 6에 의해 산출하는 가시광 정규화부(230);
[수학식 6]
상기 수학식 6의 는 표적의 형태와 크기 데이터에 대해 정규화 한 결과를 의미한다.
를 포함하되,
상기 중첩비율 추출부(300)는,
상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율정보를 하기의 수학식 7에 의해 산출하는 중첩비율 산출부(310); 및
[수학식 7]
상기 수학식 7의 는 정규화 된 적외선 표적과 가시광 표적의 중첩비율을 산출한 값을 의미한다.
상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 하기의 수학식 8에 의해 산출하는 근사화 정보 산출부(320);
[수학식 8]
상기 수학식 8의 는 정규화 된 적외선 표적과 가시광 표적의 중심에서 가중치를 추출하기 위한 좌표 근사화를 의미한다.
를 포함하는 것을 특징으로 하는 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템.
- 삭제
- 삭제
- 삭제
- 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템(2)을 이용한 데이터 결합방법에 있어서,
적외선 표적 데이터 산출부(100)가 이종센서 탐색기(1)내 적외선 표적 영상의 추적결과에 대한 정규화를 수행하여 적외선 정규화정보를 산출하는 A 단계;
가시광 표적 데이터 산출부(200)가 이종센서 탐색기(1)내 가시광 표적 영상의 추적결과에 대한 정규화를 수행하여 가시광 정규화정보를 산출하는 B 단계;
중첩비율 추출부(300)가 상기 적외선 표적 데이터 산출부(100)와 가시광 표적 데이터 산출부(200)가 산출한 적외선 정규화정보와 가시광 정규화정보를 기반으로 적외선 표적 영상에 대한 표적의 좌표를 근사화하여 근사화 정보를 산출하는 C 단계;
표적 간 거리 계산부(400)가 상기 적외선 정규화정보 및 가시광 정규화정보를 기반으로 적외선 표적과 가시광 표적의 좌표중심 간의 거리를 계산하여 좌표중심 정보를 하기의 수학식 9에 의해 산출하는 D 단계; 및
[수학식 9]
상기 수학식 9의 는 정규화 된 적외선 표적과 가시광 표적의 중심에 대해 표적 간 거리 계산 값을 의미한다.
표적정보 산출부(500)가 상기 중첩비율 추출부(300)에서 산출된 근사화 정보와 상기 표적 간 거리 계산부(400)에서 산출된 좌표중심 정보를 이용하여 최종적으로 하나의 최종결합표적을 하기의 수학식 10에 의해 산출하고 상기 최종결합표적을 시각화 하는 E 단계;
[수학식 10]
상기 수학식 10의 는 하기 수학식 8의 와 상기 수학식 9의 로부터 새로운 하나의 결합좌표를 산출한 결과를 의미한다.
를 포함하되,
상기 A 단계는,
밝기정보 산출부(110)가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 밝기 정보를 하기의 수학식 1에 의해 산출하는 단계;
[수학식 1]
상기 수학식 1의 는 추적결과에서 표적의 밝기 평균 값, 는 적외선 영상에서 밝기 값, n은 개수이고, 는 적외선 표적 영상에서 현재 추적결과의 위치, 는 추적중심의 좌표를 의미한다.
적외선 크기정보 산출부(120)가 적외선 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 하기의 수학식 2에 의해 산출하는 단계; 및
[수학식 2]
상기 수학식 2의 는 추적결과에서의 표적의 크기 평균 값, 는 수평에 대한 크기 값, 는 수직에 대한 크기 값을 의미한다.
적외선 정규화부(130)가 상기 추적 영역 내의 비정형 표적의 밝기 및 크기 정보에 대한 정규화를 수행하여 적외선 정규화정보를 하기의 수학식 3에 의해 산출하는 단계;
[수학식 3]
상기 수학식 3의 는 표적의 밝기와 크기 데이터에 대해 정규화 한 결과를 의미한다.
를 포함하되,
상기 B 단계는,
형태정보 산출부(210)가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 형태정보를 하기의 수학식 4에 의해 산출하는 단계;
[수학식 4]
상기 수학식 4의 는 추적결과에서 표적 중심의 수평 최대 값과 수직 최대 값, 는 가시광 표적 영상에서 현재 추적결과의 위치, 는 추적중심의 좌표를 의미한다.
가시광 크기정보 산출부(220)가 가시광 표적 영상의 추적결과를 기반으로 추적 영역 내의 비정형 표적의 크기 정보를 하기의 수학식 5에 의해 산출하는 단계; 및
[수학식 5]
상기 수학식 5의 는 추적결과에서의 표적의 크기 평균 값, 는 수평에 대한 크기 값, 는 수직에 대한 크기 값, n은 개수를 의미한다.
가시광 정규화부(230)가 상기 추적 영역 내의 비정형 표적의 형태 및 크기 정보에 대한 정규화를 수행하여 가시광 정규화정보를 하기의 수학식 6에 의해 산출하는 단계;
[수학식 6]
상기 수학식 6의 는 표적의 형태와 크기 데이터에 대해 정규화 한 결과를 의미한다.
를 포함하되,
상기 C 단계는,
중첩비율 산출부(310)가 상기 적외선 정규화정보와 가시광 정규화정보를 기반으로 표적의 크기에 대해 표적의 중첩비율정보를 하기의 수학식 7에 의해 산출하는 단계; 및
[수학식 7]
상기 수학식 7의 는 정규화 된 적외선 표적과 가시광 표적의 중첩비율을 산출한 값을 의미한다.
근사화 정보 산출부(320)가 상기 중첩비율정보를 기반으로 표적 크기로 편중하는 가중치 정보를 산출하고 상기 가중치 정보를 기반으로 적외선 영상에서 표적의 좌표를 근사화하여 근사화 정보를 하기의 수학식 8에 의해 산출하는 단계;
[수학식 8]
상기 수학식 8의 는 정규화 된 적외선 표적과 가시광 표적의 중심에서 가중치를 추출하기 위한 좌표 근사화를 의미한다.
를 포함하는 것을 특징으로 하는 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템을 이용한 데이터 결합방법. - 삭제
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170123936A KR101886856B1 (ko) | 2017-09-26 | 2017-09-26 | 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170123936A KR101886856B1 (ko) | 2017-09-26 | 2017-09-26 | 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101886856B1 true KR101886856B1 (ko) | 2018-08-09 |
Family
ID=63251063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170123936A KR101886856B1 (ko) | 2017-09-26 | 2017-09-26 | 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101886856B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110047059A (zh) * | 2019-04-10 | 2019-07-23 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120054325A (ko) | 2010-11-19 | 2012-05-30 | 국방과학연구소 | 영상 표적 추출 시스템, 장치 및 방법 |
KR101175751B1 (ko) | 2012-01-12 | 2012-08-21 | 삼성탈레스 주식회사 | 스트랩다운 이중 모드 영상탐색기의 베이시안 규칙 기반 표적 결정 방법 |
KR101628154B1 (ko) * | 2015-03-05 | 2016-06-08 | 국방과학연구소 | 수신 신호 세기를 이용한 다중 표적 추적 방법 |
KR101775688B1 (ko) * | 2016-12-02 | 2017-09-06 | 엘아이지넥스원 주식회사 | 다중 센서를 이용하여 표적을 추적하기 위한 장치 및 그 방법 |
-
2017
- 2017-09-26 KR KR1020170123936A patent/KR101886856B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120054325A (ko) | 2010-11-19 | 2012-05-30 | 국방과학연구소 | 영상 표적 추출 시스템, 장치 및 방법 |
KR101175751B1 (ko) | 2012-01-12 | 2012-08-21 | 삼성탈레스 주식회사 | 스트랩다운 이중 모드 영상탐색기의 베이시안 규칙 기반 표적 결정 방법 |
KR101628154B1 (ko) * | 2015-03-05 | 2016-06-08 | 국방과학연구소 | 수신 신호 세기를 이용한 다중 표적 추적 방법 |
KR101775688B1 (ko) * | 2016-12-02 | 2017-09-06 | 엘아이지넥스원 주식회사 | 다중 센서를 이용하여 표적을 추적하기 위한 장치 및 그 방법 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110047059A (zh) * | 2019-04-10 | 2019-07-23 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11561322B2 (en) | Use of thermopiles to detect human location | |
CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
US8929611B2 (en) | Matching device, digital image processing system, matching device control program, computer-readable recording medium, and matching device control method | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
JP2019145174A (ja) | 画像処理システム、画像処理方法及びプログラム記憶媒体 | |
CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
US10235607B2 (en) | Control device, control method, and computer program product | |
JP7085812B2 (ja) | 画像処理装置およびその制御方法 | |
US20240104769A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
KR101886856B1 (ko) | 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 | |
JP2022003526A (ja) | 情報処理装置、検出システム、情報処理方法、及びプログラム | |
US11321948B2 (en) | Appearance detection threshold apparatus, method, and non-transitory storage medium | |
JP7001150B2 (ja) | 識別システム、モデル再学習方法およびプログラム | |
JP7214437B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11527090B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP2007200364A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
CN113432620B (zh) | 误差估计方法、装置、车载终端及存储介质 | |
JP2014203133A (ja) | 画像処理装置、画像処理方法 | |
WO2020137193A1 (ja) | 人検出装置および人検出方法 | |
JP6981553B2 (ja) | 識別システム、モデル提供方法およびモデル提供プログラム | |
JP7034827B2 (ja) | 監視方法 | |
KR20210116904A (ko) | 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
JPWO2020175085A1 (ja) | 画像処理装置、及び画像処理方法 | |
JPWO2020141588A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20230386165A1 (en) | Information processing device, recording medium, and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |