KR101949518B1 - Target decision apparatus and method using dual sensor imaging seeker - Google Patents
Target decision apparatus and method using dual sensor imaging seeker Download PDFInfo
- Publication number
- KR101949518B1 KR101949518B1 KR1020180054198A KR20180054198A KR101949518B1 KR 101949518 B1 KR101949518 B1 KR 101949518B1 KR 1020180054198 A KR1020180054198 A KR 1020180054198A KR 20180054198 A KR20180054198 A KR 20180054198A KR 101949518 B1 KR101949518 B1 KR 101949518B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- feature data
- unit
- shape
- dimensional
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F42—AMMUNITION; BLASTING
- F42B—EXPLOSIVE CHARGES, e.g. FOR BLASTING, FIREWORKS, AMMUNITION
- F42B15/00—Self-propelled projectiles or missiles, e.g. rockets; Guided missiles
- F42B15/01—Arrangements thereon for guidance or control
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Aviation & Aerospace Engineering (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
본 발명은 이종 센서 영상 탐색기를 이용한 표적 결정 장치 및 방법에 관한 것으로, 더욱 상세하게는 적어도 2개 이상의 표적이 동시에 포착될 경우, 표적의 우선 순위를 고려하여 표적을 결정할 수 있도록 하는 이종 센서 영상 탐색기를 이용한 표적 결정 장치 및 방법에 관한 것이다.The present invention relates to a target determination apparatus and method using a heterogeneous sensor image searcher, and more particularly, to a heterogeneous sensor image searcher capable of determining a target in consideration of the priority of a target when at least two targets are captured at the same time, To a target determination apparatus and method using the same.
일반적으로 탐색기는 표적을 찾고 확인하여 포착한 후 표적을 추적하며, 유도명령을 계산하는 데 필요한 표적의 방향 또는 위치 정보를 유도 조종 장치에 제공하는 장치를 일컫는다.Generally, a navigator refers to a device that finds a target, identifies it, traces the target after it is captured, and provides directional or positional information of the target necessary to calculate the guiding command to the guided manipulator.
표적신호의 특성 및 추적 방식에 따라 구분할 수 있는데, 표적 신호의 특성에 따라 초고주파 탐색기, 밀리미터파 탐색기, 적외선 영상 탐색기, 가시광 영상 탐색기, 레이저 탐색기 등으로 분류되며, 추적 방식에 따라서 능동형, 반능동형, 수동형 탐색기로 구분된다.Depending on the characteristics of the target signal and the tracking method, it can be divided into an ultra-high frequency searcher, a millimeter wave searcher, an infrared ray image searcher, a visible light image searcher and a laser searcher depending on the characteristics of the target signal. And a passive searcher.
종래에는 단일 센서를 갖는 탐색기를 이용하였는데, 이러한 탐색기들은 복잡 다양한 지상 배경 및 표적 획득 방해 등의 전장 상황에서는 표적 포착 오류로 인하여 유도탄의 오폭 등이 발생하여 신뢰성이 떨어지는 문제점이 있다.Conventionally, a searcher having a single sensor has been used. However, such searchers have a problem in that reliability is low due to misjudgment of the missile due to the target acquisition error in the complex situations of various ground backgrounds and obstacles such as target acquisition.
이러한 문제점을 해결하기 위해 종래에는 다중센서, 예컨대 적외선 센서나 가시광 센서 등을 이용한 영상융합 신호처리 기법에 관한 연구가 활발히 진행되고 있다.In order to solve these problems, researches on image fusion signal processing techniques using multiple sensors such as an infrared sensor or a visible light sensor have been actively conducted.
전술한 영상융합 신호처리 기법은 다수의 단일센서들 각각으로부터 고유한 파장 대역의 영상 정보를 획득하고, 획득된 영상 정보를 융합하여 분석함으로써 단일 센서만으로는 볼 수 없었던 표적 및 배경에 대한 정보를 상호 보완하여 획득할 수 있는 기법이다.The image fusion signal processing technique described above acquires image information of a unique wavelength band from each of a plurality of single sensors and analyzes and fuses acquired image information to complement information of a target and a background that could not be seen with a single sensor This is a technique that can be obtained by
그러나 다중센서의 표적 영상을 이용하더라도 각각 포착된 결과에 대해 어떤 센서 영상의 결과가 신뢰성이 높은지를 판단함에 있어 시간이 부족한 문제가 있고, 그로 인해 오히려 잘못된 포착 결과를 도출하여 표적 포착의 신뢰도가 떨어지는 문제점이 있다.However, even if the target image of multiple sensors is used, there is a problem in that it is time-consuming to judge which sensor image result is highly reliable with respect to each captured result, and therefore, there is a problem that the reliability of target acquisition is deteriorated There is a problem.
본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로, 적어도 2개 이상의 표적이 동시에 포착될 경우, 적외선 표적 영상과 가시광 표적 영상에서 표적별로 산출된 특징 데이터에 대해 신뢰성이 높은 특징 데이터에 더 높은 가중치를 적용하여 우선 순위를 산정하고, 산정된 우선 순위에 따라 최종 표적을 결정할 수 있도록 하는 이종 센서 영상 탐색기를 이용한 표적 결정 장치 및 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been conceived to solve such a problem, and it is an object of the present invention to provide a high-reliability featured data for a feature data calculated for each target in an infrared target image and a visible light target image, The present invention provides a target determination apparatus and method using a heterogeneous sensor image searcher, which can determine a target according to a calculated priority, and priorities are calculated by applying a priority to the target.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 장치는, 적외선 표적 영상에서 픽셀간 최대 기울기를 찾아 그 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 2차원 표적 열 포착부; 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 표적 형상 포착부; 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적 형상에 대해 각각, 특징 데이터와 신뢰성이 높은 특징 데이터에 더 높은 가중치를 적용하여 저장하는 표적 특징 데이터 저장부; 및 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 상기 표적 특징 데이터 저장부에서 읽어온 표적별 특징 데이터 가중치를 적용시켜 표적별로 가중합을 산출하고, 산출된 가중합으로 표적의 우선 순위를 결정하여 최종 표적을 결정하는 표적 우선 순위 지원부;를 포함하여 이루어지는 것이 바람직하다.According to an aspect of the present invention, there is provided an apparatus for determining a target using a heterogeneous sensor image finder, the apparatus comprising: a maximum slope calculating unit for calculating an average value of the maximum slope between pixels in an infrared target image; A two-dimensional target row capturing unit for capturing at least one target by estimating the size of the longitudinal region; A target shape capturing unit for extracting and generating a target shape from the visible light target image based on the coordinates corresponding to the respective targets captured by the two-dimensional target heat trapping unit; A target feature data storage unit for storing the feature data and the highly reliable feature data by applying a higher weight to each of the at least one target feature captured through the two-dimensional target heat capturing unit and the target shape capturing unit; And calculating a weighted sum for each target by applying a target feature data weight read from the target feature data storage unit to at least one target captured through the two-dimensional target heat capture unit and the target shape capture unit, And a target priority support unit for determining the priority of the target by the calculated weighted sum to determine the final target.
본 발명의 일 실시예에서, 상기 특징 데이터는, 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 각각의 표적 형상에 대한 픽셀 간 기울기의 벡터 값과, 표적 중심으로부터 영역에 대한 거리 값으로 산출된 데이터이고, 상기 특징 데이터 가중치는, 표적별 특징 데이터의 개수와 각 특징 데이터의 양에 따라 더 높은 가중치가 설정되는 값인 것이 바람직하다.In one embodiment of the present invention, the feature data includes at least one of a vector value of an inter-pixel gradient for each target shape captured through the two-dimensional target heat capture unit and the target shape capture unit, And the feature data weight is a value at which a higher weight is set according to the number of feature data per target and the amount of each feature data.
한편, 본 발명의 다른 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 장치는, 적외선 표적 영상에서 픽셀간 최대 기울기를 아래의 수학식을 통해 찾아, 픽셀간 최대 기울기의 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 2차원 표적 열 포착부; 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 표적 형상 포착부; 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적 형상에 대해 각각, 특징 데이터와 신뢰성이 높은 특징 데이터에 더 높은 가중치를 적용하여 저장하는 표적 특징 데이터 저장부; 및 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 상기 표적 특징 데이터 저장부에서 읽어온 표적별 특징 데이터 가중치를 적용시켜 표적별로 가중합을 산출하고, 산출된 가중합으로 표적의 우선 순위를 결정하여 최종 표적을 결정하는 표적 우선 순위 지원부;를 포함하는 것이 바람직하다.Meanwhile, in the target determination apparatus using the heterogeneous sensor image searcher according to another embodiment of the present invention, the maximum slope between pixels in the infrared target image is found through the following equation, the average value of the maximum slope between pixels is calculated, A two-dimensional target row capturing unit for capturing at least one target by calculating a horizontal and a vertical region size as an average value of a maximum slope; A target shape capturing unit for extracting and generating a target shape from the visible light target image based on the coordinates corresponding to the respective targets captured by the two-dimensional target heat trapping unit; A target feature data storage unit for storing the feature data and the highly reliable feature data by applying a higher weight value to at least one or more target features captured through the two-dimensional target heat capture unit and the target shape capture unit, respectively; And calculating a weighted sum for each target by applying a target feature data weight read from the target feature data storage unit to at least one target captured through the two-dimensional target heat capture unit and the target shape capture unit, And a target priority support unit for determining the final target by determining the priority of the target based on the calculated weighted sum.
여기서, 
본 발명의 다른 실시예에서, 상기 표적 형상 포착부는, 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 아래의 수학식 2를 통해 표적 형상을 생성하는 것이 바람직하다.In another embodiment of the present invention, the target shape capturing unit generates the target shape through the following expression (2) in the visible light target image based on the coordinates corresponding to each target captured in the two-dimensional target heat capturing unit .
여기서, 
한편, 본 발명의 또 다른 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 장치는, 적외선 표적 영상에서 픽셀간 최대 기울기를 찾아 그 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 2차원 표적 열 포착부; 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 표적 형상 포착부; 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적 형상에 대해 각각, 특징 데이터와 신뢰성이 높은 특징 데이터에 더 높은 가중치를 적용하여 저장하는 표적 특징 데이터 저장부; 및 상기 표적 형상 포착부에서 새로 생성된 표적 형상 정보와 상기 표적 특징 데이터 저장부에 미리 저장되어 있는 표적 형상 정보에 의거하여 오차값(
여기서, 
본 발명의 또 다른 실시예에서, 상기 오차값(
여기에서, 
한편, 본 발명의 또 다른 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 장치는, 적외선 표적 영상에서 픽셀간 최대 기울기를 찾아 그 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 2차원 표적 열 포착부; 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 표적 형상 포착부; 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 각각의 표적 형상에 대한 픽셀 간 기울기의 벡터 값과, 표적 중심으로부터 영역에 대한 거리 값으로 산출된 최소 5개 또는 그 이상의 특징 데이터를 표적별로 저장하는 표적 특징 데이터 5개 등록부, 표적별 특징 데이터의 개수와 각 특징 데이터의 양에 따라 신뢰성이 높은 특징 데이터에 더 높은 가중치를 적용하여 특징 데이터 가중치를 생성하는 표적 가중치 생성부, 표적별로 생성된 특징 데이터 가중치에 따라 표적별로 특징 데이터의 우선 순위를 결정하는 표적 우선 순위 결정부를 포함하여 이루어지는, 표적 특징 데이터 저장부; 및 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 상기 표적 특징 데이터 저장부에서 읽어온 표적별 특징 데이터 가중치를 적용시켜 표적별로 가중합을 산출하고, 산출된 가중합으로 표적의 우선 순위를 결정하여 최종 표적을 결정하는 표적 우선 순위 지원부;를 포함하는 것이 바람직하다.Meanwhile, the target determining apparatus using the heterogeneous sensor image searcher according to another embodiment of the present invention finds the maximum slope between the pixels in the infrared target image, calculates the average thereof, and calculates the average value of the maximum slope between the pixels, A two-dimensional target heat trapping unit for picking up at least one target by estimating the two-dimensional target heat trapping unit; A target shape capturing unit for extracting and generating a target shape from the visible light target image based on the coordinates corresponding to the respective targets captured by the two-dimensional target heat trapping unit; At least five feature data calculated from the vector value of the slope between pixels for each target shape captured through the two-dimensional target heat capturing unit and the target shape capturing unit and the distance value from the target center to the area, A target weight generator for generating a feature data weight by applying a higher weight to highly reliable feature data according to the number of feature data per target and the amount of each feature data; And a target priority determining unit for determining a priority of the feature data for each target according to the generated feature data weight, the target feature data storing unit comprising: And calculating a weighted sum for each target by applying a target feature data weight read from the target feature data storage unit to at least one target captured through the two-dimensional target heat capture unit and the target shape capture unit, And a target priority support unit for determining the final target by determining the priority of the target based on the calculated weighted sum.
한편, 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 방법은, 2차원 표적 열 포착부가, 적외선 표적 영상에서 픽셀간 최대 기울기를 찾아 그 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 단계; 표적 형상 포착부가, 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 단계; 및 표적 우선 순위 지원부가, 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 표적 특징 데이터 저장부에서 읽어온 표적별 특징 데이터 가중치를 적용시켜 표적별로 가중합을 산출하고, 산출된 가중합으로 표적의 우선 순위를 결정하여 최종 표적을 결정하는 단계;를 포함하여 이루어지는 것이 바람직하다.Meanwhile, in the target determination method using the heterogeneous sensor image searcher according to an embodiment of the present invention, the two-dimensional target row capturing unit searches for the maximum slope between pixels in the infrared target image, calculates the average value thereof, Capturing at least one target by estimating the size of the horizontal and vertical regions; Extracting and generating a target shape from a visible light target image based on coordinates corresponding to each target captured by the two-dimensional target heat capture unit; And the target priority support unit applies the feature data weight for each target read from the target feature data storage unit to at least one or more targets captured through the two-dimensional target heat capture unit and the target shape capture unit, Calculating a sum, and determining a priority of the target by the calculated weighted sum to determine a final target.
한편, 본 발명의 다른 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 방법은, 2차원 표적 열 포착부가, 적외선 표적 영상에서 픽셀간 최대 기울기를 아래의 수학식을 통해 찾아, 픽셀간 최대 기울기의 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 단계; 표적 형상 포착부가, 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 단계; 및 표적 우선 순위 지원부가, 상기 2차원 표적 열 포착부와 상기 표적 형상 포착부를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 표적 특징 데이터 저장부에서 읽어온 표적별 특징 데이터 가중치를 적용시켜 표적별로 가중합을 산출하고, 산출된 가중합으로 표적의 우선 순위를 결정하여 최종 표적을 결정하는 단계;를 포함하여 이루어지는 것이 바람직하다.Meanwhile, in the target determination method using the heterogeneous sensor image searcher according to another embodiment of the present invention, the two-dimensional target row capturing unit searches for the maximum slope between pixels in the infrared target image through the following equation, Capturing at least one target by calculating an average value and estimating the size of the horizontal and vertical regions as an average value of the maximum slope between pixels; Extracting and generating a target shape from a visible light target image based on coordinates corresponding to each target captured by the two-dimensional target heat capture unit; And the target priority support unit applies the feature data weight for each target read from the target feature data storage unit to at least one or more targets captured through the two-dimensional target heat capture unit and the target shape capture unit, Calculating a sum, and determining a priority of the target by the calculated weighted sum to determine a final target.
여기서, 
한편, 본 발명의 또 다른 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 방법은, 2차원 표적 열 포착부가, 적외선 표적 영상에서 픽셀간 최대 기울기를 찾아 그 평균값을 산출하고, 픽셀간 최대 기울기의 평균값으로 가로, 세로 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하는 단계; 표적 형상 포착부가, 상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표에 의거하여 가시광 표적 영상에서 표적 형상을 추출 및 생성하는 단계; 및 표적 우선 순위 지원부가, 상기 표적 형상 포착부에서 새로 생성된 표적 형상 정보와 표적 특징 데이터 저장부에 미리 저장되어 있는 표적 형상 정보에 의거하여 오차값(
여기서, 
본 발명의 이종 센서 영상 탐색기를 이용한 표적 결정 장치 및 방법은, 적어도 2개 이상의 표적이 동시에 포착될 경우, 적외선 표적 영상과 가시광 표적 영상에서 표적별로 산출된 특징 데이터에 대해 신뢰성이 더 높은 특징 데이터에 더 높은 가중치를 적용하여 우선 순위를 산정하고, 산정된 우선 순위에 따라 최종 표적을 결정함으로써, 표적을 정밀하게 결정할 수 있게 되어, 표적 포착의 신뢰도를 높일 수 있게 된다.An apparatus and method for determining a target using a heterogeneous sensor image searcher according to the present invention is characterized in that when at least two targets are simultaneously captured, characteristic data that are more reliable for the target data calculated for each target in the infrared target image and the visible target image It is possible to precisely determine the target by calculating the priority by applying a higher weight and determining the final target according to the calculated priority so that the reliability of the target acquisition can be increased.
도 1은 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 포착 장치를 개략적으로 보인 도면이다.
도 2는 본 발명의 일 실시예에 적용되는 적외선 표적 영상을 예시적으로 보인 도면이다.
도 3은 본 발명의 일 실시예에 적용되는 가시광 표적 영상을 예시적으로 보인 도면이다.
도 4는 본 발명의 일 실시예에 따라 생성된 표적 형상을 예시적으로 보인 도면이다.
도 5는 본 발명의 일 실시예에 적용되는 표적 특징 데이터 저장부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 적용되는 특징 데이터를 예시적으로 보인 도면이다.
도 7은 본 발명의 일 실시예에 적용되는 특징 데이터에 대해 정규화된 가중치를 예시적으로 보인 도면이다.
도 8은 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 포착 장치의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 포착 방법을 설명하기 위한 처리도이다.
도 10은 본 발명의 일 실시예에 따라 표적별 특징 데이터 가중치를 적용하여 산출한 가중합을 예시적으로 보인 도면이다.1 is a schematic view of a target capturing apparatus using a heterogeneous sensor image searcher according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an infrared target image according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 3 is a diagram illustrating an example of a visible light target image according to an exemplary embodiment of the present invention. Referring to FIG.
Figure 4 is an exemplary illustration of a target shape created in accordance with an embodiment of the present invention.
5 is a view for explaining a target feature data storage unit applied to an embodiment of the present invention.
FIG. 6 is a diagram illustrating exemplary feature data applied to an embodiment of the present invention.
FIG. 7 is an exemplary diagram illustrating normalized weights for feature data applied to an embodiment of the present invention.
8 is a view for explaining the operation of the target capturing apparatus using the heterogeneous sensor image searcher according to the embodiment of the present invention.
FIG. 9 is a process chart for explaining a target acquisition method using a heterogeneous sensor image searcher according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating a weighted sum calculated by applying target characteristic data weights according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.
이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 포착 장치 및 방법에 대해서 상세하게 설명하기로 한다.Hereinafter, a target capturing apparatus and method using a heterogeneous sensor image searcher according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 포착 장치를 개략적으로 보인 도면이다.1 is a schematic view of a target capturing apparatus using a heterogeneous sensor image searcher according to an embodiment of the present invention.
도 1에 도시하는 바와 같이, 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 포착 장치(100)는 2차원 표적 열 포착부(210), 표적 형상 포착부(220), 표적 순위 지원부(230), 표적 특징 데이터 저장부(240)를 포함할 수 있다.1, a
2차원 표적 열 포착부(210)는 도 2에 도시하는 바와 같은 적외선 표적 영상에서 수학식 1을 이용하여 픽셀간 최대 기울기를 찾고, 픽셀간 최대 기울기의 평균값을 산출하여 가로(N)×세로(M) 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하고, 그 결과를 출력한다. 여기서 가로(N) 값과 세로(M) 값으로 설정될 수 있는 값의 최소 값은 2이고, 최대 값은 12이며, 이 값은 실험을 통해 설정된 값이다.The two-dimensional target
수학식 1에서, 
표적 형상 포착부(220)는 2차원 표적 열 포착부(210)에서 포착된 각각의 표적에 대응하는 좌표(위치)와 표적 이동량에 의거하여 도 3에 도시하는 바와 같은 가시광 표적 영상에서 표적 형상을 추출하여, 도 4에 도시하는 바와 같은 표적 형상을 생성한다.The target
좀 더 상세하게는, 표적 형상 포착부(220)는 2차원 표적 열 포착부(210)에서 포착된 각각의 표적에 대응되는 좌표로부터 가시광 표적 영상에서 하기의 수학식 2를 이용하여 표적 형상을 추출 및 생성한다.More specifically, the target
수학식 2에서, 
즉, 표적 형상 포착부(220)는 2차원 표적 열 포착부(210)에서 포착된 각각의 표적에 대응하는 좌표와 표적 이동량에 의거하여 가시광 표적 영상에서 표적 형상을 추출하여 표적 형상의 중심(중앙점)을 찾고, N×M 형상 크기로 4방향 또는 8방향으로 확장해 표적 형상을 생성한다.That is, the target
표적 특징 데이터 저장부(240)는 2차원 표적 열 포착부(210)와 표적 형상 포착부(220)를 통해 포착된 적어도 하나 이상의 표적 형상에 대해 각각, 특징 데이터와 신뢰성이 높은 특징 데이터에 더 높은 가중치를 생성하여 저장한다.The target feature
전술한, 표적 특징 데이터 저장부(240)는 도 5에 도시하는 바와 같이 표적 특징 데이터 5개 등록부(241), 표적 가중치 생성부(242), 표적 우선 순위 결정부(243)를 포함하여 이루어질 수 있다.5, the target characteristic
여기서, 표적 특징 데이터 5개 등록부(241)는 2차원 표적 열 포착부(210)에서 포착된 적어도 하나 이상의 표적 영상과 표적 형상 포착부(220)에서 생성된 적어도 하나 이상의 표적 형상에 대해 각각, 픽셀간 기울기의 벡터 값과 표적 중심으로부터 영역에 대한 거리 값으로 산출된 특징 데이터를 표적별로 저장한다. 예를 들어, 도 2에 도시하는 바와 같이 적외선 표적 영상에서 9개의 표적이 포착되는 경우, 표적 특징 데이터 5개 등록부(241)에는 9개의 표적에 대한 특징 데이터가 저장된다.Here, the five target characteristic
표적 가중치 생성부(242)는 표적 특징 데이터 5개 등록부(241)에 등록된 각 표적의 특징 데이터에 대해 표적별 특징 데이터의 개수와 각 특징 데이터의 양에 의거하여 특징 데이터에 대해 신뢰성이 높은 특징 데이터에 더 높은 가중치를 생성한다. 예를 들어, 표적 1의 특징 데이터 개수가 5개라고 가정했을 때, 특징 데이터의 양에 따라 각 특징 데이터의 가중치는 각각 1/5, 2/5, 1/10, 1/5, 1/10으로 설정될 수 있다.The target
표적 우선 순위 결정부(243)는 표적별로 생성된 특징 데이터 가중치에 따라 표적별로 특징 데이터의 우선 순위를 결정한다.The target
도 6은 본 발명의 일 실시예에 적용되는 특징 데이터를 예시적으로 보인 도면으로, 2차원 표적 열 포착부(210)와 표적 형상 포착부(220)를 통해 포착된 표적 형상에 대한 픽셀 간 기울기의 벡터 값과, 표적 중심으로부터 영역에 대한 거리 값을 포함하는 특징 데이터를 예시적으로 보인 도면이다. 이러한 특징 데이터는 표적마다 서로 다른 값을 갖게 된다.FIG. 6 is a view illustrating an example of feature data applied to an embodiment of the present invention. Referring to FIG. 6, the inter-pixel slope of the target shape captured through the two-dimensional target
도 6에 도시하는 바와 같은 특징 데이터에 정규화된 가중치를 적용하면 도 7과 같이 나타낼 수 있다. 표적에는 수많은 특징 데이터가 포함될 수 있는데, 본 발명의 실시예에서는 표적에 포함된 수많은 특징 데이터 중에서 5개의 특징 데이터(특징 수)만을 사용하는 경우를 예로 든다.Applying normalized weights to the characteristic data as shown in FIG. 6 can be expressed as shown in FIG. A number of feature data may be included in the target. In an embodiment of the present invention, only five feature data (feature numbers) are used from among a large number of feature data included in the target.
도 7에 도시하는 바와 같이, 특징 데이터(특징 수)에 정규화된 가중치를 적용하여 나타난 값에 우선 순위를 적용하면 4, 5, 2, 9, 8, 10, 1, 7, 3, 6이 된다. 사용자는 이러한 우선 순위에 따라 표적별로 표적 결정에 사용할 특징 데이터(특징 수)를 결정할 수 있다. 예를 들어, 도 7에 나타낸 특징 데이터가 표적 1의 특징 데이터이고, 표적 결정에 사용할 특징 데이터(특징 수)의 개수를 5개라고 가정했을 때, 우선 순위에 따라 특징 데이터 4, 5, 2, 9, 8가 표적 결정에 사용될 수 있다.As shown in FIG. 7, if the priority value is applied to the value obtained by applying the normalized weight to the feature data (feature number), 4, 5, 2, 9, 8, 10, 1, 7, 3, . The user can determine the feature data (feature number) to be used for target determination for each target according to this priority. For example, assuming that the feature data shown in Fig. 7 is the feature data of the
한편, 표적 순위 지원부(230)는 2차원 표적 열 포착부(210)와 표적 형상 포착부(220)를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 표적 특징 데이터 저장부(240)에서 읽어온 표적별 특징 데이터 가중치를 적용시켜 표적별로 가중합을 산출하고, 산출된 가중합으로 표적의 우선 순위를 결정하여 최종 표적을 결정하고, 최종 표적 정보를 유도 조종부(300)로 인가한다.Meanwhile, the target
구체적으로, 도 8에 도시하는 바와 같이 표적 형상 포착부(220)로부터 새로 생성된 표적 형상 정보를 전달받은 표적 순위 지원부(230)는 표적 형상 포착부(220)로부터 전달받은 표적 형상 정보와 표적 특징 데이터 저장부(240)에 미리 저장되어 있는 표적 형상 정보에 대하여 아래의 수학식 3의 평균제곱오차(Mean Squared Error:MSE)를 이용해 연산하여 오차값(
수학식 3에서, 
이후에는 2차원 표적 열 포착부(210)와 표적 형상 포착부(220)를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 표적 특징 데이터 저장부(240)에서 읽어온 표적별 특징 데이터 가중치(
수학식 4에서, 
이와 같이, 최종 표적이 결정되면, 최종 표적으로 결정된 표적에 대한 정보를 유도 조종부(300)로 인가한다.Thus, when the final target is determined, information on the target determined as the final target is applied to the
유도 조종부(300)는 표적 순위 지원부(230)로부터 전달받은 최종 표적 정보에 의거하여 유도탄의 방향을 제어한다.The
도 9는 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 방법을 설명하기 위한 처리도로, 본 발명의 일 실시예에 따른 이종 센서 영상 탐색기를 이용한 표적 결정 방법은 도 1에 도시된 이종 센서 영상 탐색기를 이용한 표적 결정 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 이종 센서 영상 탐색기를 이용한 표적 결정 장치(100)와 동일한 구성 요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.FIG. 9 is a flowchart illustrating a method of determining a target using a heterogeneous sensor image searcher according to an embodiment of the present invention. FIG. 9 is a flowchart illustrating a method of determining a target using a heterogeneous sensor image searcher according to an embodiment of the present invention. The same reference numerals are given to the same components as those of the
우선, 2차원 표적 열 포착부(210)는 적외선 영상 센서(도시하지 않음)가 센싱한 적외선 표적 영상에서 상기의 수학식 1을 이용하여 픽셀간 최대 기울기를 찾고, 픽셀간 최대 기울기의 평균값을 산출한 후, 픽셀간 최대 기울기의 평균값으로 가로(N)×세로(M) 영역 크기를 산정하여 적어도 하나 이상의 표적을 포착하고, 그 결과를 표적 순위 지원부(230)와 표적 형상 포착부(220)로 인가한다(S10).First, the two-dimensional target
상기한 단계 S10을 통해 2차원 표적 열 포착부(210)에서 포착된 표적에 대한 정보를 전달받은 표적 형상 포착부(220)는 2차원 표적 열 포착부(210)에서 포착된 각각의 표적에 대응하는 좌표와 표적 이동량에 의거하여, 가시광 영상 센서(도시하지 않음)가 센싱한 가시광 표적 영상에서 상기의 수학식 2를 이용하여 표적 형상을 추출하여 표적 형상의 중심을 찾고, N×M 형상 크기로 4방향 또는 8방향으로 확장해 표적 형상을 생성한다(S20).The target
상기한 단계 S20을 통해 표적 형상 포착부(220)에서 새로 표적 형상이 생성되면, 표적 순위 지원부(230)는 표적 형상 포착부(220)에서 새로 생성된 표적 형상 정보와 표적 특징 데이터 저장부(240)에 미리 저장되어 있는 표적 형상 정보에 대하여 상기의 수학식 3을 이용해 연산하여 오차값(
그리고 2차원 표적 열 포착부(210)와 표적 형상 포착부(220)를 통해 포착된 적어도 하나 이상의 표적에 대해 각각, 표적 특징 데이터 저장부(240)에서 읽어온 표적별 특징 데이터 가중치(
도 10은 본 발명의 일 실시예에 따라 표적별 특징 데이터 가중치를 적용하여 산출한 가중합을 예시적으로 보인 도면이다.FIG. 10 is a diagram illustrating a weighted sum calculated by applying target characteristic data weights according to an embodiment of the present invention.
도 10에서, 가로축의 표적 번호는 표적 형상 포착부(220)에서 새로 포착된 표적의 수이고, 세로축의 특징 수(가중치)는 각각의 표적 번호에 해당하는 특징 데이터와 특징 데이터 가중치로, 표적 번호 1에 대해서는 표적 특징 데이터 저장부(240)에서 읽어온 표적 번호 1의 특징 데이터와 특징 데이터 가중치를 적용하여 표적 번호 1에 대한 가중합을 산출하고, 표적 번호 2에 대해서는 표적 특징 데이터 저장부(240)에서 읽어온 표적 번호 2의 특징 데이터와 특징 데이터 가중치를 적용하여 표적 번호 2에 대한 가중합을 산출한다.In FIG. 10, the target number on the horizontal axis is the number of the targets newly captured by the target
도 10에서 V표시는 특징 수의 값이 존재하는 것을 표시한 것이고, 가중합의 결과로 볼 때, 표적 번호 2가 최종 표적으로 결정된다.In FIG. 10, the V mark indicates that the value of the feature number exists, and as a result of the weighted sum, the
상기한 단계 S40을 통해 최종 표적이 결정되면, 최종 표적으로 결정된 표적에 대한 정보인 최종 표적 정보를 유도 조종부(300)로 전달하고, 유도 조종부(300)는 표적 순위 지원부(230)로부터 전달받은 최종 표적 정보에 의거하여 유도탄의 방향을 제어한다(S50).When the final target is determined through the step S40, the final target information, which is information on the target determined as the final target, is transmitted to the
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
210. 2차원 표적 열 포착부, 220. 표적 형상 포착부,
230. 표적 순위 지원부, 240. 표적 특징 데이터 저장부,
241. 표적 특징 데이터 5개 등록부, 242. 표적 가중치 생성부,
243. 표적 우선 순위 결정부, 300. 유도 조종부210. Two-dimensional target heat trapping part, 220. Target shape catching part,
230. Target ranking support section, 240. Target feature data storage section,
241. 5 target registration data, 242. Target weight generating unit,
243. Target priority determining section, 300. Induction control section
Claims (10)
상기 2차원 표적 열 포착부에서 포착된 각각의 표적에 대응하는 좌표와 표적 이동량에 의거하여 가시광 표적 영상에서 표적 형상을 추출하여 표적 형상의 중심(중앙점)을 찾고, N×M 형상 크기로 4방향 또는 8방향으로 확장해 표적 형상을 생성하는 표적 형상 포착부;
상기 2차원 표적 열 포착부에서 포착된 적어도 하나 이상의 표적 영상과 상기 표적 형상 포착부에서 생성된 적어도 하나 이상의 표적 형상에 대해 각각, 픽셀간 기울기의 벡터 값과 표적 중심으로부터 영역에 대한 거리 값으로 산출된 최소 5개 또는 그 이상의 특징 데이터를 표적별로 저장하는 표적 특징 데이터 5개 등록부, 상기 표적 특징 데이터 등록부에 등록된 각 표적의 특징 데이터에 대해 표적별 특징 데이터의 개수와 각 특징 데이터의 양에 의거하여, 특징 데이터에 대해 신뢰성이 높은 특징 데이터에 더 높은 가중치를 적용하여 특징 데이터 가중치를 생성하는 표적 가중치 생성부 및 상기 표적 가중치 생성부에서 표적별로 생성된 특징 데이터 가중치에 따라 표적별로 특징 데이터의 우선 순위를 결정하는 표적 우선 순위 결정부;를 포함하여 이루어지는 표적 특징 데이터 저장부; 및
상기 표적 형상 포착부로부터 전달받은 새로 생성된 표적 형상 정보와 상기 표적 특징 데이터 저장부에 미리 저장되어 있는 표적 형상 정보에 대하여 아래의 수학식 2의 평균제곱오차(Mean Squared Error:MSE)를 이용해 연산하여 오차값(
[수학식 1]
수학식 1에서,
[수학식 2]
수학식 2에서,
[수학식 3]
수학식 3에서,
(Central point) of the target shape by extracting the target shape from the visible light target image based on the coordinates and the target movement amount corresponding to each target captured by the two-dimensional target heat capturing unit, Direction or 8 directions to generate a target shape;
Calculating at least one target image captured by the two-dimensional target heat capturing unit and at least one target shape generated by the target shape capturing unit from a vector value of a slope between pixels and a distance value from the target center to a region, 5 pieces of feature data for registering at least five pieces of feature data for each target registered in the target feature data registering unit; A target weight generation unit for applying a higher weight to the highly reliable characteristic data to generate a characteristic data weight, and a weight calculation unit for weighting the priority of the characteristic data for each target according to the characteristic data weight generated for each target in the target weight generation unit And a target priority determining unit for determining a ranking A target feature data storage unit to be laid out; And
(MSE) of Equation (2) below to the newly generated target shape information transmitted from the target shape capturing unit and the target shape information previously stored in the target feature data storage unit The error value (
[Equation 1]
In Equation (1)
&Quot; (2) "
In Equation (2)
&Quot; (3) "
In Equation (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180054198A KR101949518B1 (en) | 2018-05-11 | 2018-05-11 | Target decision apparatus and method using dual sensor imaging seeker |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180054198A KR101949518B1 (en) | 2018-05-11 | 2018-05-11 | Target decision apparatus and method using dual sensor imaging seeker |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180075562A Division KR101949520B1 (en) | 2018-06-29 | 2018-06-29 | Target decision method using dual sensor imaging seeker |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101949518B1 true KR101949518B1 (en) | 2019-02-18 |
Family
ID=65561669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180054198A KR101949518B1 (en) | 2018-05-11 | 2018-05-11 | Target decision apparatus and method using dual sensor imaging seeker |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101949518B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080062520A (en) * | 2006-12-29 | 2008-07-03 | 아주대학교산학협력단 | The extraction method of moving object and the apparatus thereof |
| KR101051716B1 (en) | 2010-11-12 | 2011-07-26 | 삼성탈레스 주식회사 | Method for multi sensor image fusion |
| KR101188296B1 (en) | 2012-01-12 | 2012-10-09 | 삼성탈레스 주식회사 | Weighted-based target decision method for strapdown dual mode imaging seeker and system thereof |
| KR101202215B1 (en) * | 2012-01-12 | 2012-11-16 | 삼성탈레스 주식회사 | Weighted-based target decision system for strapdown dual mode imaging seeker using location weighted or region growing moment modeling |
| KR101546800B1 (en) | 2014-07-11 | 2015-08-26 | 한화탈레스 주식회사 | Target lock-on apparatus and method using dual-sensor seeker |
-
2018
- 2018-05-11 KR KR1020180054198A patent/KR101949518B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080062520A (en) * | 2006-12-29 | 2008-07-03 | 아주대학교산학협력단 | The extraction method of moving object and the apparatus thereof |
| KR101051716B1 (en) | 2010-11-12 | 2011-07-26 | 삼성탈레스 주식회사 | Method for multi sensor image fusion |
| KR101188296B1 (en) | 2012-01-12 | 2012-10-09 | 삼성탈레스 주식회사 | Weighted-based target decision method for strapdown dual mode imaging seeker and system thereof |
| KR101202215B1 (en) * | 2012-01-12 | 2012-11-16 | 삼성탈레스 주식회사 | Weighted-based target decision system for strapdown dual mode imaging seeker using location weighted or region growing moment modeling |
| KR101546800B1 (en) | 2014-07-11 | 2015-08-26 | 한화탈레스 주식회사 | Target lock-on apparatus and method using dual-sensor seeker |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11392146B2 (en) | Method for detecting target object, detection apparatus and robot | |
| US10755428B2 (en) | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model | |
| JP4672175B2 (en) | Position detection apparatus, position detection method, and position detection program | |
| US11003939B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP5148669B2 (en) | Position detection apparatus, position detection method, and position detection program | |
| CN104094594B (en) | 3D scales imager | |
| JP4926127B2 (en) | Front imaging control device for moving body | |
| WO2005081941A2 (en) | Component association tracker system and method | |
| JP6753107B2 (en) | Distance measuring device, distance measuring method and program | |
| JP2016213825A (en) | Method for obtaining light-field data using non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium | |
| KR102151815B1 (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence | |
| US7903840B2 (en) | Image processing method, image processing apparatus, image processing program and program recording medium | |
| US10983515B2 (en) | Driving information display device, driving information display method, and method of controlling driving speed of working vehicle | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
| KR20210129503A (en) | Object tracking apparatus and method using self-attention | |
| JP5743935B2 (en) | Object detection apparatus and object detection method | |
| KR101949518B1 (en) | Target decision apparatus and method using dual sensor imaging seeker | |
| KR101949520B1 (en) | Target decision method using dual sensor imaging seeker | |
| KR101188296B1 (en) | Weighted-based target decision method for strapdown dual mode imaging seeker and system thereof | |
| KR101040306B1 (en) | Image tracking apparatus and method for searching target using the apparatus | |
| JP2019096062A (en) | Object tracking device, object tracking method, and object tracking program | |
| CN109302562B (en) | Video-based target detection tracking method, system, medium, and device | |
| CA3001653A1 (en) | Improvements in and relating to missile targeting | |
| KR101202215B1 (en) | Weighted-based target decision system for strapdown dual mode imaging seeker using location weighted or region growing moment modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |