KR20220052147A - 파편 검출 방법 및 장치 - Google Patents

Abstract

중복 검출된 파편 이미지를 제거하면서 누락된 파편 이미지에 대한 검출 정확도를 향상시킬 수 있는 기술에 관한 것이다. 이때, 파편 검출 방법은 탄두의 파편이 표적판을 관통하는 영상을 고속 촬영하는 단계; 상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하는 단계; LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여, 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 단계; 및 상기 템포럴 필터링이 수행된 결과를 출력하는 단계를 포함할 수 있다.

Description

파편 검출 방법 및 장치{FRAGMENTATION DETECTION METHOD AND APPARATUS}

본 명세서의 실시 예는 파편 검출 방법 및 장치에 관한 것으로, 구체적으로 LSTM 기반의 모델링을 통한 마스크를 이용하여 필터링을 수행함으로써 파편을 검출하는 기술에 관한 것이다.

탄두는 폭발물 및 독성 물질로 구성되어 있는 무기체계로, 미사일, 로켓, 포탄에 의해 탄착지로 운반되어 기폭된다. 탄두는, 기폭 시 다양한 질량과 분포로 수많은 파편을 발생시켜 파편에 의한 목표물 파괴를 목적으로 한다. 이때, 파편의 살상 성능은 파편속도, 파편 모양, 파편의 질량, 그리고 공간적 분포도의 함수로 표현할 수 있으며, 이와 같은 수치들을 확보하기 위해 개발자는 탄두의 기폭에 대한 테스트를 수행한다.

탄두의 위력은 기폭 시 발생되는 폭풍압과 파편효과로 나타낼 수 있다. 탄두의 폭풍압은 IEPE(Integrated Electronic Piezoelectric) 압력센서와 신호처리장치, 자료 획득 시스템을 이용하여 계측할 수 있다. 한국 특허공개공보 10-2016-0126332에 따르면, 탄두의 파편효과는 파편의 크기, 파편의 비산각, 파편의 속도 등으로 평가할 수 있다. 이 중 파편 속도는 디지털 스크린센서를 이용하여 계측될 수 있다. 상기 디지털 스크린센서는 A3, A4의 크기를 갖는 단락(Short)된 하나의 회로로서, 탄두 기폭시 발생하는 파편이 비산하여 회로를 관통하여 개방(Open) 시킬 때 발생하는 전기적 상태변화를 계측하여 관련 자료를 획득하는 센서이다.

그러나, 디지털 스크린센서는 센서 하나 당 단 한 개의 파편 속도 자료만을 획득할 수 있다. 또, 센서가 갖는 크기와 설치 위치, 그리고 케이블의 설치규모로 인하여 표적판에 설치할 수 있는 센서의 수가 매우 제한된다. 이에, 시험 공간의 단위 면적 당 파편속도 자료 획득률이 낮다. 또, 디지털 스크린센서와 신호처리기를 연결하기 위해 인력과 자원이 소모된다. 또, 디지털 스크린센서와 연결된 케이블이 야외에 노출되기 때문에, 파편이 디지털 스크린센서보다 먼저 케이블을 피격할 경우 파편 자료가 오염될 수 있다. 여기서 오염이란, 계측 시스템이 실제 발생한 물리현상의 참 값이 아닌, 노이즈, 디스터번스, 시험장비의 의도하지 않은 작동, 오작동 등으로 인해 오류를 포함한 계측 값을 획득하는 것을 의미한다. 이에 영상분석을 기반으로 탄두 파편자료를 계측하는 방법이 연구되었다.

탄두가 기폭하여 발생한 파편이 표적판을 관통하면 관통홀을 통하여 빛과 화염이 새어나올 수 있다. 이를 고속 촬영하고 분석을 수행하여 파편을 검출할 수 있다.

기존에는 최초로 검출된 파편의 바운딩 박스를 기반으로 마스크를 설계하고, 이를 regression을 통해 업데이트하여 필터링을 수행하여 파편을 검출하였다. 하지만, 실제 파편 보다 더 큰 마스크를 사용함으로써 실제 검출해야 하는 파편들이 필터링되어 누락되는 문제가 발생하였다.

본 명세서의 실시 예는 상술한 문제점을 해결하기 위하여 제안된 것으로 LSTM 기반의 모델링을 통한 마스크를 이용하여 고속 촬영된 영상과 파편 이미지에 템포럴 필터링을 수행하는 기술에 관한 것이다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예 들로부터 또 다른 기술적 과제들이 유추될 수 있다.

상술한 과제를 달성하기 위하여, 본 명세서의 일 실시 예에 따르는 파편 검출 방법은, 탄두의 파편이 표적판을 관통하는 영상을 고속 촬영하는 단계; 상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하는 단계; LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여, 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 단계; 및 상기 템포럴 필터링이 수행된 결과를 출력하는 단계;를 포함할 수 있다.

실시 예에 따르면, 상기 템포럴 필터링을 수행하는 단계는, 프레임 t-1에 대응하는 마스크와 프레임 t(t는 자연수)에 대응하는 영상을 이용하여 마스크를 추정하는 단계; 상기 추정된 마스크를 이용하여 상기 프레임 t+1에 대해 필터링을 수행하는 단계;를 포함할 수 있다.

실시 예에 따르면, 상기 프레임 t+1에 대해 필터링을 수행하는 단계는, 상기 마스크와 상기 프레임 t+1에 포함된 파편 이미지 간의 중첩 여부에 기초하여, 상기 프레임 t+1에 대해 필터링을 수행하는 단계를 포함할 수 있다.

실시 예에 따르면, 상기 템포럴 필터링을 수행하는 단계는, 초기 마스크를 추정하는 단계; 상기 초기 마스크와 이후 시간에서 추정된 마스크를 이용하여 필터링을 수행하는 단계;를 포함할 수 있다.

실시 예에 따르면, 상기 초기 마스크를 추정하는 단계는, 상기 파편 이미지에 대응하는 바운딩 박스(bounding box) 내에 포함된 복수의 픽셀에 다른 가중치를 적용하여 상기 초기 마스크를 추정하는 단계;를 포함할 수 있다.

실시 예에 따르면, 상기 가중치는, 상기 픽셀이 상기 바운딩 박스의 중심에 근접할수록 보다 높은 가중치가 상기 픽셀에 적용되거나, 또는 상기 픽셀에 대응하는 밝기가 밝을수록 보다 높은 가중치가 상기 픽셀에 적용될 수 있다.

실시 예에 따르면, 상기 초기 마스크를 추정하는 단계는, 상기 바운딩 박스 내의 상기 픽셀에 대응하는 상기 가중치의 평균 값을 결정하고, 상기 가중치가 상기 평균 값 이상에 대응하는 픽셀을 이용하여 상기 초기 마스크를 추정하는 단계;를 포함할 수 있다.

실시 예에 따르면, 상기 마스크는, 기 설정된 횟수만큼 중첩된 LSTM 기반의 모델링을 이용하여 생성되고, 상기 기 설정된 횟수는, 상기 파편 이미지의 변화 형상에 기초하여 결정될 수 있다.

상술한 과제를 달성하기 위하여, 본 명세서의 일 실시 예에 따르는 비일시적 컴퓨터 판독 가능 저장 매체는, 컴퓨터 판독 가능 명령어들을 저장하도록 구성되는 매체를 포함하고, 상기 컴퓨터 판독 가능 명령어들은 프로세서에 의해 실행되는 경우 상기 프로세서가: 탄두의 파편이 표적판을 관통하는 영상을 고속 촬영하는 단계; 상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하는 단계; LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여, 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 단계; 및 상기 템포럴 필터링이 수행된 결과를 출력하는 단계;를 포함하는 파편 검출 방법을 수행할 수 있다.

상술한 과제를 달성하기 위하여, 본 명세서의 일 실시 예에 따르는 파편 검출 장치는, 탄두의 파편이 표적판을 관통하는 고속 촬영된 영상을 입력 받는 입력부; 적어도 하나의 명령어(instruction)를 저장하는 메모리; 상기 적어도 하나의 명령어를 실행하여, 상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하고, LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 제어부(controller); 및 상기 템포럴 필터링이 수행된 결과를 출력하는 표시부를 포함할 수 있다.

기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 명세서의 실시 예에 따르면 아래와 같은 효과가 하나 혹은 그 이상 있다.

첫째, Convolutional LSTM 기반의 마스크를 적용하여 누락되는 파편 없이 파편 검출의 재현율이 향상될 수 있다.

둘째, 기존의 바운딩 박스 기반 마스크 보다 작은 LSTM 기반의 모델링을 통한 마스크를 이용하여 템포럴 필터링을 수행함으로써 파편 검출의 정확도가 향상될 수 있다.

셋째, 영상을 기반으로 하는 비 접촉식 계측방법 설계로, 신뢰성 있는 파편 자료 획득이 가능하다. 그에 따라, 면적 당 파편자료 획득율이 향상되며, 파편 피격에 의한 파편 자료 오염요소가 제거되고, 시험 장치 설치를 위한 인력 및 자원 소모를 효과적으로 감소시킬 수 있다.

실시 예의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 탄두의 성능을 테스트하는 시스템을 나타낸다.
도 2는 일 실시 예에 따른 파편 검출 방법을 설명하기 위한 도면이다.
도 3은 마스크를 이용하여 파편 이미지 검출하는 것을 설명하기 위한 도면이다.
도 4는 파편 이미지에 대응하는 마스크를 나타낸다.
도 5는 일 실시 예에 따른 정교한 마스크를 나타낸다.
도 6은 일 실시 예에 따른 파편 이미지를 검출하는 과정을 나타낸다.
도 7은 일 실시 예에 따른 LSTM 기반 템포럴 필터링을 수행하는 과정을 나타낸다.
도 8은 일 실시 예에 따른 초기 마스크 추정을 설명하기 위한 도면이다.
도 9 내지 도 11은 LSTM 기반의 마스크 추정을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 마스크를 나타낸다.
도 13은 일 실시 예에 따른 파편 검출 장치의 블록도를 나타낸다.

실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “~부”, “~모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서 기재된 “a, b, 및 c 중 적어도 하나”의 표현은, ‘a 단독’, ‘b 단독’, ‘c 단독’, ‘a 및 b’, ‘a 및 c’, ‘b 및 c’, 또는 ‘a,b,c 모두’를 포괄할 수 있다.

이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 등의 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세히 설명한다.

도 1은 일 실시 예에 따른 탄두의 성능을 테스트하는 시스템을 나타낸다.

도 1을 참조하면, 시스템은 탄두(110), 표적판(120) 및 카메라(130) 중에서 적어도 하나를 포함할 수 있다. 도 1에 도시된 시스템은 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

탄두(110)의 기폭으로 파편이 발생할 경우, 파편은 탄두(110)을 중심으로 무작위로 비산할 수 있다. 비산된 파편 중 일부가 표적판(120)을 관통하면, 관통으로 인한 관통홀이 생성되고, 탄두(110)의 기폭으로 인한 빛과 화염이 관통홀을 통해 새어나올수 있다. 이에, 카메라(130)는 관통홀을 통해 탄두(110)에서 발생한 빛과 화염을 촬영할 수 있고, 파편의 관통으로 인한 관통홀은 파편이 관통되지 않은 표적판(120)의 영역보다 상대적으로 밝을 수 있다.

카메라(130)는 표적판(120)을 기준으로 탄두(110)의 반대편에서 표적판(120)을 향하도록 설치되어, 파편의 비산과 관통으로 인한 빛과 화염을 고속 촬영할 수 있다. 카메라(130)는 기 설정된 시간 단위로 프레임을 기록 및 저장할 수 있다. 파편의 속도는 탄두(110)의 폭발 시간과 관통홀을 통해 빛과 화염이 촬영된 프레임에 대응하는 시간 간의 간격을 통해 추정될 수 있다. 구체적으로, 탄두 폭발 시점 이후 파편이 표적판(120)을 관통하여 빛과 화염이 카메라(130)에서 촬영된 시점까지의 시간 차이 T_D가 결정될 수 있다. 이때, 탄두(110)의 위치가 (0,0,0)이라고 가정할 경우, 탄두(110)의 위치와 파편에 대응하는 위치(x,y,z)를 이용하여 파편의 속도 V_P가 결정될 수 있다. 보다 구체적으로, 파편의 속도는 아래의 수학식 1을 통해 결정될 수 있다.

[수학식 1]

파편 검출 장치는 파편의 표적판(120) 관통으로 인해 발생한 빛과 화염을 기 학습된 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 검출할 수 있다. 구체적으로, 카메라(130)는 기 설정된 프레임 단위로 관통홀을 통해 새어나오는 빛과 화염을 검출할 수 있고, 파편 검출 장치는 프레임을 분석하여 빛과 화염이 새어나오는 관통홀을 파편으로 인식할 수 있다. 파편에 의해 관통된 표적판(120)의 관통홀을 통해 화염과 빛이 지속적으로 새어나올 수 있으며, 이는 최초로 파편이 표적판(120)을 관통한 위치에서 프레임이 진행됨에 따라 지속적으로 측정될 수 있다. 파편 검출 장치는 카메라(130)가 고속 촬영한 영상에 CNN 알고리즘을 적용하여 파편 이미지를 검출할 수 있다. 이때, 파편 이미지는 파편의 표적판(120) 관통으로 인해 발생한 빛과 화염 중 적어도 하나에 대한 이미지를 포함할 수 있다.

CNN의 일례인 Faster R-CNN(Faster Region-based CNN)은 2단계로 이뤄진 물체 검출 방법으로, 물체가 있을 만한 범위(region)에 대해 추천(Region Proposal)을 하고, 해당 영역에 대해 물체의 분류를 판단하는 필터를 자동으로 학습하는 방식이다. Faster R-CNN은 입력 이미지에 대해 CNN Layer을 거쳐 출력된 피쳐맵(Feature map)에 대해 Region Proposal Network을 이용하여 영상에서 물체(예를 들면, 파편)가 존재할 것으로 추정되는 Region Proposal들을 추출할 수 있다.

이때, 각각의 Region Proposal들은 사각형 모양의 바운딩 박스(Bounding Box) 안의 이미지 형태이며, 모든 Region Proposal들에 대해 크기를 동일하게 만든 후(Pooling) CNN, FC을 거쳐 분류하는 작업을 수행할 수 있다. 이와 같이, Faster R-CNN을 이용하여 파편 이미지를 검출하게 되면, 파편의 크기와 모양에 영향을 덜 받게 되어, 파편 자료의 획득률이 효과적으로 향상될 수 있고 획득된 파편 자료의 재현율(recall)이 개선될 수 있다. R-CNN과 관련하여 보다 구체적인 내용은 등록특허공보 KR 10-2136264B1에 기재된 내용이 참조될 수 있다.

파편 검출 장치는 LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여 고속 촬영된 영상과 파편 이미지에 템포럴 필터링(temporal filtering)을 수행할 수 있고, 그 결과를 출력할 수 있다.

이하, 파편 검출 장치에서 파편 이미지에 적합한 보다 작고 정확한 마스크를 이용하여 템포럴 필터링을 수행함으로써, 파편 검출의 정확도가 향상될 수 있는 구체적인 내용에 대해 자세히 기재한다.

도 2는 일 실시 예에 따른 파편 검출 방법을 설명하기 위한 도면이다.

도 2를 참조하면, 단계 S210에서 파편 검출 장치에 포함된 카메라는 탄두의 파편이 표적판을 관통하는 영상을 고속 촬영할 수 있다. 구체적으로, 카메라는 기 설정된 프레임 단위로 표적판을 고속 촬영할 수 있고, 파편 검출 장치는 고속 촬영된 프레임을 분석하여 파편을 검출할 수 있다.

단계 S220에서, 파편 검출 장치는 영상에 컨볼루셔널 뉴럴 네트워크 알고리즘을 적용하여 파편 이미지를 검출할 수 있다. 파편 검출 장치는 고속 촬영된 영상에 CNN 알고리즘을 적용하여 파편 이미지에 대응하여 생성된 바운딩 박스 내에 포함된 복수의 픽셀에 서로 다른 가중치를 적용하여 초기 마스크를 추정할 수 있다. 이때, 복수의 픽셀에 할당되는 가중치는 픽셀이 바운딩 박스의 중심에 근접할수록 보다 높은 가중치가 적용되거나, 또는 픽셀에 대응하는 밝기가 밝을수록 보다 높은 가중치가 적용될 수 있다. 이때, 파편 검출 장치는 바운딩 박스 내에 포함된 복수의 픽셀에 대응하는 각각의 가중치의 평균 값을 결정하고, 가중치가 평균 값 이상에 대응하는 픽셀을 이용하여 초기 마스크를 추정할 수 있다. 초기 마스크를 추정하는 보다 구체적인 내용은 이하 다른 도면에서 자세히 설명한다.

단계 S230에서, 파편 검출 장치는 LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여, 영상과 파편 이미지에 템포럴 필터링을 수행할 수 있다. 구체적으로, 파편 검출 장치는 프레임 t-1에 대응하는 마스크와 프레임 t에 대응하는 영상을 이용하여 마스크를 추정할 수 있고, 추정된 마스크를 이용하여 프레임 t+1에 대해 필터링을 수행할 수 있다. 이때, 마스크와 프레임 t+1에 포함된 파편 이미지 간의 중첩 여부에 기초하여, 프레임 t+1에 대해 필터링을 수행할 수 있다. 예를 들면, 파편 검출 장치는 이전 프레임으로부터 생성된 마스크와 현재 프레임의 파편 이미지가 중첩될 경우, 이전 프레임에서 검출된 파편 이미지가 중복하여 검출된 것으로 결정할 수 있다. 이때, 마스크는 기 설정된 횟수만큼 중첩된 LSTM 기반의 모델링을 이용하여 생성될 수 있다. 기 설정된 횟수는 파편 이미지의 변화 형상에 기초하여 결정될 수 있다. 이와 관련하여 보다 자세한 내용은 이하 도 11에서 설명한다.

단계 S240에서, 파편 검출 장치는 필터링이 수행된 결과를 출력할 수 있다. 이때, 마스크에 의해 중복 검출된 파편 이미지를 제외하고, 중복 검출되지 않은 파편 이미지를 출력할 수 있고, 출력된 결과를 이용하여 탄두의 기폭 성능을 측정할 때 오차가 보다 작아질 수 있다.

도 3은 마스크를 이용하여 파편 이미지 검출하는 것을 설명하기 위한 도면이다.

도 3을 참조하면, 카메라는 프레임 1 내지 프레임 4를 연속적으로 고속 촬영할 수 있고, 파편 검출 장치는 고속 촬영된 프레임을 이용하여 파편 이미지를 검출할 수 있다. 구체적으로, 파편 검출 장치는 프레임에 CNN 알고리즘을 적용하여 파편 이미지를 검출할 수 있다. 파편이 표적판을 관통하면 관통홀을 통해 화염 또는 빛이 새어나올수 있고, CNN 알고리즘은 관통홀을 통해 검출되는 밝은 형상을 파편으로 검출할 수 있다. 이때, 파편에 의해 관통된 표적판의 특정 위치인 관통홀로 인해 화염과 빛이 지속적으로 검출될 수 있고, 이는 카메라의 고속 촬영이 계속됨에 따라 지속적으로 검출될 수 있다. 이에 연속되는 프레임에서 파편이 중복 검출되는 오류가 발생될 수 있어, 탄두의 기폭 성능을 측정할 때 오류가 발생할 수 있다. 따라서, 최초로 표적판을 관통한 파편이 유효하며, 중복 검출된 파편은 제거될 필요가 있다. 이에, 검출된 파편에 대한 바운딩 박스(Bounding Box)를 기반으로 마스크를 설계할 수 있고, 이를 Regression을 통해 업데이트하여 새로 검출된 파편이 마스크 내에 있으면 이미 검출된 파편으로 판단될 수 있다.

예를 들면, 카메라는 프레임 1 ~ 프레임 4를 순서대로 고속 촬영할 수 있고, 프레임 1 ~ 프레임 4는 적어도 하나의 파편 이미지를 포함할 수 있다. 프레임 1은 최초의 프레임으로서, 프레임 1에서 관통홀을 통해 파편 5개가 검출될 수 있다. 프레임 1은 최초의 프레임으로서 프레임 1에 대응하는 마스크(mask)가 생성되지 않은 상태일 수 있다. 또한, 프레임 1은 최초의 프레임으로서 파편이 중복 검출되지 않은 상태이므로, 검출(detect)된 파편 이미지에 대해 정제(refine) 과정을 수행하여도 5개의 파편 이미지가 중복되지 않은 파편으로 판단될 수 있다. 또한, 파편 검출 장치는 프레임 1에서 검출된 파편 이미지에 대응하는 바운딩 박스(Bounding Box)를 기반으로 마스크(mask)를 생성할 수 있다. 프레임 2에서 검출된 5개의 파편 이미지가 생성된 마스크 내에 있으므로, 파편 검출 장치는 중복된 파편 이미지로 판단하여 정제 과정에서 제거할 수 있다. 또한, 파편 검출 장치는 바운딩 박스를 업데이트하여 마스크를 생성할 수 있다. 프레임 3에서 검출된 7개의 파편 이미지 중 일부가 업데이트된 마스크 내에 있으므로, 파편 검출 장치는 중복된 파편 이미지로 판단하여 정제 과정에서 제거할 수 있다. 이때, 마스크 내에 있지 않은 2개의 파편 이미지와 관련하여, 파편 검출 장치는 중복되지 않은 파편 이미지로 판단하여 정제 과정에서 제거하지 않을 수 있다. 또한, 파편 검출 장치는 바운딩 박스를 업데이트하여 마스크를 생성할 수 있다. 프레임 4에서 검출된 8개의 파편 이미지 중 일부가 마스크 내에 있으므로, 파편 검출 장치는 중복된 파편 이미지로 판단하여 정제 과정에서 제거할 수 있다. 이때, 마스크 내에 있지 않은 1개의 파편 이미지와 관련하여, 파편 검출 장치는 중복되지 않은 파편 이미지로 판단하여 정제 과정에서 제거하지 않을 수 있다.

도 4는 파편 이미지에 대응하는 마스크를 나타낸다.

도 4를 참조하면, 각각의 파편에 대응하는 마스크를 확인할 수 있다. 관통홀을 통해 새어나오는 빛 또는 화염의 형태가 직사각형과는 차이가 있으므로, 도 4와 같이 파편 이미지 보다 더 큰 마스크를 생성할 필요가 있다. 예를 들면, 프레임 t에서 파편 이미지 (411, 413)가 검출될 수 있다. 이때, 각각의 파편 이미지(411, 413)에 대응하는 마스크가 결정될 수 있으며, 마스크는 대응하는 파편 이미지를 내부에 포함하는 보다 큰 형상(예를 들면, 직사각형 형상)일 수 있다.

이후 프레임 t+1에서 파편 이미지 (415, 417, 419, 421)가 검출될 수 있다. 여기서, 파편 이미지(411)에 대응하는 마스크와 파편 이미지(417, 419)는 일부 중복될 수 있으며, 이에 파편 이미지(417, 419)는 파편 이미지(411)에 대응하는 마스크에 의해 필터링되어 검출되지 않을 수 있다. 즉, 검출이 필요한 파편 이미지(417, 419) 또한 마스크에 의해 필터링되어 탄두의 기폭 성능을 측정할 때 오차가 발생할 수 있다.

도 5는 일 실시 예에 따른 정교한 마스크를 나타낸다.

도 5를 참조하면, 각각의 파편에 대응하는 마스크를 확인할 수 있다. 파편 이미지 보다 더 큰 마스크를 나타내는 도 4와 달리, 도 5의 경우 파편 이미지에 대응하여 보다 정교한 마스크를 이용하여 필터링을 수행할 수 있다. 예를 들면, 파편 이미지(411, 413)보다 큰 직사각형 마스크를 이용하는 도 4와 달리, 파편 이미지(511, 513)에 대응하는 원형 마스크를 이용하여 필터링을 수행할 수 있다. 도 5의 마스크는 LSTM 기반의 파편 관통 특성 모델링을 통해 결정된 마스크로서, 직사각형이 아니라 파편 이미지의 형태에 대응하는 원형일 수 있다. 이와 같이, 정교한 마스크를 이용함으로써, 바운딩 박스 기반 마스크를 이용할 경우 누락되는 파편 이미지의 검출 재현율이 향상될 수 있다. 예를 들면, 마스크에 의해 필터링되어 검출되지 않는 파편 이미지(417, 419)와 달리, 파편 이미지(517, 519)는 마스크에 의해 필터링되지 않고 검출될 수 있어, 누락되는 파편 이미지의 검출 재현율이 향상될 수 있다.

도 5와 같이 파편 이미지에 대응하는 보다 정교한 마스크를 생성하는 구체적인 내용은 이하 다른 도면에서 자세히 기재한다.

도 6은 일 실시 예에 따른 파편 이미지를 검출하는 과정을 나타낸다.

단계 S610에서, 카메라는 탄두의 파편이 표적판을 관통하는 영상을 고속 촬영할 수 있다. 구체적으로, 탄두의 기폭으로 파편이 발생할 경우, 파편은 탄두를 중심으로 무작위로 비산할 수 있고, 비상된 파편 중 일부가 표적판을 관통하여 관통홀이 생성될 수 있다. 이때, 표적판을 향하도록 설치된 카메라는 관통홀을 통해 새어나오는 빛과 화염을 기 설정된 시간 단위로 촬영된 프레임을 기록 및 저장할 수 있다. 단계 S620에서, 파편 검출 장치는 CNN 알고리즘을 적용하여 파편 이미지를 검출할 수 있고, 단계 S630에서 검출 결과를 출력할 수 있다. 이후, 단계 S640에서 파편 검출 장치는 고속 촬영된 영상과 검출된 파편 이미지를 이용하여 LSTM 기반 템포럴 필터링을 수행할 수 있고, 단계 S650에서 필터링 결과를 출력할 수 있다. 이때, LSTM 기반 템포럴 필터링은 초기 마스크 및 LSTM 기반의 마스크를 추정하고, 이를 이용하여 필터링을 수행하는 과정을 포함할 수 있다. 이에 대해 자세한 내용은 이하 다른 도면에서 구체적으로 기재한다.

도 7은 일 실시 예에 따른 LSTM 기반 템포럴 필터링을 수행하는 과정을 나타낸다.

도 7의 검출 결과(710)는 도 6의 검출 결과(630)에 대응할 수 있고, 도 7의 초기 마스크 추정(720), LSTM 기반 마스크 추정(730) 및 필터링(740)은 도 6의 LSTM 기반 템포럴 필터링(640)에 대응할 수 있으며, 도 7의 결과 출력(750)은 도 6의 결과 출력(650)에 대응할 수 있다. 여기서, 형상 1(760)은 중복 검출되지 않은 파편 이미지에 대응하며, 형상 2(770)는 중복 검출된 파편 이미지에 대응하며, 형상 3(780)은 파편 이미지의 형상에 대응하는 정교한 마스크에 대응하며, 형상 4(790)는 검출 결과로부터 생성되는 바운딩 박스에 대응할 수 있다.

파편 검출 장치는 시간 t에 대응하는 프레임으로부터 파편 이미지를 검출할 수 있고, 시간 t+1에 대응하는 프레임으로부터 파편 이미지를 검출할 수 있으며, 시간 t+2에 대응하는 프레임으로부터 파편 이미지를 검출할 수 있다. 이때, 바운딩 박스인 형상 4(790) 내부에 파편 이미지인 형상 1(760)이 포함될 수 있거나, 또는 바운딩 박스인 형상 4(790) 내부에 중복 검출된 파편 이미지인 형상 2(770)가 포함될 수 있다.

시간 t에서 검출된 파편 이미지(711)는 중복 검출되지 않은 파편 이미지이고, 시간 t+1에서 검출된 파편 이미지(713)는 시간 t에서 검출된 파편 이미지(711)와 중복되는 파편 이미지이고, 시간 t+2에서 검출된 파편 이미지(715)는 시간 t에서 검출된 파편 이미지(711)와 중복되는 파편 이미지이고 파편 이미지(717)은 시간 t에서 검출된 파편 이미지(711)와 중복되지 않는 파편 이미지일 수 있다. 시간 t ~ 시간 t+2에서 각각의 파편 이미지(711, 713, 715, 717)의 검출 결과에 대응하여 바운딩 박스가 생성될 수 있다.

LSTM 기반 템포럴 필터링은 현재 프레임의 영상과 이전 프레임에서 생성된 마스크를 이용하여 현재 프레임에 대응하는 마스크를 추정하는 작업을 포함할 수 있다. 이에 대한 자세한 내용은 도 11에서 설명한다. 이를 위해 이전 프레임에 대응하는 마스크에 대한 정보가 필요하지만 처음 검출된 파편은 대응하는 마스크가 없으므로, 파편 검출 장치는 초기 마스크를 추정(720)할 수 있다. 예를 들면, 시간 t에서 검출된 파편 이미지에 대응하는 마스크가 존재하지 않으므로, 파편 검출 장치는 초기 마스크를 추정(720)할 수 있다.

고속 촬영된 영상에 CNN 알고리즘을 적용하여 직사각형 형상의 바운딩 박스(Bounding Box)가 생성될 수 있다. 파편 검출 장치는 바운딩 박스를 이용하여 초기 마스크를 추정(720)할 수 있다. 구체적으로, 바운딩 박스의 내부에서 파편이 관통한 영역은 관통하지 않은 영역과 비교하여 상대적으로 밝을 수 있고, 밝기가 높은 영역이 파편이 관통한 영역일 확률이 높다. 이는 파편이 관통한 영역을 통해 화염 또는 빛이 새어나오며, 파편이 관통하지 않은 영역을 통해 화염 또는 빛이 새어나오지 않기 때문이며, 이에 바운딩 박스 내부에서 밝기가 상대적으로 높은 영역은 파편 이미지로 결정될 수 있다. 바운딩 박스를 이용하여 초기 마스크를 추정하는 보다 구체적인 설명은 이하 도 8을 참조한다. 파편 검출 장치는 형상 3(780)과 같은 초기 마스크(721)를 추정할 수 있다.

파편 검출 장치는 LSTM 기반 마스크를 추정(730)할 수 있다. 구체적으로, 파편 검출 장치는 초기 마스크(721)을 추정한 경우, 초기 마스크(721)와 t+1에 대응하는 파편 이미지를 이용하여 마스크(731)을 추정할 수 있다. 또한, 파편 검출 장치는 마스크(731)과 t+2에 대응하는 파편 이미지를 이용하여 마스크(733)을 추정할 수 있다. LSTM 기반 템포럴 필터링은 기 학습된 LSTM 모델을 필요로 하며, 이와 관련하여 보다 구체적인 설명은 이하 도 9 및 도 10을 참조한다.

파편 검출 장치는 마스크를 이용하여 필터링(740)을 수행할 수 있고, 그 결과를 출력(750)할 수 있다. 구체적으로, 파편 검출 장치는 LSTM 기반 템포럴 필터링을 통해 파편 이미지(711)를 중복 검출되지 않은 것으로 판단하여 파편 이미지(751)을 출력할 수 있다. 또한, 파편 검출 장치는 LSTM 기반 템포럴 필터링을 통해 파편 이미지(713)을 중복 검출된 것으로 판단하여 파편 이미지(753)을 출력할 수 있다. 또한, 파편 검출 장치는 LSTM 기반 템포럴 필터링을 통해 파편 이미지(715)을 중복 검출된 것으로 판단하여 파편 이미지(755)을 출력할 수 있다. 또한, 파편 검출 장치는 LSTM 기반 템포럴 필터링을 통해 파편 이미지(717)를 중복 검출되지 않은 것으로 판단하여 파편 이미지(757)을 출력할 수 있다.

도 8은 일 실시 예에 따른 초기 마스크 추정을 설명하기 위한 도면이다.

도 8을 참조하면, 형상(810, 820)은 중복 검출되지 않은 파편 이미지에 대응하고, 형상(813)은 파편 이미지(810)에 대응하는 초기 마스크를 나타내고, 형상(811)은 검출 결과로부터 생성된 바운딩 박스에 대응할 수 있다. 바운딩 박스(811) 내에 여러 파편 이미지(810, 820)가 포함될 경우, 파편 검출 장치는 검출 결과와 밀접한 관계를 갖는 하나의 파편 이미지(810)에 대해서 초기 마스크를 추정할 수 있다. 이를 통해 서로 다른 검출 결과 들의 간섭을 줄일 수 있다. 파편 검출 장치는 바운딩 박스(811) 내부에서 파편이 가운데에 위치함을 전제로, 가운데에 가까울수록 가중치를 더 많이 할당할 수 있다.

이에, 바운딩 박스(811) 내부의 각 픽셀에 대한 마스크 가중치 함수

는 아래의 수학식 2와 같다.

[수학식 2]

여기서, x,y는 바운딩 박스(811) 내부의 픽셀의 위치를 나타내며, I(x,y)는 x,y 위치 픽셀의 밝기를 나타내고, k는 가운데 픽셀에 얼마나 더 큰 가중치를 할당할 것인지를 조절하는 화수 중심 가중치 변수를 나타내고,

는 각각 픽셀의 x,y 좌표의 평균값으로 바운딩 박스(811)의 중심 좌표를 나타낼 수 있다. 즉, 해당 픽셀의 밝기가 높을수록, 해당 픽셀의 위치가 중간에 가까울수록 더 높은 가중치가 할당될 수 있다.

이와 같은 가중치로부터 초기 마스크를 추정하기 위해, 바운딩 박스(811) 내부의 가중치를 평균

하고, 평균 이상의 값을 이용하여 초기 마스크를 추출할 수 있다. 구체적으로, 아래의 수학식 3과 같이 마스크 가중치 함수

가 평균

보다 큰 경우에 대응하는 픽셀을 이용하여 초기 마스크가 추출될 수 있다.

[수학식 3]

도 8은 초기 마스크 추출의 일 예로서, 초기 마스크(813)는 바운딩 박스(811) 내부의 가중치의 평균

이상의 값을 가지는 픽셀을 이용하여 결정될 수 있다.

도 9 내지 도 11은 LSTM 기반의 마스크 추정을 설명하기 위한 도면이다.

LSTM 기반의 템포럴 필터링을 위하여 기 학습된 LSTM 모델이 필요하며, LSTM 모델의 학습을 위해 데이터를 구성할 필요가 있다. 도 9를 참조하면, 프레임(910)은 내부에 다양한 형태의 여러 파편 이미지를 포함할 수 있다. 이때, 프레임(910)을 crop하여, 여러 파편 이미지를 모두 같은 크기로 잘라낼 수 있다. 예를 들면, 프레임(910)을 crop하여 파편 이미지(911, 913, 915)와 같이 모두 같은 크기로 잘라낼 수 있다. 이때, 잘라내는 크기는 처음 검출된 파편(911)의 바운딩 박스 보다 기 설정된 크기만큼 넓을 수 있다. 구체적으로, 잘라내는 크기는 처음 검출된 파편(911)의 바운딩 박스 보다 너비와 높이가 30 픽셀만큼 넓을 수 있고, 이는 실험 결과 파편이 관통한 관통홀을 통해 새어나오는 화염이 관통홀 보다 최대 29픽셀까지 증가한 상태로 고속 촬영될 수 있기 때문이다. 따라서, 29픽셀 보다 더 큰 변화를 가지는 화염이 고속 촬영될 경우, 이를 고려하여 기 설정된 크기는 달라질 수 있다.

도 10을 참조하면, 본 모델에 사용되는 Convolutional LSTM의 구조를 확인할 수 있다. 도 10과 같이, Convolutional LSTM(1010)은 LSTM의 각 게이트에서 사용하는 연산을 벡터 곱에서 convolution의 형태로 변경한 구조일 수 있다. 구체적으로, 기존의 벡터 곱 대신 convolution 연산과 batch normalization(BN) 연산 및 peephole 연산이 추가된 구조일 수 있다. 여기서 peephole 연산은 기존 LSTM과 달리 모든 게이트에서 셀 스테이트 정보를 이용할 수 있도록 하는 것을 의미한다. 이와 같은 Convolutional LSTM은 동영상에 적합한 구조를 구성하고 있으며, 동영상 내에서 물체를 검출하는데 유용할 수 있다.

파편 검출 장치는 고속 촬영된 동영상을 Convolutional LSTM을 이용하여 처리할 수 있으며, 이때 사용되는 LSTM 기반의 모델의 구조는 도 11과 같다. 도 11을 참조하면, Convolutional LSTM 셀은 현재 프레임에 대한 영상과 이전 프레임에서 생성된 마스크를 이용하여 마스크를 추출할 수 있다. 예를 들면, ConvLSTM(1120)은 현재 프레임 t에 대한 영상(t)과 이전 프레임 t-1에서 생성된 마스크(t-1)를 이용하여 마스크(t)를 추출할 수 있다. 또한, ConvLSTM(1130)은 현재 프레임 t+1에 대한 영상(t+1)과 이전 프레임 t을 통해 생성된 마스크(t)를 이용하여 마스크(t+1)를 추출할 수 있다. 이때, 처음의 Convolutional LSTM 셀의 경우, 전술한 초기 마스크 추출 방법을 이용하여 생성된 초기 마스크 정보를 이용할 수 있다. 예를 들면, ConvLSTM(1110)은 전술한 초기 마스크 추출 방법을 이용하여 생성된 초기 마스크 정보를 이용하여, 프레임 0에 대응하는 마스크를 추출할 수 있다.

이때, 도 11의 각각의 ConvLSTM 셀은 도 10의 ConvLSTM 셀이 기 설정된 횟수(예를 들면, 3번)만큼 중첩된 구조일 수 있다. 예를 들면, 도 10의 ConvLSTM 셀은 9*9 크기의 Convolution 커널을 가지고 있으며, 도 11의 ConvLSTM 셀은 3번 중첩에 의해 12*12 영역에 대한 데이터를 처리할 수 있는 구조일 수 있다. 이는, 관통홀을 통한 화염 또는 빛의 변화 형상에 기초하여, 화염 또는 빛의 변화 형상이 이전 프레임으로부터 최대 12화까지 증가하는 것이 확인되었기 때문이다. 이에, 관통홀을 통한 화염 또는 빛의 변화 형상이 보다 더 큰 변화가 확인된 경우, 이를 고려하여 기 설정된 횟수가 변화할 수 있다.

LSTM 모델의 학습을 위해, 일례로 Weighted cross entropy loss 함수가 이용될 수 있다. 이때, Weighted cross entropy 함수는 cross entropy에 각 class 별로 서로 다른 가중치를 할당하고 학습할 수 있는 loss 함수로 편향된 분포의 데이터를 분류할 때 유용하게 사용될 수 있다. LSTM 기반 마스크 추정할 때, 일반적으로 관통홀을 통해 새어나오는 화염 또는 빛에 해당하는 영역보다 배경 영역이 더 크므로, 화염 또는 빛에 해당하는 마스크에 더 큰 가중치를 적용하여 학습하는 것이 적합하기 때문이다.

도 12는 일 실시 예에 따른 마스크를 나타낸다.

도 12를 참조하면, 파편 이미지(1210)는 고속 촬영 과정에서 중복 검출된 대상일 수 있다. 이와 같이, 중복 검출된 파편 이미지(1210)는 이미 검출된 파편이 다시 검출된 것으로, 정확한 탄두의 기폭 성능을 측정하기 위한 데이터를 출력할 때 제외될 필요가 있다.

마스크를 이용하여 중복 검출된 파편 이미지(1210)를 제거할 수 있다. 구체적으로, 이전 프레임으로부터 생성된 마스크와 현재 검출된 파편 이미지가 중첩될 경우, 파편 검출 장치는 이미 검출된 파편 이미지가 다시 검출된 것으로 보고 제외될 수 있다.

기존에는 파편 이미지(1210)에 대해 Regression 기반 바운딩 박스(1230)를 이용하여 중복 검출된 파편 이미지를 제외하였지만, 전술한 바와 같이 누락되는 파편 이미지로 인해 탄두의 기폭 성능을 측정할 때 오차가 발생할 수 있다. 이에, 파편 이미지(1210)에 대해 전술한 LSTM 기반 추정된 마스크(1220)를 이용하여 중복 검출된 파편 이미지를 제외함으로써 보다 정확하게 탄두의 기폭 성능을 측정할 수 있다. 구체적으로, 파편 검출 장치는 이전 프레임에 기반하여 생성된 마스크(1220)와 현재 검출된 파편 이미지(1210)이 중첩되므로, 최종 결과를 출력할 때 파편 이미지(1210)를 제외시킬 수 있다.

도 13은 일 실시 예에 따른 파편 검출 장치의 블록도를 나타낸다.

파편 검출 장치(1300)은 일 실시 예에 따라, 입력부(1310), 메모리(1320), 제어부(1330) 및 표시부(1340)을 포함할 수 있다. 도 13에 도시된 파편 검출 장치(1300)은 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 13에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 파편 검출 장치(1300)는 전술한 전자 장치에 관한 내용을 포함할 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.

입력부(1310)는 탄두의 파편이 표적판을 관통하는 고속 촬영된 영상을 입력 받을 수 있다. 이때, 입력부(1310)는 카메라이거나, 또는 카메라가 촬영한 영상을 유무선 통신을 이용하여 수신할 수 있다.

제어부(1330)는 파편 검출 장치(1300)의 전반의 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 제어부(1330)는 적어도 하나의 하드웨어 유닛으로 구성될 수 있다. 또한, 제어부(1330)는 메모리(520)에 저장된 프로그램 코드를 실행하여 생성되는 하나 이상의 소프트웨어 모듈에 의해 동작할 수 있다. 제어부(1330)는 메모리(1320)에 저장된 프로그램 코드를 실행하여 파편 검출 장치(1300)의 전반의 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 제어부(1330)는 LSTM 기반의 모델링을 통한 마스크를 이용하여 템포릴 필터링을 수행하여 중복 검출된 파편 이미지를 제외하 수 있고, 표시부(1340)는 템포럴 필터링이 수행된 결과를 출력할 수 있다.

전술한 실시 예들에 따른 전자 장치 또는 단말은, 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.

Claims (10)

1. 파편 검출 방법에 있어서,
   탄두의 파편이 표적판을 관통하는 영상을 고속 촬영하는 단계;
   상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하는 단계;
   LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여, 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 단계; 및
   상기 템포럴 필터링이 수행된 결과를 출력하는 단계를 포함하는,
   파편 검출 방법.
2. 제1항에 있어서,
   상기 템포럴 필터링을 수행하는 단계는,
   프레임 t-1에 대응하는 마스크와 프레임 t(t는 자연수)에 대응하는 영상을 이용하여 마스크를 추정하는 단계; 및
   상기 추정된 마스크를 이용하여 프레임 t+1에 대해 필터링을 수행하는 단계를 포함하는,
   파편 검출 방법.
3. 제2항에 있어서,
   상기 프레임 t+1에 대해 필터링을 수행하는 단계는,
   상기 마스크와 상기 프레임 t+1에 포함된 파편 이미지 간의 중첩 여부에 기초하여, 상기 프레임 t+1에 대해 필터링을 수행하는 단계를 포함하는,
   파편 검출 방법.
4. 제1항에 있어서,
   상기 템포럴 필터링을 수행하는 단계는,
   초기 마스크를 추정하는 단계; 및
   상기 초기 마스크와 이후 시간에서 추정된 마스크를 이용하여 필터링을 수행하는 단계를 포함하는,
   파편 검출 방법.
5. 제4항에 있어서,
   상기 초기 마스크를 추정하는 단계는,
   상기 파편 이미지에 대응하는 바운딩 박스(bounding box) 내에 포함된 복수의 픽셀에 다른 가중치를 적용하여 상기 초기 마스크를 추정하는 단계를 포함하는,
   파편 검출 방법.
6. 제5항에 있어서,
   상기 가중치는,
   상기 픽셀이 상기 바운딩 박스의 중심에 근접할수록 보다 높은 가중치가 상기 픽셀에 적용되거나, 또는 상기 픽셀에 대응하는 밝기가 밝을수록 보다 높은 가중치가 상기 픽셀에 적용되는,
   파편 검출 방법.
7. 제5항에 있어서,
   상기 초기 마스크를 추정하는 단계는,
   상기 바운딩 박스 내의 상기 픽셀에 대응하는 상기 가중치의 평균 값을 결정하고, 상기 가중치가 상기 평균 값 이상에 대응하는 픽셀을 이용하여 상기 초기 마스크를 추정하는 단계를 포함하는,
   파편 검출 방법.
8. 제1항에 있어서,
   상기 마스크는, 기 설정된 횟수만큼 중첩된 LSTM 기반의 모델링을 이용하여 생성되고,
   상기 기 설정된 횟수는, 상기 파편 이미지의 변화 형상에 기초하여 결정되는,
   파편 검출 방법.
9. 비일시적 컴퓨터 판독 가능 저장 매체로서,
   컴퓨터 판독 가능 명령어들을 저장하도록 구성되는 매체를 포함하고,
   상기 컴퓨터 판독 가능 명령어들은 프로세서에 의해 실행되는 경우 상기 프로세서가:
   탄두의 파편이 표적판을 관통하는 고속 촬영된 영상을 획득하는 단계;
   상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하는 단계;
   LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여, 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 단계; 및
   상기 템포럴 필터링이 수행된 결과를 출력하는 단계
   를 포함하는 파편 검출 방법을 수행하도록 하는, 비일시적 컴퓨터 판독 가능 저장 매체.
10. 탄두의 파편이 표적판을 관통하는 고속 촬영된 영상을 입력 받는 입력부;
    적어도 하나의 명령어(instruction)를 저장하는 메모리;
    상기 적어도 하나의 명령어를 실행하여, 상기 영상에 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 알고리즘을 적용하여 파편 이미지를 검출하고, LSTM(Long Short Term Memory) 기반의 모델링을 통한 마스크를 이용하여 상기 영상과 상기 파편 이미지에 템포럴 필터링(temporal filtering)을 수행하는 제어부(controller); 및
    상기 템포럴 필터링이 수행된 결과를 출력하는 표시부를 포함하는,
    파편 검출 장치.

Images