KR102344004B1 - Deep learning based real-time small target detection device for cpu only embedded board - Google Patents
Deep learning based real-time small target detection device for cpu only embedded board Download PDFInfo
- Publication number
- KR102344004B1 KR102344004B1 KR1020200084536A KR20200084536A KR102344004B1 KR 102344004 B1 KR102344004 B1 KR 102344004B1 KR 1020200084536 A KR1020200084536 A KR 1020200084536A KR 20200084536 A KR20200084536 A KR 20200084536A KR 102344004 B1 KR102344004 B1 KR 102344004B1
- Authority
- KR
- South Korea
- Prior art keywords
- small target
- target detection
- small
- learning model
- model
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 152
- 238000013135 deep learning Methods 0.000 title abstract description 14
- 238000013139 quantization Methods 0.000 claims abstract description 34
- 230000001133 acceleration Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 12
- 238000013136 deep learning model Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
아래의 설명은 실시간으로 소형 표적을 탐지하는 기술에 관한 것이다. The description below relates to techniques for detecting small targets in real time.
종래의 딥러닝 기반에 표적 탐지/인식 기술은 GPU 보드상에서 실시간 성능을 만족한다. 하지만 군사무기에 사용되는 임베디드 보드의 경우 현재 군용 스펙을 만족하는 GPU 보드가 많지 않으며, 있다고 하더라도 높은 가격 때문에 군사 무기에 탑재하기 어려운 실정이다. 이러한 상황 때문에 군사무기에 탑재되는 임베디드 보드상에서 CPU 성능 만으로 딥러닝 기반 표적 탐지 기술을 적용하기에는 33ms 라는 응답 속도를 만족하기 어렵기 때문에 높은 탐지성능이 있음에도 딥러닝 기술을 적용하기에는 어려움이 있다. 이에 CPU only 임베디드 보드상에서 딥러닝 기반 소형표적 탐지 기술은 현재 미사일 무기체계의 성능을 획기적으로 올릴 수 있는 기술로 판단된다. Target detection/recognition technology based on conventional deep learning satisfies real-time performance on the GPU board. However, in the case of embedded boards used in military weapons, there are not many GPU boards that satisfy the current military specifications, and even if there are, it is difficult to mount them in military weapons due to their high price. Because of this situation, it is difficult to satisfy the response speed of 33ms to apply deep learning-based target detection technology only with CPU performance on the embedded board mounted on military weapons, so it is difficult to apply deep learning technology even with high detection performance. Therefore, the deep learning-based small target detection technology on the CPU only embedded board is judged to be a technology that can dramatically improve the performance of the current missile weapon system.
CPU 만을 탑재한 임베디드 보드상에서 딥러닝 기반의 경량 학습 모델 및 고속화 방법을 통하여 실시간으로 소형 표적을 탐지하는 방법 및 장치를 제공할 수 있다.It is possible to provide a method and apparatus for detecting a small target in real time through a deep learning-based lightweight learning model and a high-speed method on an embedded board equipped with only a CPU.
소형 표적 탐지 장치는, 기존 학습 모델로부터 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거하여 소형 표적 탐지를 위한 소형 표적 검출용 학습 모델을 생성하는 경량 학습 모델 생성 모듈; 상기 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위하여 설정된 양자화 정보에 기초하여 상기 생성된 소형 표적 검출용 학습 모델을 양자화하는 소형 표적 탐지 가속 모듈; 및 상기 양자화된 소형 표적 검출용 학습 모델을 이용하여 소형 표적 탐지를 위하여 입력된 소형 표적 이미지의 일정 영역을 클립핑하여 소형 표적을 탐지하는 실시간 소형 표적 탐지 모듈을 포함할 수 있다. The apparatus for detecting a small target includes: a lightweight learning model generating module for generating a learning model for detecting a small target for detecting a small target by removing a layer for detecting a target of a size larger than a preset size from an existing training model; a small target detection acceleration module for quantizing the generated small target detection learning model based on quantization information set to accelerate the operation of the generated small target detection learning model; and a real-time small target detection module for detecting a small target by clipping a predetermined area of an input small target image for small target detection using the quantized small target detection learning model.
상기 경량 학습 모델 생성 모듈은, 기 설정된 크기 이상의 표적 탐지를 위한 레이어를 제거하기 위해 앵커 박스(Anchor box)를 근간으로 Tiny CNN 모델에서 소형 표적 탐지용 경량 모델을 생성할 수 있다. The lightweight learning model generation module may generate a lightweight model for detecting a small target in the Tiny CNN model based on an anchor box in order to remove a layer for detecting a target larger than a preset size.
상기 경량 학습 모델 생성 모듈은, 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어가 제거된 Tiny CNN 모델에서 큰 표적을 갖는 앵커 박스(Anchor box)를 제거하고, 상기 제거된 앵커 박스와 연결된 레이어를 제거한 후 소형 표적 학습 데이터를 이용하여 CNN 학습을 수행하여 소형 표적 탐지를 위한 소형 표적 검출용 CNN 모델을 구성할 수 있다. The lightweight learning model generation module removes the anchor box having a large target from the Tiny CNN model in which the layer performing target detection of a predetermined size or more is removed, and after removing the layer connected to the removed anchor box It is possible to construct a CNN model for small target detection for small target detection by performing CNN learning using small target learning data.
상기 소형 표적 탐지 가속 모듈은, CPU가 탑재된 임베디드 보드 상에서 상기 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위한 가중치 양자화 및 컨볼루션 레이어 양자화를 포함하는 양자화 정보를 설정할 수 있다. The small target detection acceleration module may set quantization information including weight quantization and convolutional layer quantization for accelerating the operation of the generated learning model for small target detection on an embedded board equipped with a CPU.
상기 소형 표적 탐지 가속 모듈은, 상기 양자화 정보에 기반한 최적의 양자화값을 설정하기 위한 8/16 비트 양자화 수행할 수 있다. The small target detection acceleration module may perform 8/16-bit quantization to set an optimal quantization value based on the quantization information.
상기 소형 표적 탐지 가속 모듈은, 상기 양자화된 소형 표적 검출용 학습 모델의 컨볼루션 연산에서의 OpenMP 기반 CPU 가속 기술을 적용할 수 있다. The small target detection acceleration module may apply OpenMP-based CPU acceleration technology in the convolution operation of the quantized small target detection learning model.
상기 실시간 소형 표적 탐지 모듈은, 상기 양자화된 소형 표적 검출 학습 모델에 원본 이미지에서 표적 영역을 한정하여 클립핑된 이미지를 입력할 수 있다. The real-time small target detection module may input the clipped image to the quantized small target detection learning model by limiting a target area in the original image.
일 실시예에 따른 소형 표적 탐지 장치는 CPU 만을 갖는 보드에서 딥러닝 기반 실시간 표적 탐지 기술을 제공할 수 있다. 이에, 고성능의 표적 탐지 기술을 제공할 수 있다. 현재, 미사일 탑재용 보드에서 다양한 영상처리 기법을 기반으로 하는 표적 탐지 기술을 획기적으로 발전시킴으로써 복잡 배경에서도 효과적으로 표적을 탐지할 수 있다. A small target detection apparatus according to an embodiment may provide a deep learning-based real-time target detection technology in a board having only a CPU. Accordingly, it is possible to provide a high-performance target detection technology. Currently, the target detection technology based on various image processing techniques on the board for mounting missiles has been dramatically developed, so that it is possible to effectively detect a target even in a complex background.
도 1은 일 실시예에 따른 소형 표적 탐지 장치의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 소형 표적 탐지 장치에서 소형 표적을 탐지하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 소형 표적 탐지 장치의 동작을 설명하기 위한 도면이다.
도 4는 도 3의 소형 표적 탐지 장치의 동작을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 소형 표전 탐지 장치에서 소형 표적 검출용 CNN 모델을 구성한 것을 설명하기 위한 예이다.1 is a block diagram for explaining the configuration of a small target detection apparatus according to an embodiment.
2 is a flowchart illustrating a method for detecting a small target in the small target detection apparatus according to an embodiment.
3 is a view for explaining the operation of the small target detection apparatus according to an embodiment.
4 is a flowchart for explaining the operation of the small target detection apparatus of FIG.
5 is an example for explaining the configuration of a CNN model for detecting a small target in the small mark detection apparatus according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
실시예에서는 CPU만을 탑재한 임베디드 보드 상에서 실시간으로 딥러닝 기반의 소형 표적을 탐지하는 방법을 설명하기로 한다. 실시예에서 대상으로 하는 소형 표적은 기 설정된 크기(예를 들면, 8x8 pixel) 이하의 표적을 대상으로 할 수 있다. 기존에 고속 표적 탐지용 딥러닝 모델인 Tiny CNN 모델을 CPU만을 탑재한 임베디드 보드에 포팅 후 응답 속도 및 성능을 측정하면 대략 1000ms정도의 응답시간을 가진다. 실시예에서 사용된 보드는 iMX8M CPU를 탑재한 ARM계열 보드일 수 있다. 기존의 느리지만 성능이 좋은 딥러닝 모델에서 큰 표적 탐지 레이어 제거 과정을 통해서 기존 모델에서 소형 표적 탐지에 필요없는 레이어를 제거하여 소형 표적 탐지에 맞는 경량 딥러닝 모델을 생성하고 이를 모델 양자화(Quantization) 및 표적 영역 축소 OpenMP기반 CPU 가속 기술을 적용하여 CPU 만을 갖는 임베디드 보드상에서 기 설정된 응답 속도(예를 들면, 33ms)로 동작하는 미사일 탑재용 딥러닝 기반의 실시간 원거리 소형표적 탐지 기술을 설명하기로 한다. In the embodiment, a method of detecting a small target based on deep learning in real time on an embedded board equipped with only a CPU will be described. In the embodiment, the small target may target a target smaller than a preset size (eg, 8x8 pixel). If the Tiny CNN model, which is an existing deep learning model for high-speed target detection, is ported to an embedded board equipped with only a CPU, the response speed and performance are measured, and the response time is about 1000ms. The board used in the embodiment may be an ARM-based board equipped with an iMX8M CPU. Through the process of removing the large target detection layer from the existing slow but high-performance deep learning model, layers unnecessary for small target detection are removed from the existing model to generate a lightweight deep learning model suitable for small target detection and model quantization. And target area reduction OpenMP-based CPU acceleration technology is applied to describe a real-time remote small target detection technology based on deep learning for missile mounting that operates with a preset response speed (eg, 33ms) on an embedded board having only a CPU. .
도 1은 일 실시예에 따른 소형 표적 탐지 장치의 구성을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 소형 표적 탐지 장치에서 소형 표적을 탐지하는 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a configuration of a small target detection apparatus according to an embodiment, and FIG. 2 is a flowchart illustrating a method of detecting a small target in the small target detection apparatus according to an embodiment.
소형 표적 탐지 장치(100)는 경량 학습 모델 생성 모듈(110), 소형 표적 탐지 가속 모듈(120) 및 실시간 소형 표적 탐지 모듈(130)을 포함할 수 있다. 이러한 소형 표적 탐지 장치(100)의 구성요소들은 소형 표적 탐지 장치(100)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 소형 표적 탐지 장치(100) 및 소형 표적 탐지 장치(100)의 구성요소들은 도 2의 소형 표적을 탐지하는 방법이 포함하는 단계들(210 내지 230)을 수행하도록 소형 표적 탐지 장치를 제어할 수 있다. 이때, 소형 표적 탐지 장치(100) 및 소형 표적 탐지 장치(100)의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. The small
소형 표적 탐지 장치는 소형 표적을 탐지하는 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 소형 표적 탐지 장치에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 소형 표적 탐지 장치를 제어할 수 있다. 이때, 소형 표적 탐지 장치(100) 및 소형 표적 탐지 장치(100)가 포함하는 경량 학습 모델 생성 모듈(110), 소형 표적 탐지 가속 모듈(120) 및 실시간 소형 표적 탐지 모듈(130) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(210 내지 230)을 실행하기 위한 소형 표적 탐지 장치(100)의 서로 다른 기능적 표현들일 수 있다. The device for detecting a small target may load a program code stored in a file of a program for a method for detecting a small target into a memory. For example, when the program is executed in the small target detection apparatus, the processor may control the small target detection apparatus to load the program code from the program file into the memory according to the control of the operating system. At this time, each of the small
단계(210)에서 경량 학습 모델 생성 모듈(110)은 학습 모델로부터 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거하여 소형 표적 탐지를 위한 소형 표적 검출용 학습 모델을 생성할 수 있다. 경량 학습 모델 생성 모듈(110)은 기 설정된 크기 이상의 표적 탐지를 위한 레이어를 제거하기 위해 앵커 박스(Anchor box)를 근간으로 기존 Tiny CNN 모델에서 소형 표적 탐지용 경량 모델을 생성할 수 있다. 경량 학습 모델 생성 모듈(110)은 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어가 제거된 Tiny CNN 모델에서 큰 표적을 갖는 앵커 박스(Anchor box)를 제거하고, 제거된 앵커 박스와 연결된 레이어를 제거한 후 소형 표적 학습 데이터를 이용하여 CNN 학습을 수행하여 소형 표적 탐지를 위한 소형 표적 검출용 CNN 모델을 구성할 수 있다. In
단계(220)에서 소형 표적 탐지 가속 모듈(120)은 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위하여 설정된 양자화 정보에 기초하여 생성된 소형 표적 검출용 학습 모델을 양자화할 수 있다. 소형 표적 탐지 가속 모듈(120)은 CPU가 탑재된 임베디드 보드 상에서 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위한 가중치 양자화 및 컨볼루션 레이어 양자화를 포함하는 양자화 정보를 설정할 수 있다. 소형 표적 탐지 가속 모듈(120)은 양자화 정보에 기반한 최적의 양자화값을 설정하기 위한 8/16 비트 양자화 수행할 수 있다. 소형 표적 탐지 가속 모듈(130)은 양자화된 소형 표적 검출용 학습 모델의 컨볼루션 연산에서의 OpenMP 기반 CPU 가속 기술을 적용할 수 있다. In
단계(230)에서 실시간 소형 표적 탐지 모듈(130)은 양자화된 소형 표적 검출용 학습 모델을 이용하여 소형 표적 탐지를 위하여 입력된 소형 표적 이미지의 일정 영역을 클립핑하여 소형 표적을 탐지할 수 있다. 실시간 소형 표적 탐지 모듈(130)은 양자화된 소형 표적 검출 학습 모델에 원본 이미지에서 표적 영역을 한정하여 클립핑된 이미지를 입력할 수 있다. In
도 3은 일 실시예에 따른 소형 표적 탐지 장치의 동작을 설명하기 위한 도면이고, 도 4는 도 3의 소형 표적 탐지 장치의 동작을 설명하기 위한 흐름도이다.3 is a diagram for explaining the operation of the small target detection apparatus according to an embodiment, and FIG. 4 is a flowchart for explaining the operation of the small target detection apparatus of FIG. 3 .
도 3의 소형 표적 탐지 장치의 동작을 설명하기 위하여 도 4를 참고하기로 한다. 소형 표적 탐지 장치는 기 설정된 크기 이상의 표적 탐지를 위한 레이어를 제거하여 기 설정된 크기 이하의 표적 탐지에 적합한 딥러닝 모델을 구성한 후, 컨볼루션(Convolution) 연산에서의 CPU 가속 그리고 FeedForward 알고리즘 연산에서 양자화를 통한 정수 연산 가속화, 마지막으로 입력 영상의 클립핑을 통한 탐색 영역을 안정화함으로써 CPU만 탑재된 임베디드 보드상에서 딥러닝 기반 표적 탐지를 실시간으로 수행할 수 있다. 소형 표적 장치는 기존 딥러닝 모듈을 소형표적 탐지만을 위해서 경량화하는 딥러닝 기반 소형표적 탐지용 경량 CNN 학습 모델을 생성하고, CPU only 탑재 임베디드 보드상에서 경량 CNN 연산을 가속화하고 임베디드 보드 상에서 추가적인 실시간 처리를 위해서 표적 탐색 영역최적화를 수행하여 실제 소형 표적을 탐지할 수 있다. In order to describe the operation of the small target detection apparatus of FIG. 3 , reference will be made to FIG. 4 . The small target detection device removes the layer for detecting a target larger than a preset size to construct a deep learning model suitable for detecting a target smaller than a preset size, and then performs CPU acceleration in convolution operation and quantization in FeedForward algorithm operation. Deep learning-based target detection can be performed in real time on an embedded board equipped with only CPU by accelerating integer operation through the The small target device creates a lightweight CNN learning model for deep learning-based small target detection that lightens the existing deep learning module for small target detection only, and accelerates the lightweight CNN operation on the embedded board with CPU only and additional real-time processing on the embedded board. For this purpose, it is possible to detect a real small target by performing target search area optimization.
소형 표적 탐지 장치는 소형 표적 학습 데이터(301, 401)를 이용하여 소형 표적 검출용 학습 모델(313, 405)을 학습시킬 수 있다. 이때, 예를 들면, 소형 표적 학습 데이터는 영상 정보일 수 있다. 구체적으로, 소형 표적 탐지 장치는 학습 모델로부터 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거(311)하여 소형 표적 탐지를 위한 소형 표적 검출용 학습 모델(313, 405)을 생성할 수 있다. 소형 표적 탐지 장치는 CNN 기반의 학습 모델을 소형화시킨 Tiny CNN 모델(310)을 이용할 수 있다. Tiny CNN 모델(310)은 임베디드용 표적 탐지용 딥러닝 모델 중 하나이다. 소형 표적 탐지 장치는 Tiny CNN 모델(310)을 구성하고 있는 복수 개의 레이어 중 기 설정된 크기 이상의 표적(다시 말해서, 큰 표적) 탐지를 수행하는 레이어를 제거(311)할 수 있다. 도 5를 참고하면, One-stage detector 기반에 표적 탐지기는 크기가 다른 다수 개의 앵커 박스(Anchor box)를 근간으로 딥러닝 모델이 개발될 수 있다. 이제 Tiny CNN 모델 또한 큰 표적부터 작은 표적까지 다양한 표적의 크기를 탐지할 수 있도록 설계될 수 있다. 이에 큰 표적 탐지용 앵커 박스(Anchor box)를 제거하면 그와 연결된 레이어를 동시에 제거할 수 있으므로 기존 Tiny CNN 모델을 소형 표적 탐지를 위한 경량 CNN 모델로 다시 생성할 수 있다. 이런 절차 후 탐지 성능을 유지 하기 위해서 변형된 레이어에서의 필터 크기 및 레이어 크기 등을 최적화할 필요가 있다. 소형 표적 탐지 장치는 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어가 제거된 Tiny CNN 모델에 소형 표적 학습 데이터(301)를 입력하여 CNN 학습(312)을 통해 소형 표적 탐지를 위한 소형 표적 검출용 CNN 모델(313)을 구성할 수 있다. 소형 표적 탐지 장치는 CNN 학습(312)을 수행(재학습)함에 따라 모델의 성능을 측정(314, 404)할 수 있다. 예를 들면, 소형 표적 탐지 장치는 CNN 학습(312)을 수행함에 따라 Tiny CNN 모델에 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거하였어도 학습 모델의 성능이 변함없는지 여부를 판단할 수 있다. 모델 성능 측정은 표적에 대한 실측 자료(Ground Truth)를 생성한 기 설정된 개수(예를 들면, 10000이상)의 이미지를 준비한 후 기존 Tiny CNN 모델의 탐지율을 측정한 후 레이어를 제거한 모델에 대해서도 동일한 탐지율이 나오는지를 측정할 수 있다. 이때, 소형 표적 탐지 장치는 소형 표적 학습 데이터를 이용하여 CNN 학습(312)을 수행함으로써 성능을 측정할 수 있다. 만약, 소형 표적 탐지 장치는 학습 모델의 성능의 저하가 없는 것으로 판단될 경우, 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거할 수 있다. The small target detection apparatus may train the small target
구체적으로, 도 4를 참고하면, 소형 표적 탐지 장치는 소형 표적 학습 데이터(301, 401)를 이용하여 Tiny CNN 모델(310)을 학습시킴에 따라 앵커 박스(anchor box)를 최적화(402)할 수 있다. 예를 들면, 소형 표적 탐지 장치는 소형 표적 학습 데이터(301, 401)에서 소형 표적을 탐지하기 위한 앵커 박스의 크기(size) 및 위치 등을 최적화할 수 있다. 소형 표적 탐지 장치는 소형 표적 학습 데이터(301, 401)를 이용하여 Tiny CNN 모델을 학습시킴에 따라 소형 표적 학습 데이터에 대한 앵커 박스를 추출할 수 있다. 이때, 앵커 박스는 학습을 통하여 앵커 박스 정보(크기 및 위치)가 조절될 수 있다. 소형 표적 탐지 장치는 앵커 박스를 최적화함에 따라 학습된 Tiny CNN 모델에서 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거(403)하여 소형 표적 탐지를 위한 소형 표적 검출용 학습 모델(도 4에서는 소형 표적 검출용 경량 딥러닝 모델)(405)을 구성할 수 있다. Specifically, referring to FIG. 4 , the small target detection apparatus optimizes 402 an anchor box by learning the
소형 표적 탐지 장치는 소형 표적 검출용 학습 모델(314, 405)의 연산을 가속화하기 위하여 설정된 양자화 정보(316)에 기초하여 생성된 소형 표적 검출용 학습 모델을 양자화할 수 있다. 소형 표적 탐지 장치는 CPU가 탑재된 임베디드 보드 상에서 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위한 가중치 양자화 및 컨볼루션 레이어 양자화를 포함하는 양자화 정보(316)를 설정할 수 있다. 인공지능 분야에서 연산량을 줄이면서 전력 효율성을 향상시키는 방법 중 하나인 양자화 기술을 사용할 수 있다. 양자화란, 정확하고 세밀한 단위로 표현한 입력값을 보다 단순화한 단위의 값으로 변환하는 다양한 기술을 포괄적으로 의미한다. 소형 표적 탐지 장치는 양자화 정보에 기반한 최적의 양자화값을 설정하기 위한 8/16 비트 양자화(315)를 수행할 수 있다. 다시 말해서, 8/16비트 양자화란 16비트 부동 소수점 값을 8비트 값으로 바꾸는 것을 의미한다.The small target detection apparatus may quantize the small target detection learning model generated based on the
소형 표적 탐지 장치는 양자화된 소형 표적 검출용 학습 모델의 컨볼루션 연산에서의 OpenMP 기반 CPU를 가속화(318, 406)하는 기술을 적용할 수 있다. 소형 표적 탐지 장치는 양자화된 소형 표적 검출용 학습 모델(407)을 이용하여 소형 표적 탐지를 위하여 입력된 소형 표적 이미지의 일정 영역을 클립핑하여 소형 표적을 탐지할 수 있다. 이때, 소형 표적 탐지 장치는 양자화된 소형 표적 검출용 학습 모델(407)에 소형 표적 이미지(302)를 입력하기 위하여 표적 영역을 축소(316)시킬 수 있다. 예를 들면, 입력 이미지의 크기가 640x480인 경우 전체 크기를 모델의 입력으로 사용할 경우 모델의 계산량이 늘어난다. 군수용 표적의 경우 대부분 영상의 중앙에 존재함으로 이미지 중앙을 기준으로 일정크기 이상의 영역만을 표적 영역으로 설정할 수 있다. 본 발명의 경우 중심으로부터 256x254 크기로 표적 영역을 클립핑하여 이를 딥러닝 모델의 입력으로 사용함으로써 소형 표적 탐지 모델을 더욱 경량화할 수 있다. The small target detection apparatus may apply a technology for accelerating the OpenMP-based CPU in the convolution operation of the quantized small target detection learning model (318, 406). The small target detection apparatus may detect the small target by clipping a predetermined region of the small target image input for small target detection using the quantized small target
소형 표적 탐지 장치는 딥러닝 기반의 실시간 소형 표적 탐지(320, 408)를 수행할 수 있다. 소형 표적 탐지 장치는 표적 영역이 축소된 소형 표적 이미지를 이용하여 양자화된 소형 표적 검출용 학습 모델에 구성된 CNN 학습(317)을 수행할 수 있다. 소형 표적 탐지 장치는 양자화된 소형 표적 검출용 학습 모델을 이용하여 표적 영역이 축소된 소형 표적 이미지로부터 기 설정된 크기 이하의 표적(소형 표적)을 탐지(320, 411)할 수 있다. The small target detection apparatus may perform deep learning-based real-time small target detection (320, 408). The small target detection apparatus may perform CNN learning 317 configured in a quantized training model for small target detection using the small target image in which the target area is reduced. The small target detection apparatus may detect (320, 411) a target (small target) having a size smaller than a preset size from the small target image in which the target area is reduced by using the quantized small target detection learning model.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (7)
학습 모델로부터 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거하여 소형 표적 탐지를 위한 소형 표적 검출용 학습 모델을 생성하는 경량 학습 모델 생성 모듈;
상기 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위하여 설정된 양자화 정보에 기초하여 상기 생성된 소형 표적 검출용 학습 모델을 양자화하는 소형 표적 탐지 가속 모듈; 및
상기 양자화된 소형 표적 검출용 학습 모델을 이용하여 소형 표적 탐지를 위하여 입력된 소형 표적 이미지의 일정 영역을 클립핑하여 소형 표적을 탐지하는 실시간 소형 표적 탐지 모듈을 포함하고,
상기 경량 학습 모델 생성 모듈은,
기 설정된 크기 이상의 표적 탐지를 위한 레이어를 제거하기 위해 앵커 박스(Anchor box)를 근간으로 Tiny CNN 모델에서 소형 표적 탐지용 경량 모델을 생성하고, 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어가 제거된 Tiny CNN 모델에서 큰 표적을 갖는 앵커 박스(Anchor box)를 제거하고, 상기 제거된 앵커 박스와 연결된 레이어를 제거한 후 소형 표적 학습 데이터를 이용하여 CNN 학습을 수행하여 소형 표적 탐지를 위한 소형 표적 검출용 CNN 모델을 구성하고, 상기 구성된 소형 표적 검출용 CNN 모델의 성능을 측정하고, 상기 소형 표적 검출용 CNN 모델의 성능이 저하가 없는 것으로 판단될 경우, 상기 기 설정된 크기 이상의 표적 탐지를 수행하는 레이어를 제거하는 것을 포함하고,
상기 소형 표적 탐지 가속 모듈은,
CPU가 탑재된 임베디드 보드 상에서 상기 생성된 소형 표적 검출용 학습 모델의 연산을 가속화하기 위한 가중치 양자화 및 컨볼루션 레이어 양자화를 포함하는 양자화 정보를 설정하고, 상기 양자화된 소형 표적 검출용 학습 모델의 컨볼루션 연산에서의 OpenMP 기반 CPU 가속 기술을 적용하는 것을 특징으로 하는
소형 표적 탐지 장치.A small target detection device comprising:
a lightweight learning model generating module for generating a learning model for detecting a small target for detecting a small target by removing a layer that detects a target larger than a preset size from the training model;
a small target detection acceleration module for quantizing the generated small target detection learning model based on quantization information set to accelerate the operation of the generated small target detection learning model; and
and a real-time small target detection module for detecting a small target by clipping a certain area of the input small target image for small target detection using the quantized small target detection learning model,
The lightweight learning model generation module,
In order to remove the layer for detecting a target larger than a preset size, a lightweight model for detecting a small target is created from the Tiny CNN model based on the anchor box, and the Tiny layer that detects a target larger than the preset size is removed. After removing the anchor box with a large target from the CNN model, removing the layer connected to the removed anchor box, and performing CNN learning using the small target learning data, CNN for small target detection for small target detection Construct a model, measure the performance of the configured CNN model for detecting small targets, and when it is determined that there is no degradation in the performance of the CNN model for detecting small targets, remove the layer that detects targets of more than the preset size including doing
The small target detection acceleration module,
Set quantization information including weight quantization and convolution layer quantization for accelerating the operation of the generated learning model for small target detection on an embedded board equipped with a CPU, and convolution of the quantized learning model for small target detection Characterized in applying OpenMP-based CPU acceleration technology in computation
Small target detection device.
상기 소형 표적 탐지 가속 모듈은,
상기 양자화 정보에 기반한 최적의 양자화값을 설정하기 위한 8/16 비트 양자화 수행하는
것을 특징으로 하는 소형 표적 탐지 장치.The method of claim 1,
The small target detection acceleration module,
performing 8/16-bit quantization to set an optimal quantization value based on the quantization information
A small target detection device, characterized in that.
상기 실시간 소형 표적 탐지 모듈은,
상기 양자화된 소형 표적 검출 학습 모델에 원본 이미지에서 표적 영역을 한정하여 클립핑된 이미지를 입력하는
것을 특징으로 하는 소형 표적 탐지 장치.
The method of claim 1,
The real-time small target detection module,
Input the clipped image by limiting the target area from the original image to the quantized small target detection learning model
A small target detection device, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200084536A KR102344004B1 (en) | 2020-07-09 | 2020-07-09 | Deep learning based real-time small target detection device for cpu only embedded board |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200084536A KR102344004B1 (en) | 2020-07-09 | 2020-07-09 | Deep learning based real-time small target detection device for cpu only embedded board |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102344004B1 true KR102344004B1 (en) | 2021-12-27 |
Family
ID=79176977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200084536A KR102344004B1 (en) | 2020-07-09 | 2020-07-09 | Deep learning based real-time small target detection device for cpu only embedded board |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102344004B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102527642B1 (en) * | 2022-12-21 | 2023-05-02 | 한화시스템(주) | System and method for detecting small target based deep learning |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102051032B1 (en) * | 2018-08-01 | 2019-12-02 | 경북대학교 산학협력단 | Object detection apparatus and controlling method thereof |
| WO2020020472A1 (en) * | 2018-07-24 | 2020-01-30 | Fundación Centro Tecnoloxico De Telecomunicacións De Galicia | A computer-implemented method and system for detecting small objects on an image using convolutional neural networks |
-
2020
- 2020-07-09 KR KR1020200084536A patent/KR102344004B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020020472A1 (en) * | 2018-07-24 | 2020-01-30 | Fundación Centro Tecnoloxico De Telecomunicacións De Galicia | A computer-implemented method and system for detecting small objects on an image using convolutional neural networks |
| KR102051032B1 (en) * | 2018-08-01 | 2019-12-02 | 경북대학교 산학협력단 | Object detection apparatus and controlling method thereof |
Non-Patent Citations (3)
| Title |
|---|
| Guimei Cao 등, Feature-Fused SSD: Fast Detection for small Objects, SPIE.(2018.04.10.)* * |
| Jiangmiao Pang 등, R2-CNN: Fast Tiny Object Detection in Large-scale Remote Sensing Images, arXiv:1902.06042v3.(2019.03.30.) * |
| 이용주 등, 경량 딥러닝 기술 동향, ETRI 전자통신동향분석,(2019.04.01.)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102527642B1 (en) * | 2022-12-21 | 2023-05-02 | 한화시스템(주) | System and method for detecting small target based deep learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11714998B2 (en) | Accelerating neural networks with low precision-based multiplication and exploiting sparsity in higher order bits | |
| KR102344004B1 (en) | Deep learning based real-time small target detection device for cpu only embedded board | |
| KR20190107984A (en) | An image traning apparatus extracting hard negative samples being used to training a neural network based on sampling and a threshold adjusting adaptively and a method performed by the image training apparatus | |
| CN113222102A (en) | Optimization method for neural network model quantification | |
| KR20220042455A (en) | Method and apparatus for neural network model compression using micro-structured weight pruning and weight integration | |
| KR102505946B1 (en) | Method and system for training artificial neural network models | |
| JP2020135549A (en) | Arithmetic processing device, information processing device and arithmetic processing method | |
| KR20220058189A (en) | Method and apparatus for classifying using neural network | |
| CN113298259A (en) | CNN network reasoning framework design method supporting embedded platform multi-core parallel | |
| CN112215349B (en) | Sparse convolutional neural network acceleration method and device based on data flow architecture | |
| KR102215285B1 (en) | Method of selecting key prame and apparatuses performing the same | |
| US20210166458A1 (en) | Data-driven extraction and composition of secondary dynamics in facial performance capture | |
| CN112819022B (en) | Image recognition device and image recognition method based on neural network | |
| KR102597182B1 (en) | Method and system for changing feature map resolution according to input resolution change | |
| KR102426479B1 (en) | Method and apparatus for updating object determining model | |
| KR101973322B1 (en) | Method of reasoning video label and apparatuses performing the same | |
| KR102302745B1 (en) | Method of acquiring image data, apparatus for acquiring image data, and computer program for the method | |
| KR102424538B1 (en) | Method and apparatus for image restoration | |
| KR20230045994A (en) | Method and apparatus for creating lightweight models for embedded devices | |
| KR102633343B1 (en) | Quantization method and device based on deep learning network architecture encoding and aware training parameter prediction model | |
| KR102516812B1 (en) | Method and system for optimization of image encode quality | |
| KR102027043B1 (en) | Apparatus and method for image processing | |
| KR102570131B1 (en) | Method and Apparatus for Providing an HDR Environment Map from an LDR Image Based on Deep Learning | |
| US20240062059A1 (en) | Neural network layer optimization | |
| KR20230059457A (en) | Processing unit for processing multi-tasks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |