KR20180138189A - A method and apparatus for detecting target, training method for target detection - Google Patents

A method and apparatus for detecting target, training method for target detection Download PDF

Info

Publication number
KR20180138189A
KR20180138189A KR1020180070815A KR20180070815A KR20180138189A KR 20180138189 A KR20180138189 A KR 20180138189A KR 1020180070815 A KR1020180070815 A KR 1020180070815A KR 20180070815 A KR20180070815 A KR 20180070815A KR 20180138189 A KR20180138189 A KR 20180138189A
Authority
KR
South Korea
Prior art keywords
data
input
polarization data
target
neural network
Prior art date
Application number
KR1020180070815A
Other languages
Korean (ko)
Other versions
KR102174821B1 (en
Inventor
김문철
염광영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20180138189A publication Critical patent/KR20180138189A/en
Application granted granted Critical
Publication of KR102174821B1 publication Critical patent/KR102174821B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

Disclosed are a method for detecting a target and a device thereof and a learning method for target detection. According to one embodiment, the method for detecting a target, comprises the steps of: receiving polarized light data; determining a scale-up factor based on the number of the polarized light data; performing input scaling on the polarized light data based on the scale-up factor; and detecting a target based on the input scaled polarized light data.

Description

목표물 검출 방법 및 장치와 목표물 검출을 위한 학습 방법{A METHOD AND APPARATUS FOR DETECTING TARGET, TRAINING METHOD FOR TARGET DETECTION}TECHNICAL FIELD [0001] The present invention relates to a method and an apparatus for detecting a target and a learning method for detecting a target,

아래 실시예들은 딥러닝에 기반하여 목표물을 검출하는 방법 및 장치에 관한 것이다.The following embodiments are directed to a method and apparatus for detecting a target based on deep running.

합성 개구 레이더(Synthetic Aperture Radar, SAR)는 날씨와 밤낮에 관계없이 사용 가능하고 뛰어난 관통력을 가지고 있어 국방분야에서 적을 감시하는데 널리 사용되고 있다. 하지만 SAR 영상은 심한 스페클(Speckle) 잡음으로 인하여, 직관적인 해석이 어렵다.Synthetic Aperture Radar (SAR) is widely used to monitor enemies in the defense field, because it can be used regardless of the weather, day and night, and has excellent penetrating power. However, SAR images are difficult to interpret intuitively due to severe Speckle noise.

따라서 SAR 영상을 해석하고 분석하는 알고리즘에 관한 수요가 발생하게 되었다. 최근 딥 러닝 기술이 다양한 물체 인지 및 인식 문제에 적용되어 괄목할만한 성능을 보여주었다. 그리고, SAR 영상을 식별 문제에 딥 러닝 기술을 사용한 알고리즘 역시 연구되어 왔다.Therefore, there is a demand for algorithms for analyzing and analyzing SAR images. Recent deep-running techniques have been applied to various object recognition and recognition problems and have shown remarkable performance. Algorithms using deep learning techniques to identify SAR images have also been studied.

SAR 영상은 크게 HH, HV, VH, VV의 4 가지 polarization 데이터로 이루어져 있다. 하지만 모든 편광(polarization) 데이터를 얻는 것은 기계와 신호처리의 비용으로 인하여 쉽지 않다. 또한, 전시상황에서는 기계와 통신장비의 결함으로 인하여 일부의 편광 데이터가 손실되는 경우도 발생할 수 있다.The SAR image consists of four types of polarization data, HH, HV, VH, and VV. However, getting all the polarization data is not easy due to the cost of the machine and signal processing. In addition, some polarization data may be lost due to defects in the machine and communication equipment in the display situation.

기존의 SAR 영상 식별 연구들은 1 가지의 편광 데이터를 처리한다. 따라서, 편광 간의 상관(correlation)을 이용하는 모든 편광을 이용한 목표물 검출 기술이 필요하다.Conventional SAR image identification studies process a single piece of polarized data. Therefore, there is a need for a target detection technique using all the polarizations using correlation between polarizations.

실시예들은 목표물을 검출하는 기술을 제공할 수 있다.Embodiments can provide a technique for detecting a target.

또한, 실시예들은 목표물을 검출하기 위하여 뉴럴 네트워크를 학습시키는 기술을 제공할 수 있다.Embodiments may also provide techniques for learning a neural network to detect a target.

일 실시예에 따른 목표물 검출 방법은, 편광 데이터를 수신하는 단계와, 상기 편광 데이터의 수에 기초하여 스케일업 팩터(scale-up factor)를 결정하는 단계와, 상기 스케일업 팩터에 기초하여 상기 편광 데이터에 대하여 입력 스케일링을 수행하는 단계와, 입력 스케일링된 편광 데이터에 기초하여 목표물(target)을 검출(detect)하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a target detection method comprising the steps of: receiving polarization data; determining a scale-up factor based on the number of the polarization data; Performing input scaling on the data, and detecting a target based on the input scaled polarization data.

상기 편광(polarization) 데이터는 HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함할 수 있다.The polarization data may include at least one of HH (Horizontal transmit and receive), HV (Horizontal transmit and receive), VH (vertical transmit and receive) and VV .

상기 결정하는 단계는, 상기 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정하는 단계를 포함할 수 있다.The determining may comprise determining the scale-up factor to be in inverse proportion to the number of the polarization data.

상기 수행하는 단계는, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력하는 단계와, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱하는 단계를 포함할 수 있다.Wherein the performing step comprises the steps of: inputting 0 to the polarization data absent in the HH, HV, VH and VV polarization data; and applying the scale-up factor to the polarization data existing in the HH, HV, VH and VV polarization data And < / RTI >

상기 검출하는 단계는, 상기 입력 스케일링된 편광 데이터를 이용하여 뉴럴 네트워크를 전이 학습(transfer learning)시키는 단계와, 전이 학습된 뉴럴 네트워크에 기초하여 상기 목표물을 검출하는 단계를 포함할 수 있다.The detecting may include transfer learning of the neural network using the input scaled polaris data and detecting the target based on the neural network that is learned by the transition.

상기 전이 학습시키는 단계는, 상기 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성하는 단계와, 조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 상기 뉴럴 네트워크를 반복하여 학습시키는 단계를 포함할 수 있다.Wherein the transition learning comprises: generating a task by combining the input scaled polynomial data in different numbers; generating a task with a smaller number of input scaled polynomial data, And repeatedly learning the neural network.

상기 검출하는 단계는, 상기 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시키는 단계와, 상기 특징맵들에 대하여 특징맵 스케일링을 수행하는 단계를 더 포함할 수 있다.The detecting may further include concatenating feature maps that have passed through at least one layer included in the neural network, and performing feature map scaling on the feature maps.

일 실시예에 따른 목표물 검출 장치는, 편광 데이터를 수신하는 수신기와, 상기 편광 데이터에 대하여 입력 스케일링을 수행하여 목표물을 검출하는 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 편광 데이터의 수에 기초하여 스케일업 팩터를 결정하고, 상기 스케일업 팩터에 기초하여 상기 편광 데이터에 대하여 입력 스케일링을 수행하는 입력 스케일러(input scaler)와, 입력 스케일링된 편광 데이터에 기초하여 목표물을 검출하는 검출기를 포함한다.A target detection apparatus according to an embodiment of the present invention includes a receiver for receiving polarization data and a controller for performing input scaling on the polarization data to detect a target, An input scaler for determining an up factor and performing input scaling on the polarization data based on the scale-up factor, and a detector for detecting the target based on the input scaled polarization data.

상기 편광 데이터는 HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함할 수 있다.The polarization data may include at least one of HH (Horizontal transmit and receive), HV (horizontal transmit and receive), VH (vertical transmit and receive) and VV (vertical transmit and receive)

상기 입력 스케일러는, 상기 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정할 수 있다.The input scaler may determine the scale-up factor to be in inverse proportion to the number of the polarization data.

상기 입력 스케일러는, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력하고, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱할 수 있다.The input scaler may input 0 to the polarization data absent in the HH, HV, VH and VV polarization data and multiply the polarization data present in the HH, HV, VH and VV polarization data by the scale-up factor .

상기 검출기는, 상기 입력 스케일링된 편광 데이터를 이용하여 뉴럴 네트워크를 전이 학습(transfer learning)시키고, 전이 학습된 뉴럴 네트워크에 기초하여 상기 목표물을 검출할 수 있다.The detector can use the input scaled polaris data to perform a transfer learning of the neural network and detect the target based on the neural network that has been traversed.

상기 검출기는, 상기 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성하고, 조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 상기 뉴럴 네트워크를 반복하여 학습시킬 수 있다.The detector generates a task by differently combining the number of input scaled polarized data and sequentially inputs a task having a small number of input scaled polynomial data to be combined from a task having a large number of input scaled polarized data to be combined The neural network can be repeatedly learned.

상기 검출기는, 상기 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시키고, 상기 특징맵들에 대하여 특징맵 스케일링을 수행할 수 있다.The detector may concatenate feature maps that have passed through at least one layer included in the neural network, and may perform feature map scaling on the feature maps.

일 실시예에 따른 뉴럴 네트워크 학습 방법은, 편광 데이터를 수신하는 단계와, 상기 편광 데이터의 수에 기초하여 스케일업 팩터를 결정하는 단계와, 상기 스케일업 팩터에 기초하여 상기 복수의 편광 데이터에 대하여 입력 스케일링을 수행하는 단계와, 입력 스케일링된 편광 데이터에 기초하여 뉴럴 네트워크를 학습시키는 단계를 포함한다.The neural network learning method according to an embodiment includes the steps of receiving polarized light data, determining a scale up factor based on the number of the polarized light data, Performing input scaling, and learning the neural network based on input scaled polarization data.

상기 편광 데이터는 HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함할 수 있다.The polarization data may include at least one of HH (Horizontal transmit and receive), HV (horizontal transmit and receive), VH (vertical transmit and receive) and VV (vertical transmit and receive)

상기 결정하는 단계는, 상기 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정하는 단계를 포함할 수 있다.The determining may comprise determining the scale-up factor to be in inverse proportion to the number of the polarization data.

상기 수행하는 단계는, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력하는 단계와, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱하는 단계를 포함할 수 있다.Wherein the performing step comprises the steps of: inputting 0 to the polarization data absent in the HH, HV, VH and VV polarization data; and applying the scale-up factor to the polarization data existing in the HH, HV, VH and VV polarization data And < / RTI >

상기 학습시키는 단계는, 상기 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성하는 단계와, 조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 상기 뉴럴 네트워크를 반복하여 학습시키는 단계를 포함할 수 있다.Wherein the step of learning comprises: generating a task by combining the number of input scaled polarized data differently; generating a task with a small number of input scaled polynomial data combinations from a plurality of tasks with a combined input scaled polynomial data And sequentially repeating the input of the neural network.

상기 학습시키는 단계는, 상기 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시키는 단계와, 상기 특징맵들에 대하여 특징맵 스케일링을 수행하는 단계를 더 포함할 수 있다.The learning may further include concatenating feature maps that have passed through at least one layer included in the neural network, and performing feature map scaling on the feature maps.

도 1은 일 실시예에 따른 목표물 검출 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 검출기가 사용하는 뉴럴 네트워크의 예를 나타낸다.
도 4는 도 2에 도시된 검출기가 특징맵을 연결시키는 동작의 예를 나타낸다.
도 5a는 입력 스케일링을 수행하지 않았을 때의 4 개의 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 5b는 입력 스케일링을 수행하지 않았을 때의 HH 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 5c는 입력 스케일링을 수행하지 않았을 때의 HV 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 5d는 입력 스케일링을 수행하지 않았을 때의 VH 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 5e는 입력 스케일링을 수행하지 않았을 때의 VV 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 6a는 입력 스케일링을 수행했을 때의 4 개의 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 6b는 입력 스케일링을 수행했을 때의 HH 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 6c는 입력 스케일링을 수행했을 때의 HV 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 6d는 입력 스케일링을 수행했을 때의 VH 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 6e는 입력 스케일링을 수행했을 때의 VV 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.
도 7은 입력 스케일링 및 전이 학습의 수행 유무에 따라 생성된 특징맵들의 예를 나타낸다.
1 shows a schematic block diagram of a target detection device according to an embodiment.
Fig. 2 shows a schematic block diagram of the controller shown in Fig.
Fig. 3 shows an example of a neural network used by the detector shown in Fig.
Fig. 4 shows an example of an operation in which the detector shown in Fig. 2 links feature maps. Fig.
5A shows an example of a feature map for four polarization data inputs when input scaling is not performed.
5B shows an example of a feature map for HH polarization data input when input scaling is not performed.
5C shows an example of a feature map for HV polarization data input when input scaling is not performed.
5D shows an example of a feature map for VH polarization data input when input scaling is not performed.
5E shows an example of a feature map for VV polarization data input when input scaling is not performed.
6A shows an example of a feature map for four polarization data inputs when input scaling is performed.
6B shows an example of a feature map for HH polarization data input when input scaling is performed.
6C shows an example of a feature map for HV polarization data input when input scaling is performed.
6D shows an example of a feature map for VH polarization data input when input scaling is performed.
6E shows an example of a feature map for VV polarization data input when input scaling is performed.
FIG. 7 shows an example of feature maps generated according to whether input scaling and transition learning are performed.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.In the following, embodiments will be described in detail with reference to the accompanying drawings. However, various modifications may be made in the embodiments, and the scope of the patent application is not limited or limited by these embodiments. It is to be understood that all changes, equivalents, and alternatives to the embodiments are included in the scope of the right.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for descriptive purposes only and are not to be construed as limiting. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다. The terms first, second, or the like may be used to describe various elements, but the elements should not be limited by terms. The terms may be named for the purpose of distinguishing one element from another, for example, without departing from the scope of the right according to the concept of the embodiment, the first element being referred to as the second element, The second component may also be referred to as a first component.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.A module in this specification may mean hardware capable of performing the functions and operations according to the respective names described in this specification and may mean computer program codes capable of performing specific functions and operations , Or an electronic recording medium, e.g., a processor or a microprocessor, equipped with computer program code capable of performing certain functions and operations.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, a module may mean a functional and / or structural combination of hardware for carrying out the technical idea of the present invention and / or software for driving the hardware.

도 1은 일 실시예에 따른 목표물 검출 장치의 개략적인 블록도를 나타낸다.1 shows a schematic block diagram of a target detection device according to an embodiment.

도 1을 참조하면, 목표물 검출 장치(target detecting apparatus, 10)는 데이터를 수신하고, 수신한 데이터로부터 목표물을 검출 또는 인식할 수 있다. 데이터는 시각적 데이터를 포함할 수 있다. 예를 들어, 데이터는 이미지 및 편광 데이터(polarization data)를 포함할 수 있다.Referring to FIG. 1, a target detecting apparatus 10 may receive data and detect or recognize a target from received data. The data may include visual data. For example, the data may include images and polarization data.

이미지는 SAR(Synthetic Aperture Radar) 이미지, EO(Electro-Optical) 이미지 및 IR(InfraRed) 이미지를 포함할 수 있다.The image may include a Synthetic Aperture Radar (SAR) image, an Electro-Optical (EO) image, and an IR (InfraRed) image.

편광 데이터는 HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함할 수 있다.The polarization data may include at least one of HH (horizontal transmit and receive), HV (vertical transmit and receive), VH (vertical transmit and receive) and VV (vertical transmit and receive)

목표물 검출 장치(10)는 군사적 용도의 목표물 검출에 사용될 수 있다. 예를 들어, 목표물 검출 장치(10)는 SAR(Synthetic Aperture Radar)에 사용될 수 있다.The target detection device 10 can be used for target detection in a military application. For example, the target detecting apparatus 10 may be used in a SAR (Synthetic Aperture Radar).

목표물 검출 장치(10)는 편광 데이터로부터 목표물을 검출할 수 있다. 목표물 검출 장치(10)는 모든 편광 데이터를 획득하는 것은 어려운 경우에 일부 편광 데이터를 이용하여 효과적으로 목표물을 검출할 수 있다. 즉, 목표물 검출 장치(10)는 HH, HV, VH 및 VV 중 일부 편광 데이터만을 활용하여 목표물을 효과적으로 검출할 수 있다.The target detection device 10 can detect the target from the polarization data. The target detecting apparatus 10 can effectively detect the target using some of the polarization data in the case where it is difficult to acquire all the polarization data. That is, the target detection apparatus 10 can effectively detect the target by utilizing only some of the polarization data among HH, HV, VH, and VV.

목표물 검출 장치(10)는 복수의 편광 데이터를 멀티 모달(multi-modal) 데이터로 간주하여 해석할 수 있다.The target detecting apparatus 10 can interpret a plurality of polarized light data as multi-modal data.

기존의 목표물 검출 방법은 편광 데이터의 종류에 따라 목표물을 분류하는 뉴럴 네트워크를 따로 만들어서 학습시켜 목표물을 검출했는데, 이는 시간, 비용면에서 비효율 적일 수 있다.In the existing target detection method, a target is detected by separately generating and learning a neural network for classifying the target according to the type of the polarized data, which may be inefficient in terms of time and cost.

목표물 검출 장치(10)는 편광 데이터의 종류나 조합의 개수에 관계없이 단일 뉴럴 네트워크를 이용하여 목표물을 검출할 수 있다. 즉, 목표물 검출 장치(10)는 편광 데이터의 종류 및 그 조합의 개수가 달라도 1 개의 다중 센서 네트워크를 이용하여 목표물을 효과적으로 검출할 수 있다.The target detecting apparatus 10 can detect the target using a single neural network irrespective of the types of polarization data or the number of combinations. That is, the target detecting apparatus 10 can effectively detect a target by using one multi-sensor network even if the types of polarization data and the number of combinations thereof are different.

목표물 검출 장치(10)는 수신기(100) 및 컨트롤러(200)를 포함한다.The target detecting apparatus 10 includes a receiver 100 and a controller 200. [

수신기(100)는 편광 데이터를 수신할 수 있다. 수신기(100)는 수신한 편광 데이터를 컨트롤러(200)로 출력할 수 있다.The receiver 100 may receive the polarization data. The receiver 100 can output the received polarization data to the controller 200. [

컨트롤러(200)는 편광 데이터에 대하여 입력 스케일링을 수행하여 목표물을 검출할 수 있다. 컨트롤러(200)는 편광 데이터에 대하여 입력 스케일링을 수행하여 뉴럴 네트워크를 학습시킬 수 있다.The controller 200 can perform input scaling on the polarization data to detect the target. The controller 200 can perform input scaling on the polarization data to learn the neural network.

컨트롤러(200)는 복수의 뉴럴 네트워크를 이용하여 목표물을 검출할 수 있다. 컨트롤러(200)는 하나의 네트워크를 이용하여 데이터 내의 배경 물체를 배제할 수 있다. 컨트롤러(200)는 다른 뉴럴 네트워크를 이용하여 비 목표물을 배제하고 목표물을 인식할 수 있다.The controller 200 can detect the target using a plurality of neural networks. The controller 200 can exclude background objects in the data using one network. The controller 200 can use the other neural network to exclude the non-target and recognize the target.

컨트롤러(200)는 ROI(Region of Interest)를 검출하고, 뉴럴 네트워크를 활용하여 목표물을 인식할 수 있다. 컨트롤러(200)는 유사 목표물을 사전 검출하고, 비 목표물을 제거하여 ROI를 검출할 수 있다.The controller 200 can detect a region of interest (ROI) and recognize the target using a neural network. The controller 200 can detect the ROI by pre-detecting similar targets and removing non-targets.

도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타내고, 도 3은 도 2에 도시된 검출기가 사용하는 뉴럴 네트워크의 예를 나타낸다.Fig. 2 shows a schematic block diagram of the controller shown in Fig. 1, and Fig. 3 shows an example of a neural network used by the detector shown in Fig.

도 2 및 도 3을 참조하면, 컨트롤러(200)는 입력 스케일러(input scaler, 210) 및 검출기(detector, 230)를 포함할 수 있다.Referring to FIGS. 2 and 3, the controller 200 may include an input scaler 210 and a detector 230.

입력 스케일러(210)는 편광 데이터의 수에 기초하여 스케일업 팩터를 결정하고, 스케일업 팩터에 기초하여 상기 편광 데이터에 대하여 입력 스케일링을 수행할 수 있다.The input scaler 210 may determine a scale-up factor based on the number of polarization data and perform input scaling on the polarization data based on the scale-up factor.

입력 스케일러(210)는 적은 수의 데이터로 뉴럴 네트워크를 학습시키기 위해서 데이터 증대를 수행할 수 있다. 예를 들어, 입력 스케일러(210)는 편광 데이터를 증대할 수 있다.The input scaler 210 may perform data augmentation to learn the neural network with a small number of data. For example, the input scaler 210 may increase the polarization data.

입력 스케일러(210)는 편광 데이터를 회전(roatation)시켜서 편광 데이터를 증대시킬 수 있다. 입력 스케일러(210)는 목표물의 그림자와 산란점의 관계를 고려하여 원본 편광 데이터를 임의의 각도로 회전시킬 수 있다. 예를 들어, 입력 스케일러(210)는 회전각의 임계치를 15도로 하여 원본 편광 데이터를 회전시킬 수 있다.The input scaler 210 may rotate the polarization data to increase the polarization data. The input scaler 210 can rotate the original polarized light data at an arbitrary angle in consideration of the relationship between the shadow of the target and the scattering point. For example, the input scaler 210 may rotate the original polarized light data by setting the threshold of the rotation angle to 15 degrees.

입력 스케일러(210)는 편광데이터를 포즈 합성(pose synthesis)함으로써 데이터를 증대시킬 수 있다. 입력 스케일러(210)는 복수의 편광 데이터를 선택하여 각 편광 데이터의 포즈 각(pose angle)의 중간 각을 이용하여 포즈 합성을 수행할 수 있다.The input scaler 210 may augment the data by pose synthesis of the polarization data. The input scaler 210 may select a plurality of polarization data and perform pose synthesis using the median angle of the pose angle of each polarization data.

또한, 입력 스케일러(210)는 랜덤 어태칭(random attaching) 방법을 이용하여 편광 데이터를 증대시킬 수 있다. 이 때, 입력 스케일러(210)는 미리 정해진 크기에 임의로 편광 데이터를 배치시킴으로써 변환(translation)에 강건(robust)한 데이터를 생성할 수 있다.In addition, the input scaler 210 may increase the polarization data using a random attaching method. At this time, the input scaler 210 can generate data that is robust to translation by arbitrarily arranging the polarization data in a predetermined size.

입력 스케일러(210)는 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정할 수 있다. 예를 들어, 입력 스케일러(210)는 표 1과 같이 스케일업 팩터를 결정할 수 있다.The input scaler 210 may determine the scale-up factor to be inversely proportional to the number of polarization data. For example, the input scaler 210 may determine a scale-up factor as shown in Table 1.

편광 데이터의 수Number of Polarization Data 스케일 조정
(scale adjustments)
Scale adjustment
(scale adjustments)
곱셈 팩터
(multiplication factors)
Multiplication factor
(multiplication factors)
스케일업 팩터
(scale-up factors)
Scale-up factor
(scale-up factors)
1(ex. HH)1 (ex HH) 1/11/1 1212 1212 2(ex. HH, HV)2 (ex HH, HV) 1/21/2 1212 66 3(ex. HH, HV, VH)3 (ex HH, HV, VH) 1/31/3 1212 44 4(ex. HH, HV, VH, VV)4 (ex HH, HV, VH, VV) 1/41/4 1212 33

입력 스케일러(210)는 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력할 수 있다. 입력 스케일러(210)는 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱할 수 있다.The input scaler 210 may input 0 to the polarization data absent among the HH, HV, VH, and VV polarization data. The input scaler 210 may multiply the polarization data present in the HH, HV, VH and VV polarization data by the scale-up factor.

예를 들어, 입력 스케일러(210)는 편광 데이터의 조합의 개수인 1, 2, 3, 4의 최소 공배수인 12를 기준으로 편광 데이터가 1개 존재하는 경우에는 입력된 편광 데이터 값의 12배, 편광 데이터가 2 개 존재하는 경우에는 6배, 편광 데이터가 3개 존재하는 경우에는 4배를 곱함으로써 뉴럴 네트워크로 입력되는 데이터 값이 일정한 범위 내의 값을 유지하도록 할 수 있다.For example, if there is one polarized data based on 12 being the least common multiple of 1, 2, 3, 4, which is the number of combinations of polarized light data, the input scaler 210 is set to 12 times the input polarized data value, The data value input to the neural network can be maintained within a certain range by multiplying the number of polarized light data by two when the two polarized light data exist and by multiplying by four when the three polarized light data exist.

이를 통해 뉴럴 네트워크는 편광 데이터의 수의 변화에 강인한 특징(feature)를 추출할 수 있다. 입력 스케일러(210)는 입력 스케일링을 통해 생성한 4 개의 편광 데이터를 검출기(230)로 출력할 수 있다.This allows the neural network to extract features that are robust to changes in the number of polarization data. The input scaler 210 may output the four pieces of polarization data generated through the input scaling to the detector 230.

검출기(230)는 입력 스케일링된 편광 데이터에 기초하여 목표물을 검출할 수 있다. 검출기(230)는 입력 스케일링된 편광 데이터에 기초하여 뉴럴 네트워크를 학습시킬 수 있다. 검출기(230)는 4 개의 편광 데이터 각각에 대응하는 4 개의 채널을 입력으로 구성하여 뉴럴 네트워크를 학습시킬 수 있다.The detector 230 may detect the target based on the input scaled polarization data. The detector 230 may learn the neural network based on input scaled polarized data. The detector 230 can learn four channels of the four polarized data as inputs to learn the neural network.

검출기(230)가 사용하는 뉴럴 네트워크는 CNN(Convolutional Neural Network)를 포함할 수 있다. 예를 들어, 검출기(230)는 도 3의 구조를 갖는 뉴럴 네트워크를 이용하여 목표물을 검출할 수 있다.The neural network used by the detector 230 may include CNN (Convolutional Neural Network). For example, the detector 230 may detect a target using a neural network having the structure of FIG.

도 3의 예시에서, 뉴럴 네트워크는 5 개의 컨벌루션 레이어, 3개의 맥스 풀링(max-pooling) 레이어 및 2 개의 풀리 커넥티드(fully connected) 레이어를 포함할 수 있다. 뉴럴 네트워크의 구조는 도 3의 예시에 한정되지 않으며, 레이어의 수, 레이어의 크기 등의 네트워크 구조는 학습 대상 또는 검출 대상에 따라 상이할 수 있다.In the example of FIG. 3, the neural network may include five convolution layers, three max-pooling layers, and two fully connected layers. The structure of the neural network is not limited to the example shown in Fig. 3, and the network structure such as the number of layers and the size of a layer may be different depending on a learning object or an object to be detected.

4개 채널의 입력을 이용한 컨벌루션 레이어의 특징맵의 값은 수학식 1과 같이 나타낼 수 있다.The value of the characteristic map of the convolution layer using the input of four channels can be expressed by Equation (1).

Figure pat00001
Figure pat00001

여기서, Whh, Whv, Wvh, Wvv는 각각 3D 필터를 의미할 수 있고, *는 3D 컨벌루션(convolution) 연산을 의미할 수 있다. B는 바이어스 항을 의미할 수 있다.Here, W hh , W hv , W vh , and W vv may each denote a 3D filter, and * may denote a 3D convolution operation. B may refer to a bias term.

수학식 1을 참조하면, 편광 데이터(즉, 모달)의 수에 따라 특징맵이 달라질 수 있다. 편광 데이터의 수가 변함에 따라 뉴럴 네트워크의 성능이 저하될 수 있다.Referring to Equation (1), the feature map may vary depending on the number of polarization data (i.e., modal). The performance of the neural network may deteriorate as the number of polarized data changes.

특징맵 값의 크기는 편광 데이터의 수에 따라 달라질 수 있어서 뉴럴 네트워크의 특징이 편광 데이터의 수에 크게 영향을 받을 수 있다. 따라서, 편광 데이터의 수가 달라질 경우에 뉴럴 네트워크를 안정적으로 학습시키는 것이 어려울 수 있다.The size of the characteristic map value may vary depending on the number of polarization data so that the characteristic of the neural network may be greatly influenced by the number of polarization data. Therefore, it may be difficult to stably learn the neural network when the number of polarized data is changed.

검출기(230)는 입력 스케일러(210)로부터 항상 4 개 채널의 입력을 모두 수신하기 때문에 뉴럴 네트워크를 안정적으로 학습시킬 수 있다. 검출기(230)는 입력 스케일링을 복수회 수행할 수 있다.Since the detector 230 always receives all four channel inputs from the input scaler 210, it can learn the neural network stably. Detector 230 may perform input scaling multiple times.

검출기(230)는 입력 스케일링된 편광 데이터를 이용하여 뉴럴 네트워크를 전이 학습(transfer learning)시킬 수 있다. 검출기(230)는 전이 학습된 뉴럴 네트워크에 기초하여 상기 목표물을 검출할 수 있다.The detector 230 may use the input scaled polarization data to transfer learning the neural network. The detector 230 can detect the target based on the neural network that has been learned by the transition.

검출기(230)는 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성할 수 있다. 검출기(230)는 쉬운 태스크(easy task)에 대하여 뉴럴 네트워크를 먼저 학습시키고, 점차 어려운 태스크(hard task)에 대하여 뉴럴 네트워크를 학습시킴으로써 전이 학습을 수행할 수 있다.The detector 230 may generate the task by differently combining the number of input scaled polarization data. The detector 230 may perform the transition learning by first learning the neural network for an easy task and by learning the neural network for an increasingly difficult task.

쉬운 태스크는 다양한 편광 데이터를 가지고 있는 태스크를 의미할 수 있고, 어려운 태스크는 단일 편광 데이터를 가지고 있는 태스크를 의미할 수 있다.An easy task can mean a task that has various polarization data, and a difficult task can mean a task that has a single polarization data.

검출기(230)는 조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 뉴럴 네트워크를 반복하여 학습시킬 수 있다.The detector 230 can sequentially learn a task having a small number of input scaled polarized data in which the number of input scaled polarized data to be combined is combined from many tasks and repeat the learning of the neural network.

검출기(230)는 쉬운 태스크에 대하여 먼저 학습을 수행함으로써 어려운 태스크에 대하여 좋은 초기값을 제공할 수 있다. 검출기(230)는 이를 통해 검출기(230)는 네트워크의 성능을 향상시킬 수 있다.The detector 230 may provide a good initial value for a difficult task by first performing learning on an easy task. The detector 230 through which the detector 230 can improve the performance of the network.

또한, 검출기(230)는 뉴럴 네트워크가 쉬운 태스크에서의 능력을 잃지 않도록 어려운 태스크에 대하여 뉴럴 네트워크를 학습시킬 때 쉬운 태스크의 데이터를 포함하여 학습을 수행할 수 있다.In addition, the detector 230 can perform learning including data of an easy task when learning a neural network for a difficult task so that the neural network does not lose its ability in an easy task.

예를 들어, 검출기(230)는 표 2와 같은 순서로 뉴럴 네트워크를 학습시킬 수 있다.For example, the detector 230 may learn the neural network in the order shown in Table 2. [

학습 스테이지Learning stage 1One 22 33 44 편광 데이터의 수Number of Polarization Data 44 4 및 34 and 3 4, 3 및 24, 3 and 2 4, 3, 2 및 14, 3, 2 and 1

표 2의 예시에서, 검출기(230)는 편광 데이터가 4개인 태스크에 대하여 먼저 학습을 수행하고, 편광 데이터가 4개인 태스크 및 3개인 태스크에 대해서 학습을 수행할 수 있다. 그 후, 검출기(230)는 편광 데이터가 4개, 3개 및 2 개인 태스크에 대하여 학습을 수행한 후, 편광 데이터의 수가 4개, 3개, 2개 및 1개인 태스크에 대하여 학습을 수행할 수 있다.In the example of Table 2, the detector 230 may perform learning for four tasks with polarization data four, and learning for four tasks with polarization data four and three tasks. Thereafter, the detector 230 performs learning on tasks having four, three, and two pieces of polarization data, and then performs learning on tasks having four, three, two, and one pieces of polarization data .

도 4는 도 2에 도시된 검출기가 특징맵을 연결시키는 동작의 예를 나타낸다.Fig. 4 shows an example of an operation in which the detector shown in Fig. 2 links feature maps. Fig.

도 4를 참조하면, 검출기(230)는 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 병합(merge)할 수 있다. 특징맵의 병합은 특징맵의 연결(concatenate)를 포함할 수 있다. 즉, 검출기(230)는 연결 이외의 방법으로도 특징맵들을 병합할 수 있다.Referring to FIG. 4, the detector 230 may merge feature maps that have passed through at least one layer included in the neural network. The merging of the feature maps may include a concatenation of feature maps. That is, the detector 230 may merge the feature maps in a manner other than the connection.

검출기(230)는 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시킬 수 있다. 예를 들어, 검출기(230)는 4개 채널의 입력 데이터를 각 채널 마다 한 번씩 통과시킨 후에 출력된 특징맵을 연결할 수 있다.The detector 230 may concatenate feature maps that have passed through at least one layer included in the neural network. For example, the detector 230 may connect the output feature maps after passing the input data of the four channels once for each channel.

특징맵을 연결한다는 것을 특징맵을 이어 붙인다는 것을 의미할 수 있다. 예를 들어, 연결 전의 각각의 특징맵이 16 채널을 가진다면 연결 후에는 64 채널이 될 수 있다. The fact that you connect feature maps can mean that you attach feature maps. For example, if each feature map before linking has 16 channels, then it can be 64 channels after linking.

검출기(230)는 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 대한 출력 특징맵에 스케일업 팩터를 곱할 수 있다.The detector 230 may multiply the scaling factor by the output feature map for the polarization data that is present in the HH, HV, VH, and VV polarization data.

편광 데이터의 수Number of Polarization Data 스케일 조정
(scale adjustments)
Scale adjustment
(scale adjustments)
곱셈 팩터
(multiplication factors)
Multiplication factor
(multiplication factors)
스케일업 팩터
(scale-up factors)
Scale-up factor
(scale-up factors)
1(ex. HH)1 (ex HH) 1/11/1 1212 1212 2(ex. HH, HV)2 (ex HH, HV) 1/21/2 1212 66 3(ex. HH, HV, VH)3 (ex HH, HV, VH) 1/31/3 1212 44 4(ex. HH, HV, VH, VV)4 (ex HH, HV, VH, VV) 1/41/4 1212 33

검출기(230)는 입력 스케일러(210)와 마찬가지로 편광 데이터의 수에 반비례하도록 스케일업 팩터를 결정할 수 있다. 예를 들어, 검출기(230)는 표 3과 같이 스케일업 팩터를 결정할 수 있다.The detector 230 may determine the scale-up factor to be in inverse proportion to the number of polarization data as well as the input scaler 210. [ For example, the detector 230 may determine a scale-up factor as shown in Table 3.

검출기(230)는 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력할 수 있다. 검출기(230)는 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 해당하는 특징맵에 대하여 표3의 스케일업 팩터를 곱할 수 있다.The detector 230 may input 0 to the polarization data absent from the HH, HV, VH, and VV polarization data. The detector 230 may multiply the scale-up factor in Table 3 for a feature map corresponding to polarization data present in HH, HV, VH and VV polarization data.

예를 들어, 검출기(230)는 편광 데이터의 조합의 개수인 1, 2, 3, 4의 최소 공배수인 12를 기준으로 특징맵 스케일링을 수행할 수 있다. 검출기(230)는 편광 데이터가 1개 존재하는 경우에는 입력된 편광 데이터에 해당하는 특징맵 값에 12배, 편광 데이터가 2 개 존재하는 경우에는 해당하는 특징맵 각각의 값에 6배, 편광 데이터가 3개 존재하는 경우에는 해당하는 특징맵 각각의 값에 4배를 곱함으로써 뉴럴 네트워크의 특징맵의 데이터 값이 일정한 범위 내의 값을 유지하도록 할 수 있다.For example, the detector 230 may perform feature map scaling based on 12, which is the least common multiple of 1, 2, 3, 4, which is the number of combinations of polarization data. When there is one polarization data, the detector 230 multiplies the value of the feature map corresponding to the input polarization data by 12 and the value of each of the corresponding feature maps by 6, The data values of the characteristic maps of the neural network can be maintained within a constant range by multiplying the respective values of the corresponding feature maps by four times.

스케일링과 특징맵 연결의 순서는 바뀔 수 있다. 예를 들어, 검출기(230)는 특징맵을 스케일링한 후에 연결시킬 수 있다.The order of scaling and feature map connections can be changed. For example, the detector 230 may connect the feature map after scaling.

특징맵을 스케일링하고 연결하는 위치는 필요에 따라 변경될 수 있다. 예를 들어, 검출기(230)는 뉴럴 네트워크의 두 번째 레이어 또는 세 번째 레이어를 통과한 특징맵에 대하여 스케일링 및 연결을 수행할 수 있다. 또한 특징맵의 스케일링과 연결이 동시에 이루어 질 수 있다.The location of scaling and connecting feature maps can be changed as needed. For example, the detector 230 may perform scaling and connection on a feature map that has passed through a second layer or a third layer of the neural network. Scaling and linking of feature maps can also be done simultaneously.

또한, 특징맵의 연결과 스케일링은 복수회 수행될 수 있다.Also, the linking and scaling of feature maps can be performed a plurality of times.

특징맵 연결 및 스케일링에 사용되는 특징맵들은 활성화 함수를 통과한 후에 비선형성을 가질 수 있다. 예를 들어, 활성화 함수는 ReLU(Rectified Linear Unit)일 수 있다. 검출기(230)는 특징맵을 연결시키고, 스케일링함으로써 편광 데이터 간의 높은 비선형 관계를 활용할 수 있다.The feature maps used for feature mapping and scaling may have non-linearity after passing through the activation function. For example, the activation function may be ReLU (Rectified Linear Unit). Detector 230 may utilize a high nonlinear relationship between polarization data by connecting and scaling feature maps.

도 5a는 입력 스케일링을 수행하지 않았을 때의 4 개의 편광 데이터 입력에 대한 특징맵의 예를 나타내고, 도 5b는 입력 스케일링을 수행하지 않았을 때의 HH 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.FIG. 5A shows an example of a feature map for four polarization data inputs when input scaling is not performed, and FIG. 5B shows an example of a feature map for HH polarized data input when input scaling is not performed.

도 5c는 입력 스케일링을 수행하지 않았을 때의 HV 편광 데이터 입력에 대한 특징맵의 예를 나타내고, 도 5d는 입력 스케일링을 수행하지 않았을 때의 VH 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.FIG. 5C shows an example of a feature map for HV polarized data input when input scaling is not performed, and FIG. 5D shows an example of a feature map for VH polarized data input when input scaling is not performed.

도 5e는 입력 스케일링을 수행하지 않았을 때의 VV 편광 데이터 입력에 대한 특징맵의 예를 나타내고, 도 6a는 입력 스케일링을 수행했을 때의 4 개의 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.Fig. 5E shows an example of a feature map for VV polarization data input when input scaling is not performed, and Fig. 6A shows an example of a feature map for four polarization data inputs when input scaling is performed.

도 6b는 입력 스케일링을 수행했을 때의 HH 편광 데이터 입력에 대한 특징맵의 예를 나타내고, 도 6c는 입력 스케일링을 수행했을 때의 HV 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.FIG. 6B shows an example of a feature map for HH polarized data input when input scaling is performed, and FIG. 6C shows an example of a feature map for HV polarized data input when input scaling is performed.

도 6d는 입력 스케일링을 수행했을 때의 VH 편광 데이터 입력에 대한 특징맵의 예를 나타내고, 도 6e는 입력 스케일링을 수행했을 때의 VV 편광 데이터 입력에 대한 특징맵의 예를 나타낸다.FIG. 6D shows an example of a feature map for VH polarized data input when input scaling is performed, and FIG. 6E shows an example of a feature map for VV polarized data input when input scaling is performed.

도 5a 내지 도 6e를 참조하면, 입력 스케일링 및 전이 학습의 수행 여부에 대한 목표물 인식률은 표 4와 같이 나타낼 수 있다. 여기서 ALL은 모든 편광 데이터가 존재하는 경우를 의미할 수 있다.Referring to FIGS. 5A to 6E, the target recognition rate for whether input scaling and transition learning are performed can be expressed as shown in Table 4. Here, " ALL " may mean the case where all the polarized light data exists.

편광Polarized light HHHH HVHV VHVH VVVV ALLALL 단일 편광 데이터 1 채널 입력에 대한 인식률(%)Recognition rate (%) for single-polarized data 1 channel input 96.7196.71 97.6997.69 98.9098.90 98.2998.29 99.3999.39 입력 스케일링 없는 4 채널 입력에 대한 인식률(%)Recognition rate for 4-channel input without input scaling (%) 92.0892.08 94.1594.15 93.4293.42 92.4592.45 94.0394.03 입력 스케일링한 4 채널 입력에 대한 인식률(%)Recognition rate (%) for input scaled 4 channel input 95.7495.74 97.8197.81 98.6698.66 96.5996.59 99.3999.39 입력 스케일링한 4채널 입력 및 전이학습 수행에 대한 인식률(%)Recognition rate (%) for input scaled 4 channel input and transition learning performance 97.4497.44 98.4298.42 98.1798.17 98.4298.42 99.5199.51

단일 편광 데이터 1채널 입력의 경우는 각 편광 데이터에 대하여 따로 학습을 수행한 독립적인 5개 네트워크의 인식률 결과를 의미할 수 있다. 이 경우 입력단이 1개의 채널로 구성될 수 있다. 이 경우에, 성능은 높지만 메모리와 학습시간면에서 비효율적일 수 있다.Single polarization data In the case of 1 channel input, it can mean the recognition rate result of 5 independent networks that have performed learning separately for each polarization data. In this case, the input terminal may be constituted by one channel. In this case, performance is high but may be inefficient in terms of memory and learning time.

두 번째는 입력 스케일링을 수행하지 않고 4채널 입력을 입력한 네트워크의 인식률을 의미할 수 있다. 세 번째는 입력 스케일링을 수행하여 4채널 입력을 입력한 네트워크의 인식률을 의미할 수 있다. 4 번째는 입력 스케일링을 수행한 4 채널 입력을 사용하고 전이학습을 함께 수행한 네트워크의 인식률을 의미할 수 있다.The second can be the recognition rate of the network that input 4 channel input without performing input scaling. Third, it can mean the recognition rate of the network that input scaling and input 4 channel input. Fourth, it can mean the recognition rate of the network using 4 channel input with input scaling and performing the transition learning together.

두 번째 경우에 비하여 성능이 대폭 상승한 것을 확인할 수 있다. 즉, 목표물 검출 장치(10)는 기존의 목표물 검출 방법에 비하여 인식률, 메모리, 학습시간면에서 효율적으로 목표물을 검출할 수 있다.It can be seen that the performance is significantly increased compared to the second case. That is, the target detecting apparatus 10 can detect the target efficiently in terms of the recognition rate, the memory, and the learning time in comparison with the existing target detecting method.

입력 스케일링, 특징맵 스케일링 및 전이학습의 적용 여부에 따른 목표물 인식률은 표 5와 같이 나타낼 수 있다.Table 5 shows the target recognition rates according to input scaling, feature map scaling, and transition learning.

편광Polarized light HHHH HVHV VHVH VVVV ALLALL 단일 편광 데이터 1 채널 입력에 대한 인식률(%)Recognition rate (%) for single-polarized data 1 channel input 96.7196.71 97.6997.69 98.9098.90 98.2998.29 99.3999.39 입력 스케일링 없는 4 채널 입력에 대한 인식률(%)Recognition rate for 4-channel input without input scaling (%) 92.0892.08 94.1594.15 93.4293.42 92.4592.45 94.0394.03 입력 스케일링한 4채널 입력 및 전이학습 수행에 대한 인식률(%)Recognition rate (%) for input scaled 4 channel input and transition learning performance 97.4497.44 98.4298.42 98.1798.17 98.4298.42 99.5199.51 입력 스케일링한 4채널 입력, 특징맵 스케일링 및 전이학습 수행에 대한 인식률(%)Recognition rate (%) for input scaled 4-channel input, feature map scaling, and transition learning performance 98.0598.05 98.4298.42 98.6698.66 98.0598.05 99.5199.51

표 5를 참조하면, 입력 스케일링, 특징맵 스케일링 및 전이 학습을 모두 수행했을 때 가장 우수한 성능을 가지는 것을 확인할 수 있다.Referring to Table 5, it can be seen that the best performance is obtained when both input scaling, feature map scaling, and transition learning are performed.

표 6 및 표 7은 특징맵 스케일의 스케일 불변 차이(scale invariant difference)를 나타낼 수 있다. 표 6은 입력 스케일링을 수행한 경우의 특징맵 간의 NMD(Normalized Mean Difference)를 나타내고, 표 7은 입력 스케일링을 수행하지 않았을 때의 NMD를 나타낼 수 있다.Tables 6 and 7 show the scale invariant difference of the feature map scale. Table 6 shows NMD (Normalized Mean Difference) between feature maps when input scaling is performed, and Table 7 shows NMD when input scaling is not performed.

여기서, 특징맵 A와 B 사이의 NMD는 수학식 2에 기초하여 계산될 수 있다.Here, the NMD between the characteristic maps A and B can be calculated based on the equation (2).

Figure pat00002
Figure pat00002

Feature map indexFeature map index 1One 22 33 44 55 66 77 88 99 1010 1111 1212 1313 1414 1515 1616 NMD(4_pol, HH)NMD (4pol, HH) 0.04210.0421 0.05410.0541 0.05420.0542 0.04030.0403 0.0540.054 0.0540.054 0.05420.0542 0.05010.0501 0.05430.0543 0.22220.2222 0.0340.034 0.05220.0522 0.05380.0538 0.05410.0541 0.05060.0506 0.67260.6726 NMD(4_pol, HV)NMD (4pol, HV) 0.04940.0494 0.06720.0672 0.06720.0672 0.03980.0398 0.06730.0673 0.06710.0671 0.06730.0673 0.0510.051 0.06720.0672 0.38480.3848 0.03850.0385 0.04450.0445 0.06480.0648 0.0670.067 0.05060.0506 1One NMD(4_pol, VH)NMD (4pol, VH) 0.05680.0568 0.05720.0572 0.05730.0573 0.03350.0335 0.05750.0575 0.05730.0573 0.05730.0573 0.1020.102 0.05720.0572 0.23890.2389 0.03890.0389 0.04060.0406 0.06240.0624 0.05720.0572 0.10160.1016 0.59360.5936 NMD(4_pol, VV)NMD (4_pol, VV) 0.04450.0445 0.06340.0634 0.06340.0634 0.03950.0395 0.06340.0634 0.06330.0633 0.06340.0634 0.06460.0646 0.06340.0634 0.44350.4435 0.04210.0421 0.04570.0457 0.06230.0623 0.06330.0633 0.06420.0642 1One

Feature map indexFeature map index 1One 22 33 44 55 66 77 88 99 1010 1111 1212 1313 1414 1515 1616 NMD(4_pol, HH)NMD (4pol, HH) 0.61160.6116 1One 1One 0.60630.6063 0.60710.6071 1One 0.60720.6072 1One 0.14920.1492 1One 0.85320.8532 0.98810.9881 0.60820.6082 0.61350.6135 1One NaNNaN NMD(4_pol, HV)NMD (4pol, HV) 0.57930.5793 0.9990.999 1One 0.58460.5846 0.58370.5837 1One 0.5840.584 1One 1One 0.11520.1152 0.73280.7328 0.96780.9678 0.5850.585 0.58030.5803 0.10550.1055 NaNNaN NMD(4_pol, VH)NMD (4pol, VH) 0.6240.624 0.01820.0182 1One 0.61610.6161 0.61750.6175 1One 0.61770.6177 0.29010.2901 1One 1One 0.83990.8399 0.99650.9965 0.61780.6178 0.6280.628 1One NaNNaN NMD(4_pol, VV)NMD (4_pol, VV) 0.58720.5872 0.99980.9998 0.07840.0784 0.59450.5945 0.59330.5933 0.0870.087 0.59270.5927 0.29320.2932 1One 0.1070.107 0.7990.799 0.94910.9491 0.59070.5907 0.58050.5805 1One NaNNaN

표에서 NaN 값은 모든 특징맵이 데드 특징맵(dead feature map)이라는 것을 의미하고, 1은 특징맵 중의 하나가 데드 특징맵이라는 것을 의미할 수 있다.The NaN value in the table means that all feature maps are dead feature maps, and 1 can mean that one of the feature maps is a dead feature map.

도 7은 입력 스케일링 및 전이 학습의 수행 유무에 따라 생성된 특징맵들의 예를 나타낸다.FIG. 7 shows an example of feature maps generated according to whether input scaling and transition learning are performed.

도 7을 참조하면, 각각의 편광 데이터들은 특징맵을 구성함에 있어서 유사한 가중치(weight)를 가짐을 확인할 수 있다. 즉, 각각의 편광 데이터는 낮은 상관(correlation) 관계를 가질 수 있다.Referring to FIG. 7, it can be seen that each polarization data has a similar weight in constructing the feature map. That is, each polarization data may have a low correlation.

목표물 검출 장치(10)는 입력 스케일링, 특징맵 스케일링 또는 전이학습을 이용하여 데드 필터(dead filter)의 수를 현저하게 감소시킬 수 있다. 목표물 검출 장치(10)는 편광 데이터 간의 상관(correlation)하여 데드 필터의 수를 감소시킬 수 있다. 또한, 목표물 검출 장치(10)는 뉴럴 네트워크가 모든 용량을 활용할 수 있도록 할 수 있다.The target detection apparatus 10 can remarkably reduce the number of dead filters using input scaling, feature map scaling or transition learning. The target detection apparatus 10 can reduce the number of dead filters by correlating the polarization data. Further, the target detecting apparatus 10 can make the neural network utilize all the capacities.

목표물 검출 장치(10)는 입력 스케일링 통해 편광 데이터의 수에 관계 없이 유사한 동적 범위를 갖는 특징맵을 생성할 수 있다. 목표물 검출 장치(10)는 특징맵의 구성할 때 다양한 편광 데이터의 입력을 이용하 뉴럴 네트워크가 편광 데이터 간의 상관을 이용하도록 할 수 있다.The target detection apparatus 10 can generate a feature map having a similar dynamic range regardless of the number of polarization data through input scaling. The target detecting apparatus 10 can make use of the input of various polarizing data when constructing the characteristic map so that the neural network can use the correlation between the polarized data.

목표물 검출 장치(10)는 입력 스케일링 통해 뉴럴 네트워크가 최적 지점(optimal point)을 찾는 것을 도울 수 있다. 또한, 목표물 검출 장치는 전이 학습을 통해 뉴럴 네트워크가 최적 지점을 찾는 것을 도울 수 있고, 검출 성능 및 뉴럴 네트워크의 성능을 향상시킬 수 있다.The target detection apparatus 10 can help the neural network to find an optimal point through input scaling. In addition, the target detection apparatus can help the neural network find the optimum point through the transition learning, and improve the detection performance and the performance of the neural network.

목표물 검출 장치(10)는 특징맵 스케일링을 통해 편광 데이터 간의 보다 높은 레벨(level)의 상관(correlation)을 활용하여 뉴럴 네트워크를 학습시킬 수 있다.The target detecting apparatus 10 can learn a neural network by utilizing a higher level correlation between polarized data through characteristic map scaling.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

편광 데이터를 수신하는 단계;
상기 편광 데이터의 수에 기초하여 스케일업 팩터(scale-up factor)를 결정하는 단계;
상기 스케일업 팩터에 기초하여 상기 편광 데이터에 대하여 입력 스케일링을 수행하는 단계; 및
입력 스케일링된 편광 데이터에 기초하여 목표물(target)을 검출(detect)하는 단계
를 포함하는 목표물 검출 방법.
Receiving polarized light data;
Determining a scale-up factor based on the number of the polarization data;
Performing input scaling on the polarization data based on the scale-up factor; And
Detecting the target based on input scaled polarization data;
And detecting the target.
제1항에 있어서,
상기 편광(polarization) 데이터는
HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함하는
목표물 검출 방법.
The method according to claim 1,
The polarization data
And at least one of HH (Horizontal transmit and receive), HV (vertical transmit and receive), VH (vertical transmit and receive) and VV (vertical transmit and receive)
A method of detecting a target.
제1항에 있어서,
상기 결정하는 단계는,
상기 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정하는 단계
를 포함하는 목표물 검출 방법.
The method according to claim 1,
Wherein the determining comprises:
Determining the scale-up factor to be in inverse proportion to the number of the polarization data
And detecting the target.
제2항에 있어서,
상기 수행하는 단계는,
상기 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력하는 단계; 및
상기 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱하는 단계
를 포함하는 목표물 검출 방법.
3. The method of claim 2,
Wherein the performing comprises:
Inputting 0 to the polarization data absent among the HH, HV, VH, and VV polarization data; And
Multiplying the polarization data present in the HH, HV, VH and VV polarization data by the scale-up factor
And detecting the target.
제1항에 있어서,
상기 검출하는 단계는,
상기 입력 스케일링된 편광 데이터를 이용하여 뉴럴 네트워크를 전이 학습(transfer learning)시키는 단계; 및
전이 학습된 뉴럴 네트워크에 기초하여 상기 목표물을 검출하는 단계
를 포함하는 목표물 검출 방법.
The method according to claim 1,
Wherein the detecting comprises:
Transfer learning the neural network using the input scaled polarized data; And
Detecting the target based on a transition learned neural network
And detecting the target.
제5항에 있어서,
상기 전이 학습시키는 단계는,
상기 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성하는 단계; 및
조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 상기 뉴럴 네트워크를 반복하여 학습시키는 단계
를 포함하는 목표물 검출 방법.
6. The method of claim 5,
Wherein the transition learning comprises:
Generating a task by differently combining the number of input scaled polarized data; And
Sequentially inputting a task having a small number of input scaled polarized data to be combined from a task having a large number of input scaled polarized data to be combined, and repeatedly learning the neural network
And detecting the target.
제5항에 있어서,
상기 검출하는 단계는,
상기 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시키는 단계; 및
상기 특징맵들에 대하여 특징맵 스케일링을 수행하는 단계
를 더 포함하는 목표물 검출 방법.
6. The method of claim 5,
Wherein the detecting comprises:
Concatenating feature maps that have passed through at least one layer included in the neural network; And
Performing feature map scaling on the feature maps
Further comprising the steps of:
편광 데이터를 수신하는 수신기; 및
상기 편광 데이터에 대하여 입력 스케일링을 수행하여 목표물을 검출하는 컨트롤러
를 포함하고,
상기 컨트롤러는,
상기 편광 데이터의 수에 기초하여 스케일업 팩터를 결정하고, 상기 스케일업 팩터에 기초하여 상기 편광 데이터에 대하여 입력 스케일링을 수행하는 입력 스케일러(input scaler); 및
입력 스케일링된 편광 데이터에 기초하여 목표물을 검출하는 검출기
를 포함하는 목표물 검출 장치.
A receiver for receiving polarization data; And
A controller for performing input scaling on the polarization data to detect a target;
Lt; / RTI >
The controller comprising:
An input scaler that determines a scale-up factor based on the number of the polarization data and performs input scaling on the polarization data based on the scale-up factor; And
A detector for detecting a target based on input scaled polarized data
And the target detection device.
제8항에 있어서,
상기 편광 데이터는
HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함하는
목표물 검출 장치.
9. The method of claim 8,
The polarization data
And at least one of HH (Horizontal transmit and receive), HV (vertical transmit and receive), VH (vertical transmit and receive) and VV (vertical transmit and receive)
Target detection device.
제8항에 있어서,
상기 입력 스케일러는,
상기 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정하는
목표물 검출 장치.
9. The method of claim 8,
The input scaler comprising:
The scale-up factor is determined so as to be in inverse proportion to the number of the polarization data
Target detection device.
제9항에 있어서,
상기 입력 스케일러는,
상기 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력하고, 상기 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱하는
목표물 검출 장치.
10. The method of claim 9,
The input scaler comprising:
0 is input to the polarization data absent in the HH, HV, VH, and VV polarization data, and the polarization data existing in the HH, HV, VH, and VV polarization data is multiplied by the scale-
Target detection device.
제8항에 있어서,
상기 검출기는,
상기 입력 스케일링된 편광 데이터를 이용하여 뉴럴 네트워크를 전이 학습(transfer learning)시키고, 전이 학습된 뉴럴 네트워크에 기초하여 상기 목표물을 검출하는
목표물 검출 장치.
9. The method of claim 8,
The detector comprises:
And performing a transfer learning on the neural network using the input scaled polaris data and detecting the target based on the neural network that has been learned by the transition
Target detection device.
제12항에 있어서,
상기 검출기는,
상기 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성하고, 조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 상기 뉴럴 네트워크를 반복하여 학습시키는
목표물 검출 장치.
13. The method of claim 12,
The detector comprises:
Wherein the tasks are generated by differently combining the number of input scaled polarized data and sequentially inputting a task having a small number of input scaled polynomial data pieces combined from a task having a large number of input scaled polynomial data to be combined, Iterative
Target detection device.
제12항에 있어서,
상기 검출기는,
상기 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시키고, 상기 특징맵들에 대하여 특징맵 스케일링을 수행하는
목표물 검출 장치.
13. The method of claim 12,
The detector comprises:
Concatenating feature maps that have passed through at least one layer included in the neural network, and performing feature map scaling on the feature maps
Target detection device.
편광 데이터를 수신하는 단계;
상기 편광 데이터의 수에 기초하여 스케일업 팩터를 결정하는 단계;
상기 스케일업 팩터에 기초하여 상기 복수의 편광 데이터에 대하여 입력 스케일링을 수행하는 단계; 및
입력 스케일링된 편광 데이터에 기초하여 뉴럴 네트워크를 학습시키는 단계
를 포함하는 뉴럴 네트워크 학습 방법.
Receiving polarized light data;
Determining a scale-up factor based on the number of the polarization data;
Performing input scaling on the plurality of polarization data based on the scale-up factor; And
Learning the neural network based on input scaled polarized light data
/ RTI >
제15항에 있어서,
상기 편광 데이터는
HH(Horizontal transmit and Horizontal receive), HV(Horizontal transmit and Vertical receive), VH(Vertical transmit and Horizontal receive) 및 VV(Vertical transmit and Vertical receive) 편광 데이터 중에서 적어도 하나를 포함하는
뉴럴 네트워크 학습 방법.
16. The method of claim 15,
The polarization data
And at least one of HH (Horizontal transmit and receive), HV (vertical transmit and receive), VH (vertical transmit and receive) and VV (vertical transmit and receive)
Neural network learning method.
제15항에 있어서,
상기 결정하는 단계는,
상기 편광 데이터의 수에 반비례하도록 상기 스케일업 팩터를 결정하는 단계
를 포함하는 뉴럴 네트워크 학습 방법.
16. The method of claim 15,
Wherein the determining comprises:
Determining the scale-up factor to be in inverse proportion to the number of the polarization data
/ RTI >
제16항에 있어서,
상기 수행하는 단계는,
상기 HH, HV, VH 및 VV 편광 데이터 중에서 부재하는 편광 데이터에 0을 입력하는 단계; 및
상기 HH, HV, VH 및 VV 편광 데이터 중에서 존재하는 편광 데이터에 상기 스케일업 팩터를 곱하는 단계
를 포함하는 뉴럴 네트워크 학습 방법.
17. The method of claim 16,
Wherein the performing comprises:
Inputting 0 to the polarization data absent among the HH, HV, VH, and VV polarization data; And
Multiplying the polarization data present in the HH, HV, VH and VV polarization data by the scale-up factor
/ RTI >
제15항에 있어서,
상기 학습시키는 단계는,
상기 입력 스케일링된 편광 데이터의 수를 달리하여 조합함으로써 태스크를 생성하는 단계; 및
조합되는 입력 스케일링된 편광 데이터의 수가 많은 태스크로부터 조합되는 입력 스케일링된 편광 데이터의 수가 적은 태스크를 순차적으로 입력하여 상기 뉴럴 네트워크를 반복하여 학습시키는 단계
를 포함하는 뉴럴 네트워크 학습 방법.
16. The method of claim 15,
Wherein the learning step comprises:
Generating a task by differently combining the number of input scaled polarized data; And
Sequentially inputting a task having a small number of input scaled polarized data to be combined from a task having a large number of input scaled polarized data to be combined, and repeatedly learning the neural network
/ RTI >
제19항에 있어서,
상기 학습시키는 단계는,
상기 뉴럴 네트워크에 포함된 적어도 하나의 레이어를 통과한 특징맵들을 연결(concatenate)시키는 단계; 및
상기 특징맵들에 대하여 특징맵 스케일링을 수행하는 단계
를 더 포함하는 뉴럴 네트워크 학습 방법.
20. The method of claim 19,
Wherein the learning step comprises:
Concatenating feature maps that have passed through at least one layer included in the neural network; And
Performing feature map scaling on the feature maps
The neural network learning method further comprising:
KR1020180070815A 2017-06-20 2018-06-20 A method and apparatus for detecting target, training method for target detection KR102174821B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170078180 2017-06-20
KR20170078180 2017-06-20

Publications (2)

Publication Number Publication Date
KR20180138189A true KR20180138189A (en) 2018-12-28
KR102174821B1 KR102174821B1 (en) 2020-11-05

Family

ID=65008508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070815A KR102174821B1 (en) 2017-06-20 2018-06-20 A method and apparatus for detecting target, training method for target detection

Country Status (1)

Country Link
KR (1) KR102174821B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308753B1 (en) * 2021-02-03 2021-10-05 주식회사 에스아이에이 Method and apparatus for detecting target object
US11495013B2 (en) 2021-02-03 2022-11-08 Si Analytics Co., Ltd. Method and apparatus for detecting target object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013531440A (en) * 2010-06-28 2013-08-01 トムソン ライセンシング Method and apparatus for customizing 3D effect of 3D content
JP2015052506A (en) * 2013-09-06 2015-03-19 株式会社東芝 Laser radar device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013531440A (en) * 2010-06-28 2013-08-01 トムソン ライセンシング Method and apparatus for customizing 3D effect of 3D content
JP2015052506A (en) * 2013-09-06 2015-03-19 株式会社東芝 Laser radar device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308753B1 (en) * 2021-02-03 2021-10-05 주식회사 에스아이에이 Method and apparatus for detecting target object
US11495013B2 (en) 2021-02-03 2022-11-08 Si Analytics Co., Ltd. Method and apparatus for detecting target object

Also Published As

Publication number Publication date
KR102174821B1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
KR102644273B1 (en) System and method for disparity estimation using cameras with different fields of view
US11663691B2 (en) Method and apparatus for restoring image
Naidu Hybrid DDCT-PCA based multi sensor image fusion
US20150170400A1 (en) Depth map generation using bokeh detection
US20150092017A1 (en) Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
US20160247257A1 (en) Method of transmitting moving image and surveillance system using the method
KR102174821B1 (en) A method and apparatus for detecting target, training method for target detection
US9626569B2 (en) Filtered image data recovery using lookback
US20160371530A1 (en) Method and Apparatus for Tracking Targets
WO2016185024A1 (en) Method and arrangement for calibration of cameras
US10825160B2 (en) Spatially dynamic fusion of images of different qualities
KR20220124676A (en) Real Estate Information Providing Method and the Application Performing thereof
CN107479052B (en) Ground concealed target detection method based on Generalized Gaussian Distribution Model
Luo et al. An algorithm based on spatial filter for infrared small target detection and its application to an all directional IRST system
Bronstein et al. Blind separation of reflections using sparse ICA
US10346717B1 (en) System and method for thresholding of local image descriptors
CN116977876A (en) Unmanned aerial vehicle image processing method, system and medium
Pandey et al. Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos
Jeyakumar et al. FPGA implementation of edge detection using canny algorithm
US10380750B2 (en) Image depth calculating device and method
US11481912B2 (en) Device for generating a depth map
Ahmed et al. Distance alert system using Stereo vision and feature extraction
KR102101481B1 (en) Apparatus for lenrning portable security image based on artificial intelligence and method for the same
US11157769B2 (en) Image processing circuit and associated image processing method
EP3944182A1 (en) Image restoration method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)