KR20190048597A - 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법 - Google Patents

딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법 Download PDF

Info

Publication number
KR20190048597A
KR20190048597A KR1020170143681A KR20170143681A KR20190048597A KR 20190048597 A KR20190048597 A KR 20190048597A KR 1020170143681 A KR1020170143681 A KR 1020170143681A KR 20170143681 A KR20170143681 A KR 20170143681A KR 20190048597 A KR20190048597 A KR 20190048597A
Authority
KR
South Korea
Prior art keywords
fusion
sensor
feature
feature map
stages
Prior art date
Application number
KR1020170143681A
Other languages
English (en)
Other versions
KR102072757B1 (ko
Inventor
김소현
송우진
조영래
임성혁
조현웅
신승준
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170143681A priority Critical patent/KR102072757B1/ko
Publication of KR20190048597A publication Critical patent/KR20190048597A/ko
Application granted granted Critical
Publication of KR102072757B1 publication Critical patent/KR102072757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일실시예에 따르면, 딥 러닝기반 센서 융합에 있어서, 각 센서 정보에 특화된 단일 센서 이미지를 학습시키며, 각 단일 센서 구조의 특징맵들을 융합하는 다단계 구조의 융합 스테이지를 통해 융합 특징맵을 생성함으로써 정보량 손실을 줄이고, 융합 효율성을 높일 수 있다.

Description

딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법{APPARATUS OF SENSOR INFORMATION FUSION USING DEEP LEARNING AND METHOD THEREOF}
본 발명은 딥 러닝(deep learning)기반 센서 융합에 관한 것으로, 특히 각 센서 정보에 특화된 단일 센서 이미지를 학습시키며, 각 단일 센서 구조의 특징맵(feature map)들을 융합하는 다단계 구조의 융합 스테이지를 통해 융합 특징맵을 생성함으로써 정보량 손실을 줄이고, 융합 효율성을 높일 수 있도록 하는 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법에 관한 것이다.
센서 융합은 다양한 센서를 활용하여 획득한 정보량을 조합함으로써 단일 센서 정보만을 활용하여 발생하는 정보 부족 및 불확실성 문제를 극복하는 기술이다. 최근 들어 다양한 센서 기술이 발전함에 따라 많은 분야에서 다중 센서 시스템을 적극적으로 활용하고 있으며, 이에 따라 센서 융합 기술이 많은 분야에서 요구되고 있다.
한편, 최근 급격한 진보를 보인 딥 러닝 기술은 다양한 분야에 적용되어 기존 기술들보다 우수한 성능을 나타내고 있다. 이러한 딥 러닝의 발전에 힘입어 최근 딥 러닝을 이용하여 센서 융합을 수행하는 기술들이 새롭게 제안되고 있다.
기존의 딥 러닝을 이용한 융합은 구조적으로 크게 early fusion, late fusion의 두 가지 방법이 있으며, 안정적인 학습을 수행할 수 있는 late fusion이 각광받고 있다. Late fusion은 특징 벡터(feature vector) 형태로 존재하는 입력 신호, 혹은 특징량들을 새로운 융합 풀리 커넥티드 레이어(fully connected layer) 층을 통해 융합하는 기술이다.
그러나 late fusion 구조는 콘볼루션널 뉴럴 네트워크(convolutional neural network)에서 생성되는 특징맵(feature map)의 정보를 활용하지 못하며, 오직 특정 단계 이후에 생성된 특징량만을 활용한다. 즉, 한정된 특징량만을 융합에 활용함으로써 센서들의 모든 정보를 융합에 이용하지 못한다는 한계점이 있다.
또한 기존의 딥 러닝 기반 융합 기술들은 융합에 적합하게 처리되지 않은 특징량을 이용하기 때문에 융합을 수행하더라도 융합을 통한 성능 향상이 미미하다. 따라서 기존의 기법들은 정보량의 손실이 많으며, 융합의 효율성이 낮다.
(특허문헌)
대한민국 공개특허번호 제10-2016-0096460호(공개일자 2016년 08월 16일)
따라서, 본 발명의 일실시예에서는 딥 러닝기반 센서 융합에 있어서, 각 센서 정보에 특화된 단일 센서 이미지를 학습시키며, 각 단일 센서 구조의 특징맵들을 융합하는 다단계 구조의 융합 스테이지를 통해 융합 특징맵을 생성함으로써 정보량 손실을 줄이고, 융합 효율성을 높일 수 있도록 하는 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법을 제공하고자 한다.
상술한 본 발명의 일실시예에 따른 이종 센서 정보 융합 장치로서, 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성하는 제1 센서 이미지 학습부; 제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성하는 제2 센서 이미지 학습부; 및 다단계로 구성된 복수의 융합 스테이지를 포함하는 융합부를 포함하며, 각 융합 스테이지는 상기 복수의 제1 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제1 특징맵과 상기 복수의 제2 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제2 특징맵을 융합하여 융합 특징맵을 생성하되, 상기 복수의 융합 스테이지 중 적어도 하나의 융합 스테이지는 상기 동일한 레벨에서 생성된 제1 특징맵 및 상기 동일한 레벨에서 생성된 제2 특징맵외에도 직전 레벨의 융합 스테이지에서 생성된 융합 특징맵을 입력받아 해당 융합 스테이지의 융합 특징맵을 생성하는 것을 특징으로 한다.
또한, 상기 제1 센서 이미지 학습부는, 다단계로 구성된 복수의 제1 학습 스테이지로 구성되고, 상기 제2 센서 이미지 학습부는 다단계로 구성된 제2 학습 스테이지로 구성되는 것을 특징으로 한다.
또한, 상기 복수의 제1 학습 스테이지 및 상기 복수의 제2 학습 스테이지의 각각은 컨볼루션 레이어를 포함하고, 상기 각 융합 스테이지는 컨벌루션 레이어를 포함하는 것을 특징으로 한다.
또한, 상기 제1 센서 이미지 학습부는, 최종 단계의 제1 특징맵으로부터 제1 특징 벡터를 산출하고, 상기 제2 센서 이미지 학습부는, 최종 단계의 제2 특징맵으로부터 제2 특징 벡터를 산출하고, 상기 융합부는, 최종 단계의 융합 특징맵으로부터 융합 특징 벡터를 산출하여 상기 융합 특징 벡터를 기초로 상기 제1 이미지 및 상기 제2 이미지내의 타겟 오브젝트를 예측하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 이종 센서 정보 융합 장치로서, 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성하는 제1 센서 이미지 학습부와 제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성하는 제2 센서 이미지 학습부와 다단계로 구성된 복수의 융합 스테이지를 포함하는 융합부를 포함하며, 상기 제1 센서 이미지 학습부 및 상기 제2 센서 이미지 학습부는, 상기 복수의 제1 특징맵과 상기 복수의 제2 특징맵간의 유사도를 기계학습에 반영하는 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 이종 센서 정보 융합 방법으로서, 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성하는 단계와, 제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성하는 단계와, 상기 복수의 제1 특징맵과 상기 복수의 제2 특징맵을 융합하여 융합 특징맵을 생성하는 단계를 포함하되, 상기 융합 특징맵을 생성하는 단계는, 다단계로 구성된 복수의 융합 스테이지의 각 융합 스테이지에서 상기 복수의 제1 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제1 특징맵과 상기 복수의 제2 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제2 특징맵을 융합하여 상기 융합 특징맵을 생성하는 것을 특징으로 한다.
또한, 상기 융합 특징맵을 생성하는 단계는, 상기 복수의 융합 스테이지 중 적어도 하나의 융합 스테이지에서 상기 동일한 레벨에서 생성된 제1 특징맵 및 상기 동일한 레벨에서 생성된 제2 특징맵외에도 직전 레벨의 융합 스테이지에서 생성된 융합 특징맵을 입력받아 해당 융합 스테이지의 융합 특징맵을 생성하는 것을 특징으로 한다.
또한, 상기 방법은, 상기 제1 특징맵으로부터 제1 특징 벡터를 산출하는 단계와, 상기 제2 특징맵으로부터 제2 특징 벡터를 산출하는 단계와, 상기 융합 특징맵으로부터 융합 특징 벡터를 산출하는 단계와, 상기 융합 특징 벡터를 기초로 상기 제1 이미지 및 상기 제2 이미지내의 타겟 오브젝트를 예측하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따르면, 딥 러닝기반 센서 융합에 있어서, 각 센서 정보에 특화된 단일 센서 이미지를 학습시키며, 각 단일 센서 구조의 특징맵들을 융합하는 다단계 구조의 융합 스테이지를 통해 융합 특징맵을 생성함으로써 정보량 손실을 줄이고, 융합 효율성을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 단일 센서 스트림 처리장치에서 단일 센서 스트림을 이용하여 특징맵을 산출하는 동작 개념을 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 딥 러닝을 이용한 이종 센서 정보 융합 장치에서의 센서 스트림 신호 융합 처리 개념을 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 딥 러닝을 이용한 이종 센서 정보 융합 장치에서의 센서 스트림 신호 융합 처리 동작을 도시한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 단일 센서 스트림 처리장치에서 단일 센서 스트림을 이용하여 특징맵을 산출하는 동작 개념을 도시한 것이다.
도 1을 참조하면, 먼저 단일 센서 이미지 처리장치(100)로 타겟 오브젝트(object)에 대한 이미지가 입력될 수 있다. 이러한 단일 센서 이미지 처리장치(100)는 다단계로 구성된 복수의 학습 스테이지(102)를 포함할 수 있다.
단일 센서 이미지 처리장치(100)는 입력된 이미지를 이용하여
Figure pat00001
번째 콘볼루션널 레이어(convolutional layer)를 통해 입력 영상에 존재하는 패턴을 파악하여 특징맵(feature map,
Figure pat00002
)를 생성한다. 이때,
Figure pat00003
는
Figure pat00004
의 구조를 가지고 있으며, 이는
Figure pat00005
가
Figure pat00006
크기에
Figure pat00007
개의 영상으로 구성되어 있음을 의미한다.
또한, 성능 향상을 위해 배치 표준화 레이어(batch normalization layer), ReLU(Rectified Linear Unit) 활성 레이어(activation layer)를 이용하며, 영상의 크기를 줄이기 위해 맥스 풀링 레이어(max pooling layer)를 이용한다. 마지막 특징맵은 최종 학습 스테이지(104)에서 풀리 커넥티드 레이어(fully connected layer)를 이용하여 인코딩(encoding)하여 최종 특징 벡터(feature vector,
Figure pat00008
)를 생성한다. 센서 스트림 처리장치(100)는 출력단계에서 위와 같은 특징 벡터(feature vector)를 이용하여 표적 식별을 위한 각 라벨(label) 별 점수(score)를 생성한다. 소프트맥스 분류기(softmax classifier)는 위와 같이 생성된 점수를 이용하여 최종 예측(prediction)을 수행하며, 크로스 엔트로피 에러 측정(cross-entropy error measure)을 비용함수 산출에 사용한다.
도 2는 본 발명의 일실시예에 따른 딥 러닝을 이용한 이종 센서 정보 융합 장치에서의 센서 스트림 신호 융합 처리 개념을 도시한 것이다.
도 2를 참조하면, 이종 센서 정보 융합 장치(200)는 제1 센서 이미지 학습부(202), 제2 센서 이미지 학습부(204), 융합부(206) 등을 포함할 수 있다.
제1 센서 이미지 학습부(202)와 제2 센서 이미지 학습부(204)는 각각 다단계로 구성된 복수의 학습 스테이지(230, 240)를 가지며, 최종 특징 벡터를 추출하는 최종 학습 스테이지(232, 242)를 포함할 수 있다.
이때, 제1 센서 이미지 학습부(202)와 제2 센서 이미지 학습부(204)는 다단계로 구성된 복수의 학습 스테이지(230, 240)를 통해 생성한 각 센서 정보에 특화된 특징맵을 융합부(206)의 다단계로 구성된 복수의 융합 스테이지(250)에 전달하는 역할을 수행한다. 이때, 특징맵의 수준은, 해당 특징맵의 생성에 사용된 레이어(layer)들에 의해 결정되며, 각 단계를 거치면서 그 수준이 심화될 수 있다. 동등한 수준의 특징맵들을 융합하기 위해, 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서는 서로 동일한 구조를 활용하여 특징맵을 생성하도록 설계되는 것이 바람직하나 이에 한정되는 것은 아니다.
융합부(206)는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)와 마찬가지로 다단계로 구성된 복수의 융합 스테이지(250)를 가질 수 있다. 또한, 복수의 융합 스테이지(250)의 각 단계에서는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)로부터 생성된 특징맵을 입력 받아, 동일 수준에 대한 특징맵들에서 관찰할 수 있는 새로운 패턴이 담긴 융합 특징맵을 생성한다. 생성된 융합 특징맵들은 정보를 상위 단계로 전파하기 위해, 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)로부터 생성된 특징맵과 함께 다음 단계의 입력으로 사용될 수 있다.
이하에서는 융합부(206)에서 융합 특징맵을 생성하는 동작을 보다 상세히 설명하기로 한다.
다단계로 구성된 복수의 융합 스테이지(250)의 각 단계에서 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)로부터 출력된 동일한 수준의 특징맵들은 하나의 통합된 특징맵(feature map,
Figure pat00009
)로 재구성되어 다단계로 구성된 복수의 융합 스테이지(250)의 콘볼루션널 레이어(convolutional layer)의 입력으로 활용한다. 통합된 특징맵(feature map
Figure pat00010
)은 아래의 [수학식 1]과 같이 정의할 수 있다.
Figure pat00011
위 [수학식 1]에서
Figure pat00012
,
Figure pat00013
은 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의
Figure pat00014
번째 단계에서 생성된 특징맵으로서 동일한 특징맵 크기, 개수를 가지고 있다.
Figure pat00015
은 다단계로 구성된 복수의 융합 스테이지(250)의
Figure pat00016
번째 단계에서 생성된 융합 특징맵으로서,
Figure pat00017
,
Figure pat00018
과 크기와 개수가 동일하다. 또한 [수학식 1]에서
Figure pat00019
는 다단계로 구성된 복수의 융합 스테이지(250) 다단계 학습 스테이지의 개수이고, [수학식 1]에서 대괄호에 포함된 특징맵들은 특징맵 개수의 차원으로 쌓은 형태로 통합된다. 즉 통합된 특징맵(feature map
Figure pat00020
)은 사용된 특징맵들과 동일한 크기를 가지고 있으며, 특징맵의 개수가 증가한 형태를 가지고 있다.
다단계로 구성된 복수의 융합 스테이지(250)의 1번째 단계는 활용할 수 있는 융합 특징맵이 존재하지 않기 때문에, 오직 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)로부터 전달받은 특징맵(feature map
Figure pat00021
,
Figure pat00022
)만을 콘볼루션널 레이어의 입력으로 활용하여, 융합 특징맵(feature map,
Figure pat00023
)을 생성한다.
다단계로 구성된 복수의 융합 스테이지(250)의 1번째 단계를 제외한 모든
Figure pat00024
번째 단계에서는 이전 단계에서 생성된 융합 정보도 활용하기 위해 이전 단계에서 생성된 융합 특징맵(
Figure pat00025
)을 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 특징맵인
Figure pat00026
,
Figure pat00027
과 함께
Figure pat00028
번째 단계의 입력으로 사용하여 새로운 융합 특징맵(feature map
Figure pat00029
)을 출력한다.
이때,
Figure pat00030
을
Figure pat00031
,
Figure pat00032
과 동등한 수준의 특징맵으로 구성하기 위해, 다단계로 구성된 복수의 융합 스테이지(250)의
Figure pat00033
번째 단계는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의
Figure pat00034
번째 단계와 동일한 구조를 가지는 것이 바람직하나 이에 한정되는 것은 아니다. 이에 따라 다단계로 구성된 복수의 융합 스테이지(250)은 총
Figure pat00035
개의 단계로 구성될 수 있다.
본 발명의 일실시예에 따른 다단계로 구성된 복수의 융합 스테이지(250)은 최종적으로 특징 벡터
Figure pat00036
을 생성한다. 생성된
Figure pat00037
은 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 생성된 특징 벡터
Figure pat00038
,
Figure pat00039
와 함께
Figure pat00040
의 통합된 특징 벡터(feature vector)로 재구성되어 최종 표적 식별을 수행하기 위해 활용된다.
본 발명의 학습은 두 단계로 나누어 진행된다. 먼저 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 학습이 수행되며, 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서의 학습이 완료된 후 다단계로 구성된 복수의 융합 스테이지(250)에서 학습이 수행된다.
제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 경우, 표적 식별 실시예에 따른 기존의 학습식은 아래[수학식 2]와 같다.
Figure pat00041
위 [수학식 2]에서
Figure pat00042
은 제
Figure pat00043
번째 센서 이미지 학습부(202, 204)의 모든 필터 가중치(filter weight)이며,
Figure pat00044
은 학습 영상의 ground-truth label이며,
Figure pat00045
은
Figure pat00046
번째 스트림에서 출력한 예측(prediction)이다. 위 [수학식 2]에서 첫 번째 부분식은 크로스 엔트로피(cross entropy)를 이용한 예측 에러(error) 값이며, 두 번째 부분식은 오버피팅(overfitting)을 방지하기 위한 L2 정규화(regularization)이다.
기존의 센서에서 처리되는 이미지는 [수학식 2]를 통해 학습을 수행한다. 그러나 [수학식 2]는 센서간 학습 결과를 공유하지 않으며, 이 경우 단일 센서에서 학습된 결과에서 서로 유사한 정보를 학습하는 경우가 발생할 수 있다. 각 단일 센서가 서로 유사한 패턴을 통해 식별 작업을 수행한다면, 차후 융합을 통한 성능 향상을 기대하기 어렵다. 따라서 상호보완적인 융합을 위해선, 융합에 활용할 단일 센서 특징맵들이 서로 상이한 특성을 보유해야 하는 것이 바람직하다.
본 발명의 차이점 정규화(dissimilarity regularization)은 각 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 학습된 특징맵간의 유사도를 기반으로 하여 서로 다른 특징맵을 학습하도록 유도하기 위해 제안된다. 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 수행된 학습에 차이점 정규화를 적용하기 위해, 유사도 계산 지표중 하나인 노멀라이즈드 크로스 코릴레이션(Normalized Cross Correlation :NCC)를 채용한다. 크기가 동일한 그레이 스케일(gray-scale)의 두 영상
Figure pat00047
,
Figure pat00048
에 대한
Figure pat00049
는 아래의 [수학식 3]을 이용하여 계산된다.
Figure pat00050
위 [수학식 3]에서
Figure pat00051
,
Figure pat00052
는 각 영상의 픽셀 강도(pixel intensity)의 평균값이며,
Figure pat00053
,
Figure pat00054
는 각 영상의 픽셀 강도의 표준편차(standard deviation)이며,
Figure pat00055
는 영상의 총 픽셀 수이다.
Figure pat00056
값은 -1에서 1사이에 존재하게 된다. 각 영상이 동일할 경우,
Figure pat00057
는 1의 값이 되며, 서로 반전된 영상일 경우 -1의 값이 된다.
차이점 정규화는 수준이 동등한 특징맵들 간의 유사도의 총 합에 해당하며 아래의 [수학식 4]를 통해 계산된다.
Figure pat00058
위 [수학식 4]에서
Figure pat00059
는 제
Figure pat00060
번째 센서 이미지 학습부(202, 204) 생성한 모든 특징맵들의 집합을 나타내며,
Figure pat00061
로 구성되어 있고,
Figure pat00062
는 제
Figure pat00063
번째 센서 이미지 학습부(202, 204)의
Figure pat00064
번째 단계에서 생성된 특징맵을 나타낸다. 위 [수학식 4]에서
Figure pat00065
은 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 콘볼루션널 레이어 개수이며,
Figure pat00066
은
Figure pat00067
번째 단계에서 생성되는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 생성된 특징맵의 개수이다.
차이점 정규화는 그 값이 높을수록 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 서로 유사한 패턴을 활용하고 있으며, 낮을수록 서로 상이한 패턴을 활용하고 있음을 나타내는 지표이다.
본 발명에서 차이점 정규화를 표적 식별을 위한 학습식의 실시예에 추가한 새로운 학습식은 아래의 [수학식 5], [수학식 6]에서와 같이 정의할 수 있다.
Figure pat00068
Figure pat00069
상기 두 수식 [수학식 5], [수학식 6]은 차이점 정규화가 추가된 학습식이다. 위 [수학식 5]은 제1 센서 이미지 학습부(202)의 학습식이며, [수학식 6]은 제2 센서 이미지 학습부(204)의 학습식이다. [수학식 5]의
Figure pat00070
,
Figure pat00071
은 각각 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 필터 가중치와 예측이며, [수학식 6]의
Figure pat00072
,
Figure pat00073
은 각각 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 필터 가중치와 예측이다. [수학식 5], [수학식 6]의
Figure pat00074
는 전체 비용함수에서 차이점 정규화의 영향력을 조절하는 변수이다.
차이점 정규화는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 각 비용함수에 추가되어 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)가 서로간의 유사한 패턴을 학습하지 않도록 유도한다. [수학식 5], [수학식 6]을 통해 각 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)는 상호간의 특징맵간의 유사도를 각자의 비용 함수에 반영하게 되며, 이에 따라 분별력이 우수하면서 동시에 이질적인 특징량을 학습한다. 각 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서의 학습은 일제히 수행되며, 갱신된 특징맵을 이용하여
Figure pat00075
를 계산하여 다음 학습에 활용한다. 이러한 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서의 학습은 다단계로 구성된 복수의 융합 스테이지(250)의 변수에는 영향을 미치지 않으며, 오직 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서의 학습에만 사용된다.
다단계로 구성된 복수의 융합 스테이지(250)은 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)에서 전달된 특징맵들을 이용하여 학습을 수행한다. 전달 받은 특징맵들은 다단계로 구성된 복수의 융합 스테이지(250)에 순차적으로 입력으로 활용되며, 위 [수학식 1]에 따라 융합 특징맵(
Figure pat00076
)으로 재구축되어 다음단계의 입력으로 활용된다. 다단계로 구성된 복수의 융합 스테이지(250)에서의 학습식은 아래와 [수학식 7]과 같다.
Figure pat00077
위 [수학식 7]에서
Figure pat00078
, {{itbold{{hat{y}}}}_n_M은 다단계로 구성된 복수의 융합 스테이지(250)에서의 필터 가중치, 예측에 해당한다. 이러한 [수학식 7]을 통해 다단계로 구성된 복수의 융합 스테이지(250)는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)로부터 제공 받은 동일 수준의 특징맵들을 융합하여 새로운 패턴이 반영된 융합 특징맵을 생성하고, 최종적으로 융합 특징 벡터를 생성한다. 다단계로 구성된 복수의 융합 스테이지(250)는 제1 센서 이미지 학습부(202) 및 제2 센서 이미지 학습부(204)의 모든 정보와 생성된 융합 정보를 활용하여 최종 융합 특징 벡터를 생성하는데 활용된다.
도 3은 본 발명의 일실시예에 따른 딥 러닝을 이용한 이종 센서 정보 융합 장치에서의 센서 스트림 신호 융합 처리 동작을 도시한 것이다. 이하, 도 1 내지 도 3을 참조하여 본 발명의 일실시예를 보다 상세히 설명하기로 한다.
먼저, 이종 센서 정보 융합 장치(200)는 복수의 단일 센서 스트림으로 생성되는 각각의 이종 센서 정보를 입력받는다(S300).
이어, 이종 센서 정보 융합 장치(200)는 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성한다(S302).
또한, 이종 센서 정보 융합 장치(200)는 제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성한다(S304).
이어, 이종 센서 정보 융합 장치(200)는 다단계로 구성된 복수의 융합 스테이지(250)를 이용하여 제1 특징맵과 제2 특징맵을 융합한 융합 특징맵을 생성한다(S306).
이때, 이종 센서 정보 융합 장치(200)는 융합 특징맵을 생성함에 있어서, 다단계로 구성된 복수의 융합 스테이지(250)의 각 융합 스테이지에서 복수의 제1 특징맵 중 각 융합 스테이지와 동일한 레벨에서 생성된 제1 특징맵과 복수의 제2 특징맵 중 각 융합 스테이지와 동일한 레벨에서 생성된 제2 특징맵을 융합하여 융합 특징맵을 생성할 수 있다.
또한, 이종 센서 정보 융합 장치(200)는 복수의 융합 스테이지 중 적어도 하나의 융합 스테이지는 동일한 레벨에서 생성된 제1 특징맵 및 동일한 레벨에서 생성된 제2 특징맵외에도 직전 레벨의 융합 스테이지에서 생성된 융합 특징맵을 입력받아 해당 융합 스테이지의 융합 특징맵을 생성할 수 있다.
이어, 이종 센서 정보 융합 장치(200)는 제1 센서 이미지 학습부(202)의 다단계 학습 스테이지의 최종 단계(232)에서 산출되는 제1 특징맵으로부터 제1 특징 벡터를 산출하고, 제2 센서 이미지 학습부(204)의 다단계 학습 스테이지의 최종 단계(242)에서 산출되는 제1 특징맵으로부터 제2 특징 벡터를 산출한다.
이어, 이종 센서 정보 융합 장치(200)는 다단계로 구성된 복수의 융합 스테이지의 최종 단계(252)에서 산출된 융합 특징맵으로부터 융합 특징 벡터를 산출한다(S308).
이어, 이종 센서 정보 융합 장치(200)는 융합 특징 벡터를 기반으로 제1 센서 이미지 학습부(202)의 제1 이미지 및 제2 센서 이미지 학습부(204)의 제2 이미지내의 타겟 오브젝트를 예측한다(S310).
상술한 바와 같이, 본 발명의 일실시예에 따르면, 딥 러닝기반 센서 융합에 있어서, 각 센서 정보에 특화된 단일 센서 이미지를 학습시키며, 각 단일 센서 구조의 특징맵들을 융합하는 다단계 구조의 융합 스테이지를 통해 융합 특징맵을 생성함으로써 정보량 손실을 줄이고, 융합 효율성을 높일 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
200 : 이종 센서 정보 융합장치 202 : 제1 센서 이미지 학습부
204 : 제2 센서 이미지 학습부 206 : 융합부

Claims (8)

  1. 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성하는 제1 센서 이미지 학습부;
    제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성하는 제2 센서 이미지 학습부; 및
    다단계로 구성된 복수의 융합 스테이지를 포함하는 융합부를 포함하며,
    각 융합 스테이지는 상기 복수의 제1 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제1 특징맵과 상기 복수의 제2 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제2 특징맵을 융합하여 융합 특징맵을 생성하되,
    상기 복수의 융합 스테이지 중 적어도 하나의 융합 스테이지는 상기 동일한 레벨에서 생성된 제1 특징맵 및 상기 동일한 레벨에서 생성된 제2 특징맵외에도 직전 레벨의 융합 스테이지에서 생성된 융합 특징맵을 입력받아 해당 융합 스테이지의 융합 특징맵을 생성하는
    이종 센서 정보 융합 장치.
  2. 제 1 항에 있어서,
    상기 제1 센서 이미지 학습부는,
    다단계로 구성된 복수의 제1 학습 스테이지로 구성되고,
    상기 제2 센서 이미지 학습부는 다단계로 구성된 제2 학습 스테이지로 구성되는
    이종 센서 정보 융합 장치.
  3. 제 2 항에 있어서,
    상기 복수의 제1 학습 스테이지 및 상기 복수의 제2 학습 스테이지의 각각은 컨볼루션 레이어를 포함하고, 상기 각 융합 스테이지는 컨벌루션 레이어를 포함하는
    이종 센서 정보 융합 장치.
  4. 제 1 항에 있어서,
    상기 제1 센서 이미지 학습부는, 최종 단계의 제1 특징맵으로부터 제1 특징 벡터를 산출하고,
    상기 제2 센서 이미지 학습부는, 최종 단계의 제2 특징맵으로부터 제2 특징 벡터를 산출하고,
    상기 융합부는, 최종 단계의 융합 특징맵으로부터 융합 특징 벡터를 산출하여 상기 융합 특징 벡터를 기초로 상기 제1 이미지 및 상기 제2 이미지내의 타겟 오브젝트를 예측하는
    이종 센서 정보 융합 장치.
  5. 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성하는 제1 센서 이미지 학습부;
    제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성하는 제2 센서 이미지 학습부; 및
    다단계로 구성된 복수의 융합 스테이지를 포함하는 융합부를 포함하며,
    상기 제1 센서 이미지 학습부 및 상기 제2 센서 이미지 학습부는,
    상기 복수의 제1 특징맵과 상기 복수의 제2 특징맵간의 유사도를 기계학습에 반영하는
    이종 센서 정보 융합 장치.
  6. 제1 센서로부터 입력되는 제1 이미지를 단계적으로 기계학습하여 복수의 제1 특징맵을 생성하는 단계와,
    제2 센서로부터 입력되는 제2 이미지를 단계적으로 기계학습하여 복수의 제2 특징맵을 생성하는 단계와,
    상기 복수의 제1 특징맵과 상기 복수의 제2 특징맵을 융합하여 융합 특징맵을 생성하는 단계를 포함하되,
    상기 융합 특징맵을 생성하는 단계는,
    다단계로 구성된 복수의 융합 스테이지의 각 융합 스테이지에서 상기 복수의 제1 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제1 특징맵과 상기 복수의 제2 특징맵 중 상기 각 융합 스테이지와 동일한 레벨에서 생성된 제2 특징맵을 융합하여 상기 융합 특징맵을 생성하는
    이종 센서 정보 융합 방법.
  7. 제 6 항에 있어서,
    상기 융합 특징맵을 생성하는 단계는,
    상기 복수의 융합 스테이지 중 적어도 하나의 융합 스테이지에서 상기 동일한 레벨에서 생성된 제1 특징맵 및 상기 동일한 레벨에서 생성된 제2 특징맵외에도 직전 레벨의 융합 스테이지에서 생성된 융합 특징맵을 입력받아 해당 융합 스테이지의 융합 특징맵을 생성하는
    이종 센서 정보 융합 방법.
  8. 제 6 항에 있어서,
    상기 방법은,
    상기 제1 특징맵으로부터 제1 특징 벡터를 산출하는 단계와,
    상기 제2 특징맵으로부터 제2 특징 벡터를 산출하는 단계와,
    상기 융합 특징맵으로부터 융합 특징 벡터를 산출하는 단계와,
    상기 융합 특징 벡터를 기초로 상기 제1 이미지 및 상기 제2 이미지내의 타겟 오브젝트를 예측하는 단계를 더 포함하는
    이종 센서 정보 융합 방법.



KR1020170143681A 2017-10-31 2017-10-31 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법 KR102072757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143681A KR102072757B1 (ko) 2017-10-31 2017-10-31 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143681A KR102072757B1 (ko) 2017-10-31 2017-10-31 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190048597A true KR20190048597A (ko) 2019-05-09
KR102072757B1 KR102072757B1 (ko) 2020-02-03

Family

ID=66546100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143681A KR102072757B1 (ko) 2017-10-31 2017-10-31 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102072757B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200180646A1 (en) * 2018-12-05 2020-06-11 Hyundai Motor Company Sensor fusion target prediction device and method for vehicles and vehicle including the device
KR20220021721A (ko) 2020-08-14 2022-02-22 김진은 거푸집용 세파타이 고정장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140132076A (ko) * 2013-05-07 2014-11-17 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
KR20160096460A (ko) 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR20160144467A (ko) * 2014-04-11 2016-12-16 구글 인코포레이티드 컨볼루션 신경망들의 트레이닝을 병렬화

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140132076A (ko) * 2013-05-07 2014-11-17 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
KR20160144467A (ko) * 2014-04-11 2016-12-16 구글 인코포레이티드 컨볼루션 신경망들의 트레이닝을 병렬화
KR20160096460A (ko) 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
(특허문헌)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200180646A1 (en) * 2018-12-05 2020-06-11 Hyundai Motor Company Sensor fusion target prediction device and method for vehicles and vehicle including the device
US11748593B2 (en) * 2018-12-05 2023-09-05 Hyundai Motor Company Sensor fusion target prediction device and method for vehicles and vehicle including the device
KR20220021721A (ko) 2020-08-14 2022-02-22 김진은 거푸집용 세파타이 고정장치

Also Published As

Publication number Publication date
KR102072757B1 (ko) 2020-02-03

Similar Documents

Publication Publication Date Title
Ghiasi et al. Nas-fpn: Learning scalable feature pyramid architecture for object detection
CN109840531B (zh) 训练多标签分类模型的方法和装置
EP3427194B1 (en) Recurrent networks with motion-based attention for video understanding
US10275719B2 (en) Hyper-parameter selection for deep convolutional networks
CN110782015A (zh) 神经网络的网络结构优化器的训练方法、装置及存储介质
CN112445823A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN111507378A (zh) 训练图像处理模型的方法和装置
JP2019032808A (ja) 機械学習方法および装置
KR20180044295A (ko) 트레이닝된 머신 학습 모델의 성능을 개선시키는 방법
CN108364064A (zh) 操作神经网络的方法、对应网络、装置、以及计算机程序产品
Xia et al. Fully dynamic inference with deep neural networks
US11200648B2 (en) Method and apparatus for enhancing illumination intensity of image
WO2022193497A1 (en) Method and system for graph-based panoptic segmentation
CN110222718B (zh) 图像处理的方法及装置
CN111742333A (zh) 执行深度神经网络学习的方法及其装置
US10853738B1 (en) Inference circuit for improving online learning
CN115485741A (zh) 用于图像分割的神经网络模型
CN114255361A (zh) 神经网络模型的训练方法、图像处理方法及装置
CN115619743A (zh) Oled新型显示器件表面缺陷检测模型的构建方法及其应用
CN112215332A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN110795618B (zh) 内容推荐方法、装置、设备及计算机可读存储介质
CN111931904A (zh) 神经网络的构建方法和装置
CN112446888A (zh) 图像分割模型的处理方法和处理装置
CN114821096A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
KR20190048597A (ko) 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant