KR102427884B1 - 객체 검출 모델 학습 장치 및 방법 - Google Patents

객체 검출 모델 학습 장치 및 방법 Download PDF

Info

Publication number
KR102427884B1
KR102427884B1 KR1020190174201A KR20190174201A KR102427884B1 KR 102427884 B1 KR102427884 B1 KR 102427884B1 KR 1020190174201 A KR1020190174201 A KR 1020190174201A KR 20190174201 A KR20190174201 A KR 20190174201A KR 102427884 B1 KR102427884 B1 KR 102427884B1
Authority
KR
South Korea
Prior art keywords
object detection
network
image
feature
feature map
Prior art date
Application number
KR1020190174201A
Other languages
English (en)
Other versions
KR20210081852A (ko
Inventor
김성호
류준환
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020190174201A priority Critical patent/KR102427884B1/ko
Publication of KR20210081852A publication Critical patent/KR20210081852A/ko
Application granted granted Critical
Publication of KR102427884B1 publication Critical patent/KR102427884B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

객체 검출 모델 학습 장치 및 방법이 개시된다. 일 실시예에 따른 객체 검출 모델 학습 장치는 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득하는 이미지 획득부 및 상기 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 상기 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성하고, 상기 융합 정보에 기초하여 상기 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델을 학습시키는 모델 학습부를 포함한다.

Description

객체 검출 모델 학습 장치 및 방법{APPARATUS AND METHOD FOR TRAINING OBJECT DETECTION MODEL}
개시되는 실시예들은 객체 검출 모델을 학습시키는 기술에 관한 것이다.
빅데이터 처리 기술의 발전과 함께 객체 검출 기술은 매우 다양한 분야에서 중요하게 다루어지고 있다. 최근에는 전통적인 머신 러닝(machine learning) 기법을 이용한 객체 검출이 아닌, 딥 러닝(deep learning) 기법을 이용한 객체 검출이 주로 연구되고 있다.
그런데 객체 검출이 보안 및 교통 분야에서 주로 활용됨에 따라, 주간 뿐만 아니라 야간에도 정확하게 객체를 검출하는 것이 중요한 목표가 되었고, 이를 위해 전하결합소자(Charge-Coupled Device, CCD) 카메라 및 적외선(infrared, IR) 카메라로부터 얻은 데이터를 융합하여 사용하기 위한 다양한 방법론이 제시되었다.
그러나 기 제시된 방법론들은 네트워크 구조 일부에서 오로지 연접(concatenation)에 기반한 데이터 융합을 시도하여, CCD 카메라 데이터 및 IR 카메라 데이터를 제대로 융합하지 못하는 문제가 존재한다.
대한민국 공개특허공보 제10-2019-0119261호 (2019.10.22. 공개)
개시되는 실시예들은 객체를 검출하는 모델을 효과적으로 학습시키기 위한 것이다.
일 실시예에 따른 객체 검출 모델 학습 장치는 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득하는 이미지 획득부 및 상기 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 상기 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성하고, 상기 융합 정보에 기초하여 상기 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델을 학습시키는 모델 학습부를 포함한다.
상기 객체 검출 모델은, 복수의 스케일을 갖는 복수의 특징 추출 레이어를 포함하고, 상기 제1 이미지가 입력되는 제1 네트워크 및 상기 제1 네트워크와 동일한 구조로 구성되며, 상기 제2 이미지가 입력되는 제2 네트워크를 포함할 수 있고, 상기 모델 학습부는, 상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나와 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나를 임의로 매칭하여 매칭된 각 특징 지도 내 일부 정보를 교환할 수 있다.
상기 객체 검출 모델은, 상기 융합 정보에 기초하여 상기 하나 이상의 객체에 대응되는 하나 이상의 객체 검출 박스를 생성하고 상기 하나 이상의 객체 검출 박스 각각에 대한 신뢰도 점수를 산출하는 검출부를 더 포함할 수 있다.
상기 제1 네트워크 및 상기 제2 네트워크는 각각, 복수의 연접 레이어(concatenation layer) 및 하나 이상의 다운스케일 레이어(down-scale layer)를 더 포함할 수 있고, 상기 복수의 특징 추출 레이어는, 스케일 별로 연속적으로 배치될 수 있고, 상기 연접 레이어는, 상기 스케일 별로 상기 복수의 특징 추출 레이어의 후단에 배치될 수 있고, 상기 다운스케일 레이어는, 상기 복수의 연접 레이어 중 최소 스케일의 연접 레이어를 제외한 나머지 연접 레이어 각각의 후단에 배치될 수 있다.
상기 검출부는, 상기 제1 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도 및 상기 제2 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도를 스케일 별로 연접한 결과 각각에 기초하여 상기 하나 이상의 객체 검출 박스를 생성하고, 상기 하나 이상의 객체 검출 박스 및 기 설정된 정답(ground-truth) 박스에 기초하여 상기 신뢰도 점수를 산출할 수 있다.
상기 검출부는, 상기 하나 이상의 객체 검출 박스 각각에 대한 상기 신뢰도 점수에 기초한 비최대값 억제(Non-Maximum Suppression, NMS) 알고리즘을 이용하여 상기 하나 이상의 객체 검출 박스 중 중복되는 객체 검출 박스를 제거할 수 있다.
상기 모델 학습부는, 상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도 및 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 상기 제1 특징 지도와 동일한 스케일을 가지는 제2 특징 지도를 매칭할 수 있다.
상기 모델 학습부는, 상기 제1 특징 지도 내 픽셀 중 적어도 일부 픽셀의 원소 값과 상기 제2 특징 지도 내 픽셀 중 상기 적어도 일부 픽셀과 대응되는 위치의 픽셀의 원소 값을 교환할 수 있다.
상기 모델 학습부는, 상기 적어도 일부 픽셀 및 상기 대응되는 위치의 픽셀이 결정된 경우, 기 설정된 확률에 기초하여 상기 적어도 일부 픽셀의 원소 값과 상기 대응되는 위치의 픽셀의 원소 값을 교환할 수 있다.
일 실시예에 따른 객체 검출 모델 학습 방법은, 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득하는 단계, 상기 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 상기 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성하는 단계 및 상기 융합 정보에 기초하여 상기 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델을 학습시키는 단계를 포함한다.
상기 객체 검출 모델은, 복수의 스케일을 갖는 복수의 특징 추출 레이어를 포함하는 제1 네트워크 및 상기 제1 네트워크와 동일한 구조로 구성되는 제2 네트워크를 포함할 수 있고, 상기 융합 정보를 생성하는 단계는, 상기 제1 네트워크에 상기 제1 이미지를 입력하는 단계, 상기 제2 네트워크에 상기 제2 이미지를 입력하는 단계 및 상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나와 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나를 임의로 매칭하여 매칭된 각 특징 지도 내 일부 정보를 교환하는 단계를 포함할 수 있다.
상기 객체 검출 모델은, 상기 융합 정보에 기초하여 상기 하나 이상의 객체에 대응되는 하나 이상의 객체 검출 박스를 생성하고 상기 하나 이상의 객체 검출 박스 각각에 대한 신뢰도 점수를 산출하는 검출부를 더 포함할 수 있다.
상기 제1 네트워크 및 상기 제2 네트워크는, 복수의 연접 레이어 및 하나 이상의 다운스케일 레이어를 더 포함할 수 있고, 상기 복수의 특징 추출 레이어는, 스케일 별로 연속적으로 배치될 수 있고, 상기 연접 레이어는, 상기 스케일 별로 상기 복수의 특징 추출 레이어의 후단에 배치될 수 있고, 상기 다운스케일 레이어는, 상기 복수의 연접 레이어 중 최소 스케일의 연접 레이어를 제외한 나머지 연접 레이어 각각의 후단에 배치될 수 있다.
상기 검출부는, 상기 제1 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도 및 상기 제2 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도를 스케일 별로 연접한 결과 각각에 기초하여 상기 하나 이상의 객체 검출 박스를 생성하고, 상기 하나 이상의 객체 검출 박스 및 기 설정된 정답 박스에 기초하여 상기 신뢰도 점수를 산출할 수 있다.
상기 검출부는, 상기 하나 이상의 객체 검출 박스 각각에 대한 상기 신뢰도 점수에 기초한 비최대값 억제 알고리즘을 이용하여 상기 하나 이상의 객체 검출 박스 중 중복되는 객체 검출 박스를 제거할 수 있다.
상기 교환하는 단계는, 상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도 및 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 상기 제1 특징 지도와 동일한 스케일을 가지는 제2 특징 지도를 매칭할 수 있다.
상기 교환하는 단계는, 상기 제1 특징 지도 내 픽셀 중 적어도 일부 픽셀의 원소 값과 상기 제2 특징 지도 내 픽셀 중 상기 적어도 일부 픽셀과 대응되는 위치의 픽셀의 원소 값을 교환함으로써 수행될 수 있다.
상기 교환하는 단계는, 상기 적어도 일부 픽셀 및 상기 대응되는 위치의 픽셀이 결정된 경우, 기 설정된 확률에 기초하여 수행될 수 있다.
개시되는 실시예들에 따르면, 상이한 이미지 센서를 이용하여 생성된 두 이미지의 정보를 융합함으로써, 객체 검출 모델의 성능을 향상시킬 수 있다.
또한 개시되는 실시예들에 따르면, 하이퍼 파라미터(hyper-parameter)를 추가하지 않고 이미지 정보를 융합함으로써, 객체 검출 시 추가적인 메모리나 연산을 필요로 하지 않을 수 있다.
도 1은 일 실시예에 따른 객체 검출 모델 학습 장치를 설명하기 위한 블록도
도 2는 일 실시예에 따른 객체 검출 모델 실행 장치를 설명하기 위한 블록도
도 3은 일 실시예에 따른 객체 검출 모델을 설명하기 위한 블록도
도 4는 일 실시예에 따른 객체 검출 모델을 상세히 설명하기 위한 도면
도 5는 일 실시예에 따른 객체 검출 모델 학습 방법을 설명하기 위한 흐름도
도 6은 일 실시예에 따른 융합 정보를 생성하는 방법을 설명하기 위한 흐름도
도 7은 일 실시예에 따른 객체 검출 모델 실행 방법을 설명하기 위한 흐름도
도 8은 종래 객체 검출 결과와 일 실시예에 따른 객체 검출 결과를 비교하기 위한 도면
도 9은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하에서, '객체 검출'은 이미지 내에 포함된 객체 주변을 둘러싸는 박스를 이미지 상에 표시함으로써, 이미지 내에 포함된 객체를 검출하는 컴퓨터 비전(computer vision) 기술을 의미한다. 이때, '객체'는 좁게는 이미지 내에 포함된 사람을 의미할 수 있고, 넓게는 이미지 내에 포함된 자동차, 사람, 동물, 식물 등을 의미할 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 1은 일 실시예에 따른 객체 검출 모델 학습 장치(100)를 설명하기 위한 블록도이다. 도 1을 참조하면, 일 실시예에 따른 객체 검출 모델 학습 장치(100)는 이미지 획득부(110) 및 모델 학습부(120)를 포함한다.
이미지 획득부(110)는 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득한다.
이하에서, '이미지 센서'는 특정 공간을 직접 촬영하는 수단 또는 기 촬영된 이미지를 특정한 형식으로 변환하는 수단일 수 있다.
예를 들어, '이미지 센서'는 전하결합소자(Charge-Coupled Device, CCD) 카메라, 적외선(infrared, IR) 카메라, 회색조(gray scale) 이미지 변환기 또는 방사 분석 온도(radiometric temperature) 이미지 변환기 중 어느 하나일 수 있으나, 반드시 이에 한정되는 것은 아니다.
일 실시예에 따르면, 제1 이미지가 CCD 카메라에 의해 생성된 이미지인 경우, 제2 이미지는 IR 카메라에 의해 생성된 이미지일 수 있다.
다른 실시예에 따르면, 제1 이미지가 회색조 이미지인 경우, 제2 이미지는 방사 분석 온도 이미지일 수 있다.
모델 학습부(120)는 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성하고, 상기 융합 정보에 기초하여 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델(300)을 학습시킨다.
일 실시예에 따르면, 객체 검출 모델(300)이 제1 네트워크(310) 및 제2 네트워크(320)를 포함할 때, 모델 학습부(120)는 제1 네트워크(310)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나와 제2 네트워크(320)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나를 임의로 매칭하여 매칭된 각 특징 지도 내 일부 정보를 교환할 수 있다.
일 실시예에 따르면, 모델 학습부(120)는 제1 네트워크(310)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도 및 제2 네트워크(320)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도와 동일한 스케일을 가지는 제2 특징 지도를 매칭할 수 있다.
이어서, 모델 학습부(120)는 제1 특징 지도 내 픽셀 중 적어도 일부 픽셀의 원소 값과, 제2 특징 지도 내 픽셀 중 위 적어도 일부 픽셀과 대응되는 위치의 픽셀의 원소 값을 교환함으로써 융합을 수행할 수 있다.
이때, 모델 학습부(120)는 원소 값이 교환될 제1 특징 지도 내 적어도 일부의 픽셀과 제2 특징 지도 내 대응되는 위치의 픽셀이 결정된 경우, 기 설정된 확률에 기초하여 제1 특징 지도 내 적어도 일부 픽셀의 원소 값과 제2 특징 지도 내 대응되는 위치의 픽셀의 원소 값을 교환할 수 있다.
더욱 상세하게, 모델 학습부(120)는 교환을 수행할 한 쌍의 픽셀이 결정된 경우, 기 설정된 확률 조건을 만족하는 경우에 한하여 최종적으로 한 쌍의 픽셀 내 원소 값 간의 교환을 수행할 수 있다.
예를 들어, 모델 학습부(120)는 교환이 수행될 확률을 30퍼센트 이상 50퍼센트 이하의 범위에서 설정할 수 있다.
일 실시예에 따르면, 모델 학습부(120)는 아래의 수학식 1에 의하여 한 쌍의 픽셀 내 원소 값 간의 교환을 수행할 수 있다.
[수학식 1]
Figure 112019133640517-pat00001
Figure 112019133640517-pat00002
Figure 112019133640517-pat00003
이때, s는 제1 네트워크(310)의 스케일을 지정하는 변수, s'는 s에 대응되는 제2 네트워크(320)의 스케일을 지정하는 변수, x는 특징 지도 상의 픽셀의 가로 방향 좌표를 나타내는 변수, y는 특징 지도 상의 픽셀의 세로 방향 좌표를 나타내는 변수, i는 s에 해당되는 스케일 내 1씩 순차적으로 증가하는 특징 지도의 인덱스 값, i'는 s'에 해당되는 스케일 내 특징 지도의 랜덤 인덱스 값,
Figure 112019133640517-pat00004
는 스케일 s에서의 i번째 특징 지도의 x, y 위치에 존재하는 픽셀의 원소 값,
Figure 112019133640517-pat00005
은 스케일 s'에서의 i'번째 특징 지도의 x, y 위치에 존재하는 픽셀의 원소 값 및
Figure 112019133640517-pat00006
은 값 교환을 위한 임시 변수를 나타낸다.
예를 들어, 도 4를 참조하면, s는 1, 2, 3 중 어느 하나의 값을 가지며, 이는 복수의 컨볼루션 레이어(convolution layer)들의 스케일에 따른 세 단계의 분류 중 어느 한 분류를 지정하는 값이 된다. 또한, i는 한 스케일 내 원소 값의 교환이 일어날 수 있는 3개의 컨볼루션 레이어의 인덱스 값이 각각 1, 2, 3이라 할 때, 1부터 1씩 증가하여 3까지의 값을 가지는 변수이며, i'는 1부터 3 사이의 임의의 정수 값을 갖는 변수이다.
도 2는 일 실시예에 따른 객체 검출 모델 실행 장치(200)를 설명하기 위한 블록도이다. 도 2를 참조하면, 일 실시예에 따른 객체 검출 모델 실행 장치(200)는 이미지 획득부(210) 및 모델 실행부(220)를 포함한다.
이미지 획득부(210)는 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득한다.
모델 실행부(220)는 객체 검출 모델 학습 장치(100)에 의해 기 학습된 객체 검출 모델(300)을 이용하여, 제1 이미지 및 제2 이미지에 기초하여 특정 공간에 존재하는 하나 이상의 객체를 검출한다.
구체적으로, 모델 실행부(220)는 객체 검출 모델(300)을 이용하여, 제1 이미지 또는 제2 이미지 중 어느 하나를 배경으로 하여, 해당 이미지 내에 존재하는 하나 이상의 객체에 객체 검출 박스가 표시된 출력 이미지를 생성한다.
이때, 모델 실행부(220)가 기 학습된 객체 검출 모델(300)을 이용하는 과정에서 제1 네트워크(310) 내 특징 추출 레이어로부터 출력되는 특징 지도 및 제2 네트워크(320) 내 특징 추출 레이어로부터 출력되는 특징 지도 간의 정보 교환은 이루어지지 않는다. 즉, 도 1을 참조하여 설명한 교환 작업은 객체 검출 모델(300)을 학습하는 과정에서만 수행되는 것이다.
일 실시예에 따르면, 모델 실행부(220)는 제1 이미지 및 제2 이미지 중 하나가 출력 이미지의 배경이 되도록 미리 설정할 수 있다.
예를 들어, 제1 이미지가 CCD 카메라로 촬영된 이미지이고, 제2 이미지가 IR 카메라로 촬영된 이미지일 경우, 모델 실행부(220)는 시인성(visibility)을 고려하여 제1 이미지가 출력 이미지의 배경이 되도록 설정할 수 있다.
도 3은 일 실시예에 따른 객체 검출 모델(300)을 설명하기 위한 블록도이다.
도 3을 참조하면, 일 실시예에 따른 객체 검출 모델(300)은 제1 네트워크(310), 제2 네트워크(320) 및 검출부(330)를 포함한다.
제1 네트워크(310)는 복수의 스케일(scale)을 갖는 복수의 특징 추출 레이어를 포함하고 제1 이미지를 입력받는다.
일 실시예에 따르면, 제1 네트워크(310)는 컨볼루션 뉴럴 네트워크(Convolution Neural Network, CNN) 구조를 포함할 수 있다.
구체적으로, 제1 네트워크(310)는 SSD(Single-Shot multibox Detector) 구조를 포함할 수 있다.
예를 들어, 제1 네트워크(310)는 Resnet 구조의 일부와 SSD 구조의 일부가 결합된 형태일 수 있으나, 반드시 이에 한정되는 것은 아니며, Resnet 구조 대신 VGGnet 구조가 이용될 수도 있다.
일 실시예에 따르면, 복수의 특징 추출 레이어는 스케일 별로 연속적으로 배치될 수 있다.
구체적으로, 각 특징 추출 레이어는 특징 지도를 출력하는 컨볼루션 레이어일 수 있다. 이때, 각 특징 추출 레이어의 stride 값은 1일 수 있다.
일 실시예에 따르면, 제1 네트워크(310)는 복수의 연접 레이어(concatenation layer) 및 하나 이상의 다운스케일 레이어(down-scale layer)를 더 포함할 수 있다.
이때, 연접 레이어는, 스케일 별로 복수의 특징 추출 레이어의 후단에 각각 배치될 수 있다.
구체적으로, 각 연접 레이어는 특징 지도를 출력하는 컨볼루션 레이어일 수 있으며, 각 연접 레이어로부터 출력된 특징 지도는 스케일 별로 검출부(330)에서 연접될 수 있다. 이때, 각 연접 레이어의 stride 값은 각 특징 추출 레이어의 stride 값과 동일할 수 있다.
또한 다운스케일 레이어는, 최소 스케일의 연접 레이어를 제외한 복수의 연접 레이어의 후단에 배치될 수 있다.
구체적으로, 각 다운스케일 레이어는 특징 지도를 출력하는 컨볼루션 레이어일 수 있으며, 이때, 각 다운스케일 레이어의 stride 값은 동일한 스케일의 특징 추출 레이어의 stride 값보다 크다. 예를 들어, 특징 지도 추출 레이어의 stride 값이 1일 경우, 이와 동일한 스케일의 다운스케일 레이어의 stride 값은 2일 수 있다.
제2 네트워크(320)는 제1 네트워크(310)와 동일한 구조로 구성되며, 제2 이미지를 입력받는다.
검출부(330)는 융합 정보에 기초하여 하나 이상의 객체에 대응되는 하나 이상의 객체 검출 박스를 생성하고 하나 이상의 객체 검출 박스 각각에 대한 신뢰도 점수를 산출할 수 있다.
일 실시예에 따르면, 검출부(330)는 제1 네트워크(310) 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도 및 제2 네트워크(320) 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도를 스케일 별로 연접한 결과 각각에 기초하여 하나 이상의 객체 검출 박스를 생성하고, 생성된 하나 이상의 객체 검출 박스 및 기 설정된 정답(ground-truth, GT) 박스에 기초하여 신뢰도 점수를 산출할 수 있다.
구체적으로, 검출부(330)는 제1 네트워크(310)로부터 출력된 특징 지도 및 제2 네트워크(320)로부터 출력된 특징 지도를 각 스케일 별로 연접하여 융합 특징 지도를 생성하고, 생성된 융합 특징 지도 내 픽셀의 원소 값에 기초하여 객체 검출 박스를 생성할 수 있다.
일 실시예에 따르면, 검출부(330)는 생성된 객체 검출 박스와 기 설정된 정답 박스 간의 IOU(Intersection Over Union)을 계산하여, positive sample과 negative sample을 구분할 수 있다.
일 실시예에 따르면, 검출부(330)는 하나 이상의 객체 검출 박스 각각에 대한 신뢰도 점수에 기초한 비최대값 억제(Non-Maximum Suppression, NMS) 알고리즘을 이용하여 하나 이상의 객체 검출 박스 중 중복되는 객체 검출 박스를 제거할 수 있다.
구체적으로, 검출부(330)는 객체 검출 박스를 신뢰도 점수 순으로 내림차순 정렬한 후, 가장 높은 신뢰도 점수를 갖는 객체 검출 박스와 나머지 박스들 간의 IoU 값을 계산하여, IoU 값이 0.5 이상인 나머지 박스들을 제거한다. 이후, 검출부(330)는 남은 객체 검출 박스 중 두번째로 높은 신뢰도 점수를 갖는 객체 검출 박스와 남은 나머지 박스들 사이에서 같은 과정을 반복한다. 이후 검출부(330)는 상술한 과정을 반복적으로 수행한다.
도 4는 일 실시예에 따른 객체 검출 모델(300)을 상세히 설명하기 위한 도면이다.
도 4를 참조하면, 상이한 이미지 센서에 의해 생성된 특정 공간에 대한 회색조 이미지와 방사 분석 온도 이미지가 각각 평행하게 배치된 동일한 구조의 두 네트워크에 입력된다. 이때 상단의 복수의 레이어가 배치된 네트워크 구조는 제1 네트워크(310)를 나타내며, 하단의 동일한 네트워크 구조는 제2 네트워크(320)를 나타낸다.
일 실시예에 따르면, 두 네트워크에 입력되는 이미지는 기 마련된 이미지 데이터 세트에서 무작위로 선택된 이미지이거나, 이 이미지를 상이한 이미지 센서에 의해 각각 가공한 이미지일 수 있다.
서로 동일한 구조의 두 네트워크는, 모두 전단에 기 학습된 Resnet 구조의 일부를 포함한다. 이어서 두 네트워크는, 세 단계의 스케일 별로 배치된 복수의 컨볼루션 레이어를 포함한다.
구체적으로, 복수의 컨볼루션 레이어는 특징 추출 레이어, 연접 레이어 및 다운스케일 레이어로 분류되며, 각 스케일 별로 앞 부분에 배치된 레이어가 특징 추출 레이어이고, 중간 부분에 배치된 레이어가 연접 레이어이며, 마지막 스케일을 제외한 첫번째 및 두번째 스케일 별로 끝 부분에 배치된 레이어가 다운스케일 레이어이다.
각 특징 추출 레이어에서 출력된 특징 지도 내 픽셀 간의 교환은 도면 중앙 부분의 화살표로 표현되어 있으며, 각 화살표가 그물 형태로 엉켜있는 것은 각 특징 지도의 인덱스가 랜덤으로 선택되는 것을 나타낸 것이다. 편의상, 이러한 특징 지도 내 픽셀 간의 교환이 수행되는 구성을 부분 랜덤 연결(Partially Random-Wired, PRW)이라 명명한다.
검출부(330)의 기능을 도시한 우측의 점선 박스를 참조하면, 각 연접 레이어에서 출력된 특징 지도는 스케일 별로 연접되며, 연접된 결과에 기초하여 검출부(330)는 객체 검출 박스(box) 및 신뢰도 점수(score)를 생성한다. 이후, 검출부(330)는 객체 검출 박스 및 신뢰도 점수에 기초하여 NMS 알고리즘을 적용한다.
도 5는 일 실시예에 따른 객체 검출 모델 학습 방법을 설명하기 위한 흐름도이다. 도 5에 도시된 방법은 예를 들어, 상술한 객체 검출 모델 학습 장치(100)에 의해 수행될 수 있다.
도 5를 참조하면 우선, 객체 검출 모델 학습 장치(100)는 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득한다(510).
이후, 객체 검출 모델 학습 장치(100)는 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성한다(520).
이후, 객체 검출 모델 학습 장치(100)는 융합 정보에 기초하여 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델(300)을 학습시킨다(530).
도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 6은 일 실시예에 따른 융합 정보를 생성하는 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 상술한 객체 검출 모델 학습 장치(100)에 의해 수행될 수 있다.
도 6을 참조하면 우선, 객체 검출 모델 학습 장치(100)는 제1 네트워크(310)에 제1 이미지를 입력한다(610).
이후, 객체 검출 모델 학습 장치(100)는 제2 네트워크(320)에 제2 이미지를 입력한다(620).
이후, 객체 검출 모델 학습 장치(100)는 제1 네트워크(310)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나와 제2 네트워크(320)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나를 임의로 매칭하여 매칭된 각 특징 지도 내 일부 정보를 교환한다(630).
일 실시예에 따르면, 630 단계의 수행 시 객체 검출 모델 학습 장치(100)는, 제1 네트워크(310)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도 및 제2 네트워크(320)에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도와 동일한 스케일을 가지는 제2 특징 지도를 매칭할 수 있다.
일 실시예에 따르면, 630 단계는, 제1 특징 지도 내 픽셀 중 적어도 일부 픽셀의 원소 값과 제2 특징 지도 내 픽셀 중 적어도 일부 픽셀과 대응되는 위치의 픽셀의 원소 값을 교환함으로써 수행될 수 있다.
일 실시예에 따르면, 630 단계는, 상술한 적어도 일부 픽셀 및 대응되는 위치의 픽셀이 결정된 경우, 기 설정된 확률에 기초하여 수행될 수 있다.
도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 7은 일 실시예에 따른 객체 검출 모델 실행 방법을 설명하기 위한 흐름도이다. 도 7에 도시된 방법은 예를 들어, 상술한 객체 검출 모델 실행 장치(200)에 의해 수행될 수 있다.
도 7을 참조하면 우선, 객체 검출 모델 실행 장치(200)는, 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득한다(710).
이후, 객체 검출 모델 실행 장치(200)는, 객체 검출 모델 학습 장치(100)에 의해 기 학습된 객체 검출 모델(300)을 이용하여, 제1 이미지 및 제2 이미지에 기초하여 특정 공간에 존재하는 하나 이상의 객체를 검출한다(720).
도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 8은 종래 객체 검출 결과와 일 실시예에 따른 객체 검출 결과를 비교하기 위한 도면이다. 구체적으로, 도 8의 (a) 및 (c)는 종래의 객체 검출 방법에 따른 객체 검출 결과를 나타낸 도면(proposed)이고, 도 8의 (b) 및 (d)는 상술한 객체 검출 모델 학습 방법에 의해 학습된 객체 검출 모델(300)에 의한 객체 검출 결과(baseline)를 나타낸 도면이다.
도 8의 (a) 내지 (d)를 참조하면, 첫 행과 두번째 행은 주간의 도로변을 촬영한 이미지로서, 기 학습된 객체 검출 모델(300)에 의한 객체 검출 결과 종래의 방법을 통해서는 검출하지 못한 객체(사람)를 추가적으로 검출했음을 볼 수 있다. 또한 세번째 행과 마지막 행은 야간의 도로변을 촬영한 이미지로서, 기 학습된 객체 검출 모델(300)에 의한 객체 검출 결과 야간에도 마찬가지로 종래의 방법을 통해서는 검출하지 못한 객체(사람)를 추가적으로 검출했음을 볼 수 있다.
도 9는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 객체 검출 모델 학습 장치(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 객체 검출 모델 실행 장치(200)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 객체 검출 모델 학습 장치
110: 이미지 획득부
120: 모델 학습부
200: 객체 검출 모델 실행 장치
210: 이미지 획득부
220: 모델 실행부
300: 객체 검출 모델
310: 제1 네트워크
320: 제2 네트워크
330: 검출부

Claims (18)

  1. 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득하는 이미지 획득부; 및
    상기 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 상기 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성하고, 상기 융합 정보에 기초하여 상기 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델을 학습시키는 모델 학습부를 포함하며,
    상기 객체 검출 모델은,
    스케일 별로 배치되는 복수의 특징 추출 레이어를 포함하고, 상기 제1 이미지가 입력되는 제1 네트워크; 및
    상기 제1 네트워크와 동일한 구조로 구성되며, 상기 제2 이미지가 입력되는 제2 네트워크를 포함하고,
    상기 모델 학습부는, 상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나와 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나를 임의로 매칭하여 매칭된 각 특징 지도 내 일부 정보를 교환하는, 객체 검출 모델 학습 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 객체 검출 모델은, 상기 융합 정보에 기초하여 상기 하나 이상의 객체에 대응되는 하나 이상의 객체 검출 박스를 생성하고 상기 하나 이상의 객체 검출 박스 각각에 대한 신뢰도 점수를 산출하는 검출부를 더 포함하는, 객체 검출 모델 학습 장치.
  4. 청구항 3에 있어서,
    상기 제1 네트워크 및 상기 제2 네트워크는 각각, 복수의 연접 레이어(concatenation layer) 및 하나 이상의 다운스케일 레이어(down-scale layer)를 더 포함하되,
    상기 복수의 특징 추출 레이어는, 스케일 별로 연속적으로 배치되고,
    상기 연접 레이어는, 상기 스케일 별로 상기 복수의 특징 추출 레이어의 후단에 배치되고,
    상기 다운스케일 레이어는, 상기 복수의 연접 레이어 중 최소 스케일의 연접 레이어를 제외한 나머지 연접 레이어 각각의 후단에 배치되는, 객체 검출 모델 학습 장치.
  5. 청구항 4에 있어서,
    상기 검출부는, 상기 제1 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도 및 상기 제2 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도를 스케일 별로 연접한 결과 각각에 기초하여 상기 하나 이상의 객체 검출 박스를 생성하고, 상기 하나 이상의 객체 검출 박스 및 기 설정된 정답(ground-truth) 박스에 기초하여 상기 신뢰도 점수를 산출하는, 객체 검출 모델 학습 장치.
  6. 청구항 4에 있어서,
    상기 검출부는, 상기 하나 이상의 객체 검출 박스 각각에 대한 상기 신뢰도 점수에 기초한 비최대값 억제(Non-Maximum Suppression, NMS) 알고리즘을 이용하여 상기 하나 이상의 객체 검출 박스 중 중복되는 객체 검출 박스를 제거하는, 객체 검출 모델 학습 장치.
  7. 청구항 1에 있어서,
    상기 모델 학습부는,
    상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도 및 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 상기 제1 특징 지도와 동일한 스케일을 가지는 제2 특징 지도를 매칭하는, 객체 검출 모델 학습 장치.
  8. 청구항 7에 있어서,
    상기 모델 학습부는,
    상기 제1 특징 지도 내 픽셀 중 적어도 일부 픽셀의 원소 값과 상기 제2 특징 지도 내 픽셀 중 상기 적어도 일부 픽셀과 대응되는 위치의 픽셀의 원소 값을 교환하는, 객체 검출 모델 학습 장치.
  9. 청구항 8에 있어서,
    상기 모델 학습부는,
    상기 적어도 일부 픽셀 및 상기 대응되는 위치의 픽셀이 결정된 경우, 기 설정된 확률에 기초하여 상기 적어도 일부 픽셀의 원소 값과 상기 대응되는 위치의 픽셀의 원소 값을 교환하는, 객체 검출 모델 학습 장치.
  10. 상이한 이미지 센서를 이용하여 생성된 특정 공간에 대한 제1 이미지 및 제2 이미지를 획득하는 단계;
    상기 제1 이미지로부터 생성되는 특징 지도 내 정보 중 일부 및 상기 제2 이미지로부터 생성되는 특징 지도 내 정보 중 일부를 서로 교환함으로써 융합 정보를 생성하는 단계; 및
    상기 융합 정보에 기초하여 상기 특정 공간에 존재하는 하나 이상의 객체를 검출하도록 객체 검출 모델을 학습시키는 단계를 포함하며,
    상기 객체 검출 모델은,
    스케일 별로 배치되는 복수의 특징 추출 레이어를 포함하는 제1 네트워크; 및
    상기 제1 네트워크와 동일한 구조로 구성되는 제2 네트워크를 포함하고,
    상기 융합 정보를 생성하는 단계는,
    상기 제1 네트워크에 상기 제1 이미지를 입력하는 단계;
    상기 제2 네트워크에 상기 제2 이미지를 입력하는 단계; 및
    상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나와 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 적어도 하나를 임의로 매칭하여 매칭된 각 특징 지도 내 일부 정보를 교환하는 단계를 포함하는, 객체 검출 모델 학습 방법.
  11. 삭제
  12. 청구항 10에 있어서,
    상기 객체 검출 모델은, 상기 융합 정보에 기초하여 상기 하나 이상의 객체에 대응되는 하나 이상의 객체 검출 박스를 생성하고 상기 하나 이상의 객체 검출 박스 각각에 대한 신뢰도 점수를 산출하는 검출부를 더 포함하는, 객체 검출 모델 학습 방법.
  13. 청구항 12에 있어서,
    상기 제1 네트워크 및 상기 제2 네트워크는, 복수의 연접 레이어 및 하나 이상의 다운스케일 레이어를 더 포함하되,
    상기 복수의 특징 추출 레이어는, 스케일 별로 연속적으로 배치되고,
    상기 연접 레이어는, 상기 스케일 별로 상기 복수의 특징 추출 레이어의 후단에 배치되고,
    상기 다운스케일 레이어는, 상기 복수의 연접 레이어 중 최소 스케일의 연접 레이어를 제외한 나머지 연접 레이어 각각의 후단에 배치되는, 객체 검출 모델 학습 방법.
  14. 청구항 13에 있어서,
    상기 검출부는, 상기 제1 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도 및 상기 제2 네트워크 내에 포함된 복수의 연접 레이어에서 출력되는 복수의 특징 지도를 스케일 별로 연접한 결과 각각에 기초하여 상기 하나 이상의 객체 검출 박스를 생성하고, 상기 하나 이상의 객체 검출 박스 및 기 설정된 정답 박스에 기초하여 상기 신뢰도 점수를 산출하는, 객체 검출 모델 학습 방법.
  15. 청구항 13에 있어서,
    상기 검출부는, 상기 하나 이상의 객체 검출 박스 각각에 대한 상기 신뢰도 점수에 기초한 비최대값 억제 알고리즘을 이용하여 상기 하나 이상의 객체 검출 박스 중 중복되는 객체 검출 박스를 제거하는, 객체 검출 모델 학습 방법.
  16. 청구항 10에 있어서,
    상기 교환하는 단계는,
    상기 제1 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 제1 특징 지도 및 상기 제2 네트워크에 포함된 복수의 특징 추출 레이어 각각에서 출력되는 특징 지도 중 상기 제1 특징 지도와 동일한 스케일을 가지는 제2 특징 지도를 매칭하는, 객체 검출 모델 학습 방법.
  17. 청구항 16에 있어서,
    상기 교환하는 단계는,
    상기 제1 특징 지도 내 픽셀 중 적어도 일부 픽셀의 원소 값과 상기 제2 특징 지도 내 픽셀 중 상기 적어도 일부 픽셀과 대응되는 위치의 픽셀의 원소 값을 교환함으로써 수행되는, 객체 검출 모델 학습 방법.
  18. 청구항 17에 있어서,
    상기 교환하는 단계는,
    상기 적어도 일부 픽셀 및 상기 대응되는 위치의 픽셀이 결정된 경우, 기 설정된 확률에 기초하여 수행되는, 객체 검출 모델 학습 방법.
KR1020190174201A 2019-12-24 2019-12-24 객체 검출 모델 학습 장치 및 방법 KR102427884B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190174201A KR102427884B1 (ko) 2019-12-24 2019-12-24 객체 검출 모델 학습 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190174201A KR102427884B1 (ko) 2019-12-24 2019-12-24 객체 검출 모델 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210081852A KR20210081852A (ko) 2021-07-02
KR102427884B1 true KR102427884B1 (ko) 2022-07-29

Family

ID=76897170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174201A KR102427884B1 (ko) 2019-12-24 2019-12-24 객체 검출 모델 학습 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102427884B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282703A1 (ko) * 2021-07-09 2023-01-12 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
KR102588888B1 (ko) * 2021-08-24 2023-10-13 서울대학교산학협력단 반도체 레이아웃의 패턴 윤곽 정보를 검출하는 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491546B1 (ko) * 2017-09-22 2023-01-26 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR20190093726A (ko) * 2018-01-09 2019-08-12 주식회사 케이티 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
KR102109372B1 (ko) 2018-04-12 2020-05-12 가천대학교 산학협력단 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법

Also Published As

Publication number Publication date
KR20210081852A (ko) 2021-07-02

Similar Documents

Publication Publication Date Title
KR102382693B1 (ko) 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치
US10229346B1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
JP6813055B2 (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
WO2017096758A1 (zh) 图像分类方法、电子设备和存储介质
WO2017059576A1 (en) Apparatus and method for pedestrian detection
US10325184B2 (en) Depth-value classification using forests
KR101930940B1 (ko) 영상 분석 장치 및 방법
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
CN112016472B (zh) 基于目标动态信息的驾驶员注意力区域预测方法及系统
KR102641117B1 (ko) 영상을 증강하는 방법 및 장치
KR102427884B1 (ko) 객체 검출 모델 학습 장치 및 방법
KR102103511B1 (ko) 코드 생성 장치 및 방법
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
Ragusa et al. Egocentric Point of Interest Recognition in Cultural Sites.
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
JP6622150B2 (ja) 情報処理装置および情報処理方法
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
JP2011232845A (ja) 特徴点抽出装置および方法
JP2021060937A (ja) 視線推定装置
JP6132996B1 (ja) 画像処理装置，画像処理方法，画像処理プログラム
Ataş et al. Detection of driver distraction using yolov5 network
US20230196752A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant