KR102576747B1 - 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법 - Google Patents

심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법 Download PDF

Info

Publication number
KR102576747B1
KR102576747B1 KR1020200147645A KR20200147645A KR102576747B1 KR 102576747 B1 KR102576747 B1 KR 102576747B1 KR 1020200147645 A KR1020200147645 A KR 1020200147645A KR 20200147645 A KR20200147645 A KR 20200147645A KR 102576747 B1 KR102576747 B1 KR 102576747B1
Authority
KR
South Korea
Prior art keywords
image
background
optimization
deep neural
database
Prior art date
Application number
KR1020200147645A
Other languages
English (en)
Other versions
KR20220061541A (ko
Inventor
이준구
백장운
임길택
최윤원
한병길
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200147645A priority Critical patent/KR102576747B1/ko
Priority to US17/497,771 priority patent/US12026231B2/en
Publication of KR20220061541A publication Critical patent/KR20220061541A/ko
Application granted granted Critical
Publication of KR102576747B1 publication Critical patent/KR102576747B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템이 제공된다. 상기 시스템은 온오프라인상에서 수집된 데이터 및 정답으로 구성된 공개 데이터베이스에 기초하여 훈련된 훈련 모델을 생성하고, 로컬 데이터베이스를 다운로드하여 상기 공개 데이터베이스와 함께 가공하여 최적화 데이터베이스를 생성하며, 상기 최적화 데이터베이스에 기반한 학습 과정을 통해 최적화 모델을 생성하는 서버와, 실시간 또는 미리 수집된 영상으로부터 이미지를 추출하며, 상기 서버로부터 업로드된 상기 훈련 모델을 수신하고, 상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 추출하며, 상기 추출된 이미지를 배경 모델에 입력하여 배경 이미지와 전경 이미지를 생성하고, 상기 객체 이미지와 배경 이미지 및 전경 이미지를 기반으로 상기 로컬 데이터베이스를 생성하여 상기 서버로 전송하며, 상기 서버로부터 상기 최적화 모델을 수신하여 상기 이미지로부터 객체 이미지 검출 결과를 생성하는 적어도 하나의 엣지 디바이스를 포함한다.

Description

심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법{SYSTEM FOR LOCAL OPTIMIZATION OF OBJECTS DETECTOR BASED ON DEEP NEURAL NETWORK AND METHOD FOR CREATING LOCAL DATABASE THEREOF}
본 발명은 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법에 관한 것이다.
최근 방대한 데이터를 중앙 집중 서버가 아닌 분산된 소형 서버, 즉 엣지 디바이스를 통해 실시간으로 처리하는 엣지-컴퓨팅 기술이 활발히 연구 개발되고 있다. IoT 기기가 본격적으로 보급되면서 데이터의 양이 폭증했고, 이때문에 클라우드 컴퓨팅이 한계에 부딪히게 되었으며, 이를 보완하기 위해 엣지-컴퓨팅 기술이 개발되었다.
엣지-컴퓨팅 기술에서 사용되는 엣지 디바이스는 주로 저가의 디바이스를 사용하며, 발열 및 전력을 최소화하기 위해 계산 성능 및 메모리 등의 리소스가 제한되므로, 실시간 처리를 위해 경량 객체 검출 알고리즘을 사용한다.
경량 객체 검출 알고리즘은 모든 환경에서 높은 수준의 정확도를 제공하지 못하기 때문에, 엣지 디바이스의 설치 환경에서 수집된 데이터를 재학습하여 지역 최적화를 수행한다.
하지만, 수집된 데이터는 알고리즘의 목적과 지역의 환경에 맞춰 다시 학습 데이터를 구축해야 하며, 이는 별도의 인력 및 시간적인 비용이 소요되는 문제가 있다.
공개특허공보 제10-2016-0071781호 (2016.06.22)
본 발명이 해결하고자 하는 과제는 고정형 감시영상으로부터 해당 지역의 데이터 사전 훈련된 모델과 배경 모델을 이용하여 구축하며, 구축된 최적화 데이터베이스를 기반으로 재학습 및 튜닝 과정을 통해 엣지 단말을 해당 지역에 최적화하는, 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템은 온오프라인상에서 수집된 데이터 및 정답으로 구성된 공개 데이터베이스에 기초하여 훈련된 훈련 모델을 생성하고, 로컬 데이터베이스를 다운로드하여 상기 공개 데이터베이스와 함께 가공하여 최적화 데이터베이스를 생성하며, 상기 최적화 데이터베이스에 기반한 학습 과정을 통해 최적화 모델을 생성하는 서버와, 실시간 또는 미리 수집된 영상으로부터 이미지를 추출하며, 상기 서버로부터 업로드된 상기 훈련 모델을 수신하고, 상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 추출하며, 상기 추출된 이미지를 배경 모델에 입력하여 배경 이미지와 전경 이미지를 생성하고, 상기 객체 이미지와 배경 이미지 및 전경 이미지를 기반으로 상기 로컬 데이터베이스를 생성하여 상기 서버로 전송하며, 상기 서버로부터 상기 최적화 모델을 수신하여 상기 이미지로부터 객체 이미지 검출 결과를 생성하는 적어도 하나의 엣지 디바이스를 포함한다.
또한, 본 발명의 제2 측면에 따른 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템은 실시간 또는 미리 수집된 영상으로부터 추출된 이미지를 수신하고, 온오프라인상에서 수집된 데이터 및 정답으로 구성된 공개 데이터베이스에 기초하여 훈련된 훈련 모델을 생성하고, 상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 추출하며, 상기 이미지를 미리 저장된 배경 모델에 입력하여 배경 이미지와 전경 이미지를 생성하고, 상기 객체 이미지와 배경 이미지 및 전경 이미지를 기반으로 상기 로컬 데이터베이스를 생성하며, 상기 로걸 데이터베이스 및 공개 데이터베이스를 함께 가공하여 최적화 데이터베이스를 생성하며, 상기 최적화 데이터베이스에 기반한 학습 과정을 통해 최적화 모델을 생성하는 서버와, 상기 영상을 수집하여 상기 서버로 전송하며, 상기 서버로부터 상기 최적화 모델을 수신하여 상기 이미지로부터 객체 이미지 검출 결과를 생성하는 적어도 하나의 엣지 디바이스를 포함한다.
또한, 본 발명의 제3 측면에 따른 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 로컬 데이터베이스 생성 방법은 엣지 디바이스로부터 실시간 또는 미리 수집된 영상으로부터 추출된 이미지를 대상으로 전처리를 수행하는 단계; 상기 전처리된 이미지를 기반으로 정적인 배경 이미지를 모델링하고, 현재 입력된 이미지와 배경 모델과의 차영상을 산출하여 동적인 전경 이미지를 모델링하는 단계; 상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 검출하는 단계; 및 상기 배경 이미지, 상기 배경 이미지와 합성된 전경 이미지 및 상기 배경 이미지와 합성된 객체 이미지를 기반으로 로컬 데이터베이스를 생성하는 단계를 포함한다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 로컬 데이터베이스 생성 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상술한 본 발명의 일 실시예는, 엣지 단말의 지역 최적화를 통해 실시간 고성능으로 작동하는 가벼운 알고리즘을 효율적으로 운용할 수 있다.
또한, 최적화에 사용되는 로컬 데이터베이스는 선행학습된 모델과 배경 이미지, 그리고 전경 이미지를 함께 사용하기 때문에, 배경 이미지만으로도 지역 최적화가 가능하며, 전경 및 객체와 배경 합성을 기반으로 데이터를 증가시켜 애노테이션(annotation) 누락을 방지할 수 있으며 그 정확도를 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 객체 검출기 지역 최적화 시스템의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 객체 검출기 지역 최적화 시스템의 블록도이다.
도 3은 로컬 데이터베이스를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 전치리부에 의한 처리 결과 이미지를 설명하기 위한 도면이다.
도 5는 배경 모델링부에 의한 처리 결과 이미지를 설명하기 위한 도면이다.
도 6은 후처리부에 의한 처리 결과 이미지를 설명하기 위한 도면이다.
도 7은 로컬 데이터베이스 생성 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는 도 1 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템(1, 이하 객체 검출기 지역 최적화 시스템)을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 객체 검출기 지역 최적화 시스템(1)의 블록도이다.
본 발명의 일 실시예에 따른 객체 검출기 지역 최적화 시스템(1)은 서버(100)와 적어도 하나의 엣지 디바이스(200)를 포함한다. 이때, 도 1은 엣지 디바이스(200)에서 수집되는 이미지를 서버(100)에 전송할 수 없는 오프라인 상태에서의 실시예를 도시한 것이다.
서버(100)는 데이터베이스로 공개 데이터베이스와 최적화 데이터베이스를 포함하며, 훈련 모델과 최적화 모델을 포함한다.
구체적으로 서버(100)는 온오프라인상에서 수집된 데이터 및 정답으로 구성되어 공개된 공개 데이터베이스를 기반으로 훈련된 훈련 모델을 생성한다. 이와 같이 생성된 훈련 모델은 엣지 디바이스(200)로 업로드되며, 엣지 디바이스(200)는 훈련 모델을 기반으로 객체를 검출하여 로컬 데이터베이스를 생성하게 된다.
또한, 서버(100)는 엣지 디바이스(200)로부터 생성된 로컬 데이터베이스를 다운로드하여 공개 데이터베이스와 함께 가공하여 최적화 데이터베이스를 생성하고, 최적화 데이터베이스에 기반한 재학습 및 튜닝 과정을 통해 최적화 모델을 생성한 후, 최적화 모델을 엣지 디바이스(200)로 제공한다.
엣지 디바이스(200)는 실시간 또는 미리 녹화되는 등의 형태로 수집한 영상으로부터 이미지를 추출한다. 이때, 엣지 디바이스(200)는 고정형 감시 영상을 수집할 수 있다. 엣지 디바이스(200)는 수집된 이미지를 대상으로 하여 초기 서버(100)로부터 학습된 훈련 모델을 입력받아 지역 최적화에 사용될 객체 이미지를 추출한다.
또한, 엣지 디바이스(200)는 추출된 이미지를 배경 모델에 입력하여 정적인 배경 이미지를 생성하며, 현재 입력된 이미지와 배경 모델과의 차영상을 산출하여 동적인 전경 이미지를 생성한다.
그 다음, 엣지 디바이스(200)는 전경 이미지의 전경들과 훈련 모델로부터 추출된 객체 이미지를 신뢰도를 기반으로 각각 배경 이미지에 합성하며, 배경 이미지, 배경 이미지와 합성된 전경 이미지, 그리고 배경 이미지와 합성된 객체 이미지를 기반으로 로컬 데이터베이스를 생성한다.
서버(100)는 이와 같이 생성된 로컬 데이터베이스를 다운로드받아 전술한 바와 같이 최적화 모델을 생성하여 엣지 디바이스(200)로 업로드하며, 엣지 디바이스(200)는 업로드된 최적화 모델에 따라 이미지로부터 객체 이미지 검출 결과를 생성한다.
도 2는 본 발명의 다른 실시예에 따른 객체 검출기 지역 최적화 시스템(1)의 블록도이다.
본 발명의 다른 실시예에 따른 객체 검출기 지역 최적화 시스템(1)은 서버(100)와 적어도 하나의 엣지 디바이스(200)를 포함한다. 이때, 도 1과 달리 도 2의 실시예는 엣지 디바이스(200)에서 수집되는 이미지를 서버(100)에 전송 가능한 온라인 상태에서의 실시예를 도시한 것이다.
먼저, 엣지 디바이스(200)는 실시간 또는 미리 수집된 고정형 감시 영상으로부터 이미지를 추출하여 서버(100)로 전송한다.
서버(100)는 온오프라인상에서 수집된 데이터 및 정답으로 구성된 공개 데이터베이스에 기초하여 훈련된 훈련 모델을 생성한 후, 훈련 모델에 기초하여 엣지 디바이스(200)로부터 수신한 이미지로부터 객체 이미지를 추출한다.
또한, 서버(100)는 이미지를 미리 저장된 배경 모델에 입력하여 배경 이미지와 전경 이미지를 생성한다. 이때, 서버(100)는 현재 입력된 이미지와 배경 모델과의 차영상을 산출하여 전경 이미지를 생성한다. 그리고 서버(100)는 배경 이미지, 배경 이미지와 합성된 전경 이미지 및 배경 이미지와 합성된 객체 이미지를 기반으로 로컬 데이터베이스를 생성한다.
그 다음, 서버(100)는 로컬 데이터베이스 및 공개 데이터베이스를 함께 가공하여 최적화 데이터베이스를 생성하며, 최적화 데이터베이스에 기반한 학습 과정을 통해 최적화 모델을 생성한다.
이후, 엣지 디바이스(200)는 서버(100)로부터 최적화 모델을 다운로드하여 이미지로부터 객체 이미지 검출 결과를 생성한다.
도 1 및 도 2를 통해 설명한, 본 발명의 일 실시예에 따른 객체 검출기 지역 최적화 시스템(1)은 서버(100)와 엣지 디바이스(200)가 오프라인 상태인 경우 엣지 디바이스(200)는 직접 로컬 데이터베이스를 생성하여 서버(100)로 업로드하며, 서버(100)에서 최적화된 모델은 훈련 과정을 거친 후 엣지 디바이스(200)로 다운로드된다. 이와 달리, 서버(100)와 엣지 디바이스(200)가 온라인 상태인 경우 엣지 디바이스(200)는 이미지를 서버(100)로 업로드하고, 서버(100)에서 최적화를 수행한 후 최적화된 모델을 엣지 디바이스(200)로 전송한다.
이하, 도 1 및 도 2에서 공통적으로 수행되는 최적화를 위한 로컬 데이터베이스를 생성하는 과정을 도 3을 참조하여 설명하도록 한다.
도 3은 로컬 데이터베이스를 생성하는 과정을 설명하기 위한 도면이다. 도 4는 전치리부에 의한 처리 결과 이미지를 설명하기 위한 도면이다. 도 5는 배경 모델링부(320)에 의한 처리 결과 이미지를 설명하기 위한 도면이다. 도 6은 후처리부(340)에 의한 처리 결과 이미지를 설명하기 위한 도면이다.
이때, 도 1의 실시예의 경우 엣지 디바이스(200)에서 로컬 데이터베이스를 생성하며, 도 2의 실시예의 경우 서버(100)에서 로컬 데이터베이스를 생성한다. 이하, 도 3의 설명에서는 편의상 엣지 디바이스(200)에 로컬 데이터베이스를 생성하는 것을 중심으로 설명하도록 한다.
엣지 디바이스(200)는 전처리부(310), 배경 모델링부(320), 검출부(330) 및 후처리부(340)를 포함한다.
구체적으로 전처리부(310)는 도 4의 (a)와 같이 실시간 또는 저장된 영상으로부터 이미지를 추출하여 입력받는다. 그리고, 이미지의 RGB 컬러 공간을 이미지의 특징에 상응하도록 소정의 타입의 컬러 공간으로 변환한다. 일 예로, 전처리부(310)는 RGB 컬러 공간을 이미지의 특징에 따라 Gray, HSB, LAB, YCrCb 등으로 변환할 수 있다.
또한, 전처리부(310)는 변환된 이미지에 소정의 필터를 적용하여 강화된 이미지를 생성할 수 있다. 이때, 소정의 필터로는 간선 강화, 노이즈 제거 등을 위한 다양한 필터가 적용될 수 있다.
그 다음, 전처리부(310)는 변환된 이미지의 컬러 공간에 상응하도록 채널을 분할한다. 일 실시예로, 전처리부(310)는 다채널 이미지에서 필요한 채널을 분할하거나 추출하며, 특히 단채널의 경우 반전 등을 적용하여 다채널로 분할한다. 예를 들어, HSV 이미지는 색상, 채도 및 밝기의 각 채널로 분할할 수 있으며, 흑백의 경우 반전을 통해 밝은 객체와 어두운 객체를 누락없이 검출할 수 있다.
추후 차영상 계산시 검은색(화소값이 0) 객체는 소실되어 검출이 불가능하기 때문에, 도 4의 (b)와 같이 전처리된 흑백 이미지로 밝은 색의 객체를 강화하며, 도 4의 (c)와 같이 전처리된 반전 이미지로 어두운 색의 객체를 강화할 수 있다.
배경 모델링부(320)는 전처리부(310)를 통해 수신한 이미지를 기반으로 정적인 배경 이미지를 모델링하고, 현재 입력된 이미지와 배경 모델과의 차영상을 산출하여 동적인 전경 이미지를 모델링한다.
구체적으로 배경 모델링부(320)는 복수의 정적 모델과 동적 모델을 포함하여 구성될 수 있다. 복수의 정적 모델은 전처리부(310)로부터 강화된 이미지 또는 채널 분할된 이미지를 수신하고, 도 5의 (a) 및 (b)와 같이 현재 이미지 t로부터 연속되는 n개(n은 2이상의 자연수)의 과거 이미지를 기반으로 정적인 배경 이미지를 모델링한다. 이때, n개는 정적 모델에 필요한 과거 프레임의 수이며, 동적인 객체의 움직임 변화량에 기초하여 조정될 수 있다.
복수의 동적 모델은 도 5의 (c) 및 (d)와 같이 현재 입력된 이미지와 배경 모델과의 차영상을 이용해 추출되며, 동적 모델은 전처리부(310)에서 생성된 다채널 이미지들을 이용해 어두운 객체의 소실을 보완할 수 있다.
즉, 도 5의 (a)의 경우 전처리 후의 정적 모델을 도시한 것으로, 도 5의 (a)에 따른 전처리된 흑백 영상만을 이용할 경우 도 4의 (b)에서 보이는 어두운 차량들이 모두 소실됨을 도 5의 (c)를 통해 확인할 수 있다. 이러한 문제를 보완하기 위해 반대로, 도 4의 (c)처럼 반전 영상을 이용하여 어두운 차량 부분을 밝아지게 함으로써 도 5의 (d)와 같이 원래 어두웠던 차량을 밝아지게 할 수 있다. 하지만, 이 경우 밝아진 차량 부분이 소실되게 되므로, 본 발명의 일 실시예는 도 5의 (c)와 (d)를 결합하여 도 6의 (a)처럼 소실되는 부분 없이 모든 객체의 검출이 가능하다.
다음으로, 검출부(330)는 훈련 모델에 기초하여 이미지로부터 객체 이미지를 검출한다. 이러한 검출부(330)는 도 1 및 도 2에서 설명한 공개 데이터베이스를 이용하여 학습된 훈련 모델을 이용하여 입력된 이미지로부터 객체 이미지를 검출한다.
검출부(330)는 검출된 객체 이미지를 검출 신뢰도를 기반으로 정렬한 후, 임계값 이상의 검출 신뢰도를 갖는 객체 이미지를 후처리부(340)로 전달한다.
다음으로, 후처리부(340)는 배경 모델링부(320)를 통해 수신한 이미지를 결합한다. 이때, 후처리부(340)는 일괄 결합, 채널 가중치 결합, 동적 모델 마스크 등 다양한 방법으로 이미지들을 결합할 수 있다.
그리고 후처리부(340)는 결합된 이미지를 대상으로 형태학적 연산인 침식(erosion) 및 팽창(dillation) 연산을 수행한다. 즉, 후처리부(340)는 차영상 또는 결합된 이미지에서 발생된 잡음을 제거하거나 소실된 화소를 보충하기 위하여 형태학적 연산을 수행할 수 있다. 이때, 후처리부(340)는 잡음 및 소실의 비율에 따라 각 형태학적 연산의 순서 및 횟수를 조정할 수 있다.
그 다음, 후처리부(340)는 형태학적 연산 수행 결과를 대상으로 배경과 전경을 구분하는 이진화 과정을 수행하는데, 각 화소들의 객체의 후보군과 그 외 배경 및 잡음으로 이진화할 수 있다. 이때, 이진화 과정을 수행하기 위한 구분값은 기준 화소의 샘플링, 평균, 중간값 등 다양한 적응형 방법을 사용할 수 있다.
이후, 후처리부(340)는 이진화 과정 결과를 대상으로 전경 객체의 외곽 정보를 추출하고(Contour), 추출한 외곽 정보를 근사화하여 최적화 데이터베이스를 생성하는데 사용되는 객체 이미지에 상응하는 박스 정보를 생성한다(Fitting). 여기에서 원거리의 객체는 다량의 후보군이 결합되거나, 너무 작은 객체는 잡음으로 제거될 가능성이 있어 원활한 Fitting이 어렵기 때문에 최적화 과정에서 제외될 수 있다.
이와 같은 과정이 완료됨에 따라, 엣지 디바이스(200)는 전술한 바와 같이, 객체 이미지와 배경 이미지 및 전경 이미지를 기반으로 로컬 데이터베이스를 생성하여 서버(100)로 전송한다.
이때, 본 발명의 일 실시예에서의 각 과정에 따라 생성된 배경 이미지와, 각 합성된 이미지는 다음과 같은 역할을 수행한다.
먼저, 배경 이미지는 탐지하고자 하는 객체가 없는 배경만 존재하는 이미지로써, 배경 이미지를 학습시키면 정답이 아닌 오탐지를 제거하는 역할을 수행할 수 있다. 즉, 최적화되지 않은 검출기는 신호등, 그림자 배경 건출물 등과 같이 탐지하고자 하는 객체를 오인식하여 오탐지가 발생하게 되는데 이를 배경 이미지의 학습을 통해 제거할 수 있다.
또한, 각 합성된 이미지는 해당 지역에서 나타나는 탐지하고자 하는 객체들의 학습 데이터를 증가시켜 검출되는 객체의 신뢰도(0~100%)를 향상시키고 변별력을 높이는 역할을 수행한다. 또한, 각 합성된 이미지를 이용할 경우, 기존 검출기가 검출하지 못하던 객체들을 전경 합성 영상으로 추가 학습하여 미검출을 줄일 수 있다는 장점이 있다. 즉, 객체 이미지와 합성한 이미지는 최적화되지 않은 검출기에 의존하며, 전경 이미지와 합성한 이미지는 배경 모델링의 영상 처리를 이용하기 때문에, 각 합성된 이미지는 서로 상호 보완되어 미검출 객체를 줄일 수 있게 된다.
이하에서는 도 7을 참조하여 본 발명의 일 실시예에 따른 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 로컬 데이터베이스 생성 방법(이하, 로컬 데이터베이스 생성 방법)을 설명하도록 한다.
도 7은 로컬 데이터베이스 생성 방법의 순서도이다.
한편, 도 7에 도시된 단계들은 서버(100) 또는 엣지 디바이스(200)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다. 이하, 편의상 서버(100)에 의해 수행되는 것으로 가정하여 설명하도록 한다.
먼저, 서버(100)는 엣지 디바이스(200)로부터 실시간 또는 미리 수집된 영상으로부터 추출된 이미지를 대상으로 전처리를 수행한다(S110).
다음으로, 서버(100)는 전처리된 이미지를 기반으로 정적인 배경 이미지를 모델링하고, 현재 입력된 이미지와 배경 모델과의 차영상을 산출하여 동적인 전경 이미지를 모델링한다(S120).
다음으로, 서버(100)는 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 검출하고(S130), 배경 이미지, 배경 이미지와 합성된 전경 이미지 및 배경 이미지와 합성된 객체 이미지를 기반으로 로컬 데이터베이스를 생성한다(S140).
한편, 상술한 설명에서, 단계 S110 내지 S140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 6의 객체 검출기 지역 최적화 시스템(1)의 내용은 도 7의 내용에도 적용될 수 있다.
이상에서 전술한 본 발명의 일 실시예는, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 객체 검출기 지역 최적화 시스템
100 : 서버
200: 엣지 디바이스
310: 전처리부
320: 배경 모델링부
330: 검출부
340: 후처리부

Claims (20)

  1. 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템에 있어서,
    온오프라인상에서 수집된 데이터 및 정답으로 구성된 공개 데이터베이스에 기초하여 훈련된 훈련 모델을 생성하고, 로컬 데이터베이스를 다운로드하여 상기 공개 데이터베이스와 함께 가공하여 최적화 데이터베이스를 생성하며, 상기 최적화 데이터베이스에 기반한 학습 과정을 통해 최적화 모델을 생성하는 서버와,
    실시간 또는 미리 수집된 영상으로부터 이미지를 추출하며, 상기 서버로부터 업로드된 상기 훈련 모델을 수신하고, 상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 추출하며,
    상기 추출된 이미지를 배경 모델에 입력하여 배경 이미지와 전경 이미지를 생성하고, 상기 객체 이미지와 배경 이미지 및 전경 이미지를 기반으로 상기 로컬 데이터베이스를 생성하여 상기 서버로 전송하며,
    상기 서버로부터 상기 최적화 모델을 수신하여 상기 이미지로부터 객체 이미지 검출 결과를 생성하는 적어도 하나의 엣지 디바이스를 포함하되,
    상기 엣지 디바이스는,
    상기 이미지가 전처리된 후 정적인 배경 이미지를 모델링하고, 현재 입력된 이미지와 상기 배경 이미지와의 차영상을 산출하여 동적인 전경 이미지를 모델링하는 배경 모델링부와,
    상기 배경 모델링부를 통해 수신한 이미지를 결합하고, 결합된 이미지를 대상으로 형태학적 연산인 침식 및 팽창 연산을 수행하며, 상기 형태학적 연산 수행 결과를 대상으로 배경과 전경을 구분하는 이진화 과정을 수행한 후, 상기 이진화 과정 결과를 대상으로 전경 객체의 외곽 정보를 추출하고, 추출한 외곽 정보를 근사화하여 상기 최적화 데이터베이스를 생성하는데 사용되는 상기 객체 이미지에 상응하는 박스 정보를 생성하는 후처리부를 포함하는,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  2. 제1항에 있어서,
    상기 엣지 디바이스는 배경 모델과 현재 입력된 이미지와의 차영상을 산출하여 상기 전경 이미지를 생성하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  3. 제1항에 있어서,
    상기 엣지 디바이스는 상기 배경 이미지, 상기 배경 이미지와 합성된 전경 이미지 및 상기 배경 이미지와 합성된 객체 이미지를 기반으로 상기 로컬 데이터베이스를 생성하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  4. 제1항에 있어서,
    상기 엣지 디바이스는 상기 영상으로 고정형 감시 영상을 수집하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  5. 제1항에 있어서,
    상기 엣지 디바이스는,
    상기 이미지의 RGB 컬러 공간을 상기 이미지의 특징에 상응하도록 소정의 타입의 컬러 공간으로 변환하며, 상기 변환된 이미지에 소정의 필터를 적용하여 강화된 이미지를 생성하며, 상기 변환된 이미지의 컬러 공간에 상응하도록 채널을 분할하는 전처리부와,
    상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 검출하는 검출부를 포함하는,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  6. 제5항에 있어서,
    상기 배경 모델링부는 상기 전처리부로부터 상기 강화된 이미지 또는 채널 분할된 이미지를 수신하고, 상기 현재 입력된 이미지로부터 연속되는 n개(n은 2 이상의 자연수)의 과거 이미지를 기반으로 상기 정적인 배경 이미지를 모델링하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  7. 제6항에 있어서,
    상기 n개의 과거 이미지는 동적인 객체의 움직임 변화량에 기초하여 조정되는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  8. 제5항에 있어서,
    상기 검출부는 상기 검출된 객체 이미지를 검출 신뢰도를 기반으로 정렬한 후, 임계값 이상의 검출 신뢰도를 갖는 객체 이미지를 상기 후처리부로 전달하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  9. 제5항에 있어서,
    상기 후처리부는 상기 결합된 이미지의 잡음 및 소실의 비율에 기초하여 상기 형태학적 연산의 순서 및 횟수를 조정하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  10. 제5항에 있어서,
    상기 후처리부는 상기 형태학적 연산 수행 결과를 대상으로 각 화소들을 객체의 후보군과 그외 배경 및 잡음으로 이진화하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  11. 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템에 있어서,
    실시간 또는 미리 수집된 영상으로부터 추출된 이미지를 수신하고,
    온오프라인상에서 수집된 데이터 및 정답으로 구성된 공개 데이터베이스에 기초하여 훈련된 훈련 모델을 생성하고, 상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 추출하며,
    상기 이미지를 미리 저장된 배경 모델에 입력하여 배경 이미지와 전경 이미지를 생성하고, 상기 객체 이미지와 배경 이미지 및 전경 이미지를 기반으로 로컬 데이터베이스를 생성하며, 상기 로컬 데이터베이스 및 공개 데이터베이스를 함께 가공하여 최적화 데이터베이스를 생성하며, 상기 최적화 데이터베이스에 기반한 학습 과정을 통해 최적화 모델을 생성하는 서버와,
    상기 영상을 수집하여 상기 서버로 전송하며, 상기 서버로부터 상기 최적화 모델을 수신하여 상기 이미지로부터 객체 이미지 검출 결과를 생성하는 적어도 하나의 엣지 디바이스를 포함하되.
    상기 엣지 디바이스는,
    상기 이미지가 전처리된 후 정적인 배경 이미지를 모델링하고, 현재 입력된 이미지와 상기 배경 이미지와의 차영상을 산출하여 동적인 전경 이미지를 모델링하는 배경 모델링부와,
    상기 배경 모델링부를 통해 수신한 이미지를 결합하고, 결합된 이미지를 대상으로 형태학적 연산인 침식 및 팽창 연산을 수행하며, 상기 형태학적 연산 수행 결과를 대상으로 배경과 전경을 구분하는 이진화 과정을 수행한 후, 상기 이진화 과정 결과를 대상으로 전경 객체의 외곽 정보를 추출하고, 추출한 외곽 정보를 근사화하여 상기 최적화 데이터베이스를 생성하는데 사용되는 상기 객체 이미지에 상응하는 박스 정보를 생성하는 후처리부를 포함하는,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  12. 제11항에 있어서,
    상기 서버는 현재 입력된 이미지와 상기 배경 이미지와의 차영상을 산출하여 상기 전경 이미지를 생성하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  13. 제11항에 있어서,
    상기 서버는 상기 배경 이미지, 상기 배경 이미지와 합성된 전경 이미지 및 상기 배경 이미지와 합성된 객체 이미지를 기반으로 상기 로컬 데이터베이스를 생성하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  14. 제11항에 있어서,
    상기 엣지 디바이스는 상기 영상으로 고정형 감시 영상을 수집하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  15. 제11항에 있어서,
    상기 서버는,
    상기 이미지의 RGB 컬러 공간을 상기 이미지의 특징에 상응하도록 소정의 타입의 컬러 공간으로 변환하며, 상기 변환된 이미지에 소정의 필터를 적용하여 강화된 이미지를 생성하며, 상기 변환된 이미지의 컬러 공간에 상응하도록 채널을 분할하는 전처리부와,
    상기 훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 검출하는 검출부를 포함하는,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  16. 제15항에 있어서,
    상기 배경 모델링부는 상기 전처리부로부터 상기 강화된 이미지 또는 채널 분할된 이미지를 수신하고, 상기 현재 입력된 이미지로부터 연속되는 n개(n은 2 이상의 자연수)의 과거 이미지를 기반으로 상기 정적인 배경 이미지를 모델링하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  17. 제16항에 있어서,
    상기 n개의 과거 이미지는 동적인 객체의 움직임 변화량에 기초하여 조정되는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  18. 제15항에 있어서,
    상기 검출부는 상기 검출된 객체 이미지를 검출 신뢰도를 기반으로 정렬한 후, 임계값 이상의 검출 신뢰도를 갖는 객체 이미지를 상기 후처리부로 전달하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  19. 제15항에 있어서,
    상기 후처리부는 상기 결합된 이미지의 잡음 및 소실의 비율에 기초하여 상기 형태학적 연산의 순서 및 횟수를 조정하는 것인,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템.
  20. 컴퓨터에 의해 수행되는 방법에 있어서,
    엣지 디바이스로부터 실시간 또는 미리 수집된 영상으로부터 추출된 이미지를 대상으로 전처리를 수행하는 단계;
    상기 전처리된 이미지를 기반으로 정적인 배경 이미지를 모델링하고, 현재 입력된 이미지와 배경 모델과의 차영상을 산출하여 동적인 전경 이미지를 모델링하는 단계;
    훈련 모델에 기초하여 상기 이미지로부터 객체 이미지를 검출하는 단계;
    상기 모델링된 정적인 배경 이미지와 동적인 전경 이미지를 결합하고, 결합된 이미지를 대상으로 형태학적 연산인 침식 및 팽창 연산을 수행하며, 상기 형태학적 연산 수행 결과를 대상으로 배경과 전경을 구분하는 이진화 과정을 수행한 후, 상기 이진화 과정 결과를 대상으로 전경 객체의 외곽 정보를 추출하고, 추출한 외곽 정보를 근사화하여 최적화 데이터베이스를 생성하는데 사용되는 상기 객체 이미지에 상응하는 박스 정보를 생성하는 후처리 단계; 및
    상기 배경 이미지, 상기 배경 이미지와 합성된 전경 이미지 및 상기 배경 이미지와 합성된 객체 이미지를 기반으로 로컬 데이터베이스를 생성하는 단계를 포함하는,
    심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 로컬 데이터베이스 생성 방법.
KR1020200147645A 2020-11-06 2020-11-06 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법 KR102576747B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200147645A KR102576747B1 (ko) 2020-11-06 2020-11-06 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법
US17/497,771 US12026231B2 (en) 2020-11-06 2021-10-08 System for local optimization of object detector based on deep neural network and method of creating local database therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200147645A KR102576747B1 (ko) 2020-11-06 2020-11-06 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법

Publications (2)

Publication Number Publication Date
KR20220061541A KR20220061541A (ko) 2022-05-13
KR102576747B1 true KR102576747B1 (ko) 2023-09-11

Family

ID=81453480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147645A KR102576747B1 (ko) 2020-11-06 2020-11-06 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법

Country Status (2)

Country Link
US (1) US12026231B2 (ko)
KR (1) KR102576747B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230134663A1 (en) * 2021-11-02 2023-05-04 Steven Roskowski Transforming Surveillance Sensor Data into Event Metadata, Bounding Boxes, Recognized Object Classes, Learning Density Patterns, Variation Trends, Normality, Projections, Topology; Determining Variances Out of Normal Range and Security Events; and Initiating Remediation and Actuating Physical Access Control Facilitation
KR102697406B1 (ko) * 2024-05-13 2024-08-20 주식회사 엔시스 인공지능 학습모델을 이용한 댐 물갓선 추출시스템 및 추출방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255215B1 (ko) 2014-12-12 2021-05-24 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
SE1851266A1 (sv) * 2016-03-17 2018-10-16 Avigilon Corp System and method for training object classifier by machine learning
KR20200028330A (ko) * 2017-05-09 2020-03-16 뉴럴라 인코포레이티드 네트워크 연산 에지 전반에 걸쳐 연속적으로 애플리케이션을 작동하는 딥 러닝과 인공 지능에서 지속적인 메모리 기반 학습을 가능하게 하는 시스템 및 방법
KR102053906B1 (ko) 2017-08-31 2019-12-10 서울시립대학교 산학협력단 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
CN108334831A (zh) * 2018-01-26 2018-07-27 中南大学 一种监测图像处理方法、监测终端及系统
KR102577472B1 (ko) 2018-03-20 2023-09-12 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
US10706525B2 (en) * 2018-05-22 2020-07-07 Midea Group Co. Ltd. Methods and systems for improved quality inspection
CN108776808A (zh) * 2018-05-25 2018-11-09 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
KR102286037B1 (ko) 2018-11-12 2021-08-05 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
KR20200087310A (ko) 2018-12-28 2020-07-21 소프트온넷(주) 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법
US10692002B1 (en) 2019-01-28 2020-06-23 StradVision, Inc. Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
KR102612422B1 (ko) * 2020-11-12 2023-12-12 한국전자통신연구원 네트워크를 이용한 고정형 폐쇄회로 영상 엣지 단말의 적응형 객체 인식 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2018-0135898호(2018.12.21.) 1부.*
한국 공개특허공보 제10-2020-0028330호(2020.03.16.) 1부.*

Also Published As

Publication number Publication date
KR20220061541A (ko) 2022-05-13
US20220147773A1 (en) 2022-05-12
US12026231B2 (en) 2024-07-02

Similar Documents

Publication Publication Date Title
EP4085369A1 (en) Forgery detection of face image
CN109978882A (zh) 一种基于多模态融合的医疗影像目标检测方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111767906B (zh) 人脸检测模型训练方法、人脸检测方法、装置及电子设备
KR102576747B1 (ko) 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111652233A (zh) 一种针对复杂背景的文本验证码自动识别方法
JP2021068056A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
KR20210151773A (ko) 대상 재인식 방법 및 장치, 단말 및 저장 매체
CN117809168B (zh) 一种基于水下目标的固有属性特征进行检测的方法及装置
Chen et al. Single‐Object Tracking Algorithm Based on Two‐Step Spatiotemporal Deep Feature Fusion in a Complex Surveillance Scenario
CN116994049A (zh) 全自动针织横机及其方法
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
CN114387484B (zh) 一种基于yolov4改进的口罩佩戴检测方法及系统
Tang Intelligent target detection and tracking algorithm for martial arts applications
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
KR20230046818A (ko) 의미론적 영상 분할을 위한 데이터 학습 장치 및 방법
JP2021072106A (ja) イメージ処理システム
CN113706436A (zh) 一种基于自监督生成对抗学习背景建模的目标检测方法
CN117975373B (zh) 一种电力基建现场高空抛物目标检测与追踪方法及系统
CN113506272B (zh) 一种虚假视频的检测方法及系统
CN116994019B (zh) 模型训练方法、相关设备、存储介质及计算机产品
CN115861926A (zh) 一种轿厢式电梯内乘客行为识别方法、系统及电子设备
Brown et al. Adaptive Motion Detection for Enhanced Video Surveillance
CN118674708A (zh) 一种电力场景中的设备状态异常变化检测方法及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant