KR20200093426A - 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치 - Google Patents

이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치 Download PDF

Info

Publication number
KR20200093426A
KR20200093426A KR1020190166180A KR20190166180A KR20200093426A KR 20200093426 A KR20200093426 A KR 20200093426A KR 1020190166180 A KR1020190166180 A KR 1020190166180A KR 20190166180 A KR20190166180 A KR 20190166180A KR 20200093426 A KR20200093426 A KR 20200093426A
Authority
KR
South Korea
Prior art keywords
test
image
learning
pedestrian
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190166180A
Other languages
English (en)
Other versions
KR102382693B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200093426A publication Critical patent/KR20200093426A/ko
Application granted granted Critical
Publication of KR102382693B1 publication Critical patent/KR102382693B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06K9/00348—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 이미지 분석 기반으로 환경에 환경에 영향 받지 않는 감시 (Robust Surveillance) 또는 군사 목적으로 사용되는 테스트용 보행자 검출기(Pedestrian Detector)를 학습하는 방법에 관한 것으로 라벨링된 이미지 부족 문제에 대한 해결책, 어노테이션(Annotation) 비용 절감을 위해 제공되며, GAN(Generative Adversarial Network)을 이용하여 수행될 수 있으며, 트레이닝 이미지 상의 영역 각각을 크롭(Crop)하여 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 보행자 각각을, 검출을 어렵게 할 수 있는 변형 보행자로 변환함으로써 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하는 단계; 및 영역 각각을 변형 이미지 패치로 대체하여 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 변형 보행자를 검출하도록 하며, 로스를 최소화하도록 보행자 검출기의 파라미터를 학습하는 단계;를 포함하는 것을 특징으로 하며, 자율 진화 시스템(Self-Evolving System)으로써의 본 학습은 어려운 예시를 포함하는 트레이닝 데이터를 생성하여 적대적 패턴(Adversarial Pattern)에 영향을 받지 않을 수 있는 것을 특징으로 한다.

Description

이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치{LEARNING METHOD AND LEARNING DEVICE OF PEDESTRIAN DETECTOR FOR ROBUST SURVEILLANCE BASED ON IMAGE ANALYSIS BY USING GAN AND TESTING METHOD AND TESTING DEVICE USING THE SAME}
본 발명은 자율 주행 차량과 함께 사용하는 학습 방법 및 학습 장치 그리고 테스트 방법 및 테스트 장치에 관한 것으로, 보다 상세하게는, GAN을 이용한 이미지 분석 기반으로 환경에 영향 받지 않는 감시 (Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.
기계 학습(Machine Learning)에서 컨벌루션 뉴럴 네트워크(Convolutional Neural Network; CNN 또는 ConvNet)는 시각적 이미지 분석에 성공적으로 적용되어온 딥 피드포워드 인공 뉴럴 네트워크(Deep, Feed-Forward Artificial Neural Network)의 한 클래스(Class)다.
이러한 CNN 기반의 객체 검출기는 (i) 적어도 하나의 컨벌루션 레이어로 하여금 입력 이미지에 대하여 컨벌루션 연산을 적용하여 입력 이미지에 대응되는 특징 맵을 생성하도록 하고, (ii) RPN(Region Proposal Network)으로 하여금 특징 맵을 이용하여 입력 이미지 내의 객체에 대응되는 프로포잘을 생성하도록 한 다음, (iii) 풀링 레이어(Pooling Layer)로 하여금 프로포잘에 대응하는 특징 맵 상의 영역에 대하여 풀링 연산을 적용하도록 하여 적어도 하나의 풀링된 특징 맵을 생성하며, (iv) FC 레이어(Fully Connected Layer)로 하여금 획득된 풀링된 특징 맵에 대하여 FC 연산(Fully Connected Operation)을 적어도 한 번 적용하도록 하여 객체에 대한 클래스 정보(Class Information)와 리그레션 정보(Regression Information)를 출력하도록 함으로써 이를 통해 입력 이미지 상의 객체를 검출하도록 한다.
최근에는 이러한 객체 검출기를 이용한 감시 시스템이 개발되고 있다. 종래의 감시 시스템은 감시 카메라로부터 입력되는 이미지에서 객체인 보행자를 검출하도록 특화된 보행자 검출기(Pedestrian Detector)를 이용하고 있으며, 머리 스타일, 옷의 텍스쳐 패턴 및 모양 등을 참조해 보행자를 검출하고 있다.
하지만, 종래의 보행자 검출기는, 트레이닝 데이터에서 접하지 못한 독특한 스타일 및/또는 패턴을 한 보행자, 어두운 길가에서 검은 옷을 입은 보행자와 같이 주위 배경과 비슷한 보행자 등의 사례에는 정확히 보행자를 검출하지 못하는 문제점이 있다. 보행자가 이러한 결함을 알고 자신의 존재를 의도적으로 은폐 및 엄폐하려 할 경우, 감시 시스템에 심각한 문제가 발생하게 된다.
따라서, 종래의 보행자 검출기가 보행자 검출에 실패한 경우, 모니터링 인력이 실패한 사례에 대한 트레이닝 데이터를 추가함으로써 트레이닝 데이터의 범위를 향상시킨 다음, 주기적으로 보행자 검출기를 재교육하여야 한다.
그러나, 보행자 검출기를 주기적으로 재교육하는 것으로 검출 실패 사례의 예방은 불가능하며, 검출에 실패한 사례가 발생할 때마다 이를 보완하기 위하여 재교육을 수행하여야 하는 단점이 있으며, 미검출 여부를 모니터링 하기 위한 별도의 인력이 필요한 단점이 있다.
또한, 검출 실패 사례에 대한 재교육을 수행하기 위한 적절한 트레이닝 데이터를 확보하는 데에도 어려움이 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 트레이닝 데이터의 범위를 확장시키는 것을 다른 목적으로 한다.
본 발명은 미검출 사례를 모니터링하기 위한 별도의 인력을 줄이는 것을 또 다른 목적으로 한다.
본 발명은 미검출 사례에 대한 적절한 트레이닝을 통해 감시 시스템의 성능을 개선할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 실시예에 따르면, 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 방법에 있어서, (a) 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 바운딩 박스 각각을 갖는 상기 트레이닝 이미지가 획득되면, 학습 장치가, 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응되는 영역 각각을 크롭(Crop)하여 적어도 하나의 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 검출을 어렵게 할 수 있는 변형 보행자 각각으로 변환함으로써 적어도 하나의 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하는 단계; 및 (b) 상기 학습 장치가, 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응하는 상기 영역 각각을 상기 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습하는 단계;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 판별기(Discriminator)로 하여금 상기 각각의 변형 이미지 패치가 상기 각각의 학습용 보행자일 각각의 확률을 나타내는 학습용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 하며, 상기 학습용 보행자 스코어 및 상기 제1 로스를 최대화하도록 상기 적대적 스타일 변환기의 적어도 하나의 파라미터의 적어도 일부를 더 학습하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 적대적 스타일 변환기는, 상기 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치는, 적어도 하나의 상기 이미지 패치를 리사이즈(Resize)하여 상기 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 변형 이미지 패치를 출력하도록 하며, 상기 (b) 단계에서, 상기 학습 장치는, 상기 동일한 사이즈의 상기 변형 이미지 패치를 리사이즈하여 상기 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 트레이닝 이미지를 생성하도록 하는 특징으로 한다.
일 실시예에서, 상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 적어도 하나의 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 테스트용 보행자 검출기(Pedestrian Detector)를 테스트하는 방법에 있어서, (a) (1) 학습 장치가, 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 학습용 바운딩 박스 각각을 갖는 상기 트레이닝 이미지 상에서 학습용 바운딩 박스 각각에 대응되는 학습용 영역 각각을 크롭(Crop)하여 적어도 하나의 학습용 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 학습용 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 학습용 검출을 어렵게 할 수 있는 학습용 변형 보행자 각각으로 변환함으로써 적어도 하나의 학습용 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하고, (2) 상기 학습 장치가, 상기 트레이닝 이미지 상에서 상기 학습용 바운딩 박스 각각에 대응하는 상기 학습용 영역 각각을 상기 학습용 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 학습용 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습한 상태에서, 적어도 하나의 테스트 이미지에 생성된 테스트용 보행자 각각에 대응하는 테스트용 바운딩 박스 각각을 가지는 상기 테스트 이미지가 획득되면, 테스트 장치가, 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응되는 테스트용 영역 각각을 크롭하여 적어도 하나의 테스트용 이미지 패치를 생성하고, 상기 적대적 스타일 변환기로 하여금, 상기 테스트용 이미지 패치 각각에 대응되는 상기 테스트용 보행자 각각을, 상기 보행자 검출기에 의한 테스트용 검출을 어렵게 할 수 있는 테스트용 변형 보행자 각각으로 변환함으로써 적어도 하나의 테스트용 변형 이미지 패치를 생성하도록 단계; 및 (b) 상기 테스트 장치가, 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응하는 상기 테스트용 영역 각각을 상기 테스트용 변형 이미지 패치로 대체하여 적어도 하나의 변형 테스트 이미지(Transformed Test Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 테스트 이미지 내에 위치하는 상기 테스트용 변형 보행자를 검출하여 테스트용 보행자 검출 정보를 생성하도록 단계;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 테스트 장치는, 판별기(Discriminator)로 하여금 상기 각각의 테스트용 변형 이미지 패치가 상기 각각의 테스트용 보행자일 각각의 확률을 나타내는 테스트용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 한다.
일 실시예에서, 상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 한다.
일 실시예에서, 상기 (2) 프로세스에서, 상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 적대적 스타일 변환기는, 상기 테스트용 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스트 장치는, 적어도 하나의 상기 테스트용 이미지 패치를 리사이즈(Resize)하여 상기 테스트용 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 출력하도록 하며, 상기 (b) 단계에서, 상기 테스트 장치는, 상기 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 리사이즈하여 상기 테스트용 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 테스트 이미지를 생성하도록 하는 특징으로 한다.
일 실시예에서, 상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 상기 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 테스트용 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 테스트용 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 한다.
본 발명의 또 다른 태양에 따르면, 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 바운딩 박스 각각을 갖는 상기 트레이닝 이미지가 획득되면, 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응되는 영역 각각을 크롭(Crop)하여 적어도 하나의 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 검출을 어렵게 할 수 있는 변형 보행자 각각으로 변환함으로써 적어도 하나의 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하는 프로세스, 및 (II) 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응하는 상기 영역 각각을 상기 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 판별기(Discriminator)로 하여금 상기 각각의 변형 이미지 패치가 상기 각각의 학습용 보행자일 각각의 확률을 나타내는 학습용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 하며, 상기 학습용 보행자 스코어 및 상기 제1 로스를 최대화하도록 상기 적대적 스타일 변환기의 적어도 하나의 파라미터의 적어도 일부를 더 학습하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 적대적 스타일 변환기는, 상기 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 적어도 하나의 상기 이미지 패치를 리사이즈(Resize)하여 상기 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 변형 이미지 패치를 출력하도록 하며, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 동일한 사이즈의 상기 변형 이미지 패치를 리사이즈하여 상기 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 트레이닝 이미지를 생성하도록 하는 특징으로 한다.
일 실시예에서, 상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 적어도 하나의 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 한다.
본 발명의 또 다른 태양에 따르면, 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 테스트용 보행자 검출기(Pedestrian Detector)를 위한 테스트 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (1) 학습 장치가, 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 학습용 바운딩 박스 각각을 갖는 상기 트레이닝 이미지 상에서 학습용 바운딩 박스 각각에 대응되는 학습용 영역 각각을 크롭(Crop)하여 적어도 하나의 학습용 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 학습용 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 학습용 검출을 어렵게 할 수 있는 학습용 변형 보행자 각각으로 변환함으로써 적어도 하나의 학습용 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하고, (2) 상기 학습 장치가, 상기 트레이닝 이미지 상에서 상기 학습용 바운딩 박스 각각에 대응하는 상기 학습용 영역 각각을 상기 학습용 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 학습용 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습한 상태에서, (I) 적어도 하나의 테스트 이미지에 생성된 테스트용 보행자 각각에 대응하는 테스트용 바운딩 박스 각각을 가지는 상기 테스트 이미지가 획득되면, 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응되는 테스트용 영역 각각을 크롭하여 적어도 하나의 테스트용 이미지 패치를 생성하고, 상기 적대적 스타일 변환기로 하여금, 상기 테스트용 이미지 패치 각각에 대응되는 상기 테스트용 보행자 각각을, 상기 보행자 검출기에 의한 테스트용 검출을 어렵게 할 수 있는 테스트용 변형 보행자 각각으로 변환함으로써 적어도 하나의 테스트용 변형 이미지 패치를 생성하도록 하는 프로세스, 및 (II) 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응하는 상기 테스트용 영역 각각을 상기 테스트용 변형 이미지 패치로 대체하여 적어도 하나의 변형 테스트 이미지(Transformed Test Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 테스트 이미지 내에 위치하는 상기 테스트용 변형 보행자를 검출하여 테스트용 보행자 검출 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 판별기(Discriminator)로 하여금 상기 각각의 테스트용 변형 이미지 패치가 상기 각각의 테스트용 보행자일 각각의 확률을 나타내는 테스트용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 한다.
일 실시예에서, 상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 한다.
일 실시예에서, 상기 (2) 프로세스에서, 상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 적대적 스타일 변환기는, 상기 테스트용 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 적어도 하나의 상기 테스트용 이미지 패치를 리사이즈(Resize)하여 상기 테스트용 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 출력하도록 하며, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 리사이즈하여 상기 테스트용 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 테스트 이미지를 생성하도록 하는 특징으로 한다.
일 실시예에서, 상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 상기 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 테스트용 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 테스트용 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 보행자 검출이 용이한 이미지를 보행자 검출이 어려운 이미지로 변환하여 미검출 사례에 대한 학습을 수행함으로써 보행자 검출기 테스트 시에 미검출 사례와 유사한 사례가 발생할 경우 보행자 검출기의 검출율을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 미검출 사례에 대응하는 다양한 트레이닝 데이터를 생성할 수 있으므로, 검출이 어려운 사례에 대한 충분한 트레이닝 데이터를 확보할 수 있는 다른 효과가 있다.
또한, 본 발명은 검출이 어려운 사례에 대한 적절한 트레이닝 데이터를 학습함으로써 미검출 사례가 발생할 확률을 최소화함으로써 미검출 사례를 모니터링하기 위한 별도의 인력이 필요하지 않게 되며, 감시 시스템의 유지 비용을 최소화할 수 있는 또 다른 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 학습 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 학습하는 방법을 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 학습하는 방법에서 적어도 하나의 트레이닝 이미지를 획득하는 프로세스를 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 학습하는 방법에서 적대적 스타일 변환기(Adversarial Style Transformer)를 학습하는 프로세스를 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 학습하는 방법에서 판별기(Discriminator)를 학습하는 프로세스를 개략적으로 도시한 것이고,
도 7은 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 테스트하는 테스트 장치를 개략적으로 도시한 것이고,
도 8은 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향을 받지 않는 감시에 사용되는 보행자 검출기를 이용하여 적어도 하나의 보행자를 검출하는 프로세스를 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 학습 장치를 개략적으로 도시한 것이다. 도 1을 참조하면, 학습 장치(100)는 보행자 검출기(Pedestrian Detector)를 학습하기 위한 인스트럭션(Instruction)을 저장하는 메모리(110)와 메모리(110)에 저장된 인스트럭션에 대응하는 프로세스를 수행하여 보행자 검출기를 학습하는 프로세서(120)를 포함할 수 있다.
구체적으로, 학습 장치(100)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 종래의 컴퓨팅 구성요소를 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
컴퓨팅 장치의 프로세서가 본 발명을 실시하기 위한 프로세서, 미디엄 또는 다른 컴퓨팅 구성요소의 어떠한 조합을 포함하는 통합 장치(Integrated Device)를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 학습 장치(100)를 이용하여 이미지 분석 기반으로 환경에 영향 받지 않는 감시에 사용되는 보행자 검출기를 학습하는 방법에 대하여 도 2를 참조하여 설명하면 다음과 같다.
참고로 이하의 설명에서 혼동을 피하기 위해 "학습용"이란 문구는 앞서 설명한 학습 프로세스와 관련된 용어에 대해 추가되고, "테스트용"이란 문구는 테스트 프로세스와 관련된 용어에 대해　추가된다.
먼저, 학습용 보행자 각각에 대응되는 바운딩 박스(
Figure pat00001
) 각각을 가지는 적어도 하나의 트레이닝 이미지 I(11)이 획득되면, 학습 장치(100)가, 트레이닝 이미지 I(11) 상에서 바운딩 박스(
Figure pat00002
) 각각에 대응되는 영역 각각을 크롭(Crop)하여 적어도 하나의 이미지 패치 x(12)를 생성한다(S1). 상기 I는 학습에 이용되는 적어도 하나의 트레이닝 이미지에 대응되며, x는 각각의 트레이닝 이미지 상의 바운딩 박스 중 어느 하나의 바운딩 박스에 대응될 수 있다.
이때, 학습 장치(100)는 이미지 패치 x(12) 중 적어도 하나를 리사이즈(Resize)하여 이미지 패치 x(12)들이 동일한 사이즈를 갖도록 할 수 있다. 또한, 이미지 패치 x들이 동일한 사이즈를 갖도록 하기 위하여, 학습 장치(100)는 일부 이미지 패치 x의 사이즈를 크게 하거나, 일부 이미지 패치 x는 사이즈를 작게 할 수 있으며, 일부 이미지 패치 x는 사이즈를 조정하지 않을 수도 있다.
한편, 도 3을 참조하면, 학습 장치(100)는 (i) 감시 카메라로부터 획득된 적어도 하나의 테스트 이미지(10) 내에 위치하는 테스트용 보행자를 검출하여 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 보행자 검출기(140) 및 (ii) 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 트레이닝 이미지를 저장하는 데이터베이스(5) 중 하나로부터 트레이닝 이미지 I(11)를 획득할 수 있다.
일 예로, 도 3을 참조하여, 보행자 검출기(140)로부터 트레이닝 이미지 I(11)를 획득하는 방법을 설명하면 다음과 같다.
감시 카메라로부터 획득된 테스트 이미지 I(10)가 입력되면, 보행자 검출기(140)는 적어도 하나의 컨벌루션 레이어(141)로 하여금 테스트 이미지 I(10)에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 적어도 하나의 테스트용 특징 맵을 출력하도록 한다. 이때, 컨벌루션 레이어(141)는 테스트 이미지 I(10)에 대하여 순차적으로 컨벌루션 연산을 적용하여 테스트용 특징 맵을 출력할 수 있다.
그리고, 보행자 검출기(140)는 적어도 하나의 RPN(Region Proposal Network)(142)으로 하여금 테스트용 특징 맵 상에서 적어도 하나의 보행자를 포함하는 것으로 추정되는 후보 영역에 대응되는 테스트용 프로포잘 박스를 생성하도록 한다.
이후, 보행자 검출기(140)는 적어도 하나의 풀링 레이어(143)로 하여금 테스트용 특징 맵 상에서 테스트용 프로포잘 박스에 대응되는 영역에 대하여 풀링 연산(Pooling Operation)을 적어도 한 번 적용하여 적어도 하나의 테스트용 특징 벡터(Feature Vector)를 생성하도록 한다.
그리고, 보행자 검출기(140)는 적어도 하나의 FC 레이어(Fully Connected Layer)(144)로 하여금 테스트용 특징 벡터에 대하여 FC 연산(Fully Connected Operation)을 적어도 한 번 적용하도록 한 다음, 적어도 하나의 분류 레이어(Classification Layer)(145)로 하여금 테스트용 프로포잘 박스 각각에 대응되는 각각의 테스트용 보행자 클래스 정보를 출력하도록 하고, 적어도 하나의 리그레션 레이어(Regression Layer)(146)로 하여금 각각의 테스트용 보행자를 바운딩한 테스트용 프로포잘 박스 각각으로부터 나온 테스트용 바운딩 박스를 생성하도록 한다.
한편, 보행자 검출기(140)는 사전에 학습된 상태일 수 있다. 즉, 적어도 하나의 로스를 이용한 백프로퍼게이션을 통해 FC 레이어(144) 및 컨벌루션 레이어(141)의 적어도 하나의 파라미터 중 적어도 일부가 조정된 상태일 수 있다. 또한 RPN(142)도 사전에 학습된 상태일 수 있다.
다시, 도 2를 참조하면, 학습 장치(100)는 적대적 스타일 변환기(Adversarial Style Transformer) G(130)로 하여금 이미지 패치 x(12) 각각에 대응되는 학습용 보행자 각각을, 보행자 검출기(140)에 의한 검출을 어렵게 하는 변형 보행자 각각으로 변환하여 적어도 하나의 변형 이미지 패치(Transformed Image Patch) G(x)(13) 각각을 생성하도록 한다(S2).
이때, 적대적 스타일 변환기 G(130)는 이미지 패치 x(12)에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 인코더에서 출력되는 적어도 하나의 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하여 변형 이미지 패치 G(x)(13)를 생성하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함할 수 있다.
한편, 적대적 스타일 변환기 G(130)는, 보행자 검출기(140)를 통해 검출되거나 트레이닝 데이터베이스로부터 획득된 트레이닝 이미지 I(11)에서 검출이 용이한 보행자 각각에 대응되는 이미지 패치 x(12) 각각에 대하여 보행자 검출기(140)에서 검출이 어려운, 즉, 종래 트레이닝 데이터에서 접하지 못한 독특한 스타일 및/또는 패턴을 가지도록 변환하여 변형 이미지 패치 G(x)(13)를 생성하거나, 주위 배경에 대응하여 이미지 패치 x(12)를 변환하여 변형 이미지 패치 G(x)(13)를 생성할 수 있다.
다음으로, 학습 장치(100)는 트레이닝 이미지 I(11) 상에서 바운딩 박스(
Figure pat00003
) 각각에 대응되는 각각의 영역을 변형 이미지 패치 G(x)로 대체하여 변형 보행자 각각이 위치하는 영역((
Figure pat00004
) 각각을 가지는 적어도 하나의 변형 트레이닝 이미지(14)를 생성한다(S3).
이때, 학습 장치(100)는 상기에서 적어도 하나의 이미지 패치 x(12)를 리사이즈 하였을 경우, 이에 대응되는 변형 이미지 패치 G(x)를 리사이즈하여 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 변형 트레이닝 이미지(14)를 생성할 수 있다.
그리고, 변형 트레이닝 이미지(14)는 다음과 같이 나타낼 수 있다.
Figure pat00005
다음으로, 학습 장치(100)는 보행자 검출기(140)로 하여금 변형 트레이닝 이미지(14) 내에 위치하는 변형 보행자(
Figure pat00006
)를 검출하도록 하여 학습용 보행자 검출 정보를 생성하도록 할 수 있다.
일 예로, 다시 도 4를 참조하여, 보행자 검출기(140)가 변형 트레이닝 이미지(14)에서 변형 보행자를 검출하는 방법을 설명하면 다음과 같다.
변형 트레이닝 이미지(14)가 입력되면, 보행자 검출기(140)는 컨벌루션 레이어(141)로 하여금 변형 트레이닝 이미지(14)에 대하여 컨벌루션 연산을 적용하도록 하여 적어도 하나의 학습용 특징 맵을 생성하도록 한다. 이때, 컨벌루션 레이어(141)는 변형 트레이닝 이미지(14)에 대하여 순차적으로 컨벌루션 연산을 적용하여 학습용 특징 맵을 생성할 수 있다.
그리고, 보행자 검출기(140)는 RPN(142)으로 하여금 학습용 특징 맵 상에서 변형 보행자((
Figure pat00007
)를 포함하는 것으로 추정되는 후보 영역에 대응되는 학습용 프로포잘 박스를 생성하도록 한다.
이후, 보행자 검출기(140)는 풀링 레이어(143)로 하여금 학습용 특징 맵 상에서 학습용 프로포잘 박스에 대응되는 영역에 대하여 풀링 연산을 적용하여 적어도 하나의 학습용 특징 벡터를 생성하도록 한다.
그리고, 보행자 검출기(140)는 FC 레이어(144)로 하여금 학습용 특징 벡터에 대하여 FC 연산을 적용하도록 한 다음, 분류 레이어(145)로 하여금 각각의 학습용 프로포잘 박스에 대응되는 각각의 학습용 보행자 클래스 정보를 생성하도록 하고, 리그레션 레이어(146)로 하여금 각각의 변형 보행자를 바운딩한 학습용 프로포잘 박스 각각으로부터 나온 학습용 바운딩 박스를 생성하도록 한다.
다음으로, 학습 장치(100)는 제1 로스 레이어(160)로 하여금 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 제1 로스를 최소화하도록 보행자 검출기(140)의 적어도 하나의 파라미터의 적어도 일부를 학습할 수 있다(S4).
이때, 보행자 검출기(F)(140)에 대한 최적화 공식(Optimizing Formula)은 다음과 같이 나타낼 수 있다.
Figure pat00008
따라서, 보행자 검출기(F)(140)의 각각의 가중치에 대한 업데이트 공식(Updating Formula)은 다음과 같이 나타낼 수 있다.
Figure pat00009
한편, 학습 장치(100)는 판별기(150)로 하여금 변형 이미지 패치 G(x)(13) 각각이 학습용 보행자 각각일 확률 각각을 나타내는 학습용 보행자 스코어(D(G(x))) 각각을 생성하도록 하며, 학습용 보행자 스코어 및 제1 로스를 최대화하도록 적대적 스타일 변환기(130)의 적어도 하나의 파라미터의 적어도 일부를 더 학습할 수 있다(S5, S6).
이때, 제1 로스를 최대화하도록 적대적 스타일 변환기(130)의 파라미터의 적어도 일부를 학습하는 목적은 적대적 스타일 변환기(130)가 이미지 패치 x(12)를 변형 이미지 패치 G(x)(13)로 변환할 경우 보행자 검출기(140)가 변형 이미지 패치 G(x)(13)를 점점 더 검출하기 어려지게 하기 위한 것이다. 또한, 학습용 보행자 스코어를 최대화하도록 적대적 스타일 변환기(130)의 파라미터의 적어도 일부를 학습하는 목적은, 적대적 스타일 변환기(130)가 이미지 패치 x(12)를 보행자 검출기(140)가 검출하기 어려운 변형 이미지 패치 G(x)(13)로 변환함에도 불구하고, 변형 이미지 패치 G(x)가 이에 대응하는 보행자 클래스를 유지하도록 하여 변형 이미지 패치 G(x)가 현실적으로 보이도록 하기 위한 것이다.
그리고, 도 5를 참조하여 적대적 스타일 변환기(130)를 학습하는 방법을 설명하면 다음과 같다.
학습 장치(100)는 제1 로스(
Figure pat00010
)를 최대화하기 위한 백프로퍼게이션에 의해 보행자 검출기 F(140)에서 출력되는 변형 트레이닝 이미지(14)에 대한 미분값을 연산할 수 있다(S6-1). 이때, 변형 트레이닝 이미지(14)에 대한 미분값은 다음의 수학식과 같이 나타낼 수 있다.
Figure pat00011
그리고, 학습 장치(100)는 변형 트레이닝 이미지(14) 내의 각각의 변형 보행자(
Figure pat00012
)에 대한 미분값을 연산할 수 있다(S6-2). 이때, 각각의 변형 보행자(
Figure pat00013
)에 대한 미분값은 다음의 수학식과 같이 나타낼 수 있다.
Figure pat00014
이후, 학습 장치(100)는 변형 보행자(
Figure pat00015
)에 대한 미분값을 참조하여 변형 이미지 패치 G(x)에 대한 미분값을 연산할 수 있다(S6-3). 이때, 변형 이미지 패치 G(x)에 대한 미분값은 다음의 수학식과 같이 나타낼 수 있다.
Figure pat00016
다음으로, 학습 장치(100)는 학습용 보행자 스코어(D(G(x)))를 최대화하기 위한 백프로퍼게이션에 의해 판별기 D(150)에서 출력되는 변형 이미지 패치 G(x)에 대한 미분값을 연산할 수 있다(S5-1). 이때, 변형 이미지 패치 G(x)에 대한 미분값은 다음의 수학식과 같이 나타낼 수 있다.
Figure pat00017
그리고, 학습 장치(100)는 백프로퍼게이션에 의해 적대적 스타일 변환기 (130)의 적어도 하나의 그래디언트(Gradient)를 연산할 수 있다(S7). 그리고, 백프로퍼게이션에 의해 적대적 스타일 변환기 (130)의 그래디언트는
Figure pat00018
와 같이 나타낼 수 있다.
이때, 적대적 스타일 변환기 (130)에 대한 최적화 공식은 다음과 같이 나타낼 수 있다.
Figure pat00019
따라서, 제1 로스(
Figure pat00020
)와 학습용 보행자 스코어(D(G(x)))를 최대화하기 위하여, 적대적 스타일 변환기 (130)의 각각의 가중치에 대한 업데이트 공식은, 제1 로스(
Figure pat00021
)를 최대화하기 위한 백프로퍼게이션에 의한 변형 이미지 패치 G(x)에 대한 미분값인
Figure pat00022
와, 학습용 보행자 스코어(D(G(x)))를 최대화하기 위한 백프로퍼게이션에 의한 변형 이미지 패치 G(x)에 대한 미분값인
Figure pat00023
을 참조해 다음의 공식과 같이 나타낼 수 있다.
Figure pat00024
다시 도 2를 참조하면, 학습 장치(100)는 제2 로스 레이어로 하여금, 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 제2 로스를 최소화하도록 판별기(150)의 적어도 하나의 파라미터의 적어도 일부를 더 학습할 수 있다.
이때, 판별기(150)는 변형 이미지 패치 G(x)(13) 내에 위치하는 객체가 보행자인지를 판별하기 위한 이미지 분류기(Image Classifier)일 수 있다. 그리고, 이미지 분류기는 (i) 적어도 하나의 컨벌루션 레이어와 FC 레이어를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함할 수 있으나, 본 발명이 이에 한정되지 않으며, 이미지 내의 객체를 인식하는 딥러닝 기반의 모든 이미지 분류기가 이용될 수 있다.
그리고, 도 6을 참조하여, 판별기(150)를 학습하는 방법을 설명하면 다음과 같다.
학습 장치(100)는 판별기(150)로 하여금 변형 이미지 패치 G(x)(13) 각각이 학습용 보행자 각각일 확률 각각을 나타내는 학습용 보행자 스코어(D(G(x)))를 생성하도록 하며, 이에 대응되는 이미지 패치 x(12) 각각이 학습용 보행자일 확률을 나타내는 GT용 보행자 스코어(D(x)) 각각을 생성하도록 한다.
그리고, 학습 장치(100)는 제2 로스 레이어(170)로 하여금 제2 로스를 산출하도록 한다.
이때, 제2 로스는
Figure pat00025
와 같이 나타낼 수 있으며, 그에 따라 판별기 D(150)에 대한 최적화 공식은 다음과 같이 나타낼 수 있다.
Figure pat00026
따라서, 판별기 D(150)의 각각의 가중치에 대한 업데이트 공식은 다음과 같이 나타낼 수 있다.
Figure pat00027
즉, 본 발명에 따른 학습 방법은 간략히 다음과 같이 설명할 수 있으나, 이에 한정되는 것은 아니다.
먼저, 트레이닝 이미지 상에서 각각의 학습용 보행자에 대한 각각의 바운딩 박스(
Figure pat00028
)를 획득한다.
이후, 각각의
Figure pat00029
에 대해
Figure pat00030
,
Figure pat00031
,
Figure pat00032
, 및
Figure pat00033
가 산출되며, 변형 트레이닝 이미지(14)에 대한
Figure pat00034
가 생성된다.
이후, 보행자 검출기의 제1 로스
Figure pat00035
가 산출된 다음, 전체 백프로퍼게이션을 통해 각각의 그래디언트가 산출된다.
그리고, 다음의 공식에서와 같이 보행자 검출기(140), 판별기(150), 및 적대적 스타일 변환기(130)가 업데이트된다.
Figure pat00036
(보행자 검출기)
Figure pat00037
(판별기)
Figure pat00038
(적대적 스타일 변환기)
도 7은 본 발명의 일 실시예에 따라 이미지 분석 기반으로 환경에 영향 받지 않는 감시에 사용되는 보행자 검출기를 테스트하는 테스트 장치를 개략적으로 도시한 것이다. 도 7을 참조하면, 테스트 장치(200)는 학습된 보행자 검출기를 이용하여 테스트용 보행자를 검출하기 위한 인스트럭션을 저장하는 메모리(210)와, 메모리(210)에 저장된 인스트럭션에 대응하는 보행자 검출기를 이용하여 테스트용 보행자를 검출하는 프로세서(220)를 포함할 수 있다.
구체적으로, 테스트 장치(200)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 종래의 컴퓨팅 장치의 구성요소를 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치의 프로세서가 본 발명을 실시하기 위한 프로세서, 미디엄 또는 다른 컴퓨팅 구성요소의 어떠한 조합을 포함하는 통합 장치(Integrated Device)를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 테스트 장치(200)를 이용하여 테스트용 보행자를 검출하는 방법에 대하여 도 8을 참조하여 설명하면 다음과 같다.
도 2를 참조하여 설명한 바와 같이, 보행자 검출기(140)가 학습된 상태에서, 감시 카메라로부터 적어도 하나의 테스트 이미지(10)가 획득되면, 테스트 장치(200)는, 보행자 검출기(140)로 하여금 테스트 이미지(10)를 분석하도록 하여 테스트 이미지(10) 내에 위치하는 테스트용 보행자를 검출하도록 하며, 테스트용 보행자에 대응되는 테스트용 보행자 검출 정보(21)를 생성하도록 한다.
이때, 다시 도 4를 참조하여, 보행자 검출기(140)가 테스트 이미지(10)에서 테스트용 보행자를 검출하는 방법을 설명하면 다음과 같다.
감시 카메라로부터 획득된 테스트 이미지(10)가 입력되면, 보행자 검출기(140)는 컨벌루션 레이어(141)로 하여금 테스트 이미지(10)에 대하여 컨벌루션 연산을 적용하여 테스트용 특징 맵을 생성하도록 한다. 이때, 컨벌루션 레이어(141)는 테스트 이미지(10)에 대하여 순차적으로 컨벌루션 연산을 적용하여 테스트용 특징 맵을 생성할 수 있다.
그리고, 보행자 검출기(140)는 RPN(142)으로 하여금 테스트용 특징 맵 상에서 테스트용 보행자가 위치하는 것으로 추정되는 후보 영역에 대응되는 테스트용 프로포잘 박스를 생성하도록 한다.
이후, 보행자 검출기(140)는 풀링 레이어(143)로 하여금 테스트용 특징 맵 상에서 테스트용 프로포잘 박스에 대응되는 영역에 대하여 풀링 연산을 적용하여 적어도 하나의 테스트용 특징 벡터를 생성하도록 한다.
그리고, 보행자 검출기(140)는 FC 레이어(144)로 하여금 테스트용 특징 벡터에 대하여 FC 연산을 적용하도록 한 다음, 분류 레이어(145)로 하여금 각각의 테스트용 프로포잘 박스에 대응되는 각각의 테스트용 보행자 클래스 정보를 출력하도록 하고, 리그레션 레이어(146)로 하여금 각각의 테스트용 보행자를 바운딩한 테스트용 프로포잘 박스 각각으로부터 나온 테스트용 바운딩 박스를 생성하도록 한다.
한편, 학습 장치는, 보행자 검출기(140)로 하여금 (a) 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 바운딩 박스 각각을 갖는 트레이닝 이미지가 획득되면, 트레이닝 이미지 상에서 바운딩 박스 각각에 대응되는 영역 각각을 크롭(Crop)하여 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 이미지 패치 각각에 대응되는 학습용 보행자 각각을, 보행자 검출기에 의한 검출을 어렵게 할 수 있는 변형 보행자 각각으로 변환함으로써 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하는 프로세스, 및 (b) 트레이닝 이미지 상에서 바운딩 박스 각각에 대응하는 영역 각각을 변형 이미지 패치로 대체하여 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 변형 트레이닝 이미지 내에 위치하는 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하며, 제1 로스 레이어로 하여금 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 제1 로스를 산출하도록 하며, 제1 로스를 최소화하도록 보행자 검출기의 파라미터의 적어도 일부를 학습하는 프로세스를 완료한 상태일 수 있다.
또한, 학습 장치가, 판별기로 하여금 변형 이미지 패치 각각이 학습용 보행자 각각일 확률 각각을 나타내는 학습용 보행자 스코어 각각을 생성하도록 하는 프로세스, 및 학습용 보행자 스코어 및 제1 로스를 최대화하도록 적대적 스타일 변환기의 파라미터의 적어도 일부를 더 학습하도록 하는 프로세스를 완료한 상태일 수 있다.
또한, 학습 장치(100)는, 제2 로스 레이어로 하여금, 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 제 2 로스를 산출하도록 하는 프로세스, 및 제2 로스를 최소화하도록 판별기(150)의 파라미터의 적어도 일부를 학습하는 프로세스를 완료한 상태일 수 있다.
또한, 자율 진화 시스템(Self-Evolving System)으로써의 학습은 어려운 예시를 포함하는 트레이닝 데이터를 생성하여 적대적 패턴(Adversarial Pattern)에 영향을 받지 않을 수 있다.
상기 방법은 환경에 영향 받지 않는 감시뿐 아니라 라벨링된 이미지 부족 문제에 대한 해결책, 어노테이션(Annotation) 비용 절감 및 군사적 목적으로 사용될 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 학습 장치,
110: 메모리,
120: 프로세서,
130: 적대적 스타일 변환기,
140: 보행자 검출기
150: 판별기
200: 테스트 장치,
210: 메모리,
220: 프로세서

Claims (28)

  1. 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 방법에 있어서,
    (a) 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 바운딩 박스 각각을 갖는 상기 트레이닝 이미지가 획득되면, 학습 장치가, 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응되는 영역 각각을 크롭(Crop)하여 적어도 하나의 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 검출을 어렵게 할 수 있는 변형 보행자 각각으로 변환함으로써 적어도 하나의 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하는 단계; 및
    (b) 상기 학습 장치가, 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응하는 상기 영역 각각을 상기 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, 판별기(Discriminator)로 하여금 상기 각각의 변형 이미지 패치가 상기 각각의 학습용 보행자일 각각의 확률을 나타내는 학습용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 하며, 상기 학습용 보행자 스코어 및 상기 제1 로스를 최대화하도록 상기 적대적 스타일 변환기의 적어도 하나의 파라미터의 적어도 일부를 더 학습하도록 하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 적대적 스타일 변환기는, 상기 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 (a) 단계에서,
    상기 학습 장치는, 적어도 하나의 상기 이미지 패치를 리사이즈(Resize)하여 상기 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 변형 이미지 패치를 출력하도록 하며,
    상기 (b) 단계에서,
    상기 학습 장치는, 상기 동일한 사이즈의 상기 변형 이미지 패치를 리사이즈하여 상기 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 트레이닝 이미지를 생성하도록 하는 특징으로 하는 방법.
  7. 제 1 항에 있어서,
    상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 적어도 하나의 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 하는 방법.
  8. 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 테스트용 보행자 검출기(Pedestrian Detector)를 테스트하는 방법에 있어서,
    (a) (1) 학습 장치가, 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 학습용 바운딩 박스 각각을 갖는 상기 트레이닝 이미지 상에서 학습용 바운딩 박스 각각에 대응되는 학습용 영역 각각을 크롭(Crop)하여 적어도 하나의 학습용 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 학습용 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 학습용 검출을 어렵게 할 수 있는 학습용 변형 보행자 각각으로 변환함으로써 적어도 하나의 학습용 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하고, (2) 상기 학습 장치가, 상기 트레이닝 이미지 상에서 상기 학습용 바운딩 박스 각각에 대응하는 상기 학습용 영역 각각을 상기 학습용 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 학습용 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습한 상태에서, 적어도 하나의 테스트 이미지에 생성된 테스트용 보행자 각각에 대응하는 테스트용 바운딩 박스 각각을 가지는 상기 테스트 이미지가 획득되면, 테스트 장치가, 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응되는 테스트용 영역 각각을 크롭하여 적어도 하나의 테스트용 이미지 패치를 생성하고, 상기 적대적 스타일 변환기로 하여금, 상기 테스트용 이미지 패치 각각에 대응되는 상기 테스트용 보행자 각각을, 상기 보행자 검출기에 의한 테스트용 검출을 어렵게 할 수 있는 테스트용 변형 보행자 각각으로 변환함으로써 적어도 하나의 테스트용 변형 이미지 패치를 생성하도록 단계; 및
    (b) 상기 테스트 장치가, 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응하는 상기 테스트용 영역 각각을 상기 테스트용 변형 이미지 패치로 대체하여 적어도 하나의 변형 테스트 이미지(Transformed Test Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 테스트 이미지 내에 위치하는 상기 테스트용 변형 보행자를 검출하여 테스트용 보행자 검출 정보를 생성하도록 단계;
    를 포함하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서,
    상기 (b) 단계에서,
    상기 테스트 장치는, 판별기(Discriminator)로 하여금 상기 각각의 테스트용 변형 이미지 패치가 상기 각각의 테스트용 보행자일 각각의 확률을 나타내는 테스트용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 하는 방법.
  10. 제 9 항에 있어서,
    상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 하는 방법.
  11. 제 8 항에 있어서,
    상기 (2) 프로세스에서,
    상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 하는 방법.
  12. 제 8 항에 있어서,
    상기 적대적 스타일 변환기는, 상기 테스트용 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 하는 방법.
  13. 제 8 항에 있어서,
    상기 (a) 단계에서,
    상기 테스트 장치는, 적어도 하나의 상기 테스트용 이미지 패치를 리사이즈(Resize)하여 상기 테스트용 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 출력하도록 하며,
    상기 (b) 단계에서,
    상기 테스트 장치는, 상기 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 리사이즈하여 상기 테스트용 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 테스트 이미지를 생성하도록 하는 특징으로 하는 방법.
  14. 제 8 항에 있어서,
    상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 상기 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 테스트용 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 테스트용 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 하는 방법.
  15. 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 보행자 검출기(Pedestrian Detector)를 학습하는 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 바운딩 박스 각각을 갖는 상기 트레이닝 이미지가 획득되면, 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응되는 영역 각각을 크롭(Crop)하여 적어도 하나의 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 검출을 어렵게 할 수 있는 변형 보행자 각각으로 변환함으로써 적어도 하나의 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하는 프로세스, 및 (II) 상기 트레이닝 이미지 상에서 상기 바운딩 박스 각각에 대응하는 상기 영역 각각을 상기 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 장치.
  16. 제 15 항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 판별기(Discriminator)로 하여금 상기 각각의 변형 이미지 패치가 상기 각각의 학습용 보행자일 각각의 확률을 나타내는 학습용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 하며, 상기 학습용 보행자 스코어 및 상기 제1 로스를 최대화하도록 상기 적대적 스타일 변환기의 적어도 하나의 파라미터의 적어도 일부를 더 학습하도록 하는 것을 특징으로 하는 장치.
  17. 제 16 항에 있어서,
    상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 하는 장치.
  18. 제 15 항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 하는 장치.
  19. 제 15 항에 있어서,
    상기 적대적 스타일 변환기는, 상기 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 하는 장치.
  20. 제 15 항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, 적어도 하나의 상기 이미지 패치를 리사이즈(Resize)하여 상기 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 변형 이미지 패치를 출력하도록 하며,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 동일한 사이즈의 상기 변형 이미지 패치를 리사이즈하여 상기 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 트레이닝 이미지를 생성하도록 하는 특징으로 하는 장치.
  21. 제 15 항에 있어서,
    상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 적어도 하나의 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 하는 장치.
  22. 이미지 분석 기반으로 환경에 영향 받지 않는 감시(Robust Surveillance)에 사용되는 테스트용 보행자 검출기(Pedestrian Detector)를 위한 테스트 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (1) 학습 장치가, 적어도 하나의 트레이닝 이미지 상에 생성된 학습용 보행자 각각에 대응되는 학습용 바운딩 박스 각각을 갖는 상기 트레이닝 이미지 상에서 학습용 바운딩 박스 각각에 대응되는 학습용 영역 각각을 크롭(Crop)하여 적어도 하나의 학습용 이미지 패치(Image Patch)를 생성하고, 적대적 스타일 변환기(Adversarial Style Transformer)로 하여금, 상기 학습용 이미지 패치 각각에 대응되는 상기 학습용 보행자 각각을, 상기 보행자 검출기에 의한 학습용 검출을 어렵게 할 수 있는 학습용 변형 보행자 각각으로 변환함으로써 적어도 하나의 학습용 변형 이미지 패치(Transformed Image Patch)를 생성하도록 하고, (2) 상기 학습 장치가, 상기 트레이닝 이미지 상에서 상기 학습용 바운딩 박스 각각에 대응하는 상기 학습용 영역 각각을 상기 학습용 변형 이미지 패치로 대체하여 적어도 하나의 변형 트레이닝 이미지(Transformed Training Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 트레이닝 이미지 내에 위치하는 상기 학습용 변형 보행자를 검출하여 학습용 보행자 검출 정보를 생성하도록 하고, 제1 로스 레이어로 하여금 상기 각각의 학습용 보행자 검출 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 제1 로스를 산출하도록 하며, 상기 제1 로스를 최소화하도록 상기 보행자 검출기의 적어도 하나의 파라미터의 적어도 일부를 학습한 상태에서, (I) 적어도 하나의 테스트 이미지에 생성된 테스트용 보행자 각각에 대응하는 테스트용 바운딩 박스 각각을 가지는 상기 테스트 이미지가 획득되면, 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응되는 테스트용 영역 각각을 크롭하여 적어도 하나의 테스트용 이미지 패치를 생성하고, 상기 적대적 스타일 변환기로 하여금, 상기 테스트용 이미지 패치 각각에 대응되는 상기 테스트용 보행자 각각을, 상기 보행자 검출기에 의한 테스트용 검출을 어렵게 할 수 있는 테스트용 변형 보행자 각각으로 변환함으로써 적어도 하나의 테스트용 변형 이미지 패치를 생성하도록 하는 프로세스, 및 (II) 상기 테스트 이미지 상에서 상기 테스트용 바운딩 박스 각각에 대응하는 상기 테스트용 영역 각각을 상기 테스트용 변형 이미지 패치로 대체하여 적어도 하나의 변형 테스트 이미지(Transformed Test Image)를 생성하며, 상기 보행자 검출기로 하여금 상기 변형 테스트 이미지 내에 위치하는 상기 테스트용 변형 보행자를 검출하여 테스트용 보행자 검출 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 장치.
  23. 제 22 항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 판별기(Discriminator)로 하여금 상기 각각의 테스트용 변형 이미지 패치가 상기 각각의 테스트용 보행자일 각각의 확률을 나타내는 테스트용 보행자 스코어(Pedestrian Score) 각각을 생성하도록 하는 장치.
  24. 제 23 항에 있어서,
    상기 판별기는 (i) 적어도 하나의 컨벌루션 레이어와 적어도 하나의 FC 레이어(Fully Connected Layer)를 포함하거나, (ii) 풀리 컨벌루션 네트워크(Fully Convolutional Network)를 포함하는 이미지 분류기(Image Classifier)인 것을 특징으로 하는 장치.
  25. 제 22 항에 있어서,
    상기 (2) 프로세스에서,
    상기 학습 장치가, 제2 로스 레이어로 하여금, 상기 각각의 학습용 보행자 스코어와 이에 대응되는 GT를 참조하여 적어도 하나의 제 2 로스를 산출하도록 하며, 상기 제2 로스를 최소화하도록 상기 판별기의 적어도 하나의 파라미터의 적어도 일부를 학습하도록 하는 것을 특징으로 하는 장치.
  26. 제 22 항에 있어서,
    상기 적대적 스타일 변환기는, 상기 테스트용 이미지 패치에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 컨벌루션 레이어를 가지는 인코더와, 상기 인코더에서 출력되는 적어도 하나의 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 적어도 하나의 디컨벌루션 레이어를 가지는 디코더를 포함하는 것을 특징으로 하는 장치.
  27. 제 22 항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, 적어도 하나의 상기 테스트용 이미지 패치를 리사이즈(Resize)하여 상기 테스트용 이미지 패치들이 동일한 사이즈를 갖도록 한 다음, 상기 적대적 스타일 변환기로 하여금 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 출력하도록 하며,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 동일한 사이즈의 상기 테스트용 변형 이미지 패치를 리사이즈하여 상기 테스트용 변형 이미지 패치 각각이 변형되기 전 원래 사이즈가 되도록 한 다음, 상기 변형 테스트 이미지를 생성하도록 하는 특징으로 하는 장치.
  28. 제 22 항에 있어서,
    상기 트레이닝 이미지는, (i) 감시 카메라로부터 획득된 상기 테스트 이미지 내에 위치하는 테스트용 보행자를 검출하여 상기 테스트용 바운딩 박스를 포함하는 테스트용 보행자 검출 정보를 출력하는 상기 보행자 검출기, 및 (ii) 상기 테스트용 바운딩 박스에 대응되는 트루 라벨(True Label)을 가지는 상기 트레이닝 이미지를 저장하는 데이터베이스 중 하나로부터 획득되는 것을 특징으로 하는 장치.
KR1020190166180A 2019-01-28 2019-12-12 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치 Active KR102382693B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/259,372 US10692002B1 (en) 2019-01-28 2019-01-28 Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
US16/259,372 2019-01-28

Publications (2)

Publication Number Publication Date
KR20200093426A true KR20200093426A (ko) 2020-08-05
KR102382693B1 KR102382693B1 (ko) 2022-04-06

Family

ID=69172615

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166180A Active KR102382693B1 (ko) 2019-01-28 2019-12-12 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치

Country Status (5)

Country Link
US (1) US10692002B1 (ko)
EP (1) EP3690712A1 (ko)
JP (1) JP6901802B2 (ko)
KR (1) KR102382693B1 (ko)
CN (1) CN111488789B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256409B1 (ko) * 2020-11-23 2021-05-25 주식회사 에이모 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치
WO2022065817A1 (en) * 2020-09-25 2022-03-31 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
KR102470187B1 (ko) * 2021-11-19 2022-11-23 부산대학교 산학협력단 비적대적 패치 생성 방법 및 시스템
KR20230080332A (ko) * 2021-11-29 2023-06-07 주식회사 딥핑소스 러닝 네트워크의 학습에 이용하기 위한 익명화 이미지를 생성하는 방법 및 이를 이용한 라벨링 장치
US12026231B2 (en) 2020-11-06 2024-07-02 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
JP6841345B2 (ja) * 2017-12-06 2021-03-10 日本電気株式会社 画像認識モデル生成装置、画像認識モデル生成方法および画像認識モデル生成プログラム
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN113039556B (zh) 2018-10-11 2022-10-21 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10997748B2 (en) * 2019-04-19 2021-05-04 The Boeing Company Machine learning model development with unsupervised image selection
DE102020207324A1 (de) * 2020-06-12 2021-12-16 Robert Bosch Gesellschaft mit beschränkter Haftung Plausibilisierung der Ausgabe eines Bildklassifikators mit einem Generator für abgewandelte Bilder
CN111753786A (zh) * 2020-06-30 2020-10-09 中国矿业大学 一种基于全尺度特征融合和轻量级生成式对抗网络的行人重识别方法
CN111931707A (zh) * 2020-09-16 2020-11-13 平安国际智慧城市科技股份有限公司 基于对抗补丁的人脸图像预测方法、装置、设备和介质
US12045992B2 (en) * 2020-11-10 2024-07-23 Nec Corporation Multi-domain semantic segmentation with label shifts
CN112529114B (zh) * 2021-01-13 2021-06-29 北京云真信科技有限公司 基于gan的目标信息识别方法、电子设备和介质
CN113537136B (zh) * 2021-07-30 2024-09-27 合肥工业大学 一种面向边缘设备的遮挡行人闯红灯姿态识别方法
CN113792806B (zh) * 2021-09-17 2024-08-23 中南大学 一种对抗补丁生成方法
CN114120393A (zh) * 2021-10-22 2022-03-01 广西中科曙光云计算有限公司 一种基于对抗网络原理的行人道路违章检测方法及装置
CN114529946B (zh) * 2022-02-23 2024-12-10 厦门市美亚柏科信息股份有限公司 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN114550217B (zh) * 2022-02-28 2024-12-03 清华大学 对抗图像生成方法及装置、以及目标覆盖物加工方法
CN115063831B (zh) * 2022-04-19 2025-05-30 浙江工商大学 一种高性能行人检索与重识别方法及装置
KR20240064222A (ko) * 2022-11-04 2024-05-13 주식회사 누비랩 바운딩 박스를 이용한 오토 세그멘테이션 방법 및 장치
CN118170936B (zh) * 2024-05-08 2024-07-26 齐鲁工业大学(山东省科学院) 一种基于多模态的数据与关系增强的遮挡行人检索方法
CN118277839B (zh) * 2024-06-03 2024-07-26 贵州大学 一种极端不平衡数据故障诊断的bctgan数据扩充方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292967B2 (en) * 2010-06-10 2016-03-22 Brown University Parameterized model of 2D articulated human shape
CN101887524B (zh) * 2010-07-06 2012-07-04 湖南创合制造有限公司 基于视频监控的行人检测方法
US20190130215A1 (en) * 2016-04-21 2019-05-02 Osram Gmbh Training method and detection method for object recognition
US10346723B2 (en) * 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
CN107133570B (zh) * 2017-04-07 2018-03-13 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及系统
US10303953B2 (en) * 2017-04-17 2019-05-28 Intel Corporation Person tracking and privacy and acceleration of data using autonomous machines
WO2018204120A1 (en) * 2017-05-02 2018-11-08 Hrl Laboratories, Llc System and method for detecting moving obstacles based on sensory prediction from ego-motion
US10395385B2 (en) * 2017-06-27 2019-08-27 Qualcomm Incorporated Using object re-identification in video surveillance
JP2019015692A (ja) * 2017-07-11 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
US11080886B2 (en) * 2017-11-15 2021-08-03 Qualcomm Incorporated Learning disentangled invariant representations for one shot instance recognition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xi Ouyang et al., "Pedestrian-Synthesis-GAN: Generating Pedestrian Data in Real Scene and Beyond," arXiv:1804.02047v2 [cs.CV] 14 Apr 2018 (2018.04.14.)* *
Xiaolong Wang et al., "A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection," arXiv:1704.03414v1 [cs.CV] 11 Apr 2017 (2017.04.11.)* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065817A1 (en) * 2020-09-25 2022-03-31 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
KR20220041743A (ko) * 2020-09-25 2022-04-01 주식회사 딥핑소스 원본 이미지의 영역별로 서로 다른 컨실링 프로세스가 수행되도록 하여 원본 이미지를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
US12026231B2 (en) 2020-11-06 2024-07-02 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor
KR102256409B1 (ko) * 2020-11-23 2021-05-25 주식회사 에이모 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치
KR102470187B1 (ko) * 2021-11-19 2022-11-23 부산대학교 산학협력단 비적대적 패치 생성 방법 및 시스템
KR20230080332A (ko) * 2021-11-29 2023-06-07 주식회사 딥핑소스 러닝 네트워크의 학습에 이용하기 위한 익명화 이미지를 생성하는 방법 및 이를 이용한 라벨링 장치

Also Published As

Publication number Publication date
KR102382693B1 (ko) 2022-04-06
CN111488789B (zh) 2023-11-07
US10692002B1 (en) 2020-06-23
JP6901802B2 (ja) 2021-07-14
EP3690712A1 (en) 2020-08-05
CN111488789A (zh) 2020-08-04
JP2020119558A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
KR102382693B1 (ko) 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치
EP3690742A1 (en) Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10430691B1 (en) Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
US8379994B2 (en) Digital image analysis utilizing multiple human labels
CN111985458B (zh) 一种检测多目标的方法、电子设备及存储介质
US10387752B1 (en) Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
CN111507459A (zh) 降低神经网络的注解费用的方法和装置
Nordeng et al. DEBC detection with deep learning
EP3913527A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
CN112101185B (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质
EP4323952A1 (en) Semantically accurate super-resolution generative adversarial networks
KR102427884B1 (ko) 객체 검출 모델 학습 장치 및 방법
CN116597413A (zh) 一种基于改进的YOLOv5的实时交通标志检测方法
CN113837001A (zh) 监控场景下的异常闯入物实时检测方法及装置
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
CN117911900A (zh) 一种变电站巡检无人机避障目标检测方法及系统
CN116958840A (zh) 基于深度学习的安全帽佩戴检测方法、装置及设备
JP7365261B2 (ja) コンピュータシステムおよびプログラム
KR102781755B1 (ko) 영유아 표정 인식 알고리즘 개선 방법
KR102738343B1 (ko) 제1 오브젝트 클래스들을 검출하도록 학습된 오브젝트 디텍터를 제2 오브젝트 클래스들을 검출할 수 있도록 전이 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
EP4312195A1 (en) Method, device and storage medium for post-processing in multi-target tracking
CN118570249B (zh) 基于脉冲神经网络的视觉追踪方法、装置及电子设备
US20230196752A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20240071105A1 (en) Cross-modal self-supervised learning for infrastructure analysis
CN112241784B (zh) 训练生成模型和判别模型

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191212

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210729

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220325

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220331

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220401

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250304

Start annual number: 4

End annual number: 4