KR102372685B1 - Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하여, 컴퓨팅 부하 및 재활용 데이터를 현저하게 감소시킬 수 있는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 - Google Patents

Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하여, 컴퓨팅 부하 및 재활용 데이터를 현저하게 감소시킬 수 있는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 Download PDF

Info

Publication number
KR102372685B1
KR102372685B1 KR1020190147095A KR20190147095A KR102372685B1 KR 102372685 B1 KR102372685 B1 KR 102372685B1 KR 1020190147095 A KR1020190147095 A KR 1020190147095A KR 20190147095 A KR20190147095 A KR 20190147095A KR 102372685 B1 KR102372685 B1 KR 102372685B1
Authority
KR
South Korea
Prior art keywords
image
rgb format
rgb
transformer
result
Prior art date
Application number
KR1020190147095A
Other languages
English (en)
Other versions
KR20200095332A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095332A publication Critical patent/KR20200095332A/ko
Application granted granted Critical
Publication of KR102372685B1 publication Critical patent/KR102372685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다. 보다 상세하게는, 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 방법에 있어서, (a) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계; (b) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및 (c) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;를 포함하는 것을 특징으로 하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

Description

Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하여, 컴퓨팅 부하 및 재활용 데이터를 현저하게 감소시킬 수 있는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 {LEARNING METHOD AND LEARNING DEVICE FOR STRATEGIC TRANSFORMING RGB TRAINING IMAGE SETS INTO NON-RGB TRAINING IMAGE SETS, TO BE USED FOR LEARNING OBJECT DETECTION ON OBJECTS OF IMAGES IN NON-RGB FORMAT, BY USING CYCLE GAN, RESULTING IN SIGNIFICANTLY REDUCING COMPUTATIONAL LOAD AND REUSING DATA}
본 발명은 자율주행 차량에 사용되기 위한 학습 방법 및 학습 장치에 관한 것이며, 구체적으로, Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Network or Deep CNN)는 딥 러닝 분야에서 일어난 눈부신 발전의 핵심이다. CNN은 글자 인식 문제를 해결하기 위해 90년대에도 사용되었지만, 근래에 들어서야 기계 학습(Machine Learning) 분야에서 널리 쓰이게 되었다. 예를 들어, CNN은 2012년에 이미지 인식 경진대회(ImageNet Large Scale Visual Recognition Challenge)에서 다른 경쟁 상대를 제치고 우승을 차지했다. 그 후, CNN은 기계 학습 분야에서 매우 유용한 툴로 쓰이게 되었다.
최근 CNN은 자율 주행 자동차 분야에서 매우 널리 사용되고 있다. 자율 주행 자동차 분야에서 사용될 때, CNN은, 자동차에 부착된 카메라로부터 이미지를 획득하고, 이를 이용해 차선을 탐색하는 등의 역할을 수행한다. 이를 위해, CNN은 트레이닝 이미지를 이용해 학습을 수행하는데, 트레이닝 이미지는 주로 RGB 포맷이다.
그러나, 경우에 따라 CNN은 Non-RGB 포맷을 가지는 테스트 이미지를 처리하도록 요구된다. 사전에 준비된 RGB 포맷을 가지는 이미지를 단순히 투입하는 학습 프로세스와는 달리, 테스트 프로세스에서는, Non-RGB 포맷을 가지는 이미지는 운행 중인 실제 자동차의 카메라 또는 센서로부터 획득될 수 있다. 그런데, CNN이 RGB 포맷을 가지는 이미지를 사용하여 학습하였으므로, Non-RGB 포맷을 가지는 테스트 이미지를 적절하게 처리할 수 없게 된다. 학습된 CNN의 파라미터는 RGB 포맷을 기준으로 하기 때문이다.
따라서 종래 기술은, 이러한 문제점을 해결하기 위해, 테스트 시에 획득되는 이미지의 포맷을 실시간으로 변환함으로써 테스트 이미지의 포맷이 학습 이미지의 포맷과 동일하도록 하였다. 하지만, 이와 같은 경우, 실시간으로 모든 픽셀의 값들을 수학적으로 변환하여야 하므로 오버헤드(overhead)가 생기게 되는데, 이와 같은 오버헤드는, 실시간성이 가장 중요한 자율 주행 분야에서 크나큰 단점이 된다. 비록, YUV 포맷을 RGB 포맷으로 변경하는 경우처럼, 그 변환식이 간단한 경우에는 이와 같은 오버헤드가 사소한 것일 수도 있지만, 변환식이 매우 복잡하거나 변환식이 존재하지 않는 경우에는 이와 같은 방법은 사용할 수가 없는 단점이 있다.
결국, 이와 같은 포맷 문제를 테스트 시에 해결하고자 하는 것은 쉽지 않으므로, 테스트 이미지와 동일 포맷을 가지는 새로운 트레이닝 이미지를 이용하여 CNN의 파라미터를 다시 학습하도록 하는 편이 간편하다.
하지만, 이와 같은 해결책도 문제가 있는데, CNN이 일정 수준 이상의 성능을 내도록 하기 위해서는, 학습 과정에서 수만 장 이상의, 매우 많은 트레이닝 이미지가 필요하다는 점이다. CNN은, 트레이닝 이미지 그 자체 외에도, 이에 대응하는 GT를 필요로 하는데, GT는 사람이 직접 만들어야 하므로, 수만 장 이상의 트레이닝 이미지를 필요로 한다는 것은, 매우 많은 돈과 시간을 요한다는 것과 같은 것으로서, 이는 큰 단점이 된다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 사이클 GAN을 사용하여 RGB 포맷을 가지는 트레이닝 이미지 세트를 Non-RGB 포맷을 가지는 트레이닝 이미지 세트로 변환함으로써, Non-RGB 포맷을 가지는 트레이닝 이미지 세트를 따로 확보하는 어려움이 없도록 하는 것을 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 방법에 있어서, (a) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계; (b) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 기본 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및 (c) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;를 포함하는 것을 특징으로 하는 학습 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는,
Figure 112019117638381-pat00001
하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00002
는 상기 제1 이미지,
Figure 112019117638381-pat00003
는 상기 제2 이미지,
Figure 112019117638381-pat00004
는 상기 제(1_1) 결과,
Figure 112019117638381-pat00005
는 상기 제3 이미지,
Figure 112019117638381-pat00006
는 상기 제4 이미지,
Figure 112019117638381-pat00007
는 상기 제5 이미지,
Figure 112019117638381-pat00008
는 상기 제(2_1) 결과,
Figure 112019117638381-pat00009
는 상기 제6 이미지를 의미하고,
Figure 112019117638381-pat00010
및
Figure 112019117638381-pat00011
는 각
Figure 112019117638381-pat00012
및
Figure 112019117638381-pat00013
의 가중치 각각을 조정하기 위한 상수인 것을 특징으로 하는 학습 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는,
Figure 112019117638381-pat00014
하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00015
는 상기 제1 이미지,
Figure 112019117638381-pat00016
는 상기 제2 이미지,
Figure 112019117638381-pat00017
는 상기 제(1_1) 결과,
Figure 112019117638381-pat00018
는 상기 제3 이미지,
Figure 112019117638381-pat00019
는 상기 제4 이미지,
Figure 112019117638381-pat00020
는 상기 제5 이미지,
Figure 112019117638381-pat00021
는 상기 제(2_1) 결과,
Figure 112019117638381-pat00022
는 상기 제6 이미지를 의미하고,
Figure 112019117638381-pat00023
및
Figure 112019117638381-pat00024
는 각
Figure 112019117638381-pat00025
및
Figure 112019117638381-pat00026
의 가중치 각각을 조정하기 위한 상수이며,
Figure 112019117638381-pat00027
는 객체 디텍션 로스를 의미하며,
Figure 112019117638381-pat00028
는 상기 객체 디텍션 로스의 가중치를 조정하기 위한 상수이고, 상기 학습 장치가, 기학습된 RGB 객체 디텍터로 하여금, 상기 제3 이미지에서 하나 이상의 객체를 검출하도록 하고, 상기 제3 이미지에서 검출된 상기 객체의 예측된 위치, 크기, 클래스에 대한 정보의 적어도 일부와, 상기 제1 이미지에 대응하는 적어도 하나의 GT에 포함된 상기 객체의 실제 위치, 크기, 클래스에 대한 정보의 적어도 일부를 비교함으로써 상기 객체 디텍션 로스를 계산하는 것을 특징으로 하는 학습 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는,
Figure 112019117638381-pat00029
상기 로스에 포함된 상기 제1 디스크리미네이터용 FD 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00030
은 상기 Non-RGB 포맷을 가지는 임의의 이미지,
Figure 112019117638381-pat00031
는 상기 제1 디스크리미네이터로부터 출력된 상기 Non-RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(1_2) 결과,
Figure 112019117638381-pat00032
는 상기 제2 이미지,
Figure 112019117638381-pat00033
는 상기 제(1_1) 결과를 의미하는 것을 특징으로 하는 학습 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는,
Figure 112019117638381-pat00034
상기 로스에 포함된 상기 제2 디스크리미네이터용 SD 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00035
는 상기 RGB 포맷을 가지는 임의의 이미지,
Figure 112019117638381-pat00036
는 상기 제2 디스크리미네이터로부터 출력된 상기 RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(2_2) 결과,
Figure 112019117638381-pat00037
는 상기 제5 이미지,
Figure 112019117638381-pat00038
는 상기 제(2_1) 결과를 의미하는 것을 특징으로 하는 학습 방법이 제공된다.
일 실시예에서, 상기 제1 트랜스포머 및 상기 제2 트랜스포머 각각은, 인코딩 레이어 및 디코딩 레이어의 적어도 일부를 포함하는 것을 특징으로 하는 학습 방법이 제공된다.
본 발명의 다른 태양에 따르면, 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 테스트 방법에 있어서, (a) (1) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계; (2) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및 (3) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 트레이닝용 제(1_1) 결과 및 상기 트레이닝용 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;를 거쳐 학습이 완료된 상태에서, 테스트 장치가, 상기 RGB 포맷을 가지는 적어도 하나의 테스트 이미지를 획득하는 단계; 및 (b) 상기 테스트 장치가, 상기 제1 트랜스포머로 하여금, 상기 테스트 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 결과 이미지로 변환하도록 하는 단계;를 포함하는 것을 특징으로 하는 테스트 방법이 제공된다.
일 실시예에서, 상기 결과 이미지는, Non-RGB 포맷을 가지는 상기 테스트 이미지에 있는 하나 이상의 객체를 검출하기 위한 Non-RGB 객체 디텍터의 학습에 사용되는 것을 특징으로 하는 테스트 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 프로세스; (II) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 프로세스; 및 (III) 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는,
Figure 112019117638381-pat00039
하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00040
는 상기 제1 이미지,
Figure 112019117638381-pat00041
는 상기 제2 이미지,
Figure 112019117638381-pat00042
는 상기 제(1_1) 결과,
Figure 112019117638381-pat00043
는 상기 제3 이미지,
Figure 112019117638381-pat00044
는 상기 제4 이미지,
Figure 112019117638381-pat00045
는 상기 제5 이미지,
Figure 112019117638381-pat00046
는 상기 제(2_1) 결과,
Figure 112019117638381-pat00047
는 상기 제6 이미지를 의미하고,
Figure 112019117638381-pat00048
및
Figure 112019117638381-pat00049
는 각
Figure 112019117638381-pat00050
및
Figure 112019117638381-pat00051
의 가중치 각각을 조정하기 위한 상수인 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는,
Figure 112019117638381-pat00052
하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00053
는 상기 제1 이미지,
Figure 112019117638381-pat00054
는 상기 제2 이미지,
Figure 112019117638381-pat00055
는 상기 제(1_1) 결과,
Figure 112019117638381-pat00056
는 상기 제3 이미지,
Figure 112019117638381-pat00057
는 상기 제4 이미지,
Figure 112019117638381-pat00058
는 상기 제5 이미지,
Figure 112019117638381-pat00059
는 상기 제(2_1) 결과,
Figure 112019117638381-pat00060
는 상기 제6 이미지를 의미하고,
Figure 112019117638381-pat00061
및
Figure 112019117638381-pat00062
는 각
Figure 112019117638381-pat00063
및
Figure 112019117638381-pat00064
의 가중치 각각을 조정하기 위한 상수이며,
Figure 112019117638381-pat00065
는 객체 디텍션 로스를 의미하며,
Figure 112019117638381-pat00066
는 상기 객체 디텍션 로스의 가중치를 조정하기 위한 상수이고, 상기 프로세서가, 기학습된 RGB 객체 디텍터로 하여금, 상기 제3 이미지에서 하나 이상의 객체를 검출하도록 하고, 상기 제3 이미지에서 검출된 상기 객체의 예측된 위치, 크기, 클래스에 대한 정보의 적어도 일부와, 상기 제1 이미지에 대응하는 적어도 하나의 GT에 포함된 상기 객체의 실제 위치, 크기, 클래스에 대한 정보의 적어도 일부를 비교함으로써 상기 객체 디텍션 로스를 계산하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는,
Figure 112019117638381-pat00067
상기 로스에 포함된 상기 제1 디스크리미네이터용 FD 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00068
은 상기 Non-RGB 포맷을 가지는 임의의 이미지,
Figure 112019117638381-pat00069
는 상기 제1 디스크리미네이터로부터 출력된 상기 Non-RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(1_2) 결과,
Figure 112019117638381-pat00070
는 상기 제2 이미지,
Figure 112019117638381-pat00071
는 상기 제(1_1) 결과를 의미하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는,
Figure 112019117638381-pat00072
상기 로스에 포함된 상기 제2 디스크리미네이터용 SD 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00073
는 상기 RGB 포맷을 가지는 임의의 이미지,
Figure 112019117638381-pat00074
는 상기 제2 디스크리미네이터로부터 출력된 상기 RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(2_2) 결과,
Figure 112019117638381-pat00075
는 상기 제5 이미지,
Figure 112019117638381-pat00076
는 상기 제(2_1) 결과를 의미하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 제1 트랜스포머 및 상기 제2 트랜스포머 각각은, 인코딩 레이어 및 디코딩 레이어의 적어도 일부를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
본 발명의 또 다른 태양에 따르면, 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 테스트 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (1) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 트레이닝 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 트레이닝 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 트레이닝 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 트레이닝 이미지로 변환하도록 하고, (2) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 상기 제4 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 트레이닝 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 트레이닝 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 트레이닝 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 트레이닝 이미지로 변환하도록 하며, (3) 상기 제1 트레이닝 이미지, 상기 제2 트레이닝 이미지, 상기 제3 트레이닝 이미지, 상기 제4 트레이닝 이미지, 상기 제5 트레이닝 이미지, 상기 제6 트레이닝 이미지, 상기 트레이닝용 제(1_1) 결과 및 상기 트레이닝용 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습한 상태에서, 상기 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 테스트 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 결과 이미지로 변환하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스트 장치가 제공된다.
일 실시예에서, 상기 결과 이미지는, Non-RGB 포맷을 가지는 상기 테스트 이미지에 있는 하나 이상의 객체를 검출하기 위한 Non-RGB 객체 디텍터의 학습에 사용되는 것을 특징으로 하는 테스트 장치가 제공된다.
본 발명은 사이클 GAN을 사용하여 RGB 포맷을 가지는 트레이닝 이미지 세트를 Non-RGB 포맷을 가지는 트레이닝 이미지 세트로 변환함으로써, Non-RGB 포맷을 가지는 트레이닝 이미지 세트를 따로 확보하는 어려움이 없도록 하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 제1 트랜스포머 및 제2 트랜스포머를 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 학습장치를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 객체 디텍션 로스를 계산하는 과정을 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 학습 장치(100)는, 추후 자세히 설명할 구성요소들인 제1 트랜스포머(transformer)(130), 제1 디스크리미네이터(discriminator)(140), 제2 트랜스포머(150), 제2 디스크리미네이터(160), RGB 객체 디텍터(170) 및 Non-RGB 객체 디텍터(180)를 포함할 수 있다. 제1 트랜스포머(130), 제1 디스크리미네이터(140), 제2 트랜스포머(150), 제2 디스크리미네이터(160), RGB 객체 디텍터(170) 및 Non-RGB 객체 디텍터(180)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 적어도 하나의 메모리(115)는 후술할 여러 가지 인스트럭션들을 미리 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 학습 장치(100)가 묘사되었다고 하여, 학습 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
여기서, 제1 트랜스포머(130) 및 제2 트랜스포머(150)는, 각각에 입력되는 이미지의 포맷을 변환할 수 있다. 구체적으로는, 제1 트랜스포머(130)는 RGB 포맷의 적어도 하나의 입력 이미지를 Non-RGB 포맷의 이미지로 변환할 수 있고, 제2 트랜스포머(150)는 Non-RGB 포맷의 입력 이미지를 RGB 포맷의 이미지로 변환할 수 있다. Non-RGB 포맷이란, RGB 포맷이 아닌, 이미지를 나타내기 위해 사용되는 모든 포맷을 의미할 수 있다. 예시적으로, YUV, IR, IR-RGB, 그레이 스케일(Grayscale)에 해당할 수 있으나, 이에 한정될 것은 아니다. 또한, 제1 트랜스포머(130) 및 제2 트랜스포머(150)는 하나 이상의 CNN으로 구성될 수 있으나, 이에 한정될 것은 아니다.
도 2는 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 제1 트랜스포머 및 제2 트랜스포머를 개략적으로 나타낸 도면이다.
제1 트랜스포머(130) 및 제2 트랜스포머(150)은 인코딩 레이어 및 디코딩 레이어 중 적어도 일부를 포함할 수 있다. 인코딩 레이어는, 입력된 이미지에 적어도 하나의 컨벌루션 연산을 적용함으로써 적어도 하나의 특징 맵을 생성할 수 있고, 디코딩 레이어는 특징 맵에 적어도 하나의 디컨벌루션 연산을 적용함으로써 포맷이 변환된 이미지를 생성할 수 있다. 따라서, 트랜스포머는 RGB 포맷의 이미지를 Non-RGB 포맷으로 또는 Non-RGB 포맷의 이미지를 RGB 포맷의 이미지로 변환할 수 있다.
제1 디스크리미네이터(140) 및 제2 디스크리미네이터(160)는, 각각에 입력되는 이미지가, 그 포맷이 변환된 포맷의 이미지인지 변환되지 않은 포맷의 이미지인지 판단할 수 있다. 구체적으로, 제1 디스크리미네이터(140)는, 입력된 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 결정할 수 있고, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 전자의 경우 1을 출력하고, 후자의 경우 0을 출력 할 수 있다. 또한, 제2 디스크리미네이터(160)는, 입력된 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 결정할 수 있고, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 전자의 경우 1을 출력하고, 후자의 경우 0을 출력 할 수 있다. 제1 디스크리미네이터(140) 및 제2 디스크리미네이터(160) 역시 CNN으로 구성될 수 있으나, 이에 한정될 것은 아니다.
또한, RGB 객체 디텍터(170)는, 하나 이상의 CNN으로 구성될 수 있는데, 구체적으로, 컨벌루션 레이어 및 FC 레이어를 포함할 수 있다. 컨벌루션 레이어는, 입력된 이미지에 적어도 하나의 컨벌루션 연산을 적용함으로써 특징 맵을 생성할 수 있으며, FC 레이어는, 특징 맵에 바운딩 박스 리그레션을 적용함으로써 하나 이상의 객체를 검출할 수 있다. 물론, RGB 객체 디텍터(170)는 이와 같은 구성에 한정되지 않을 것이다. 일 실시예에서, RGB 객체 디텍터(170)은, RGB 포맷을 가지는 트레이닝 이미지 세트를 사용하여 학습이 이미 완료된 상태일 수 있다.
Non-RGB 객체 디텍터(180)의 경우, RGB 객체 디텍터(170)과 동일 또는 유사한 구성을 포함할 수 있으므로, 구체적인 설명은 생략하도록 한다. 다만, 일 실시예에서, RGB 객체 디텍터(170)와 달리, Non-RGB 객체 디텍터(180)는 학습되지 않은 상태일 수 있다.
이상 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 학습 방법을 수행하는 학습 장치(100)의 구성을 알아본 바, 본 발명의 학습 방법에 대해 도 3을 참조로 하여 구체적으로 살피도록 한다.
도 3은 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 학습장치를 개략적으로 나타낸 도면이다.
도 3을 참조하면, 제1 트랜스포머(130), 제1 디스크리미네이터(140), 제2 트랜스포머(150), 제2 디스크리미네이터(160) 및 RGB 객체 디텍터(170)가 동작하는 개괄적인 방식을 확인할 수 있다. 크게 두 개의 프로세스가 존재하는데, 이를 정방향 프로세스(101) 및 역방향 프로세스(102)로 정의하도록 한다.
정방향 프로세스(101)는, RGB 포맷을 가지는 적어도 하나의 제1 이미지를, 제1 트랜스포머(130)에 의해 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제2 이미지를 획득한 제1 디스크리미네이터(140)에 의해 제2 이미지에 대한 판단 결과인 제(1_1) 판단 결과가 생성되도록 하고, 제2 이미지가 제2 트랜스포머(150)에 의해 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하는 프로세스이다. 제(1_1) 판단 결과를 생성하는 부분과 제2 이미지를 제3 이미지로 변환하는 부분은 병렬적으로 수행되거나, 어느 하나가 더 먼저 수행되어도 무방하다.
역방향 프로세스(102)는, Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를, 제2 트랜스포머(150)에 의해 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제5 이미지를 획득한 제2 디스크리미네이터(160)에 의해 제5 이미지에 대한 판단 결과인 제(2_1) 판단 결과가 생성되도록 하고, 제5 이미지가 제1 트랜스포머(130)에 의해 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하는 프로세스이다. 제(2_1) 판단 결과를 생성하는 부분과 제5 이미지를 제6 이미지로 변환하는 부분은 병렬적으로 수행되거나, 어느 하나가 더 먼저 수행되어도 무방하다. 이외에도, 정방향 프로세스(101) 및 역방향 프로세스(102) 중 어느 것이 더 먼저 수행되어도 무방하며, 병렬적으로 수행될 수도 있다.
이와 같은 프로세스를 거치는 것은, 제1 트랜스포머(130), 제1 디스크리미네이터(140), 제2 트랜스포머(150) 및 제2 디스크리미네이터(160)를 더욱 잘 학습하기 위한 하나 이상의 로스를 계산하기 위함인데, 이를 구체적으로 설명하기 위해 학습 장치(100)의 각각의 구성요소를 학습하기 위한 로스를 계산하는 과정을 살핀다.
먼저, 제1 트랜스포머(130) 및 제2 트랜스포머(150)에 적용될 적어도 하나의 트랜스포머용 제1 로스에 대해 살핀다.
Figure 112019117638381-pat00077
하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
Figure 112019117638381-pat00078
는 상기 제1 이미지,
Figure 112019117638381-pat00079
는 상기 제2 이미지,
Figure 112019117638381-pat00080
는 상기 제(1_1) 결과,
Figure 112019117638381-pat00081
는 상기 제3 이미지,
Figure 112019117638381-pat00082
는 상기 제4 이미지,
Figure 112019117638381-pat00083
는 상기 제5 이미지,
Figure 112019117638381-pat00084
는 상기 제(2_1) 결과,
Figure 112019117638381-pat00085
는 상기 제6 이미지를 의미하고,
Figure 112019117638381-pat00086
및
Figure 112019117638381-pat00087
는 각
Figure 112019117638381-pat00088
및
Figure 112019117638381-pat00089
의 가중치 각각을 조정하기 위한 상수일 수 있다.
상기 트랜스포머용 제1 로스에서 argmin 함수의 인수로 사용되는 항(term) 중에서,
Figure 112019117638381-pat00090
는, 제1 디스크리미네이터(140)를 속이는 방향으로 제1 트랜스포머(130)를 학습하도록 하기 위한 항이다. 즉, argmin 함수는 전체 값이 작아지도록 유도하므로,
Figure 112019117638381-pat00091
항 역시 작아지도록 하는데, log함수는 증가함수이므로 log 내부의
Figure 112019117638381-pat00092
가 작아지도록 유도하고, 결국
Figure 112019117638381-pat00093
가 커지게 된다. 제1 디스크리미네이터(140)는 포맷이 변환되지 않은 이미지에 대해 1을 출력하므로, 본 항은 제1 트랜스포머(130)가 제1 디스크리미네이터(140)를 속이는 방향으로 학습하도록 하기 위한 것이다.
두 번째 항인,
Figure 112019117638381-pat00094
의 경우, 변환된 이미지가 원래의 이미지와 유사하도록, 즉 제2 이미지를 제1 이미지와 유사하게 만들 수 있다. 제1 트랜스포머(130)가 단순히 제1 디스크리미네이터(140)를 속이는 방향으로만 학습하면, 이미지에 포함된 특징들이 보존되지 않을 수 있으므로, 원본과의 차이가 적도록 하는 항을 둔 것이다. 다시 말해,
Figure 112019117638381-pat00095
, 즉 제1 이미지와 제3 이미지의 차이가 적도록 하는 것인데, 여기서 차이란 제1 이미지 내의 각각의 값과 제3 이미지 내의 대응하는 각각의 값 사이의 불일치를 의미할 수 있다. 두 번째 항으로 인해, 정방향 프로세스(101)에서 제2 이미지를 제3 이미지로 변환하는 부분이 존재하는 것이다.
세 번째 항과 네 번째 항은 각각 첫 번째 항과 두 번째 항이 존재하는 이유와 같은데, 다른 점은 세 번째 항과 네 번째 항은 제2 트랜스포머(150)를 위해 사용되는 점이다. 제2 트랜스포머(150)가 잘 학습되어야 두 번째 항에 의해 제1 트랜스포머(130)가 잘 학습될 수 있다. 세 번째 항과 네 번째 항에서 사용되는 값들은 역방향 프로세스(102)에 의해 획득될 수 있다. 그 외의 세 번째 항과 네 번째 항의 구체적인 사항은 첫 번째 항 및 두 번째 항과 대동소이하므로 상기 문단에 제시된 내용을 통해 통상의 기술자가 쉬이 유추할 수 있을 것인 바 생략하도록 한다.
여기서, 수식에 포함된
Figure 112019117638381-pat00096
와
Figure 112019117638381-pat00097
는 각
Figure 112019117638381-pat00098
및
Figure 112019117638381-pat00099
의 가중치 각각을 조정하기 위한 상수인데, 두 번째 항과 네 번째 항이 너무 많이 반영되면 변환 후의 이미지가 뿌옇게 도출되게 되고, 너무 적게 반영되면 변환 후의 이미지가 원본 이미지의 컨텐츠를 제대로 반영하지 못하게 된다. 따라서, 프로그래머가
Figure 112019117638381-pat00100
및
Figure 112019117638381-pat00101
의 영향을 확인하여 적절히 설정할 수 있다.
트랜스포머용 제1 로스는, 객체 디텍션 로스를 추가적으로 포함할 수 있다. 이를 수식으로 표현하면 다음과 같다.
Figure 112019117638381-pat00102
Figure 112019117638381-pat00103
는 객체 디텍션 로스를 의미할 수 있고,
Figure 112019117638381-pat00104
는 객체 디텍션 로스의 가중치를 조정하기 위한 상수를 의미할 수 있다.
도 4는 본 발명의 일 실시예에 따라 RGB 포맷의 트레이닝 이미지 세트를 Non-RGB 포맷의 트레이닝 이미지 세트로 변환하기 위한 객체 디텍션 로스를 계산하는 과정을 나타낸 도면이다.
도 4를 참조로 하면, 객체 디텍션 로스는, 전술한 RGB 객체 디텍터(170)에 의해 계산될 수 있다. 구체적으로, 학습 장치(100)가, 기학습된 RGB 객체 디텍터(170)로 하여금, 상기 제3 이미지에서 하나 이상의 객체를 검출하도록 하고, 상기 제3 이미지에서 검출된 상기 객체의 예측된 위치, 크기, 클래스에 대한 정보의 적어도 일부와, 상기 제1 이미지에 대응하는 적어도 하나의 GT에 포함된 상기 객체의 실제 위치, 크기, 클래스에 대한 정보의 적어도 일부를 비교함으로써 상기 객체 디텍션 로스를 계산할 수 있다. 이와 같은 객체 디텍션 로스는, 이미지의 포맷이 변환된 후에도 이에 포함된 객체의 디테일이 그대로 유지되도록 하기 위해 로스에 포함될 수 있다. 전술하였던 두 번째 항도 유사한 역할을 수행하나, 이는 이미지가 개괄적으로 유사해지도록 할 뿐, 객체 디텍션 로스처럼 각각의 객체들의 디테일을 선택적/우선적으로 보존할 수 있도록 하는 역할은 하지 못한다. 따라서, 이와 같은 객체 디텍션 로스를 추가함으로써, 제1 트랜스포머(130)의 성능이 매우 향상될 수 있다. 객체 디텍션 로스의 가중치를 조정하기 위한 상수인
Figure 112019117638381-pat00105
가 존재하는데, 이 역시 프로그래머가 포맷이 변환된 결과 이미지를 참조로 하여 적절히 조절할 수 있다.
이상 트랜스포머용 제1 로스에 대해 살펴본 바, 디스크리미네이터용 로스를 계산하는 방식에 대해 살피도록 한다.
Figure 112019117638381-pat00106
제1 디스크리미네이터(140)용 로스인 FD 로스는 상기 수식에 따라 정의될 수 있다. 이 때,
Figure 112019117638381-pat00107
은 상기 Non-RGB 포맷을 가지는 임의의 이미지,
Figure 112019117638381-pat00108
는 상기 제1 디스크리미네이터로부터 출력된 상기 Non-RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(1_2) 결과,
Figure 112019117638381-pat00109
는 상기 제2 이미지,
Figure 112019117638381-pat00110
는 상기 제(1_1) 결과를 의미할 수 있다. argmax는 상기 식의 값이 커지도록 유도하는 바,
Figure 112019117638381-pat00111
이 1로 출력되도록 하고,
Figure 112019117638381-pat00112
가 0으로 출력되도록 한다. 따라서, 제1 디스크리미네이터(140)는 입력 이미지의 포맷이 이전에 변환되었는지 여부를 정확히 판단할 수 있게 되는 것이다. 도 4에서는 제2 이미지만이 입력되는 것만 도시되었으나, 제2 이미지와 같은, 포맷이 변환된 이미지만 획득하는 것은 아니고, Non-RGB 포맷을 가지는 임의의 이미지도 획득하여, 포맷이 변환된 이미지와 변환되지 않은 이미지를 구분하면서 학습할 수 있을 것이다.
Figure 112019117638381-pat00113
제2 디스크리미네이터(160)용 로스인 SD 로스는 상기 수식에 따라 정의될 수 있다. 이 때,
Figure 112019117638381-pat00114
은 상기 RGB 포맷을 가지는 임의의 이미지,
Figure 112019117638381-pat00115
는 상기 제2 디스크리미네이터로부터 출력된 상기 임의의 이미지를 결정하는 제(2_2) 결과,
Figure 112019117638381-pat00116
는 상기 제5 이미지,
Figure 112019117638381-pat00117
는 상기 제(2_1) 결과를 의미할 수 있다. 제1 디스크리미네이터용 FD 로스와 마찬가지로, 제2 디스크리미네이터(160)는 입력된 포맷이 이전에 변환되었는지 여부를 상기 공식에 따라 정확히 판단할 수 있게 되는 것이다. 제2 디스크리미네이터(160) 역시 도 4에 도시되지 않았지만 RGB 포맷을 가지는 임의의 이미지를 획득하여 학습에 사용할 수 있다.
상기 설명한 트랜스포머용 제1 로스, 제1 디스크리미네이터용 FD 로스 및 제2 디스크리미네이터용 SD 로스를 포함하는 하나 이상의 로스가 계산되면, 학습 장치(100)는, 제1 트랜스포머(130), 제1 디스크리미네이터(140), 제2 트랜스포머(150), 제2 디스크리미네이터(160)의 파라미터의 적어도 일부를 학습할 수 있다.
이와 같이 학습함으로써, 제1 트랜스포머(130)는, 이미지의 포맷을 바꾸면서도 그 내부의 컨텐츠는 원본과 동일 또는 유사하도록 유지할 수 있을 것이다.
학습 과정은 상기와 같고, 학습이 완료된 후의 테스트 과정에 대해 살피도록 한다.
참고로, 후술할 설명에서 혼동을 방지하기 위해, 트레이닝 프로세스와 관련된 용어에는 "트레이닝용"이라는 문구가 추가되고, 테스트 프로세스와 관련된 용어에는 "테스트용"라는 문구가 추가되었다.
(1) 학습 장치(100)가, 제1 트랜스포머(130)로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 트레이닝 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 트레이닝 이미지로 변환하도록 하고, 제1 디스크리미네이터(140)로 하여금, 상기 제2 트레이닝 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머(150)로 하여금, 상기 제2 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 트레이닝 이미지로 변환하도록 하고, (2) 학습 장치(100)가, 상기 제2 트랜스포머(150)로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 상기 제4 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 트레이닝 이미지로 변환하도록 하고, 제2 디스크리미네이터(160)로 하여금, 상기 제5 트레이닝 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머(130)로 하여금, 상기 제5 트레이닝 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 트레이닝 이미지로 변환하도록 하며, (3) 학습 장치(100)가, 상기 제1 트레이닝 이미지, 상기 제2 트레이닝 이미지, 상기 제3 트레이닝 이미지, 상기 제4 트레이닝 이미지, 상기 제5 트레이닝 이미지, 상기 제6 트레이닝 이미지, 상기 트레이닝용 제(1_1) 결과 및 상기 트레이닝용 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머(130), 상기 제2 트랜스포머(150), 상기 제1 디스크리미네이터(140) 및 상기 제2 디스크리미네이터(160)의 파라미터의 적어도 일부를 학습한 상태에서, 테스트 장치는 RGB 포맷을 가지는 적어도 하나의 테스트 이미지를 획득할 수 있다.
그런 다음, 테스트 장치는 제1 트랜스포머(130)로 하여금, Non-RGB 포맷을 가지는 적어도 하나의 결과 이미지로 변환하도록 할 수 있다.
이와 같이 테스트 과정을 거쳐 테스트용 이미지가 Non-RGB 포맷을 가지는 결과 이미지로 변환되면, 상기 결과 이미지는, Non-RGB 포맷을 가지는 상기 테스트 이미지에 있는 하나 이상의 객체를 검출하기 위한 Non-RGB 객체 디텍터의 학습에 사용될 수 있다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 원본 이미지, 원본 레이블 및 추가 레이블과 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 방법에 있어서,
    (a) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머(transformer)로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터(discriminator)로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;
    를 포함하되,
    상기 (c) 단계는,
    Figure 112021117419123-pat00198

    하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00199
    는 상기 제1 이미지,
    Figure 112021117419123-pat00200
    는 상기 제2 이미지,
    Figure 112021117419123-pat00201
    는 상기 제(1_1) 결과,
    Figure 112021117419123-pat00202
    는 상기 제3 이미지,
    Figure 112021117419123-pat00203
    는 상기 제4 이미지,
    Figure 112021117419123-pat00204
    는 상기 제5 이미지,
    Figure 112021117419123-pat00205
    는 상기 제(2_1) 결과,
    Figure 112021117419123-pat00206
    는 상기 제6 이미지를 의미하고,
    Figure 112021117419123-pat00207
    및
    Figure 112021117419123-pat00208
    는 각
    Figure 112021117419123-pat00209
    및
    Figure 112021117419123-pat00210
    의 가중치 각각을 조정하기 위한 상수인 것을 특징으로 하는 학습 방법.
  2. 삭제
  3. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 방법에 있어서,
    (a) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머(transformer)로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터(discriminator)로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;
    를 포함하되,
    상기 (c) 단계는,
    Figure 112021117419123-pat00211

    하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00212
    는 상기 제1 이미지,
    Figure 112021117419123-pat00213
    는 상기 제2 이미지,
    Figure 112021117419123-pat00214
    는 상기 제(1_1) 결과,
    Figure 112021117419123-pat00215
    는 상기 제3 이미지,
    Figure 112021117419123-pat00216
    는 상기 제4 이미지,
    Figure 112021117419123-pat00217
    는 상기 제5 이미지,
    Figure 112021117419123-pat00218
    는 상기 제(2_1) 결과,
    Figure 112021117419123-pat00219
    는 상기 제6 이미지를 의미하고,
    Figure 112021117419123-pat00220
    및
    Figure 112021117419123-pat00221
    는 각
    Figure 112021117419123-pat00222
    및
    Figure 112021117419123-pat00223
    의 가중치 각각을 조정하기 위한 상수이며,
    Figure 112021117419123-pat00224
    는 객체 디텍션 로스를 의미하며,
    Figure 112021117419123-pat00225
    는 상기 객체 디텍션 로스의 가중치를 조정하기 위한 상수이고,
    상기 학습 장치가, 기학습된 RGB 객체 디텍터로 하여금, 상기 제3 이미지에서 하나 이상의 객체를 검출하도록 하고, 상기 제3 이미지에서 검출된 상기 객체의 예측된 위치, 크기, 클래스에 대한 정보의 적어도 일부와, 상기 제1 이미지에 대응하는 적어도 하나의 GT에 포함된 상기 객체의 실제 위치, 크기, 클래스에 대한 정보의 적어도 일부를 비교함으로써 상기 객체 디텍션 로스를 계산하는 것을 특징으로 하는 학습 방법.
  4. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 방법에 있어서,
    (a) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머(transformer)로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터(discriminator)로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;
    를 포함하되,
    상기 (c) 단계는,
    Figure 112021117419123-pat00226

    상기 로스에 포함된 상기 제1 디스크리미네이터용 FD 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00227
    은 상기 Non-RGB 포맷을 가지는 임의의 이미지,
    Figure 112021117419123-pat00228
    는 상기 제1 디스크리미네이터로부터 출력된 상기 Non-RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(1_2) 결과,
    Figure 112021117419123-pat00229
    는 상기 제2 이미지,
    Figure 112021117419123-pat00230
    는 상기 제(1_1) 결과를 의미하는 것을 특징으로 하는 학습 방법.
  5. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 방법에 있어서,
    (a) 학습 장치가, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 획득하면, 제1 트랜스포머(transformer)로 하여금, 상기 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터(discriminator)로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 단계; 및
    (c) 상기 학습 장치가, 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 단계;
    를 포함하되,
    상기 (c) 단계는,
    Figure 112021117419123-pat00231

    상기 로스에 포함된 상기 제2 디스크리미네이터용 SD 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00232
    은 상기 RGB 포맷을 가지는 임의의 이미지,
    Figure 112021117419123-pat00233
    는 상기 제2 디스크리미네이터로부터 출력된 상기 RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(2_2) 결과,
    Figure 112021117419123-pat00234
    는 상기 제5 이미지,
    Figure 112021117419123-pat00235
    는 상기 제(2_1) 결과를 의미하는 것을 특징으로 하는 학습 방법.
  6. 제 1항에 있어서,
    상기 제1 트랜스포머 및 상기 제2 트랜스포머 각각은, 인코딩 레이어 및 디코딩 레이어의 적어도 일부를 포함하는 것을 특징으로 하는 학습 방법.
  7. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 테스트 방법에 있어서,
    (a) 학습 장치가, (1) RGB 포맷을 가지는 적어도 하나의 제1 트레이닝 이미지를 획득하면, 제1 트랜스포머로 하여금, 상기 제1 트레이닝 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 트레이닝 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 트레이닝 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 트레이닝 이미지로 변환하도록 하는 프로세스; (2) 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 트레이닝 이미지를 획득하면, 상기 제2 트랜스포머로 하여금, 상기 제4 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 트레이닝 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 트레이닝 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 트레이닝 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 트레이닝 이미지로 변환하도록 하는 프로세스; 및 (3) 상기 제1 트레이닝 이미지, 상기 제2 트레이닝 이미지, 상기 제3 트레이닝 이미지, 상기 제4 트레이닝 이미지, 상기 제5 트레이닝 이미지, 상기 제6 트레이닝 이미지, 상기 트레이닝용 제(1_1) 결과 및 상기 트레이닝용 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하여 학습이 완료된 상태에서, 테스트 장치가, 상기 RGB 포맷을 가지는 적어도 하나의 테스트 이미지를 획득하는 단계; 및
    (b) 상기 테스트 장치가, 상기 제1 트랜스포머로 하여금, 상기 테스트 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 결과 이미지로 변환하도록 하는 단계;
    를 포함하되,
    상기 (3) 프로세스는,
    Figure 112021117419123-pat00236

    하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00237
    는 상기 제1 트레이닝 이미지,
    Figure 112021117419123-pat00238
    는 상기 제2 트레이닝 이미지,
    Figure 112021117419123-pat00239
    는 상기 트레이닝용 제(1_1) 결과,
    Figure 112021117419123-pat00240
    는 상기 제3 트레이닝 이미지,
    Figure 112021117419123-pat00241
    는 상기 제4 트레이닝 이미지,
    Figure 112021117419123-pat00242
    는 상기 제5 트레이닝 이미지,
    Figure 112021117419123-pat00243
    는 상기 트레이닝용 제(2_1) 결과,
    Figure 112021117419123-pat00244
    는 상기 제6 트레이닝 이미지를 의미하고,
    Figure 112021117419123-pat00245
    및
    Figure 112021117419123-pat00246
    는 각
    Figure 112021117419123-pat00247
    및
    Figure 112021117419123-pat00248
    의 가중치 각각을 조정하기 위한 상수인 것을 특징으로 하는 테스트 방법.
  8. 제 7항에 있어서,
    상기 결과 이미지는, Non-RGB 포맷을 가지는 상기 테스트 이미지에 있는 하나 이상의 객체를 검출하기 위한 Non-RGB 객체 디텍터의 학습에 사용되는 것을 특징으로 하는 테스트 방법.
  9. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 프로세스; (II) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 프로세스; 및 (III) 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하되,
    상기 (III) 프로세스는,
    Figure 112021117419123-pat00249

    하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00250
    는 상기 제1 이미지,
    Figure 112021117419123-pat00251
    는 상기 제2 이미지,
    Figure 112021117419123-pat00252
    는 상기 제(1_1) 결과,
    Figure 112021117419123-pat00253
    는 상기 제3 이미지,
    Figure 112021117419123-pat00254
    는 상기 제4 이미지,
    Figure 112021117419123-pat00255
    는 상기 제5 이미지,
    Figure 112021117419123-pat00256
    는 상기 제(2_1) 결과,
    Figure 112021117419123-pat00257
    는 상기 제6 이미지를 의미하고,
    Figure 112021117419123-pat00258
    및
    Figure 112021117419123-pat00259
    는 각
    Figure 112021117419123-pat00260
    및
    Figure 112021117419123-pat00261
    의 가중치 각각을 조정하기 위한 상수인 것을 특징으로 하는 학습 장치.
  10. 삭제
  11. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 프로세스; (II) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 프로세스; 및 (III) 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하되,
    상기 (III) 프로세스는,
    Figure 112021117419123-pat00262

    하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00263
    는 상기 제1 이미지,
    Figure 112021117419123-pat00264
    는 상기 제2 이미지,
    Figure 112021117419123-pat00265
    는 상기 제(1_1) 결과,
    Figure 112021117419123-pat00266
    는 상기 제3 이미지,
    Figure 112021117419123-pat00267
    는 상기 제4 이미지,
    Figure 112021117419123-pat00268
    는 상기 제5 이미지,
    Figure 112021117419123-pat00269
    는 상기 제(2_1) 결과,
    Figure 112021117419123-pat00270
    는 상기 제6 이미지를 의미하고,
    Figure 112021117419123-pat00271
    및
    Figure 112021117419123-pat00272
    는 각
    Figure 112021117419123-pat00273
    및
    Figure 112021117419123-pat00274
    의 가중치 각각을 조정하기 위한 상수이며,
    Figure 112021117419123-pat00275
    는 객체 디텍션 로스를 의미하며,
    Figure 112021117419123-pat00276
    는 상기 객체 디텍션 로스의 가중치를 조정하기 위한 상수이고,
    상기 프로세서가, 기학습된 RGB 객체 디텍터로 하여금, 상기 제3 이미지에서 하나 이상의 객체를 검출하도록 하고, 상기 제3 이미지에서 검출된 상기 객체의 예측된 위치, 크기, 클래스에 대한 정보의 적어도 일부와, 상기 제1 이미지에 대응하는 적어도 하나의 GT에 포함된 상기 객체의 실제 위치, 크기, 클래스에 대한 정보의 적어도 일부를 비교함으로써 상기 객체 디텍션 로스를 계산하는 것을 특징으로 하는 학습 장치.
  12. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 프로세스; (II) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 프로세스; 및 (III) 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하되,
    상기 (III) 프로세스는,
    Figure 112021117419123-pat00277

    상기 로스에 포함된 상기 제1 디스크리미네이터용 FD 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00278
    은 상기 Non-RGB 포맷을 가지는 임의의 이미지,
    Figure 112021117419123-pat00279
    는 상기 제1 디스크리미네이터로부터 출력된 상기 Non-RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(1_2) 결과,
    Figure 112021117419123-pat00280
    는 상기 제2 이미지,
    Figure 112021117419123-pat00281
    는 상기 제(1_1) 결과를 의미하는 것을 특징으로 하는 학습 장치.
  13. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 학습 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 이미지로 변환하도록 하는 프로세스; (II) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 이미지로 변환하도록 하는 프로세스; 및 (III) 상기 제1 이미지, 상기 제2 이미지, 상기 제3 이미지, 상기 제4 이미지, 상기 제5 이미지, 상기 제6 이미지, 상기 제(1_1) 결과 및 상기 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하되,
    상기 (III) 프로세스는,
    Figure 112021117419123-pat00282

    상기 로스에 포함된 상기 제2 디스크리미네이터용 SD 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00283
    은 상기 RGB 포맷을 가지는 임의의 이미지,
    Figure 112021117419123-pat00284
    는 상기 제2 디스크리미네이터로부터 출력된 상기 RGB 포맷을 가지는 상기 임의의 이미지를 결정하는 제(2_2) 결과,
    Figure 112021117419123-pat00285
    는 상기 제5 이미지,
    Figure 112021117419123-pat00286
    는 상기 제(2_1) 결과를 의미하는 것을 특징으로 하는 학습 장치.
  14. 제 9항에 있어서,
    상기 제1 트랜스포머 및 상기 제2 트랜스포머 각각은, 인코딩 레이어 및 디코딩 레이어의 적어도 일부를 포함하는 것을 특징으로 하는 학습 장치.
  15. 사이클 GAN(Cycle Generative Adversarial Network)을 이용하여 적어도 하나의 정답 정보가 태그된 RGB 이미지를 적어도 하나의 정답 정보가 태그된 Non-RGB 이미지로 변환하기 위한 테스트 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (1) 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 제1 트레이닝 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 제2 트레이닝 이미지로 변환하도록 하고, 제1 디스크리미네이터로 하여금, 상기 제2 트레이닝 이미지가 프라이머리(primary) Non-RGB 포맷을 가지는 이미지인지 또는 세컨더리(secondary) Non-RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(1_1) 결과를 생성하도록 하되, 상기 프라이머리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거치지 않은 Non-RGB 포맷이며, 상기 세컨더리 Non-RGB 포맷은 상기 RGB 포맷으로부터 변환을 거친 Non-RGB 포맷인 것을 특징으로 하며, 제2 트랜스포머로 하여금, 상기 제2 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제3 트레이닝 이미지로 변환하도록 하는 프로세스; (2) 상기 제2 트랜스포머로 하여금, 상기 Non-RGB 포맷을 가지는 적어도 하나의 제4 트레이닝 이미지를 상기 RGB 포맷을 가지는 적어도 하나의 제5 트레이닝 이미지로 변환하도록 하고, 제2 디스크리미네이터로 하여금, 상기 제5 트레이닝 이미지가 프라이머리 RGB 포맷을 가지는 이미지인지 또는 세컨더리 RGB 포맷을 가지는 이미지인지 확인함으로써 트레이닝용 제(2_1) 결과를 생성하도록 하되, 상기 프라이머리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거치지 않은 RGB 포맷이며, 상기 세컨더리 RGB 포맷은 상기 Non-RGB 포맷으로부터 변환을 거친 RGB 포맷인 것을 특징으로 하며, 상기 제1 트랜스포머로 하여금, 상기 제5 트레이닝 이미지를 상기 Non-RGB 포맷을 가지는 적어도 하나의 제6 트레이닝 이미지로 변환하도록 하는 프로세스; (3) 상기 제1 트레이닝 이미지, 상기 제2 트레이닝 이미지, 상기 제3 트레이닝 이미지, 상기 제4 트레이닝 이미지, 상기 제5 트레이닝 이미지, 상기 제6 트레이닝 이미지, 상기 트레이닝용 제(1_1) 결과 및 상기 트레이닝용 제(2_1) 결과 중 적어도 일부를 참조로 하여 하나 이상의 로스를 계산하고, 상기 제1 트랜스포머, 상기 제2 트랜스포머, 상기 제1 디스크리미네이터 및 상기 제2 디스크리미네이터의 파라미터의 적어도 일부를 학습하는 프로세스;를 수행하여 학습이 완료된 상태에서, 상기 제1 트랜스포머로 하여금, RGB 포맷을 가지는 적어도 하나의 테스트 이미지를 Non-RGB 포맷을 가지는 적어도 하나의 결과 이미지로 변환하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하되,
    상기 (3) 프로세스는,
    Figure 112021117419123-pat00287

    하나 이상의 상기 로스에 포함된 트랜스포머용 제1 로스는 상기 수식에 따라 정의되고,
    Figure 112021117419123-pat00288
    는 상기 제1 트레이닝 이미지,
    Figure 112021117419123-pat00289
    는 상기 제2 트레이닝 이미지,
    Figure 112021117419123-pat00290
    는 상기 트레이닝용 제(1_1) 결과,
    Figure 112021117419123-pat00291
    는 상기 제3 트레이닝 이미지,
    Figure 112021117419123-pat00292
    는 상기 제4 트레이닝 이미지,
    Figure 112021117419123-pat00293
    는 상기 제5 트레이닝 이미지,
    Figure 112021117419123-pat00294
    는 상기 트레이닝용 제(2_1) 결과,
    Figure 112021117419123-pat00295
    는 상기 제6 트레이닝 이미지를 의미하고,
    Figure 112021117419123-pat00296
    및
    Figure 112021117419123-pat00297
    는 각
    Figure 112021117419123-pat00298
    및
    Figure 112021117419123-pat00299
    의 가중치 각각을 조정하기 위한 상수인 것을 특징으로 하는 테스트 장치.
  16. 제 15항에 있어서,
    상기 결과 이미지는, Non-RGB 포맷을 가지는 상기 테스트 이미지에 있는 하나 이상의 객체를 검출하기 위한 Non-RGB 객체 디텍터의 학습에 사용되는 것을 특징으로 하는 테스트 장치.
KR1020190147095A 2019-01-31 2019-11-15 Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하여, 컴퓨팅 부하 및 재활용 데이터를 현저하게 감소시킬 수 있는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 KR102372685B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,275 2019-01-31
US16/263,275 US10395392B1 (en) 2019-01-31 2019-01-31 Learning method and learning device for strategic transforming RGB training image sets into non-RGB training image sets, to be used for learning object detection on objects of images in non-RGB format, by using cycle GAN, resulting in significantly reducing computational load and reusing data

Publications (2)

Publication Number Publication Date
KR20200095332A KR20200095332A (ko) 2020-08-10
KR102372685B1 true KR102372685B1 (ko) 2022-03-10

Family

ID=67700537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147095A KR102372685B1 (ko) 2019-01-31 2019-11-15 Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하여, 컴퓨팅 부하 및 재활용 데이터를 현저하게 감소시킬 수 있는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Country Status (5)

Country Link
US (1) US10395392B1 (ko)
EP (1) EP3690737B1 (ko)
JP (1) JP6870868B2 (ko)
KR (1) KR102372685B1 (ko)
CN (1) CN111507887B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN111476866B (zh) * 2020-04-09 2024-03-12 咪咕文化科技有限公司 视频优化与播放方法、系统、电子设备及存储介质
US20210374947A1 (en) * 2020-05-26 2021-12-02 Nvidia Corporation Contextual image translation using neural networks
US20220151567A1 (en) * 2020-11-17 2022-05-19 Siemens Healthcare Gmbh Joint assessment of myocardial strain and intracardiac blood flow
CN112381898B (zh) * 2020-12-07 2024-03-01 苏州律点信息科技有限公司 一种影像特征的提取方法、装置、存储介质及电子设备
CN112396547B (zh) * 2021-01-21 2021-04-20 平安科技（深圳）有限公司 基于无监督学习的课程推荐方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU714354B2 (en) * 1995-05-22 1999-12-23 Canon Kabushiki Kaisha Image detection system
US6865291B1 (en) * 1996-06-24 2005-03-08 Andrew Michael Zador Method apparatus and system for compressing data that wavelet decomposes by color plane and then divides by magnitude range non-dc terms between a scalar quantizer and a vector quantizer
US10614287B2 (en) * 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
US9471836B1 (en) * 2016-04-01 2016-10-18 Stradvision Korea, Inc. Method for learning rejector by forming classification tree in use of training images and detecting object in test images, and rejector using the same
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
US10726304B2 (en) * 2017-09-08 2020-07-28 Ford Global Technologies, Llc Refining synthetic data with a generative adversarial network using auxiliary inputs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Grinchuk, O. V., and V. I. Tsurkov. "Cyclic Generative Neural Networks for Improved Face Recognition in Nonstandard Domains." Journal of Computer and Systems Sciences International 57.4, 620-625. (201*

Also Published As

Publication number Publication date
CN111507887B (zh) 2023-08-22
EP3690737B1 (en) 2022-08-17
EP3690737A1 (en) 2020-08-05
CN111507887A (zh) 2020-08-07
US10395392B1 (en) 2019-08-27
KR20200095332A (ko) 2020-08-10
JP2020126606A (ja) 2020-08-20
JP6870868B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
KR102372685B1 (ko) Non-RGB 포맷을 가지는 이미지의 객체에 대한 객체 디텍션 학습에 사용될 수 있도록, 사이클 GAN을 사용하여 RGB 트레이닝 이미지 세트를 Non-RGB 트레이닝 이미지 세트로 변환하여, 컴퓨팅 부하 및 재활용 데이터를 현저하게 감소시킬 수 있는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102264394B1 (ko) 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102349910B1 (ko) 가상 주행 환경에서 사용되는 도메인 적응에 적용될 수 있는 gan을 이용하여, 실제 특징 맵과 동일하거나 유사한 특성을 가지는 가상 특징 맵을 생성하는 학습 방법 및 학습 장치
KR102372702B1 (ko) 도메인 적응에 적용될 수 있는 사이클 gan을 이용하여 실제 이미지 상의 객체 검출에 사용되는, 실제 세계 상의 실제 이미지를 가상 세계 상의 가상 이미지로 변환하는 런타임 입력 변환을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102319541B1 (ko) 객체의 종횡비나 스케일에 따라 모드를 전환할 수 있는 r-cnn 기반의 감시에 사용되는 객체 검출기의 학습 방법 및 테스트 방법, 이를 이용한 학습 장치 및 테스트 장치
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
KR102337358B1 (ko) 모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 roi를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
Kim et al. High-speed drone detection based on yolo-v8
US10430691B1 (en) Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
KR102313113B1 (ko) R-cnn 기반 객체 검출기의 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
JP2020038667A (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
US10831189B2 (en) Learning method and learning device for providing functional safety by warning driver about potential dangerous situation by using explainable AI which verifies detection processes of autonomous driving network, and testing method and testing device using the same
US10423860B1 (en) Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
KR102337367B1 (ko) 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
KR102320995B1 (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
KR102372703B1 (ko) V2v 통신을 통해 획득된 타 자율 주행 차량의 공간 탐지 결과를 자신의 자율 주행 차량의 공간 탐지 결과와 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102338750B1 (ko) 하드웨어 최적화에 사용되는 1xH 컨벌루션을 이용한 CNN 기반의 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN114943757A (zh) 基于单目景深预测和深度增强学习的无人机森林探索系统
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
CN116468714A (zh) 绝缘子缺陷检测方法、系统和计算机可读存储介质
KR20200091791A (ko) 하드웨어 최적화에 쓰이는 1x1 컨벌루션을 이용한 CNN 기반의 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스트 장치 및 테스트 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right