KR20200091318A - 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 - Google Patents

자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 Download PDF

Info

Publication number
KR20200091318A
KR20200091318A KR1020190119521A KR20190119521A KR20200091318A KR 20200091318 A KR20200091318 A KR 20200091318A KR 1020190119521 A KR1020190119521 A KR 1020190119521A KR 20190119521 A KR20190119521 A KR 20190119521A KR 20200091318 A KR20200091318 A KR 20200091318A
Authority
KR
South Korea
Prior art keywords
softmax
loss
learning
cnn
pixel
Prior art date
Application number
KR1020190119521A
Other languages
English (en)
Other versions
KR102313119B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200091318A publication Critical patent/KR20200091318A/ko
Application granted granted Critical
Publication of KR102313119B1 publication Critical patent/KR102313119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)

Abstract

적어도 하나의 어댑티브 로스 가중치 맵(Adaptive Loss Weight Map)을 이용한 어텐션 드리븐(Attention-Driven) 이미지 세그먼테이션 방법은 자율주행 자동차의 레벨 4를 충족시키는 데에 요구되는 HD 맵을 업데이트하기 위해 이용될 수 있다. 이러한 방법으로, 멀리서 보이는 차선 및 도로 표식 같이 흐릿한 객체가 더 정확히 검출될 수 있다. 또한, 피아 식별이 중요한 군대에서, 항공기 표식 혹은 군복을 원거리에서도 구별하기 위해 상기 방법이 유용하게 수행될 수 있다. 상기 방법에 있어서, 학습 장치가 소프트맥스 레이어로 하여금 소프트맥스 스코어를 생성하도록 하는 단계; 로스 가중치 레이어로 하여금 예측 에러 값을 생성하도록 하고, 이에 로스 가중치 연산을 적용하여 로스 가중치 값을 생성하도록 하는 단계; 및 소프트맥스 로스 레이어로 하여금 상기 소프트맥스 스코어 및 이에 대응하는 GT를 참조하여 생성된 초기 소프트 맥스 로스 값, 및 상기 로스 가중치 값을 참조하여 조정 소프트맥스 로스 값을 생성하도록 하는 단계;를 포함하는 방법이 제공된다.

Description

자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 HD 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치{LEARNING METHOD AND LEARNING DEVICE FOR ATTENTION-DRIVEN IMAGE SEGMENTATION BY USING AT LEAST ONE ADAPTIVE LOSS WEIGHT MAP TO BE USED FOR UPDATING HD MAPS REQUIRED TO SATISFY LEVEL 4 OF AUTONOMOUS VEHICLES AND TESTING METHOD AND TESTING DEVICE USING THE SAME}
본 발명은 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 HD 맵 업데이트에 이용될 적어도 하나의 어댑티브(Adaptive) 로스 가중치 맵을 이용한 어텐션 드리븐(Attention-Driven) 이미지 세그먼테이션 학습 방법에 관한 것으로; 보다 상세하게는, (a) 적어도 하나의 입력 이미지가 획득되면, (i) CNN의 인코딩(Encoding) 레이어로 하여금 상기 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩(Decoding) 레이어로 하여금 상기 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 입력 이미지의 각 픽셀에 대응하는 각각의 세그먼테이션 스코어를 생성하도록 하는 단계; (b) 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 소프트맥스 스코어를 생성하도록 하는 단계; (c) 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 소프트맥스 스코어 및 이에 대응하는 GT(Ground Truth) 값을 참조하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하는 단계; 및 (d) (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습하는 단계;를 포함하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Network; Deep CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 딥 CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그리고 나서 컨벌루션 뉴럴 네트워크는 기계 학습(Machine Learning) 분야에서 매우 유용한 툴이 되었다.
한편, 이미지 세그먼테이션(Image Segmentation)은 입력으로 이미지(트레이닝 이미지 혹은 테스트 이미지)를 받아서 출력으로 라벨(label) 이미지를 만들어내는 방법이다. 최근 딥러닝(Deep Learning) 기술이 각광을 받으면서 세그먼테이션에서도 딥러닝을 많이 사용하는 추세이다.
이미지 세그먼테이션을 위한 CNN의 파라미터를 학습할 때, 기본적으로 이미지 내의 모든 영역은 같은 가중치로 학습된다. 하지만, 이미지 내 적어도 하나의 중요 영역에 대응하는 적어도 하나의 특정 면적이 작은 경우에는, 상기 중요 영역 내에 포함된 픽셀 수 또한 적다. 따라서, 상기 중요 영역에 대응하는 에러는 로스에 비교적 적은 비중으로 반영되어 상기 중요 영역에 대해서는 잘 학습되지 않는 문제점이 있다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 이미지 내의 중요 영역이 적은 수의 픽셀을 가지더라도 중요 영역에 큰 가중치를 할당하여 중요 영역에 대해 최적의 세그먼테이션 스코어를 생성하기 위한 방법을 제공하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 적어도 하나의 어댑티브(Adaptive) 로스 가중치 맵을 이용한 이미지 세그먼테이션 방법에 있어서, (a) 적어도 하나의 입력 이미지가 획득되면, 학습 장치가, (i) CNN의 인코딩(Encoding) 레이어로 하여금 상기 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩(Decoding) 레이어로 하여금 상기 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 입력 이미지의 각 픽셀에 대응하는 각각의 세그먼테이션 스코어를 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 소프트맥스 스코어를 생성하도록 하는 단계; (c) 상기 학습 장치가, 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 소프트맥스 스코어 및 이에 대응하는 GT(Ground Truth) 값을 참조하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하는 단계; 및 (d) 상기 학습 장치가, (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습하는 단계;를 포함하는 것을 특징으로 하는 학습 방법이 제공된다.
일 실시예에서, 상기 (c) 단계에서, 상기 로스 가중치 연산은 다음과 같은 수식을 따르고,
Figure pat00001
여기서
Figure pat00002
는 상기 픽셀 중에서 i번째 픽셀에 대응하는 스케일 파라미터,
Figure pat00003
는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 상기 예측 에러 값,
Figure pat00004
는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 바이어스 파라미터를 의미하고, i는 1이상 s 이하의 정수이며, s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수를 의미한다.
일 실시예에서, 상기 (d) 단계에서, 상기 학습 장치가, 상기 CNN의 상기 소프트맥스 로스 레이어로 하여금 각각의 상기 로스 가중치 값을 이에 대응하는 상기 초기 소프트맥스 로스 값에 곱하여 각각의 상기 조정 소프트맥스 로스 값을 생성하도록 한다.
일 실시예에서, 상기 (d) 단계에서, 상기 초기 소프트맥스 로스 값이 다음의 수식에 따라 생성되고,
Figure pat00005
s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수,
Figure pat00006
는 i번째 픽셀이 이에 대응하는 GT 값 상에서 어떤 클러스터에 속하는지를 나타내는 원-핫 인코딩(One-Hot Encoding) 벡터, 그리고 P(i)는 상기 i번째 픽셀의 소프트맥스 스코어에 대응하는 벡터를 의미한다.
일 실시예에서, 상기 입력 이미지는 도로 주행 상황을 나타내는 정보를 포함하고, 상기 학습 장치는, 상기 로스 가중치 레이어가 상기 입력 이미지의 적어도 하나의 차선 부분에 대응하는 제1 로스 가중치 값을 할당하고 상기 입력 이미지의 배경 부분에 대응하는 제2 로스 가중치 값을 상기 제1 로스 가중치 값보다 작은 값으로 할당하여, 각각의 상기 로스 가중치 값을 결정한 상태에서, 각각의 상기 로스 가중치 값과 이에 대응하는 상기 초기 소프트맥스 로스 값을 참조하여 생성되는 상기 조정 소프트맥스 로스를 백프로파게이션하여 상기 CNN의 상기 파라미터를 학습한다.
본 발명의 다른 태양에 따르면, 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 이미지 세그먼테이션 테스팅 방법에 있어서, (a) (I) 적어도 하나의 트레이닝 이미지가 획득되면, 학습 장치가, (i) CNN의 인코딩 레이어로 하여금 상기 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩 레이어로 하여금 상기 학습용 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 트레이닝 이미지의 각 픽셀에 대응하는 각각의 학습용 세그먼테이션 스코어를 생성하도록 하고, (II) 상기 학습 장치가, 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 학습용 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 학습용 소프트맥스 스코어를 생성하도록 하며, (III) 상기 학습 장치가, 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT(Ground Truth) 값을 참조하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하며, (IV) 상기 학습 장치가, (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습한 상태에서, 적어도 하나의 테스트 이미지가 획득되면, 테스팅 장치가, (i) 상기 CNN의 상기 인코딩 레이어로 하여금 상기 테스트 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 상기 디코딩 레이어로 하여금 상기 테스트용 특징 맵에 상기 디컨벌루션 연산을 적용하여 상기 테스트 이미지의 각 픽셀에 대응하는 각각의 테스트용 세그먼테이션 스코어를 생성하도록 하는 단계; 및 (b) 상기 테스팅 장치가, 상기 CNN의 상기 소프트맥스 레이어로 하여금 각각의 상기 테스트용 세그먼테이션 스코어에 상기 소프트맥스 연산을 적용하여 상기 테스트 이미지의 각각의 상기 픽셀에 대응하는 각각의 테스트용 소프트맥스 스코어를 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 테스팅 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 이미지 세그먼테이션 학습 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) (i) CNN의 인코딩 레이어로 하여금 상기 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩 레이어로 하여금 상기 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 입력 이미지의 각 픽셀에 대응하는 각각의 세그먼테이션 스코어를 생성하도록 하는 프로세스, (II) 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 소프트맥스 스코어를 생성하도록 하는 프로세스, (III) 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하는 프로세스, 및 (IV) (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 로스 가중치 연산은 다음과 같은 수식을 따르고,
Figure pat00007
여기서
Figure pat00008
는 상기 픽셀 중에서 i번째 픽셀에 대응하는 스케일 파라미터,
Figure pat00009
는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 상기 예측 에러 값,
Figure pat00010
는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 바이어스 파라미터를 의미하고, i는 1이상 s 이하의 정수이며, s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수를 의미한다.
일 실시예에서, 상기 (IV) 프로세스에서, 상기 프로세서가, 상기 CNN의 상기 소프트맥스 로스 레이어로 하여금 각각의 상기 로스 가중치 값을 이에 대응하는 상기 초기 소프트맥스 로스 값에 곱하여 각각의 상기 조정 소프트맥스 로스 값을 생성하도록 한다.
일 실시예에서, 상기 (IV) 프로세스에서, 상기 초기 소프트맥스 로스 값이 다음의 수식에 따라 생성되고,
Figure pat00011
s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수,
Figure pat00012
는 i번째 픽셀이 이에 대응하는 GT 값 상에서 어떤 클러스터에 속하는지를 나타내는 원-핫 인코딩(One-Hot Encoding) 벡터, 그리고 P(i)는 상기 i번째 픽셀의 소프트맥스 스코어에 대응하는 벡터를 의미한다.
일 실시예에서, 상기 입력 이미지는 도로 주행 상황을 나타내는 정보를 포함하고, 상기 프로세서는, 상기 로스 가중치 레이어가 상기 입력 이미지의 적어도 하나의 차선 부분에 대응하는 제1 로스 가중치 값을 할당하고 상기 입력 이미지의 배경 부분에 대응하는 제2 로스 가중치 값을 상기 제1 로스 가중치 값보다 작은 값으로 할당하여, 각각의 상기 로스 가중치 값을 결정한 상태에서, 각각의 상기 로스 가중치 값과 이에 대응하는 상기 초기 소프트맥스 로스 값을 참조하여 생성되는 상기 조정 소프트맥스 로스를 백프로파게이션하여 상기 CNN의 상기 파라미터를 학습한다.
본 발명의 또 다른 태양에 따르면, 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 이미지 세그먼테이션 테스팅 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 학습 장치가, 적어도 하나의 트레이닝 이미지가 획득되면, (i) CNN의 인코딩 레이어로 하여금 상기 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩 레이어로 하여금 상기 학습용 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 트레이닝 이미지의 각 픽셀에 대응하는 각각의 학습용 세그먼테이션 스코어를 생성하도록 하고, (II) 상기 학습 장치가, 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 학습용 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 학습용 소프트맥스 스코어를 생성하도록 하며, (III) 상기 학습 장치가, 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하며, (IV) 상기 학습 장치가, (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션하여 상기 CNN의 파라미터를 학습한 상태에서, (A) (i) 상기 CNN의 상기 인코딩 레이어로 하여금 적어도 하나의 테스트 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 상기 디코딩 레이어로 하여금 상기 테스트용 특징 맵에 상기 디컨벌루션 연산을 적용하여 상기 테스트 이미지의 각 픽셀에 대응하는 각각의 테스트용 세그먼테이션 스코어를 생성하도록 하는 프로세스 및 (B) 상기 CNN의 상기 소프트맥스 레이어로 하여금 각각의 상기 테스트용 세그먼테이션 스코어에 상기 소프트맥스 연산을 적용하여 상기 테스트 이미지의 각각의 상기 픽셀에 대응하는 각각의 테스트용 소프트맥스 스코어를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스팅 장치가 제공된다.
본 발명에 의하면, 자율 주행 상황 중 차선을 식별해야 하는 경우 등 이미지 상에서 픽셀 수가 적더라도 활용 상 중요한 부분에 대해 최적화된 세그먼테이션 결과를 얻을 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명에 따른 학습 장치의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 CNN의 구성 및 이를 이용한 학습 프로세스를 나타낸 도면이다.
도 3는 픽셀 수가 적은 중요 영역을 포함하는 이미지를 나타낸 도면이다.
도 4는 도 3에서 도시된 입력 이미지의 세그멘테이션 결과를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 학습 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 학습 장치(100)은 CNN(200)을 포함할 수 있다. 상기 CNN(200)의 다양한 데이터 입출력 과정 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 또한, 상기 학습 장치(100)는 후술할 프로세스를 수행하기 위한 컴퓨터 판독 가능한 인스트럭션(Computer Readable Instruction)들을 저장할 수 있는 메모리(115)를 더 포함할 수 있다. 일 예시로, 상기 프로세서, 상기 메모리, 매체(Medium) 등은 하나의 프로세서로 통합되어 기능할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 상기 CNN의 구성 및 이를 이용한 학습 과정을 나타낸 도면이다.
도 2를 참조하면, 상기 CNN(200)은 인코딩 레이어(210), 디코딩 레이어(220), 소프트맥스 레이어(230), 로스 가중치 레이어(240) 및 소프트맥스 로스 레이어(250)를 포함할 수 있다.
구체적으로, 적어도 하나의 입력 이미지가 상기 통신부(110)에 의해 획득되면, 상기 학습 장치(100)는 상기 인코딩 레이어(210)로 하여금 상기 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 인코디드 특징 맵을 생성하도록 하고, 상기 디코딩 레이어(220)로 하여금 상기 인코딩 레이어(210)로부터 출력된 상기 인코디드 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 입력 이미지의 각 픽셀에 대응하는 각각의 세그먼테이션 스코어를 생성하도록 한다. 여기서, 상기 인코딩 레이어(210)로부터 출력된 상기 인코디드 특징 맵은 모든 상기 특징 맵 중에서, 상기 인코딩 레이어(210)로부터 최종적으로 출력된 특징 맵일 수 있으나 이에 한정되는 것은 아니다.
상기 소프트맥스 레이어(230)는, 상기 세그먼테이션 스코어를 정규화하여 이에 대응하는 소프트맥스 스코어 각각이 0부터 1까지의 확률을 가진 상태로 출력되도록 하는 소프트맥스 연산을 상기 세그먼테이션 스코어에 가하여 소프트맥스 스코어를 생성할 수 있다. 이때, 상기 세그먼테이션 스코어는 상기 디코딩 레이어(220)로부터 최종적으로 출력된 디코디드 특징 맵에 대응하는 세그먼테이션 스코어일 수 있으나 이에 한정되는 것은 아니다.
그리고, 상기 로스 가중치 레이어(240)는 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 예측 에러 값을 생성하고, 상기 예측 에러 값에 로스 가중치 연산을 적용하여 로스 가중치 값을 생성할 수 있다. 상기 로스 가중치 연산은 추후 도 3 및 도 4를 참조하여 설명하도록 한다.
상기 소프트맥스 로스 레이어(250)는 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 초기 소프트맥스 로스 값을 생성하고, 상기 초기 소프트맥스 로스 값 및 상기 로스 가중치 값을 참조하여 조정 소프트맥스 로스 값을 생성할 수 있다. 그 후, 상기 학습 장치(100)는 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN(200)의 파라미터를 학습한다.
이상 본 발명에 따른 상기 CNN(200)의 구성 및 개괄적인 학습 과정을 알아본 바, 본 발명의 구체적인 학습 과정에 관하여 설명하도록 한다.
상기 인코딩 레이어(210), 상기 디코딩 레이어(220) 및 상기 소프트맥스 레이어(230)에서 이루어지는 연산은 앞서 설명하였으므로, 예측 에러 값을 생성하는 프로세스를 설명하도록 한다.
상기 로스 가중치 레이어(240)에서 상기 예측 에러 값을 생성하는 프로세스를 설명하기 위해서 도 3및 도 4를 참조하도록 한다.
도 3는 픽셀 수가 적은 중요 영역을 포함하는 이미지를 도시한 것 이다.
도 3을 참조하면, 도 3의 이미지가 자율 주행 상황에서의 차선을 검출하는 CNN을 학습하는데 이용된다 할 때, 자율 주행 상황에서 중요한 부분인 차선 부분의 면적은 상기 이미지의 상단에 위치한 하늘 부분, 상기 이미지의 우측에 위치한 언덕 부분, 및 상기 이미지의 중심에 위치한, 상기 차선 부분을 제외한 도로면에 비해 작음을 알 수 있다. 이는 상기 중요 영역 즉, 상기 차선 부분 내 픽셀 수가 적기 때문에 최적화되지 않은 세그먼테이션 결과를 초래한다. 도 4는 이러한 최적화되지 않은 세그먼테이션 결과를 보여준다.
도 4는 도 3에서 도시된 상기 입력 이미지가 상기 인코딩 레이어(210), 상기 디코딩 레이어(220), 및 상기 소프트맥스 레이어(230)를 거쳐 획득된 세그먼테이션 결과를 보여준다.
도 4를 참조하면, 상기 이미지의 상단에 위치한 하늘 부분 및 상기 이미지의 우측에 위치한 언덕 부분 내에 픽셀 수가 많기 때문에 상기 CNN(200)이 하늘 부분 및 언덕 부분을 정확히 식별할 수 있다. 따라서, 도 4에서 도시된 바와 같이, 상기 하늘 부분 및 상기 언덕 부분에 할당된 확률 값은 1에 근접한다. 하지만, 상기 자율 주행 상황에서의 상기 중요 영역인 상기 차선 부분 내 픽셀 수가 적으므로, 상기 CNN(200)이 상기 차선 부분을 정확히 식별하지 못할 수 있다. 도 4에 도시된 것처럼, 0.82, 0.76, 0.84 등으로 상대적으로 낮은 확률 값이 상기 차선 부분에 할당될 수 있다.
도 4에서 도시된 바와 같이 상기 소프트맥스 스코어가 생성된 후, 상기 로스 가중치 레이어(240)는 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 예측 에러 값을 생성한다. 구체적으로, 상기 로스 가중치 레이어(240)는 상기 입력 이미지의 각 픽셀에 대응하는 각각의 상기 소프트맥스 스코어와 이에 대응하면서 상기 GT 값에 대응하는 GT 벡터 간의 유클리드 거리(Euclidean Distance)를 이용하여 상기 예측 에러 값을 생성한다.
예를 들어, 도 4를 참조하면, 좌측 차선 상의 특정 픽셀에 대응하는 특정 소프트맥스 스코어는 (0.1, 0.82, 0.08, 0, 0)이고, 이에 대응하는 GT 벡터는 (0,1,0,0,0)이므로 상기 특정 픽셀의 특정 예측 에러 값은
Figure pat00013
로 계산된다.
이와 같은 방식으로 상기 입력 이미지의 각 픽셀에 대응하는 각각의 상기 예측 에러 값이 생성된다. 여기에서, 상기 배경 부분(예를 들어, 도 3에 도시된 상기 언덕 부분, 상기 하늘 부분 및 상기 차선 부분을 제외한 도로면) 내에 포함된 픽셀 수가 상기 차선 내에 포함된 픽셀 수 보다 더 많으므로 상기 배경 부분이 상기 CNN(200)에 의해 더 정확히 예측되기 때문에, 상기 배경 부분 내에 포함된 픽셀에 대응하는 예측 에러 값이 더 작게 도출될 것은 자명하다.
상기 CNN(200)이 상기 로스 가중치 레이어(240)로 하여금 상기 예측 에러 값을 생성하도록 한 후, 상기 CNN(200)은 다시 상기 로스 가중치 레이어(240)로 하여금 상기 예측 에러 값에 상기 로스 가중치 연산을 적용하여 상기 로스 가중치 값을 생성하도록 한다. 이 때, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 한다. 이러한 특징은 상기 중요 영역 내 픽셀 수가 적더라도 상기 중요 영역의 에러 값을 더 큰 가중치로 상기 중요 영역의 상기 로스에 반영하기 위한 것이다. 이에 대한 구체적인 과정은 추후 설명하기로 한다.
상기 로스 가중치 값을 생성하는 방법의 일 예시로서, 상기 로스 가중치 연산은 다음과 같은 수식을 따를 수 있다.
Figure pat00014
여기서
Figure pat00015
는 상기 픽셀 중에서 i번째 픽셀에 대응하는 스케일 파라미터,
Figure pat00016
는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 상기 예측 에러 값,
Figure pat00017
는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 바이어스 파라미터를 의미하고, i는 1이상 s 이하의 정수이며, s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수를 의미한다.
Figure pat00018
는 1보다 크기 때문에, 상술한 상기 로스 가중치 연산의 특징이 잘 나타날 수 있다.
한편, 상술한 특징과 관련 있는 부분은 스케일 파라미터
Figure pat00019
뿐이지만 바이어스 파라미터
Figure pat00020
가 상기 수식 내에 포함되는 이유는, 상기 배경 부분에 대응하는 상기 예측 에러 값이 0에 가까운 바, 상기 배경 부분에 대응하는 상기 로스 가중치 값이 0에 가까운 값이 나오게 되어 추후 설명할 상기 조정 소프트맥스 로스 값에 왜곡을 일으킬 수 있기 때문이다.
상기 로스 가중치 값은 상기 소프트맥스 로스 레이어(250)로 전달된다. 그 후, 상기 소프트맥스 로스 레이어(250)는 상기 로스 가중치 값 및 상기 초기 소프트맥스 로스 값을 참조하여 상기 조정 소프트맥스 로스 값을 생성한다. 상기 초기 소프트맥스 로스 값을 생성하는 프로세스에 대한 설명은 아래와 같다.
먼저, 상기 CNN(200)은 상기 소프트맥스 로스 레이어(250)로 하여금 상기 소프트맥스 레이어(230)로부터 출력된 상기 소프트맥스 스코어를 획득하도록 한다. 그 후, 상기 소프트맥스 로스 레이어(250)는 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 초기 소프트맥스 로스 값을 생성한다. 상기 초기 소프트맥스 로스가 생성될 때 참조하는 값들은 상기 로스 가중치가 생성될 때 참조하는 값들과 동일하지만, 이하에서 볼 수 있듯이 상기 두 가지의 생성 프로세스는 상이하다.
Figure pat00021
상기 초기 소프트맥스 로스 값은 위의 수식을 통해 생성되되,
Figure pat00022
는 i번째 픽셀이 이에 대응하는 GT 값 상에서 어떤 클러스터에 속하는지를 나타내는 원-핫 인코딩(One-Hot Encoding) 벡터, 그리고 P(i)는 상기 i번째 픽셀의 소프트맥스 스코어에 대응하는 벡터를 의미한다.
특히, P(i)의 가장 큰 원소 값은 상기 i번째 픽셀이 어느 클러스터에 속할 것인가에 대한 예측 결과 값을 나타내고,
Figure pat00023
는 정답 벡터인 상기 원-핫 인코딩 벡터이다. 시그마 연산이 반복 될 때마다 P(i) 와
Figure pat00024
가 내적(Inner Product) 연산된다.
예를 들어, 도 4를 참조하면, 상기 좌측 차선 내에 포함된 상기 i 번째 픽셀에 대응하는 P(i)는 (0.1, 0.82, 0.08, 0, 0) 이고, 상기 대응하는
Figure pat00025
는 (0, 1, 0, 0, 0)이므로, 상기 i번째 픽셀에 대응하는 상기 초기 소프트맥스 로스 값은
Figure pat00026
로 산출될 것이다.
위에서 설명한 바와 같이 상기 초기 소프트맥스 로스 값이 생성된 후, 상기 소프트맥스 로스 레이어(250)는 상기 초기 소프트맥스 로스 값 및 상기 로스 가중치 값을 참조하여 상기 조정 소프트맥스 로스 값을 생성한다.
이때, 상기 조정 소프트맥스 로스 값은 상기 로스 가중치 값 및 상기 초기 소프트맥스 로스 값을 곱하여 생성된다. 상기 배경 부분에 대응하는 상기 로스 가중치 값은 작게 조정되고, 상기 차선 부분에 대응하는 상기 로스 가중치 값은 크게 조정되기 때문에, 상기 로스 가중치 값과 상기 초기 소프트맥스 로스값을 곱함으로써 상기 차선 부분에 대응하는 에러 값은 상기 조정 소프트맥스 로스 값에 크게 반영된다.
상기 학습 장치(100)는, 상기 입력 이미지 내에서 픽셀 수가 적은 부분도 정확히 세그먼테이션되도록, 상기 중요 영역에 대응하는 에러가 크게 반영된 상기 조정 소프트맥스 로스 값을 백프로파게이션하여 상기 CNN(200)의 상기 파라미터를 학습할 수 있다.
본 발명에 따른 상기 학습 프로세스를 설명한 바, 본 발명이 테스팅 장치로서 기능할 때의 구성을 살핀다.
참고로, 아래의 설명에서, 혼란을 피하기 위해, 상기 학습 프로세스와 관련된 용어에 "학습용"이라는 단어가 추가되었고 테스팅 프로세스와 관련된 용어에 "테스트용"이라는 단어가 추가되었다.
먼저, (I) 적어도 하나의 트레이닝 이미지가 획득되면, 상기 학습 장치(100)가, (i) 상기 CNN(200)의 상기 인코딩 레이어(210)로 하여금 상기 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하고, (ii) 상기 CNN(200)의 상기 디코딩 레이어(220)로 하여금 상기 학습용 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 트레이닝 이미지의 각 픽셀에 대응하는 각각의 학습용 세그먼테이션 스코어를 생성하도록 하고; (II) 상기 학습 장치(100)가, 상기 CNN(200)의 상기 소프트맥스 레이어(230)로 하여금 각각의 상기 학습용 세그먼테이션 스코어에 상기 소프트맥스 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 학습용 소프트맥스 스코어를 생성하도록 하며; (III) 상기 학습 장치(100)가, 상기 CNN(200)의 상기 로스 가중치 레이어(240)로 하여금 (i) 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 상기 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 상기 로스 가중치 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 상기 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하며; (IV) 상기 학습 장치(100)가, (i) 상기 CNN(200)의 상기 소프트맥스 로스 레이어(250)로 하여금 (1) 각각의 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 상기 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션하여 상기 CNN의 파라미터를 학습한 상태에서, 상기 통신부(110)는 적어도 하나의 테스트 이미지를 획득한다.
그 후, 상기 프로세서(120)가 (i) 상기 CNN(200)의 상기 인코딩 레이어(210)로 하여금 상기 테스트 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하고, (ii) 상기 CNN(200)의 상기 디코딩 레이어(220)로 하여금 상기 테스트용 특징 맵에 상기 디컨벌루션 연산을 적용하여 상기 테스트 이미지의 각 픽셀에 대응하는 각각의 테스트용 세그먼테이션 스코어를 생성하도록 하는 프로세스를 수행한다.
그리고, 상기 프로세서(120)가 상기 CNN(200)의 상기 소프트맥스 레이어(230)로 하여금 각각의 상기 테스트용 세그먼테이션 스코어에 상기 소프트맥스 연산을 적용하여 상기 테스트 이미지의 각각의 상기 픽셀에 대응하는 각각의 테스트용 소프트맥스 스코어를 생성하도록 한다.
테스팅하는 과정에서 상기 CNN(200)의 상기 파라미터는 이미 학습된 상태이기 때문에, 로스 값을 생성하고 이를 백프로파게이션하는 프로세스는 제외된다. 따라서, 상기 테스팅 장치의 구성은 상기 로스 값을 생성하는 부분을 제외하고 상기 학습 장치(100)의 구성과 동일하다. 즉, 상기 소프트맥스 스코어를 생성하는 부분인, 상기 인코딩 레이어(210) 내지 상기 소프트맥스 레이어(230)는 상기 테스팅 장치의 구성이 될 것이다.
적어도 하나의 어댑티브 로스 가중치 맵(Adaptive Loss Weight Map)을 이용한 어텐션 드리븐(Attention-Driven) 이미지 세그먼테이션을 위한 전술한 방법은 자율주행 자동차의 레벨 4를 충족시키는 데에 요구되는 정밀 지도(HD Map)를 업데이트 하기 위해 이용될 수 있다. 이러한 방법에 의해, 멀리서 보이는 차선 및 도로 표식 같은 희미한 객체가 더 정확히 검출될 수 있다. 또한, 피아 식별이 중요한 군대에서, 항공기 표식 혹은 군복을 원거리에서도 구별하기 위해 이러한 방법이 유용하게 수행될 수 있다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 원본 이미지, 원본 레이블 및 추가 레이블과 같은 이미지 데이터의 송수신이 학습 장치 및 테스팅 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스팅 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스팅 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 적어도 하나의 어댑티브(Adaptive) 로스 가중치 맵을 이용한 이미지 세그먼테이션 방법에 있어서,
    (a) 적어도 하나의 입력 이미지가 획득되면, 학습 장치가, (i) CNN의 인코딩(Encoding) 레이어로 하여금 상기 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩(Decoding) 레이어로 하여금 상기 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 입력 이미지의 각 픽셀에 대응하는 각각의 세그먼테이션 스코어를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 소프트맥스 스코어를 생성하도록 하는 단계;
    (c) 상기 학습 장치가, 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 소프트맥스 스코어 및 이에 대응하는 GT(Ground Truth) 값을 참조하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하는 단계; 및
    (d) 상기 학습 장치가, (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습하는 단계;
    를 포함하는 것을 특징으로 하는 학습 방법.
  2. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 로스 가중치 연산은 다음과 같은 수식을 따르고,
    Figure pat00027

    여기서
    Figure pat00028
    는 상기 픽셀 중에서 i번째 픽셀에 대응하는 스케일 파라미터,
    Figure pat00029
    는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 상기 예측 에러 값,
    Figure pat00030
    는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 바이어스 파라미터를 의미하고, i는 1이상 s 이하의 정수이며, s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수를 의미하는 것을 특징으로 하는 학습 방법.
  3. 제 1항에 있어서,
    상기 (d) 단계에서,
    상기 학습 장치가, 상기 CNN의 상기 소프트맥스 로스 레이어로 하여금 각각의 상기 로스 가중치 값을 이에 대응하는 상기 초기 소프트맥스 로스 값에 곱하여 각각의 상기 조정 소프트맥스 로스 값을 생성하도록 하는 것을 특징으로 하는 학습 방법.
  4. 제 1항에 있어서,
    상기 (d) 단계에서,
    상기 초기 소프트맥스 로스 값이 다음의 수식에 따라 생성되고,
    Figure pat00031

    s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수,
    Figure pat00032
    는 i번째 픽셀이 이에 대응하는 GT 값 상에서 어떤 클러스터에 속하는지를 나타내는 원-핫 인코딩(One-Hot Encoding) 벡터, 그리고 P(i)는 상기 i번째 픽셀의 소프트맥스 스코어에 대응하는 벡터를 의미하는 것을 특징으로 하는 학습 방법.
  5. 제 1항에 있어서,
    상기 입력 이미지는 도로 주행 상황을 나타내는 정보를 포함하고,
    상기 학습 장치는, 상기 로스 가중치 레이어가 상기 입력 이미지의 적어도 하나의 차선 부분에 대응하는 제1 로스 가중치 값을 할당하고 상기 입력 이미지의 배경 부분에 대응하는 제2 로스 가중치 값을 상기 제1 로스 가중치 값보다 작은 값으로 할당하여, 각각의 상기 로스 가중치 값을 결정한 상태에서, 각각의 상기 로스 가중치 값과 이에 대응하는 상기 초기 소프트맥스 로스 값을 참조하여 생성되는 상기 조정 소프트맥스 로스를 백프로파게이션하여 상기 CNN의 상기 파라미터를 학습하는 것을 특징으로 하는 학습 방법.
  6. 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 이미지 세그먼테이션 테스팅 방법에 있어서,
    (a) (I) 적어도 하나의 트레이닝 이미지가 획득되면, 학습 장치가, (i) CNN의 인코딩 레이어로 하여금 상기 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩 레이어로 하여금 상기 학습용 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 트레이닝 이미지의 각 픽셀에 대응하는 각각의 학습용 세그먼테이션 스코어를 생성하도록 하고, (II) 상기 학습 장치가, 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 학습용 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 학습용 소프트맥스 스코어를 생성하도록 하며, (III) 상기 학습 장치가, 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT(Ground Truth) 값을 참조하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하며, (IV) 상기 학습 장치가, (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습한 상태에서, 적어도 하나의 테스트 이미지가 획득되면, 테스팅 장치가, (i) 상기 CNN의 상기 인코딩 레이어로 하여금 상기 테스트 이미지에 상기 컨벌루션 연산을 가하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 상기 디코딩 레이어로 하여금 상기 테스트용 특징 맵에 상기 디컨벌루션 연산을 적용하여 상기 테스트 이미지의 각 픽셀에 대응하는 각각의 테스트용 세그먼테이션 스코어를 생성하도록 하는 단계; 및
    (b) 상기 테스팅 장치가, 상기 CNN의 상기 소프트맥스 레이어로 하여금 각각의 상기 테스트용 세그먼테이션 스코어에 상기 소프트맥스 연산을 적용하여 상기 테스트 이미지의 각각의 상기 픽셀에 대응하는 각각의 테스트용 소프트맥스 스코어를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 테스팅 방법.
  7. 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 이미지 세그먼테이션 학습 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) (i) CNN의 인코딩 레이어로 하여금 상기 입력 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩 레이어로 하여금 상기 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 입력 이미지의 각 픽셀에 대응하는 각각의 세그먼테이션 스코어를 생성하도록 하는 프로세스, (II) 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 소프트맥스 스코어를 생성하도록 하는 프로세스, (III) 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하는 프로세스, 및 (IV) (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 입력 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션(Backpropagation)하여 상기 CNN의 파라미터를 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 학습 장치.
  8. 제 7항에 있어서,
    상기 (III) 프로세스에서,
    상기 로스 가중치 연산은 다음과 같은 수식을 따르고,
    Figure pat00033

    여기서
    Figure pat00034
    는 상기 픽셀 중에서 i번째 픽셀에 대응하는 스케일 파라미터,
    Figure pat00035
    는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 상기 예측 에러 값,
    Figure pat00036
    는 상기 픽셀 중에서 상기 i번째 픽셀에 대응하는 바이어스 파라미터를 의미하고, i는 1이상 s 이하의 정수이며, s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수를 의미하는 것을 특징으로 하는 학습 장치.
  9. 제 7항에 있어서,
    상기 (IV) 프로세스에서,
    상기 프로세서가, 상기 CNN의 상기 소프트맥스 로스 레이어로 하여금 각각의 상기 로스 가중치 값을 이에 대응하는 상기 초기 소프트맥스 로스 값에 곱하여 각각의 상기 조정 소프트맥스 로스 값을 생성하도록 하는 것을 특징으로 하는 학습 장치.
  10. 제 7항에 있어서,
    상기 (IV) 프로세스에서,
    상기 초기 소프트맥스 로스 값이 다음의 수식에 따라 생성되고,
    Figure pat00037

    s는 상기 입력 이미지 내에 포함된 상기 픽셀의 개수,
    Figure pat00038
    는 i번째 픽셀이 이에 대응하는 GT 값 상에서 어떤 클러스터에 속하는지를 나타내는 원-핫 인코딩(One-Hot Encoding) 벡터, 그리고 P(i)는 상기 i번째 픽셀의 소프트맥스 스코어에 대응하는 벡터를 의미하는 것을 특징으로 하는 학습 장치.
  11. 제 7항에 있어서,
    상기 입력 이미지는 도로 주행 상황을 나타내는 정보를 포함하고,
    상기 프로세서는, 상기 로스 가중치 레이어가 상기 입력 이미지의 적어도 하나의 차선 부분에 대응하는 제1 로스 가중치 값을 할당하고 상기 입력 이미지의 배경 부분에 대응하는 제2 로스 가중치 값을 상기 제1 로스 가중치 값보다 작은 값으로 할당하여, 각각의 상기 로스 가중치 값을 결정한 상태에서, 각각의 상기 로스 가중치 값과 이에 대응하는 상기 초기 소프트맥스 로스 값을 참조하여 생성되는 상기 조정 소프트맥스 로스를 백프로파게이션하여 상기 CNN의 상기 파라미터를 학습하는 것을 특징으로 하는 학습 장치.
  12. 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 이미지 세그먼테이션 테스팅 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 학습 장치가, 적어도 하나의 트레이닝 이미지가 획득되면, (i) CNN의 인코딩 레이어로 하여금 상기 트레이닝 이미지에 하나 이상의 컨벌루션 연산을 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 디코딩 레이어로 하여금 상기 학습용 특징 맵에 하나 이상의 디컨벌루션 연산을 적용하여 상기 트레이닝 이미지의 각 픽셀에 대응하는 각각의 학습용 세그먼테이션 스코어를 생성하도록 하고, (II) 상기 학습 장치가, 상기 CNN의 소프트맥스 레이어로 하여금 각각의 상기 학습용 세그먼테이션 스코어에 소프트맥스 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 학습용 소프트맥스 스코어를 생성하도록 하며, (III) 상기 학습 장치가, 상기 CNN의 로스 가중치 레이어로 하여금 (i) 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 예측 에러 값을 생성하도록 하고, (ii) 각각의 상기 예측 에러 값에 로스 가중치 연산을 적용하여 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 로스 가중치 값을 생성하되, 상기 로스 가중치 연산은 각각의 상기 로스 가중치 값 간의 차이가 각각의 상기 예측 에러 값 간의 차이보다 커지도록 하며, (IV) 상기 학습 장치가, (i) 상기 CNN의 소프트맥스 로스 레이어로 하여금 (1) 각각의 상기 학습용 소프트맥스 스코어 및 이에 대응하는 GT 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 초기 소프트맥스 로스 값을 생성하도록 하고, (2) 각각의 상기 초기 소프트맥스 로스 값 및 각각의 상기 로스 가중치 값을 참조하여, 상기 트레이닝 이미지의 각각의 상기 픽셀에 대응하는 각각의 조정 소프트맥스 로스 값을 생성하도록 한 후, (ii) 상기 조정 소프트맥스 로스 값을 백프로파게이션하여 상기 CNN의 파라미터를 학습한 상태에서, (A) (i) 상기 CNN의 상기 인코딩 레이어로 하여금 적어도 하나의 테스트 이미지에 상기 컨벌루션 연산을 적용하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하고, (ii) 상기 CNN의 상기 디코딩 레이어로 하여금 상기 테스트용 특징 맵에 상기 디컨벌루션 연산을 적용하여 상기 테스트 이미지의 각 픽셀에 대응하는 각각의 테스트용 세그먼테이션 스코어를 생성하도록 하는 프로세스 및 (B) 상기 CNN의 상기 소프트맥스 레이어로 하여금 각각의 상기 테스트용 세그먼테이션 스코어에 상기 소프트맥스 연산을 적용하여 상기 테스트 이미지의 각각의 상기 픽셀에 대응하는 각각의 테스트용 소프트맥스 스코어를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 테스팅 장치.
KR1020190119521A 2019-01-22 2019-09-27 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 KR102313119B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,545 US10373317B1 (en) 2019-01-22 2019-01-22 Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US16/254,545 2019-01-22

Publications (2)

Publication Number Publication Date
KR20200091318A true KR20200091318A (ko) 2020-07-30
KR102313119B1 KR102313119B1 (ko) 2021-10-18

Family

ID=67477585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190119521A KR102313119B1 (ko) 2019-01-22 2019-09-27 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치

Country Status (5)

Country Link
US (1) US10373317B1 (ko)
EP (1) EP3686780B1 (ko)
JP (1) JP6912835B2 (ko)
KR (1) KR102313119B1 (ko)
CN (1) CN111462131B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112022002385A2 (pt) * 2019-09-05 2022-04-26 Basf Se Métodos implementados por computador, produto de programa de computador e sistema de computador
CN110689548B (zh) * 2019-09-29 2023-01-17 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111241338B (zh) * 2020-01-08 2023-09-15 深圳市网联安瑞网络科技有限公司 一种基于注意力机制的深度特征融合视频拷贝检测方法
DE102020117812A1 (de) 2020-07-07 2022-01-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen einer Einrichtung zur Vorhersage von Fehlern beim Verarbeiten von Bilddaten, Einrichtung zum Vorhersagen von Segmentierungsfehlern und Kraftfahrzeug
CN112634284B (zh) * 2020-12-22 2022-03-25 上海体素信息科技有限公司 基于权重图损失的分阶段神经网络ct器官分割方法及系统
CN112926380B (zh) * 2021-01-08 2022-06-24 浙江大学 一种新型水下激光目标智能识别系统
CN113057647B (zh) * 2021-03-25 2022-04-22 山东省人工智能研究院 一种心电信号的质量评估方法
KR102629877B1 (ko) * 2021-05-12 2024-01-29 주식회사 포멀웍스 인공 뉴럴 네트워크를 이용한 군대부호 인식 방법, 이를 위한 인공 뉴럴 네트워크 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
CN115100491B (zh) * 2022-08-25 2022-11-18 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN115909013B (zh) * 2023-01-10 2023-07-25 深圳精智达技术股份有限公司 一种图像的卷积方法、装置、电子设备和存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
JP7110098B2 (ja) * 2015-12-18 2022-08-01 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US10157309B2 (en) * 2016-01-14 2018-12-18 Nvidia Corporation Online detection and classification of dynamic gestures with recurrent convolutional neural networks
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
US10572979B2 (en) * 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
JP6744838B2 (ja) * 2017-04-18 2020-08-19 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
KR20230129195A (ko) * 2017-04-25 2023-09-06 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
EP3432263B1 (en) * 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
US10635858B2 (en) * 2017-09-11 2020-04-28 Nec Corporation Electronic message classification and delivery using a neural network architecture
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US20190050653A1 (en) * 2018-09-28 2019-02-14 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
CN109117831B (zh) * 2018-09-30 2021-10-12 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tsung-Yi Lin et al., "Focal Loss for Dense Object Detection," arXiv:1708.02002v2 [cs.CV] (2018.02.07.)* *
Vijay Badrinarayanan et al., "StixelNet : A Deep Convolutional Network for Obstacle Detection and Road Segmentation," arXiv:1511.00561v3 [cs.CV](2016.10.10.)* *

Also Published As

Publication number Publication date
EP3686780B1 (en) 2023-03-01
CN111462131B (zh) 2023-06-02
US10373317B1 (en) 2019-08-06
JP6912835B2 (ja) 2021-08-04
EP3686780A1 (en) 2020-07-29
CN111462131A (zh) 2020-07-28
JP2020119533A (ja) 2020-08-06
KR102313119B1 (ko) 2021-10-18

Similar Documents

Publication Publication Date Title
KR102313119B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10325371B1 (en) Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
JP6872259B2 (ja) Ｒ−ｃｎｎ基盤の物体検出器の学習方法とテスト方法、及びそれを利用した学習装置とテスト装置
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
US10410352B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
JP2020068013A (ja) 障害物の下段ラインを基準にｒｏｉを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏｉ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｂｏｔｔｏｍ ｌｉｎｅｓ ｏｆ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ，ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US10311336B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
EP3686837B1 (en) Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using gan to enhance fault tolerance and fluctuation robustness in extreme situations
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102252155B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
KR20200027888A (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
US10325185B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right