KR102236615B1 - 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치 - Google Patents

복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치 Download PDF

Info

Publication number
KR102236615B1
KR102236615B1 KR1020200095773A KR20200095773A KR102236615B1 KR 102236615 B1 KR102236615 B1 KR 102236615B1 KR 1020200095773 A KR1020200095773 A KR 1020200095773A KR 20200095773 A KR20200095773 A KR 20200095773A KR 102236615 B1 KR102236615 B1 KR 102236615B1
Authority
KR
South Korea
Prior art keywords
class
neural network
network model
loss
observation
Prior art date
Application number
KR1020200095773A
Other languages
English (en)
Inventor
금지수
오상일
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to KR1020200095773A priority Critical patent/KR102236615B1/ko
Application granted granted Critical
Publication of KR102236615B1 publication Critical patent/KR102236615B1/ko
Priority to CN202180006146.5A priority patent/CN114641780A/zh
Priority to PCT/KR2021/009939 priority patent/WO2022025690A1/ko
Priority to EP21849783.2A priority patent/EP4191480A1/en
Priority to JP2022524128A priority patent/JP2022553407A/ja
Priority to US17/777,246 priority patent/US20220406035A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features

Abstract

본 발명의 실시예에 따른 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법에서, 상기 신경망 모델은, 입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과, 상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)을 포함하고, 상기 방법은, (a) 입력 영상을 상기 컨볼루션층에 입력하는 단계; (b) 상기 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하는 단계; (c) 상기 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및 (d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계를 포함한다.

Description

복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치{NEURAL NETWORK MODEL LEARNING METHOD AND APPARATUS FOR COMPLEX CHARACTERISTIC CLASSIFICATION AND COMMON LOCALIZATION}
본 발명은 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치에 관한 것이다.
도 1의 (a)는 종래기술에 따른 신경망 모델을 나타낸 것이다.
도 1의 (a)를 참조하면, 신경망 모델은 입력층, 하나 이상의 컨볼루션층, 풀링층 및 완전결합층을 포함한다. 이러한 신경망 모델을 이용하여, 어떠한 입력이 있을 때, A, B, C, D의 네 가지 특성 중 하나의 결과값, 또는 각 특성에 해당하는 확률을 출력할 수 있다. 이때 결과값의 총 합은 100퍼센트일 수 있다.
그러나, 어떠한 입력은 복수의 결과가 가능한 복합 특성을 가질 수 있다. 예를 들어, A는 남성, B는 여성의 특성이고, C는 동양인, D는 비동양인의 특성인 경우, 결과값으로서 A와 C가 동시에 가능할 수 있다.
그러나, 종래의 신경망 모델에 의하는 경우, 결과값의 총 합이 100퍼센트가 되도록 판단하기 때문에, 이러한 복합 특성이 제대로 반영되기 어렵다.
특허등록공보 제10-2095335호 (2020.03.25)
본 발명의 실시예는 복합 특성을 제대로 예측할 수 있는 신경망 모델의 학습 방법 및 장치를 제공하고자 한다.
본 발명의 실시예에 따른 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법에서, 상기 신경망 모델은, 입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과, 상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)을 포함하고, 상기 방법은, (a) 입력 영상을 상기 컨볼루션층에 입력하는 단계; (b) 상기 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하는 단계; (c) 상기 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및 (d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계를 포함한다.
상기 (c) 단계는, (c-1) 상기 복수의 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 공통 관찰 지도를 생성하는 단계; 및 (c-2) 상기 공통 관찰 지도 및 상기 입력 영상의 대상 영역을 이용하여 상기 관찰 손실(Lobs)을 연산하는 단계를 포함한다.
상기 공통 관찰 지도는 상기 클래스별 관찰 지도의 평균값일 수 있다.
상기 관찰 손실은 상기 공통 관찰 지도와 상기 입력 영상의 대상 영역을 각각 가로 및 세로 방향으로 프로젝션 한 값들을 연결(concatenate)한 값에 대해 코사인 거리를 계산함으로써 산출될 수 있다.
상기 (b) 단계에서, 상기 클래스별 관찰 지도는 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00001
(단, Tt는 클래스, wfc(Tt)는 클래스별 완전결합층의 가중치, oconv는 컨볼루션층의 출력, C는 채널 수를 나타냄)
상기 신경망 모델은, 상기 복수의 클래스별 완전결합층에 각각 대응하며, 각 클래스별 완전결합층의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기를 더 포함할 수 있다.
상기 (d) 단계는, (d-1) 상기 복수의 클래스별 분류기 각각의 출력 결과에 기초하여 클래스별 분류 손실(Lcls(Tt))을 연산하는 단계; (d-2) 상기 관찰 손실(Lobs) 및 상기 클래스별 분류 손실(Lcls(Tt))에 기초하여 클래스별 특성 손실(L(Tt))을 연산하는 단계; 및 (d-3) 상기 클래스별 특성 손실(L(Tt))을 클래스별로 상기 복수의 클래스별 분류기 및 상기 복수의 클래스별 완전결합층에 역전파하는 단계를 포함할 수 있다.
상기 (d-2) 단계에서, 상기 클래스별 특성 손실(L(Tt))은 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00002
(단, 0≤α≤1)
상기 (d) 단계는, (d-4) 복수의 상기 클래스별 분류 손실(Lcls(Tt))과 상기 관찰 손실(Lobs)에 기초하여 다중 레이블 분류 손실(L(T))을 연산하는 단계; 및 (d-5) 상기 다중 레이블 분류 손실(L(T))을 상기 복수의 클래스별 분류기, 상기 복수의 클래스별 완전결합층, 상기 풀링층 및 상기 컨볼루션층에 역전파하는 단계를 더 포함할 수 있다.
상기 풀링층은 전체 평균 풀링층(global average pooling layer)일 수 있다.
본 발명의 실시예에 따른 신경망 모델의 학습 장치는, 신경망 모델이 저장되는 메모리; 및 프로세서를 포함하는 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 장치로서, 상기 신경망 모델은, 입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과, 상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)을 포함하고, 상기 프로세서는, 입력 영상을 상기 컨볼루션층에 입력하고, 상기 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하고, 상기 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하고, 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파한다.
본 발명의 실시예에 의하면, 복합 특성을 제대로 분류할 수 있다.
본 발명의 실시예에 의하면, 클래스간의 연관성이 반영될 수 있다.
본 발명의 실시예에 의하면, 복합 특성간의 공통 국소화가 이루어질 수 있다.
도 1의 (a)는 종래기술에 따른 일대일 모델을 나타낸 것이고, 도 1의 (b)는 비교예에 따른 일대일 분류 모델을 2개 사용한 것을 나타낸 것이고, 도 1의 (c)는 본 발명의 실시예에 따른 일대다 모델을 나타낸 것이다.
도 2는 본 발명의 실시예에 따른 신경망 모델(1)의 구조를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
도 4는 도 3의 학습 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 실시예에 따른 관찰 손실의 산출 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 데이터의 흐름도이다.
도 9는 도 2의 신경망 모델에서 도 7 및 도 8의 각 단계에 해당하는 부분을 표시한 것이다.
도 10은 본 발명의 실시예에 따른 신경망 모델의 학습 장치의 구성을 나타내는 도면이다.
발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 명세서 및 청구범위에 사용된 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 한 구성요소가 다른 구성요소에 "연결", "전송", "송신", "수신" 또는 "전달"된다고 할 때, 이는 직접적으로 연결, 전송, 송신, 수신 또는 전달되는 경우뿐만 아니라 다른 구성요소를 개재하여 간접적으로 연결, 전송, 송신, 수신 또는 전달되는 경우도 포함한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예에 대하여 설명한다.
도 1의 (b)는 비교예에 따른 일대일 분류 모델을 2개 사용한 것을 나타낸 것이고, 도 1의 (c)는 본 발명의 실시예에 따른 일대다 모델을 나타낸 것이다.
도 1에서 A와 B는 클래스 Ⅰ에 속하는 특성들을 나타내고, C와 D는 클래스 Ⅱ에 속하는 특성들을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 명세서에서는 복합 특성이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.
도 1의 (b)를 참조하면, 2개의 일대일 분류 모델이 사용되는 경우, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 이 경우, 예측 결과는 정확할 수 있지만 2개의 모델을 학습해야 하므로 계산량이 증가할 수 있다. 또한, 2개의 모델이 독립적으로 학습되기 때문에 클래스간의 연관성이 반영되기 어렵다.
도 1의 (c)를 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층과 풀링층(pooling layer)이 클래스간에 공유되고, 완전결합층은 클래스별로 제공된다. 이때, 완전결합층이 클래스별로 제공되기 때문에, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 도 1의 (a)에 비해 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층이 클래스간에 공유되기 때문에 도 1의 (b)의 모델에 비해 계산량을 감소시키면서도 클래스간의 연관성을 반영시킬 수 있다.
본 발명의 실시예에 따른 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법에서,
상기 신경망 모델은,
입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과,
상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과,
복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)
을 포함하고,
상기 방법은,
(a) 입력 영상을 상기 컨볼루션층에 입력하는 단계;
(b) 상기 컨볼루션층의 출력에 기초하여 클래스별 관찰 지도를 연산하는 단계;
(c) 상기 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및
(d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계
를 포함한다.
도 2는 본 발명의 실시예에 따른 신경망 모델(1)의 구조를 나타내는 도면이다. 도 2에서 NT개의 클래스(T1, T2, ... Tt, ... TNT)가 존재하고, 클래스 T1에는 2가지의 특성이 속하고, 클래스 T2에는 2가지의 특성이 속하고, 클래스 Tt에는 n가지의 특성이 속하고, 클래스 TNT에는 3가지의 특성이 속하는 것으로 가정하였다.
도 2를 참조하면, 본 발명의 실시예에 따른 신경망 모델(1)은, 입력 영상(xi)에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하기 위한 컨볼루션층(10)과, 상기 컨볼루션층(10)의 출력(oconv)에 대해 풀링을 수행하기 위한 풀링층(20)과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층(20)의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(30)을 포함한다.
신경망 모델(1)은, 상기 복수의 클래스별 완전결합층(30)에 각각 대응하며 각 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기(40)를 더 포함할 수 있다.
컨볼루션층(10)은 입력 영상에 대해 복수의 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행함으로써 특징맵을 추출한다. 도 2에 도시된 바와 같이 컨볼루션 연산은 복수회 수행될 수 있다. 컨볼루션층(10)의 출력, 즉 특징맵(oconv)은 높이(H), 너비(W), 채널 수(C)를 갖는 것으로 가정하였다.
풀링층(20)은 컨볼루션층(10)과 완전결합층(30)의 사이에 위치하며, 특징맵(oconv)의 크기를 감소시켜 후술하는 완전결합층(30)에서 필요한 연산을 감소시키고, 오버피팅을 방지하는 역할을 한다. 풀링층(20)은 특징맵(oconv)의 각 채널에 대해 평균값을 출력하는 전체 평균 풀링(global average pooling)을 수행할 수 있다.
클래스별 완전결합층(30)은 풀링층(20)의 출력에 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))를 곱한 값을 출력한다. 이때, 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))의 각각은 채널 수에 해당하는 복수의 값일 수 있다.
클래스별 분류기(40)는 클래스별 완전결합층(30)에 각각 대응하며, 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산한다. 도 2를 참조하면, 클래스 T1에 해당하는 분류기는 클래스 T1에 속하는 특성들 각각에 해당하는 확률(P1(T1), P2(T1))을 연산하고, 클래스 T2에 해당하는 분류기는 클래스 T2에 속하는 특성들 각각에 해당하는 확률(P1(T2), P2(T2))을 연산하고, 클래스 Tt에 해당하는 분류기는 클래스 Tt에 속하는 특성들 각각에 해당하는 확률(P1(Tt), P2(Tt), ... Pn(Tt))을 연산하고, 클래스 TNT에 해당하는 분류기는 클래스 TNT에 속하는 특성들 각각에 해당하는 확률(P1(TNT), P2(TNT), P3(TNT))을 연산한다. 클래스별 분류기(40)로서 예를 들어 Softmax 함수, Sigmoid 함수 등이 이용될 수 있다.
다음으로, 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 신경망 모델의 학습 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이고, 도 4는 도 3의 학습 방법을 설명하기 위한 도면이다. 본 발명의 실시예에 따른 신경망 모델의 학습 방법은 도 2의 신경망 모델이 사용된다.
도 3을 참조하면, 먼저 신경망 모델의 컨볼루션층에 영상이 입력된다(S100). 입력 영상의 클래스별 특성(복합 특성)과 대상 영역은 이미 알려져 있다. 여기서, 대상 영역이란 입력 영상의 일부로서, 클래스별 특성을 판단하는데 주요한 영향을 미치는 부분을 의미한다. 예를 들어, 도 4에 도시된 바와 같이, 입력 영상이 초음파 영상일 때 대상 영역은 병변이 나타난 부분일 수 있다. 대상 영역은 복수의 클래스에 대해 동일할 수 있다.
다음으로, 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산한다(S110).
관찰 지도는 분류 활성화 지도(Class Activation Map; CAM)라고도 하며, 입력 영상의 각 부분이 분류 결과에 얼마나 영향을 미쳤는지를 나타낸다. 본 실시예에서 관찰 지도는 클래스별로 연산된다. 도 4에 클래스별 관찰 지도의 예시를 나타내었다. 클래스별 관찰 지도는 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00003
단, Tt는 클래스, wfc(Tt)는 클래스별 완전결합층의 가중치, oconv는 컨볼루션층의 출력, C는 채널 수를 나타낸다.
다음으로, 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실을 연산한다(S120).
실시예에 따라, S120 단계는, 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 공통 관찰 지도를 생성하는 단계(S121) 및 공통 관찰 지도 및 입력 영상의 대상 영역을 이용하여 관찰 손실을 연산하는 단계(S122)를 포함할 수 있다. 관찰 손실은 입력 영상의 대상 영역과 공통 관찰 지도의 차이에 기초하여 연산될 수 있다. 공통 관찰 지도는 클래스별 관찰 지도의 평균값일 수 있으며, 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00004
여기서,
Figure 112020080517030-pat00005
는 전술한 클래스별 관찰 지도이고, NT는 클래스의 수를 나타낸다.
다만 이는 일 예이며, 각 클래스의 관찰 지도의 비율을 상이하게 하거나 전체 클래스 중 일부의 클래스의 관찰 지도에 기초하여 공통 관찰 지도를 산출할 수도 있다.
산출된 공통 관찰 지도와 입력 영상의 대상 영역을 이용하여 관찰 손실을 연산한다.
예를 들어, 관찰 손실은 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00006
여기서,
Figure 112020080517030-pat00007
Figure 112020080517030-pat00008
는 입력 영상 xi의 대상 영역,
Figure 112020080517030-pat00009
는 입력 영상 xi의 공통 관찰 지도를 나타낸다.
도 5 및 도 6은 본 발명의 실시예에 따른 관찰 손실의 산출 방법을 설명하기 위한 도면이다.
도 5의 (a)는 입력 영상의 대상 영역을 세로 방향을 따라 프로젝션한 값 MH 을 나타내고, 도 5의 (b)는 입력 영상의 대상 영역을 가로 방향을 따라 프로젝션한 값 MV 를 나타낸다.
도 5의 (a)에는 입력 영상의 대상 영역에 대해서만 예시를 들어 설명하였지만, 공통 관찰 지도에 대해서도 마찬가지로 가로 및 세로 방향을 따라 프로젝션한 값이 계산될 수 있다.
도 6의 (a)는 입력 영상의 대상 영역을 세로 방향으로 프로젝션한 값을 그래프로 도시한 것이고, 도 6의 (b)는 입력 영상의 대상 영역을 가로 방향으로 프로젝션한 값을 그래프로 도시한 것이고, 도 6의 (c)는 공통 관찰 지도의 대상 영역을 세로 방향으로 프로젝션한 값을 그래프로 도시한 것이고, 도 6의 (d)는 공통 관찰 지도의 대상 영역을 가로 방향으로 프로젝션한 값을 그래프로 도시한 것이다.
실시예에 따라, 관찰 손실은 입력 영상의 대상 영역과 공통 관찰 지도를 각각 가로 및 세로 방향으로 프로젝션 하고, 이들을 연결(concatenate)한 값에 대해 코사인 거리를 계산함으로써 산출될 수 있다.
즉, 관찰 손실은 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00010
상기 식에 의하는 경우, 픽셀 단위의 정확성보다 전체적인 분포를 반영하는 것이 가능하다.
다음으로, 도 3을 다시 참조하면, 관찰 손실에 기초한 손실을 신경망 모델에 역전파한다(S130).
전술한 S100~S130 단계는 복수의 입력 영상에 대해 수행될 수 있으며, 이에 따라 신경망 모델이 학습될 수 있다.
본 실시예에서 클래스별로 관찰 지도를 생성하지만, 관찰 손실은 복수의 클래스에 대해 동일하게 적용된다. 이에 따라, 복수의 클래스에 대해 관찰 지도가 동일해지는 효과, 즉 공통 국소화의 효과를 얻을 수 있다.
도 7은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
먼저, 신경망 모델의 컨볼루션층에 영상이 입력된다(S200).
다음으로, 신경망 모델로부터 클래스별 분류 손실과 관찰 손실이 산출된다(S210, S220).
클래스별 분류 손실은 각 클래스에 속하는 특성들이 얼마나 정확히 예측되었느냐를 나타내는 값으로, 클래스별로 산출된다. 클래스별 분류 손실은 복수의 클래스별 분류기 각각의 출력 결과에 기초하여 연산될 수 있다. 예를 들어, 입력 영상의 클래스별 특성과, 클래스별 분류기의 출력인 클래스별 특성 확률(도 2의 P1(Tt), P2(Tt), ... Pn(Tt)를 참조)의 차이로부터 클래스별 분류 손실이 계산될 수 있다.
클래스별 분류 손실은 하기의 식에 의해 계산될 수 있다.
Figure 112020080517030-pat00011
여기서,
Figure 112021003735184-pat00012
는 입력 영상 xi의 클래스 Tt에 대한 클래스별 특성 c의 출력 확률을 나타내고,
Nx는 학습 영상 수를 나타내고, CTt 는 클래스 Tt에 속하는 클래스별 특성의 수를 나타낸다.
관찰 손실은 전술한 바와 같으므로 중복 설명은 생략한다.
다음으로, 클래스별 분류 손실과 관찰 손실에 기초하여 클래스별 특성 손실이 연산된다(S230).
클래스별 특성 손실은 관찰 손실과 클래스별 분류 손실을 반영한 값이다. 전술한 바와 같이 관찰 손실은 복수의 클래스에 대해 동일하지만, 클래스별 분류 손실은 클래스에 따라 상이하기 때문에, 클래스별 특성 손실은 클래스별로 상이한 값을 가질 수 있다.
클래스별 특성 손실은 하기의 식에 의해 산출될 수 있다.
Figure 112020080517030-pat00013
여기서, Lcls(Tt)은 클래스별 분류 손실을 나타내고, Lobs는 관찰 손실을 나타내고, 0≤α≤1 을 만족한다
다음으로, 클래스별 특성 손실을 복수의 클래스별 분류기 및 복수의 클래스별 완전결합층에 클래스별로 역전파한다(S240).
도 2의 신경망 모델을 참조하면, 클래스별 완전결합층(30) 및 클래스별 분류기(40)는 클래스별 분기(branch)에 해당한다. 즉, 클래스별 특성 손실은 신경망 모델의 클래스별 분기에 해당하는 부분에만 역전파된다. 또한, 클래스별 특성 손실은 클래스별로 역전파된다. 구체적으로, 도 2를 참조하면, 클래스 T1의 특성 손실은 클래스 T1에 해당하는 분류기(40) 및 완전결합층(30)에 역전파되고, 클래스 T2의 특성 손실은 클래스 T2에 해당하는 분류기(40) 및 완전결합층(30)에 역전파되고, 클래스 Tt의 특성 손실은 클래스 Tt에 해당하는 분류기(40) 및 완전결합층(30)에 역전파되고, 클래스 TNT의 특성 손실은 클래스 TNT에 해당하는 분류기(40) 및 완전결합층(30)에 역전파될 수 있다.
다음으로, 다중 레이블 분류 손실이 연산된다(S250).
다중 레이블 분류 손실은 클래스별 분류 손실(S210 참조)과 달리 클래스별로 연산된 클래스별 분류 손실을 반영한 값이다. 다중 레이블 분류 손실은 복수의 클래스별 분류 손실과 관찰 손실에 기초하여 연산될 수 있다. 다중 레이블 분류 손실은 복수의 클래스에 대해 동일하게 적용된다.
상기 S240 단계의 역전파에 의해 복수의 클래스별 완전결합층(30)의 클래스별 가중치가 조정되며, 이에 따라 복수의 클래스별 분류 손실 및 관찰 손실도 변경될 수 있다. 다중 레이블 분류 손실은 변경된 복수의 클래스별 분류 손실과 관찰 손실에 기초하여 산정될 수 있다.
다중 레이블 분류 손실은 하기의 식에 의해 산출될 수 있다.
Figure 112021003735184-pat00042
여기서,
Figure 112020080517030-pat00015
Figure 112021003735184-pat00016
는 입력 영상 xi의 복수의 클래스 전체에 대한 클래스별 특성 c의 출력 확률을 나타내고,
Nx는 학습 영상 수를 나타내고, CT 는 복수의 클래스 전체에 대한 클래스별 특성의 수를 나타낸다.
다음으로, 다중 레이블 분류 손실을 신경망 모델의 전역에 역전파한다(S260).
도 2를 참조하면, 신경망 모델의 전역은 복수의 클래스별 분류기(40), 복수의 클래스별 완전결합층(30), 풀링층(20) 및 컨볼루션층(10)을 나타낸다. 이에 따라, 신경망 모델의 파라미터값, 예를 들어 컨볼루션층(10)의 컨볼루션 필터, 클래스별 완전결합층(30)의 클래스별 가중치 등이 조정될 수 있다.
전술한 S200~S260 단계는 복수의 입력 영상에 대해 수행될 수 있으며, 이에 따라 신경망 모델이 학습될 수 있다.
다음으로, 도 8 및 도 9를 참조하여 본 발명의 실시예에 따른 신경망 모델의 학습을 위한 데이터 흐름에 대하여 설명한다.
도 8은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 데이터의 흐름도이고, 도 9는 도 2의 신경망 모델에서 도 6의 각 단계에 해당하는 부분을 표시한 것이다. 도 8에서 직사각형은 데이터의 처리를 나타내고 평행 사변형은 데이터를 나타낸다.
도 8 및 도 9(a)를 참조하면, 먼저 영상(xi)이 신경망 모델에 입력된다(S300). 이때, 입력 영상(xi)의 클래스별 특성 및 대상 영역은 미리 알려져 있다.
신경망 모델은 도 2를 참조하여 설명한 바와 같이, 컨볼루션층(10), 풀링층(20), 클래스별 완전결합층(30) 및 클래스별 분류기(40)를 포함한다. 도 8에는 한개의 클래스별 완전결합층(30) 및 한개의 클래스별 분류기(40)가 도시되어 있지만, 이들은 클래스의 수만큼 구비될 수 있다.
도 8 및 도 9(b)에 도시된 바와 같이, 입력 영상(xi)이 컨볼루션층(10)을 거침에 따라 특성맵(oconv)이 출력된다.
그리고, 도 8 및 도 9(c)를 참조하면, 컨볼루션층(10)을 거친 입력 영상은 신경망 모델의 나머지 부분, 즉 풀링층(20), 클래스별 완전결합층(30) 및 클래스별 분류기(40)를 거침으로써 클래스별 특성 확률(Pn(Tt))이 출력된다.
다음으로, 도 8 및 도 9(d)를 참조하면, 클래스별 특성 확률(Pn(Tt))과 입력 영상의 클래스별 특성에 기초하여 클래스별 분류 손실(Lcls(Tt))이 연산된다(S310).
한편, 컨볼루션층(10)의 출력(oconv)과 클래스별 완전결합층(30)의 가중치(wfc(Tt))에 기초하여 클래스별 관찰 지도가 산출된다(S320).
다음으로, 도 8 및 도 9(e)를 참조하면, 클래스별 관찰 지도에 기초하여 공통 관찰 지도(
Figure 112020080517030-pat00017
)를 생성한다(S330).
다음으로, 도 8 및 도 9(f)를 참조하면, 입력 영상의 대상 영역(
Figure 112020080517030-pat00018
)과 공통 관찰 지도(
Figure 112020080517030-pat00019
)에 기초하여 관찰 손실(Lobs)을 연산한다(S340).
다음으로, 도 8 및 도 9(g)를 참조하면, 클래스별 분류 손실(Lcls(Tt))과 관찰 손실(Lobs)에 기초하여 클래스별 특성 손실(L(Tt))을 산출한다(S350).
다음으로, 도 8 및 도 9(h)를 참조하면, 클래스별 특성 손실(L(Tt))이 학습 종료 조건을 만족하는지를 판단하고(S360), 만족하지 않는 경우(S360, NO) 클래스별 특성 손실(L(Tt))을 클래스별 분류기(40) 및 클래스별 완전결합층(30)에 역전파한다(S370).
이에 따라 클래스별 완전결합층(30)의 클래스별 가중치(wfc(Tt))가 조정되며, 클래스별 완전결합층(10)의 처리, 클래스별 분류기(40)의 처리, 클래스별 분류 손실 연산(S310)이 다시 수행되어 클래스별 분류 손실(Lcls(Tt))이 조정되고, 클래스별 관찰지도 연산(S320), 공통 관찰 지도 연산(S330) 및 관찰 손실 연산(S340)이 다시 수행되어 관찰 손실(Lobs)이 조정된다.
다음으로, 도 8 및 도 9(i)를 참조하면, 다중 레이블 분류 손실이 연산된다(S380).
삭제
삭제
다음으로, 도 8 및 도 9(j)를 참조하면, 다중 레이블 분류 손실(L(T))이 학습 종료 조건을 만족하는지를 판단하고(S390), 만족하지 않는 경우(S390, NO) 다중 레이블 분류 손실(L(T))을 신경망 모델 전체, 즉 클래스별 분류기(40), 클래스별 완전결합층(30), 풀링층(20) 및 컨볼루션층(10)에 역전파한다(S400). 이에 따라, 신경망 모델의 파라미터들이 조정될 수 있다.
도 10은 본 발명의 실시예에 따른 신경망 모델의 학습 장치(1000)의 구성을 나타내는 도면이다.
신경망 모델의 학습 장치(1000)는 신경망 모델이 저장되는 메모리(1100) 및 프로세서(1200)를 포함한다.
메모리(1100)에 저장되는 신경망 모델은 도 2를 참조하여 이미 설명한 바와 같다.
프로세서(1200)는 도 3 ~ 도 9을 참조하여 설명한 신경망 모델의 학습 방법을 수행한다. 즉, 프로세서(1200)는 입력 영상을 컨볼루션층에 입력하고, 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하고, 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하고, 상기 관찰 손실(Lobs)에 기초한 손실을 신경망 모델에 역전파한다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법으로,
    상기 신경망 모델은,
    입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과,
    상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과,
    복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)
    을 포함하고,
    상기 복수의 클래스는 서로 상이한 기준에 의해 구별되며,
    상기 복수의 클래스 각각은 복수의 클래스별 특성으로 분류되며,
    상기 신경망 모델은, 상기 클래스별 완전결합층의 출력에 따라, 상기 복수의 클래스 각각의 클래스별 특성들에 대한 클래스별 특성 확률을 제공 가능하고,
    상기 방법은,
    (a) 입력 영상을 상기 컨볼루션층에 입력하는 단계;
    (b) 상기 컨볼루션층의 출력에 기초하여, 상기 복수의 클래스 각각에 대한 클래스별 관찰 지도를 연산하는 단계;
    (c) 상기 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및
    (d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계
    를 포함하고,
    상기 (c) 단계는,
    (c-1) 상기 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 공통 관찰 지도를 생성하는 단계; 및
    (c-2) 상기 공통 관찰 지도 및 상기 입력 영상의 대상 영역을 이용하여 상기 관찰 손실(Lobs)을 연산하는 단계
    를 포함하고, 각 단계가 컴퓨터 프로세서에 의해 수행되는 신경망 모델의 학습 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 공통 관찰 지도는 상기 클래스별 관찰 지도의 평균값인 것을 특징으로 하는 신경망 모델의 학습 방법.
  4. 제1항에 있어서,
    상기 관찰 손실은 상기 공통 관찰 지도와 상기 입력 영상의 대상 영역을 각각 가로 및 세로 방향으로 프로젝션 한 값들을 연결(concatenate)한 값에 대해 코사인 거리를 계산함으로써 산출되는 것을 특징으로 하는 신경망 모델의 학습 방법.
  5. 제1항에 있어서,
    상기 (b) 단계에서, 상기 클래스별 관찰 지도는 하기의 식에 의해 산출되는 것을 특징으로 하는 신경망 모델의 학습 방법.
    Figure 112021003735184-pat00021

    (단, Tt는 클래스, wfc(Tt)는 클래스별 완전결합층의 가중치, oconv는 컨볼루션층의 출력, C는 채널 수를 나타냄)
  6. 제1항에 있어서,
    상기 신경망 모델은,
    상기 복수의 클래스별 완전결합층에 각각 대응하며, 각 클래스별 완전결합층의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기
    를 더 포함하는 것을 특징으로 하는 신경망 모델의 학습 방법.
  7. 제6항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 복수의 클래스별 분류기 각각의 출력 결과에 기초하여 클래스별 분류 손실(Lcls(Tt))을 연산하는 단계;
    (d-2) 상기 관찰 손실(Lobs) 및 상기 클래스별 분류 손실(Lcls(Tt))에 기초하여 클래스별 특성 손실(L(Tt))을 연산하는 단계; 및
    (d-3) 상기 클래스별 특성 손실(L(Tt))을 클래스별로 상기 복수의 클래스별 분류기 및 상기 복수의 클래스별 완전결합층에 역전파하는 단계
    를 포함하는 것을 특징으로 하는 신경망 모델의 학습 방법.
  8. 제7항에 있어서,
    상기 (d-2) 단계에서, 상기 클래스별 특성 손실(L(Tt))은 하기의 식에 의해 산출되는 것을 특징으로 하는 신경망 모델의 학습 방법.
    Figure 112020080517030-pat00022

    (단, 0≤α≤1)
  9. 제7항에 있어서,
    상기 (d) 단계는,
    (d-4) 복수의 상기 클래스별 분류 손실(Lcls(Tt))과 상기 관찰 손실(Lobs)에 기초하여 다중 레이블 분류 손실(L(T))을 연산하는 단계; 및
    (d-5) 상기 다중 레이블 분류 손실(L(T))을 상기 복수의 클래스별 분류기, 상기 복수의 클래스별 완전결합층, 상기 풀링층 및 상기 컨볼루션층에 역전파하는 단계
    를 더 포함하는 것을 특징으로 하는 신경망 모델의 학습 방법.
  10. 제1항에 있어서,
    상기 풀링층은 전체 평균 풀링층(global average pooling layer)인 것을 특징으로 하는 신경망 모델의 학습 방법.
  11. 신경망 모델이 저장되는 메모리; 및
    프로세서
    를 포함하는 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 장치로서,
    상기 신경망 모델은,
    입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과,
    상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과,
    복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)
    을 포함하고,
    상기 복수의 클래스는 서로 상이한 기준에 의해 구별되며,
    상기 복수의 클래스 각각은 복수의 클래스별 특성으로 분류되며,
    상기 신경망 모델은, 상기 클래스별 완전결합층의 출력에 따라, 상기 복수의 클래스 각각의 클래스별 특성들에 대한 클래스별 특성 확률을 제공 가능하고,
    상기 프로세서는,
    입력 영상을 상기 컨볼루션층에 입력하고, 상기 컨볼루션층의 출력에 기초하여, 상기 복수의 클래스 각각에 대한 복수의 클래스별 관찰 지도를 연산하고, 상기 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 공통 관찰 지도를 생성하고, 상기 공통 관찰 지도 및 상기 입력 영상의 대상 영역을 이용하여 관찰 손실(Lobs)을 연산하고, 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 것을 특징으로 하는 신경망 모델의 학습 장치.
KR1020200095773A 2020-07-31 2020-07-31 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치 KR102236615B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200095773A KR102236615B1 (ko) 2020-07-31 2020-07-31 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
CN202180006146.5A CN114641780A (zh) 2020-07-31 2021-07-29 用于复合特性分类和共同局部化的神经网络模型的学习方法及装置
PCT/KR2021/009939 WO2022025690A1 (ko) 2020-07-31 2021-07-29 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
EP21849783.2A EP4191480A1 (en) 2020-07-31 2021-07-29 Neural network model training method and apparatus for complex characteristic classification and common localization
JP2022524128A JP2022553407A (ja) 2020-07-31 2021-07-29 複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置
US17/777,246 US20220406035A1 (en) 2020-07-31 2021-07-29 Neural network model training method and apparatus for complex characteristic classification and common localization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200095773A KR102236615B1 (ko) 2020-07-31 2020-07-31 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102236615B1 true KR102236615B1 (ko) 2021-04-06

Family

ID=75472778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200095773A KR102236615B1 (ko) 2020-07-31 2020-07-31 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Country Status (6)

Country Link
US (1) US20220406035A1 (ko)
EP (1) EP4191480A1 (ko)
JP (1) JP2022553407A (ko)
KR (1) KR102236615B1 (ko)
CN (1) CN114641780A (ko)
WO (1) WO2022025690A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025690A1 (ko) * 2020-07-31 2022-02-03 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR20180048407A (ko) * 2016-10-31 2018-05-10 삼성전자주식회사 차선 검출 장치 및 방법
KR101977067B1 (ko) * 2018-08-24 2019-05-10 주식회사 뷰노 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
KR20200020079A (ko) * 2018-08-16 2020-02-26 한국과학기술원 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938558B (zh) * 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
JP7215098B2 (ja) * 2018-11-12 2023-01-31 富士通株式会社 学習プログラム、学習方法および学習装置
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR20180048407A (ko) * 2016-10-31 2018-05-10 삼성전자주식회사 차선 검출 장치 및 방법
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
KR20200020079A (ko) * 2018-08-16 2020-02-26 한국과학기술원 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
KR101977067B1 (ko) * 2018-08-24 2019-05-10 주식회사 뷰노 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025690A1 (ko) * 2020-07-31 2022-02-03 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Also Published As

Publication number Publication date
WO2022025690A1 (ko) 2022-02-03
US20220406035A1 (en) 2022-12-22
CN114641780A (zh) 2022-06-17
JP2022553407A (ja) 2022-12-22
EP4191480A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
US20190294970A1 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN112633350B (zh) 一种基于图卷积的多尺度点云分类实现方法
US10943352B2 (en) Object shape regression using wasserstein distance
CN110826379B (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
WO2016179808A1 (en) An apparatus and a method for face parts and face detection
KR20200027887A (ko) 복수의 비디오 프레임을 이용하여 cnn의 파라미터를 최적화하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN112149620A (zh) 基于无锚点的自然场景文字区域检测模型的构建方法
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
KR102236615B1 (ko) 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
CN112836820A (zh) 用于图像分类任务的深度卷积网络训方法、装置及系统
US20220309779A1 (en) Neural network training and application method, device and storage medium
CN116580322A (zh) 一种地面背景下无人机红外小目标检测方法
Rahebi et al. Biomedical image edge detection using an ant colony optimization based on artificial neural networks
CN112556682B (zh) 一种水下复合传感器目标自动检测算法
Lukic et al. Galaxy classifications with deep learning
JPH08509313A (ja) データの離散アセンブリをセグメント化する装置
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN111489373A (zh) 一种基于深度学习的遮挡物体分割方法
CN116630216A (zh) 基于雷达和影像的目标融合方法、装置、设备及存储介质
CN115830632A (zh) 基于深度学习和图像掩膜的红外图像行人倒影检测方法
Fomin et al. Study of using deep learning nets for mark detection in space docking control images
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant