WO2022025690A1 - 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치 - Google Patents

복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치 Download PDF

Info

Publication number
WO2022025690A1
WO2022025690A1 PCT/KR2021/009939 KR2021009939W WO2022025690A1 WO 2022025690 A1 WO2022025690 A1 WO 2022025690A1 KR 2021009939 W KR2021009939 W KR 2021009939W WO 2022025690 A1 WO2022025690 A1 WO 2022025690A1
Authority
WO
WIPO (PCT)
Prior art keywords
class
neural network
network model
loss
observation
Prior art date
Application number
PCT/KR2021/009939
Other languages
English (en)
French (fr)
Inventor
금지수
오상일
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to CN202180006146.5A priority Critical patent/CN114641780A/zh
Priority to US17/777,246 priority patent/US20220406035A1/en
Priority to EP21849783.2A priority patent/EP4191480A1/en
Priority to JP2022524128A priority patent/JP2022553407A/ja
Publication of WO2022025690A1 publication Critical patent/WO2022025690A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법에서, 상기 신경망 모델은, 입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과, 상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)을 포함하고, 상기 방법은, (a) 입력 영상을 상기 컨볼루션층에 입력하는 단계; (b) 상기 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하는 단계; (c) 상기 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및 (d) 상기 관찰 손실에 기초한 손실을 상기 신경망 모델에 역전파하는 단계를 포함한다.

Description

복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
본 발명은 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치에 관한 것이다.
도 1의 (a)는 종래기술에 따른 신경망 모델을 나타낸 것이다.
도 1의 (a)를 참조하면, 신경망 모델은 입력층, 하나 이상의 컨볼루션층, 풀링층 및 완전결합층을 포함한다. 이러한 신경망 모델을 이용하여, 어떠한 입력이 있을 때, A, B, C, D의 네 가지 특성 중 하나의 결과값, 또는 각 특성에 해당하는 확률을 출력할 수 있다. 이때 결과값의 총 합은 100퍼센트일 수 있다.
그러나, 어떠한 입력은 복수의 결과가 가능한 복합 특성을 가질 수 있다. 예를 들어, A는 남성, B는 여성의 특성이고, C는 동양인, D는 비동양인의 특성인 경우, 결과값으로서 A와 C가 동시에 가능할 수 있다.
그러나, 종래의 신경망 모델에 의하는 경우, 결과값의 총 합이 100퍼센트가 되도록 판단하기 때문에, 이러한 복합 특성이 제대로 반영되기 어렵다.
본 발명의 실시예는 복합 특성을 제대로 예측할 수 있는 신경망 모델의 학습 방법 및 장치를 제공하고자 한다.
본 발명의 실시예에 따른 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법에서, 상기 신경망 모델은, 입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과, 상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)을 포함하고, 상기 방법은, (a) 입력 영상을 상기 컨볼루션층에 입력하는 단계; (b) 상기 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하는 단계; (c) 상기 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및 (d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계를 포함한다.
상기 (c) 단계는, (c-1) 상기 복수의 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 공통 관찰 지도를 생성하는 단계; 및 (c-2) 상기 공통 관찰 지도 및 상기 입력 영상의 대상 영역을 이용하여 상기 관찰 손실(Lobs)을 연산하는 단계를 포함한다.
상기 공통 관찰 지도는 상기 클래스별 관찰 지도의 평균값일 수 있다.
상기 관찰 손실은 상기 공통 관찰 지도와 상기 입력 영상의 대상 영역을 각각 가로 및 세로 방향으로 프로젝션 한 값들을 연결(concatenate)한 값에 대해 코사인 거리를 계산함으로써 산출될 수 있다.
상기 (b) 단계에서, 상기 클래스별 관찰 지도는 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000001
(단, Tt는 클래스, wfc(Tt)는 클래스별 완전결합층의 가중치, oconv는 컨볼루션층의 출력, C는 채널 수를 나타냄)
상기 신경망 모델은, 상기 복수의 클래스별 완전결합층에 각각 대응하며, 각 클래스별 완전결합층의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기를 더 포함할 수 있다.
상기 (d) 단계는, (d-1) 상기 복수의 클래스별 분류기 각각의 출력 결과에 기초하여 클래스별 분류 손실(Lcls(Tt))을 연산하는 단계; (d-2) 상기 관찰 손실(Lobs) 및 상기 클래스별 분류 손실(Lcls(Tt))에 기초하여 클래스별 특성 손실(L(Tt))을 연산하는 단계; 및 (d-3) 상기 클래스별 특성 손실(L(Tt))을 클래스별로 상기 복수의 클래스별 분류기 및 상기 복수의 클래스별 완전결합층에 역전파하는 단계를 포함할 수 있다.
상기 (d-2) 단계에서, 상기 클래스별 특성 손실(L(Tt))은 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000002
(단, 0≤α≤1)
상기 (d) 단계는, (d-4) 복수의 상기 클래스별 분류 손실(Lcls(Tt))과 상기 관찰 손실(Lobs)에 기초하여 다중 레이블 분류 손실(L(T))을 연산하는 단계; 및 (d-5) 상기 다중 레이블 분류 손실(L(T))을 상기 복수의 클래스별 분류기, 상기 복수의 클래스별 완전결합층, 상기 풀링층 및 상기 컨볼루션층에 역전파하는 단계를 더 포함할 수 있다.
상기 풀링층은 전체 평균 풀링층(global average pooling layer)일 수 있다.
본 발명의 실시예에 따른 신경망 모델의 학습 장치는, 신경망 모델이 저장되는 메모리; 및 프로세서를 포함하는 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 장치로서, 상기 신경망 모델은, 입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과, 상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)을 포함하고, 상기 프로세서는, 입력 영상을 상기 컨볼루션층에 입력하고, 상기 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하고, 상기 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하고, 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파한다.
본 발명의 실시예에 의하면, 복합 특성을 제대로 분류할 수 있다.
본 발명의 실시예에 의하면, 클래스간의 연관성이 반영될 수 있다.
본 발명의 실시예에 의하면, 복합 특성간의 공통 국소화가 이루어질 수 있다.
도 1의 (a)는 종래기술에 따른 일대일 모델을 나타낸 것이고, 도 1의 (b)는 비교예에 따른 일대일 분류 모델을 2개 사용한 것을 나타낸 것이고, 도 1의 (c)는 본 발명의 실시예에 따른 일대다 모델을 나타낸 것이다.
도 2는 본 발명의 실시예에 따른 신경망 모델(1)의 구조를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
도 4는 도 3의 학습 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 실시예에 따른 관찰 손실의 산출 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 데이터의 흐름도이다.
도 9는 도 2의 신경망 모델에서 도 7 및 도 8의 각 단계에 해당하는 부분을 표시한 것이다.
도 10은 본 발명의 실시예에 따른 신경망 모델의 학습 장치의 구성을 나타내는 도면이다.
발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 명세서 및 청구범위에 사용된 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 한 구성요소가 다른 구성요소에 "연결", "전송", "송신", "수신" 또는 "전달"된다고 할 때, 이는 직접적으로 연결, 전송, 송신, 수신 또는 전달되는 경우뿐만 아니라 다른 구성요소를 개재하여 간접적으로 연결, 전송, 송신, 수신 또는 전달되는 경우도 포함한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예에 대하여 설명한다.
도 1의 (b)는 비교예에 따른 일대일 분류 모델을 2개 사용한 것을 나타낸 것이고, 도 1의 (c)는 본 발명의 실시예에 따른 일대다 모델을 나타낸 것이다.
도 1에서 A와 B는 클래스 Ⅰ에 속하는 특성들을 나타내고, C와 D는 클래스 Ⅱ에 속하는 특성들을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 명세서에서는 복합 특성이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.
도 1의 (b)를 참조하면, 2개의 일대일 분류 모델이 사용되는 경우, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 이 경우, 예측 결과는 정확할 수 있지만 2개의 모델을 학습해야 하므로 계산량이 증가할 수 있다. 또한, 2개의 모델이 독립적으로 학습되기 때문에 클래스간의 연관성이 반영되기 어렵다.
도 1의 (c)를 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층과 풀링층(pooling layer)이 클래스간에 공유되고, 완전결합층은 클래스별로 제공된다. 이때, 완전결합층이 클래스별로 제공되기 때문에, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 도 1의 (a)에 비해 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층이 클래스간에 공유되기 때문에 도 1의 (b)의 모델에 비해 계산량을 감소시키면서도 클래스간의 연관성을 반영시킬 수 있다.
본 발명의 실시예에 따른 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법에서,
상기 신경망 모델은,
입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과,
상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과,
복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)
을 포함하고,
상기 방법은,
(a) 입력 영상을 상기 컨볼루션층에 입력하는 단계;
(b) 상기 컨볼루션층의 출력에 기초하여 클래스별 관찰 지도를 연산하는 단계;
(c) 상기 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및
(d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계
를 포함한다.
도 2는 본 발명의 실시예에 따른 신경망 모델(1)의 구조를 나타내는 도면이다. 도 2에서 NT개의 클래스(T1, T2, ... Tt, ... TNT)가 존재하고, 클래스 T1에는 2가지의 특성이 속하고, 클래스 T2에는 2가지의 특성이 속하고, 클래스 Tt에는 n가지의 특성이 속하고, 클래스 TNT에는 3가지의 특성이 속하는 것으로 가정하였다.
도 2를 참조하면, 본 발명의 실시예에 따른 신경망 모델(1)은, 입력 영상(xi)에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하기 위한 컨볼루션층(10)과, 상기 컨볼루션층(10)의 출력(oconv)에 대해 풀링을 수행하기 위한 풀링층(20)과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층(20)의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(30)을 포함한다.
신경망 모델(1)은, 상기 복수의 클래스별 완전결합층(30)에 각각 대응하며 각 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기(40)를 더 포함할 수 있다.
컨볼루션층(10)은 입력 영상에 대해 복수의 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행함으로써 특징맵을 추출한다. 도 2에 도시된 바와 같이 컨볼루션 연산은 복수회 수행될 수 있다. 컨볼루션층(10)의 출력, 즉 특징맵(oconv)은 높이(H), 너비(W), 채널 수(C)를 갖는 것으로 가정하였다.
풀링층(20)은 컨볼루션층(10)과 완전결합층(30)의 사이에 위치하며, 특징맵(oconv)의 크기를 감소시켜 후술하는 완전결합층(30)에서 필요한 연산을 감소시키고, 오버피팅을 방지하는 역할을 한다. 풀링층(20)은 특징맵(oconv)의 각 채널에 대해 평균값을 출력하는 전체 평균 풀링(global average pooling)을 수행할 수 있다.
클래스별 완전결합층(30)은 풀링층(20)의 출력에 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))를 곱한 값을 출력한다. 이때, 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))의 각각은 채널 수에 해당하는 복수의 값일 수 있다.
클래스별 분류기(40)는 클래스별 완전결합층(30)에 각각 대응하며, 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산한다. 도 2를 참조하면, 클래스 T1에 해당하는 분류기는 클래스 T1에 속하는 특성들 각각에 해당하는 확률(P1(T1), P2(T1))을 연산하고, 클래스 T2에 해당하는 분류기는 클래스 T2에 속하는 특성들 각각에 해당하는 확률(P1(T2), P2(T2))을 연산하고, 클래스 Tt에 해당하는 분류기는 클래스 Tt에 속하는 특성들 각각에 해당하는 확률(P1(Tt), P2(Tt), ... Pn(Tt))을 연산하고, 클래스 TNT에 해당하는 분류기는 클래스 TNT에 속하는 특성들 각각에 해당하는 확률(P1(TNT), P2(TNT), P3(TNT))을 연산한다. 클래스별 분류기(40)로서 예를 들어 Softmax 함수, Sigmoid 함수 등이 이용될 수 있다.
다음으로, 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 신경망 모델의 학습 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이고, 도 4는 도 3의 학습 방법을 설명하기 위한 도면이다. 본 발명의 실시예에 따른 신경망 모델의 학습 방법은 도 2의 신경망 모델이 사용된다.
도 3을 참조하면, 먼저 신경망 모델의 컨볼루션층에 영상이 입력된다(S100). 입력 영상의 클래스별 특성(복합 특성)과 대상 영역은 이미 알려져 있다. 여기서, 대상 영역이란 입력 영상의 일부로서, 클래스별 특성을 판단하는데 주요한 영향을 미치는 부분을 의미한다. 예를 들어, 도 4에 도시된 바와 같이, 입력 영상이 초음파 영상일 때 대상 영역은 병변이 나타난 부분일 수 있다. 대상 영역은 복수의 클래스에 대해 동일할 수 있다.
다음으로, 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산한다(S110).
관찰 지도는 분류 활성화 지도(Class Activation Map; CAM)라고도 하며, 입력 영상의 각 부분이 분류 결과에 얼마나 영향을 미쳤는지를 나타낸다. 본 실시예에서 관찰 지도는 클래스별로 연산된다. 도 4에 클래스별 관찰 지도의 예시를 나타내었다. 클래스별 관찰 지도는 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000003
단, Tt는 클래스, wfc(Tt)는 클래스별 완전결합층의 가중치, oconv는 컨볼루션층의 출력, C는 채널 수를 나타낸다.
다음으로, 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실을 연산한다(S120).
실시예에 따라, S120 단계는, 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 공통 관찰 지도를 생성하는 단계(S121) 및 공통 관찰 지도 및 입력 영상의 대상 영역을 이용하여 관찰 손실을 연산하는 단계(S122)를 포함할 수 있다. 관찰 손실은 입력 영상의 대상 영역과 공통 관찰 지도의 차이에 기초하여 연산될 수 있다. 공통 관찰 지도는 클래스별 관찰 지도의 평균값일 수 있으며, 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000004
여기서,
Figure PCTKR2021009939-appb-I000005
는 전술한 클래스별 관찰 지도이고, NT는 클래스의 수를 나타낸다.
다만 이는 일 예이며, 각 클래스의 관찰 지도의 비율을 상이하게 하거나 전체 클래스 중 일부의 클래스의 관찰 지도에 기초하여 공통 관찰 지도를 산출할 수도 있다.
산출된 공통 관찰 지도와 입력 영상의 대상 영역을 이용하여 관찰 손실을 연산한다.
예를 들어, 관찰 손실은 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000006
여기서,
Figure PCTKR2021009939-appb-I000007
Figure PCTKR2021009939-appb-I000008
는 입력 영상 xi의 대상 영역,
Figure PCTKR2021009939-appb-I000009
는 입력 영상 xi의 공통 관찰 지도를 나타낸다.
도 5 및 도 6은 본 발명의 실시예에 따른 관찰 손실의 산출 방법을 설명하기 위한 도면이다.
도 5의 (a)는 입력 영상의 대상 영역을 세로 방향을 따라 프로젝션한 값 MH 을 나타내고, 도 5의 (b)는 입력 영상의 대상 영역을 가로 방향을 따라 프로젝션한 값 MV 를 나타낸다.
도 5의 (a)에는 입력 영상의 대상 영역에 대해서만 예시를 들어 설명하였지만, 공통 관찰 지도에 대해서도 마찬가지로 가로 및 세로 방향을 따라 프로젝션한 값이 계산될 수 있다.
도 6의 (a)는 입력 영상의 대상 영역을 세로 방향으로 프로젝션한 값을 그래프로 도시한 것이고, 도 6의 (b)는 입력 영상의 대상 영역을 가로 방향으로 프로젝션한 값을 그래프로 도시한 것이고, 도 6의 (c)는 공통 관찰 지도의 대상 영역을 세로 방향으로 프로젝션한 값을 그래프로 도시한 것이고, 도 6의 (d)는 공통 관찰 지도의 대상 영역을 가로 방향으로 프로젝션한 값을 그래프로 도시한 것이다.
실시예에 따라, 관찰 손실은 입력 영상의 대상 영역과 공통 관찰 지도를 각각 가로 및 세로 방향으로 프로젝션 하고, 이들을 연결(concatenate)한 값에 대해 코사인 거리를 계산함으로써 산출될 수 있다.
즉, 관찰 손실은 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000010
상기 식에 의하는 경우, 픽셀 단위의 정확성보다 전체적인 분포를 반영하는 것이 가능하다.
다음으로, 도 3을 다시 참조하면, 관찰 손실에 기초한 손실을 신경망 모델에 역전파한다(S130).
전술한 S100~S130 단계는 복수의 입력 영상에 대해 수행될 수 있으며, 이에 따라 신경망 모델이 학습될 수 있다.
본 실시예에서 클래스별로 관찰 지도를 생성하지만, 관찰 손실은 복수의 클래스에 대해 동일하게 적용된다. 이에 따라, 복수의 클래스에 대해 관찰 지도가 동일해지는 효과, 즉 공통 국소화의 효과를 얻을 수 있다.
도 7은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
먼저, 신경망 모델의 컨볼루션층에 영상이 입력된다(S200).
다음으로, 신경망 모델로부터 클래스별 분류 손실과 관찰 손실이 산출된다(S210, S220).
클래스별 분류 손실은 각 클래스에 속하는 특성들이 얼마나 정확히 예측되었느냐를 나타내는 값으로, 클래스별로 산출된다. 클래스별 분류 손실은 복수의 클래스별 분류기 각각의 출력 결과에 기초하여 연산될 수 있다. 예를 들어, 입력 영상의 클래스별 특성과, 클래스별 분류기의 출력인 클래스별 특성 확률(도 2의 P1(Tt), P2(Tt), ... Pn(Tt)를 참조)의 차이로부터 클래스별 분류 손실이 계산될 수 있다.
클래스별 분류 손실은 하기의 식에 의해 계산될 수 있다.
Figure PCTKR2021009939-appb-I000011
여기서,
Figure PCTKR2021009939-appb-I000012
는 입력 영상 xi의 클래스 Tt에 대한 클래스별 특성 c의 출력 확률을 나타내고,
Nx는 학습 영상 수를 나타내고, CTt 는 클래스 Tt에 속하는 클래스별 특성의 수를 나타낸다.
관찰 손실은 전술한 바와 같으므로 중복 설명은 생략한다.
다음으로, 클래스별 분류 손실과 관찰 손실에 기초하여 클래스별 특성 손실이 연산된다(S230).
클래스별 특성 손실은 관찰 손실과 클래스별 분류 손실을 반영한 값이다. 전술한 바와 같이 관찰 손실은 복수의 클래스에 대해 동일하지만, 클래스별 분류 손실은 클래스에 따라 상이하기 때문에, 클래스별 특성 손실은 클래스별로 상이한 값을 가질 수 있다.
클래스별 특성 손실은 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000013
여기서, Lcls(Tt)은 클래스별 분류 손실을 나타내고, Lobs는 관찰 손실을 나타내고, 0≤α≤1 을 만족한다
다음으로, 클래스별 특성 손실을 복수의 클래스별 분류기 및 복수의 클래스별 완전결합층에 클래스별로 역전파한다(S240).
도 2의 신경망 모델을 참조하면, 클래스별 완전결합층(30) 및 클래스별 분류기(40)는 클래스별 분기(branch)에 해당한다. 즉, 클래스별 특성 손실은 신경망 모델의 클래스별 분기에 해당하는 부분에만 역전파된다. 또한, 클래스별 특성 손실은 클래스별로 역전파된다. 구체적으로, 도 2를 참조하면, 클래스 T1의 특성 손실은 클래스 T1에 해당하는 분류기(40) 및 완전결합층(30)에 역전파되고, 클래스 T2의 특성 손실은 클래스 T2에 해당하는 분류기(40) 및 완전결합층(30)에 역전파되고, 클래스 Tt의 특성 손실은 클래스 Tt에 해당하는 분류기(40) 및 완전결합층(30)에 역전파되고, 클래스 TNT의 특성 손실은 클래스 TNT에 해당하는 분류기(40) 및 완전결합층(30)에 역전파될 수 있다.
다음으로, 다중 레이블 분류 손실이 연산된다(S250).
다중 레이블 분류 손실은 클래스별 분류 손실(S210 참조)과 달리 클래스별로 연산된 클래스별 분류 손실을 반영한 값이다. 다중 레이블 분류 손실은 복수의 클래스별 분류 손실과 관찰 손실에 기초하여 연산될 수 있다. 다중 레이블 분류 손실은 복수의 클래스에 대해 동일하게 적용된다.
상기 S240 단계의 역전파에 의해 복수의 클래스별 완전결합층(30)의 클래스별 가중치가 조정되며, 이에 따라 복수의 클래스별 분류 손실 및 관찰 손실도 변경될 수 있다. 다중 레이블 분류 손실은 변경된 복수의 클래스별 분류 손실과 관찰 손실에 기초하여 산정될 수 있다.
다중 레이블 분류 손실은 하기의 식에 의해 산출될 수 있다.
Figure PCTKR2021009939-appb-I000014
여기서,
Figure PCTKR2021009939-appb-I000015
Figure PCTKR2021009939-appb-I000016
는 입력 영상 xi의 복수의 클래스 전체에 대한 클래스별 특성 c의 출력 확률을 나타내고,
Nx는 학습 영상 수를 나타내고, CT 는 복수의 클래스 전체에 대한 클래스별 특성의 수를 나타낸다.
다음으로, 다중 레이블 분류 손실을 신경망 모델의 전역에 역전파한다(S260).
도 2를 참조하면, 신경망 모델의 전역은 복수의 클래스별 분류기(40), 복수의 클래스별 완전결합층(30), 풀링층(20) 및 컨볼루션층(10)을 나타낸다. 이에 따라, 신경망 모델의 파라미터값, 예를 들어 컨볼루션층(10)의 컨볼루션 필터, 클래스별 완전결합층(30)의 클래스별 가중치 등이 조정될 수 있다.
전술한 S200~S260 단계는 복수의 입력 영상에 대해 수행될 수 있으며, 이에 따라 신경망 모델이 학습될 수 있다.
다음으로, 도 8 및 도 9를 참조하여 본 발명의 실시예에 따른 신경망 모델의 학습을 위한 데이터 흐름에 대하여 설명한다.
도 8은 본 발명의 실시예에 따른 신경망 모델의 학습 방법을 나타낸 데이터의 흐름도이고, 도 9는 도 2의 신경망 모델에서 도 6의 각 단계에 해당하는 부분을 표시한 것이다. 도 8에서 직사각형은 데이터의 처리를 나타내고 평행 사변형은 데이터를 나타낸다.
도 8 및 도 9(a)를 참조하면, 먼저 영상(xi)이 신경망 모델에 입력된다(S300). 이때, 입력 영상(xi)의 클래스별 특성 및 대상 영역은 미리 알려져 있다.
신경망 모델은 도 2를 참조하여 설명한 바와 같이, 컨볼루션층(10), 풀링층(20), 클래스별 완전결합층(30) 및 클래스별 분류기(40)를 포함한다. 도 8에는 한개의 클래스별 완전결합층(30) 및 한개의 클래스별 분류기(40)가 도시되어 있지만, 이들은 클래스의 수만큼 구비될 수 있다.
도 8 및 도 9(b)에 도시된 바와 같이, 입력 영상(xi)이 컨볼루션층(10)을 거침에 따라 특성맵(oconv)이 출력된다.
그리고, 도 8 및 도 9(c)를 참조하면, 컨볼루션층(10)을 거친 입력 영상은 신경망 모델의 나머지 부분, 즉 풀링층(20), 클래스별 완전결합층(30) 및 클래스별 분류기(40)를 거침으로써 클래스별 특성 확률(Pn(Tt))이 출력된다.
다음으로, 도 8 및 도 9(d)를 참조하면, 클래스별 특성 확률(Pn(Tt))과 입력 영상의 클래스별 특성에 기초하여 클래스별 분류 손실(Lcls(Tt))이 연산된다(S310).
한편, 컨볼루션층(10)의 출력(oconv)과 클래스별 완전결합층(30)의 가중치(wfc(Tt))에 기초하여 클래스별 관찰 지도가 산출된다(S320).
다음으로, 도 8 및 도 9(e)를 참조하면, 클래스별 관찰 지도에 기초하여 공통 관찰 지도(
Figure PCTKR2021009939-appb-I000017
)를 생성한다(S330).
다음으로, 도 8 및 도 9(f)를 참조하면, 입력 영상의 대상 영역(
Figure PCTKR2021009939-appb-I000018
)과 공통 관찰 지도(
Figure PCTKR2021009939-appb-I000019
)에 기초하여 관찰 손실(Lobs)을 연산한다(S340).
다음으로, 도 8 및 도 9(g)를 참조하면, 클래스별 분류 손실(Lcls(Tt))과 관찰 손실(Lobs)에 기초하여 클래스별 특성 손실(L(Tt))을 산출한다(S350).
다음으로, 도 8 및 도 9(h)를 참조하면, 클래스별 특성 손실(L(Tt))이 학습 종료 조건을 만족하는지를 판단하고(S360), 만족하지 않는 경우(S360, NO) 클래스별 특성 손실(L(Tt))을 클래스별 분류기(40) 및 클래스별 완전결합층(30)에 역전파한다(S370).
이에 따라 클래스별 완전결합층(30)의 클래스별 가중치(wfc(Tt))가 조정되며, 클래스별 완전결합층(10)의 처리, 클래스별 분류기(40)의 처리, 클래스별 분류 손실 연산(S310)이 다시 수행되어 클래스별 분류 손실(Lcls(Tt))이 조정되고, 클래스별 관찰지도 연산(S320), 공통 관찰 지도 연산(S330) 및 관찰 손실 연산(S340)이 다시 수행되어 관찰 손실(Lobs)이 조정된다.
다음으로, 도 8 및 도 9(i)를 참조하면, 다중 레이블 분류 손실이 연산된다(S380).
다음으로, 도 8 및 도 9(j)를 참조하면, 다중 레이블 분류 손실(L(T))이 학습 종료 조건을 만족하는지를 판단하고(S390), 만족하지 않는 경우(S390, NO) 다중 레이블 분류 손실(L(T))을 신경망 모델 전체, 즉 클래스별 분류기(40), 클래스별 완전결합층(30), 풀링층(20) 및 컨볼루션층(10)에 역전파한다(S400). 이에 따라, 신경망 모델의 파라미터들이 조정될 수 있다.
도 10은 본 발명의 실시예에 따른 신경망 모델의 학습 장치(1000)의 구성을 나타내는 도면이다.
신경망 모델의 학습 장치(1000)는 신경망 모델이 저장되는 메모리(1100) 및 프로세서(1200)를 포함한다.
메모리(1100)에 저장되는 신경망 모델은 도 2를 참조하여 이미 설명한 바와 같다.
프로세서(1200)는 도 3 ~ 도 9을 참조하여 설명한 신경망 모델의 학습 방법을 수행한다. 즉, 프로세서(1200)는 입력 영상을 컨볼루션층에 입력하고, 컨볼루션층의 출력에 기초하여 복수의 클래스별 관찰 지도를 연산하고, 복수의 클래스별 관찰 지도에 기초하여, 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하고, 상기 관찰 손실(Lobs)에 기초한 손실을 신경망 모델에 역전파한다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 방법으로,
    상기 신경망 모델은,
    입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과,
    상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과,
    복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)
    을 포함하고,
    상기 복수의 클래스는 서로 상이한 기준에 의해 구별되며,
    상기 복수의 클래스 각각은 복수의 클래스별 특성으로 분류되며,
    상기 신경망 모델은, 상기 클래스별 완전결합층의 출력에 따라, 상기 복수의 클래스 각각의 클래스별 특성들에 대한 클래스별 특성 확률을 제공 가능하고,
    상기 방법은,
    (a) 입력 영상을 상기 컨볼루션층에 입력하는 단계;
    (b) 상기 컨볼루션층의 출력에 기초하여, 상기 복수의 클래스 각각에 대한 클래스별 관찰 지도를 연산하는 단계;
    (c) 상기 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 관찰 손실(Lobs)을 연산하는 단계; 및
    (d) 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 단계
    를 포함하고,
    상기 (c) 단계는,
    (c-1) 상기 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 공통 관찰 지도를 생성하는 단계; 및
    (c-2) 상기 공통 관찰 지도 및 상기 입력 영상의 대상 영역을 이용하여 상기 관찰 손실(Lobs)을 연산하는 단계
    를 포함하고, 각 단계가 컴퓨터 프로세서에 의해 수행되는 신경망 모델의 학습 방법.
  2. 제1항에 있어서,
    상기 공통 관찰 지도는 상기 클래스별 관찰 지도의 평균값인 것을 특징으로 하는 신경망 모델의 학습 방법.
  3. 제1항에 있어서,
    상기 관찰 손실은 상기 공통 관찰 지도와 상기 입력 영상의 대상 영역을 각각 가로 및 세로 방향으로 프로젝션 한 값들을 연결(concatenate)한 값에 대해 코사인 거리를 계산함으로써 산출되는 것을 특징으로 하는 신경망 모델의 학습 방법.
  4. 제1항에 있어서,
    상기 (b) 단계에서, 상기 클래스별 관찰 지도는 하기의 식에 의해 산출되는 것을 특징으로 하는 신경망 모델의 학습 방법.
    Figure PCTKR2021009939-appb-I000020
    (단, Tt는 클래스, wfc(Tt)는 클래스별 완전결합층의 가중치, oconv는 컨볼루션층의 출력, C는 채널 수를 나타냄)
  5. 제1항에 있어서,
    상기 신경망 모델은,
    상기 복수의 클래스별 완전결합층에 각각 대응하며, 각 클래스별 완전결합층의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기
    를 더 포함하는 것을 특징으로 하는 신경망 모델의 학습 방법.
  6. 제5항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 복수의 클래스별 분류기 각각의 출력 결과에 기초하여 클래스별 분류 손실(Lcls(Tt))을 연산하는 단계;
    (d-2) 상기 관찰 손실(Lobs) 및 상기 클래스별 분류 손실(Lcls(Tt))에 기초하여 클래스별 특성 손실(L(Tt))을 연산하는 단계; 및
    (d-3) 상기 클래스별 특성 손실(L(Tt))을 클래스별로 상기 복수의 클래스별 분류기 및 상기 복수의 클래스별 완전결합층에 역전파하는 단계
    를 포함하는 것을 특징으로 하는 신경망 모델의 학습 방법.
  7. 제6항에 있어서,
    상기 (d-2) 단계에서, 상기 클래스별 특성 손실(L(Tt))은 하기의 식에 의해 산출되는 것을 특징으로 하는 신경망 모델의 학습 방법.
    Figure PCTKR2021009939-appb-I000021
    (단, 0≤α≤1)
  8. 제6항에 있어서,
    상기 (d) 단계는,
    (d-4) 복수의 상기 클래스별 분류 손실(Lcls(Tt))과 상기 관찰 손실(Lobs)에 기초하여 다중 레이블 분류 손실(L(T))을 연산하는 단계; 및
    (d-5) 상기 다중 레이블 분류 손실(L(T))을 상기 복수의 클래스별 분류기, 상기 복수의 클래스별 완전결합층, 상기 풀링층 및 상기 컨볼루션층에 역전파하는 단계
    를 더 포함하는 것을 특징으로 하는 신경망 모델의 학습 방법.
  9. 제1항에 있어서,
    상기 풀링층은 전체 평균 풀링층(global average pooling layer)인 것을 특징으로 하는 신경망 모델의 학습 방법.
  10. 신경망 모델이 저장되는 메모리; 및
    프로세서
    를 포함하는 영상의 복합 특성 분류 및 공통 국소화를 위한 신경망 모델의 학습 장치로서,
    상기 신경망 모델은,
    입력 영상에 대해 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행하는 컨볼루션층과,
    상기 컨볼루션층의 출력에 대해 풀링(pooling)을 수행하기 위한 풀링층과,
    복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(fully connected layer)
    을 포함하고,
    상기 복수의 클래스는 서로 상이한 기준에 의해 구별되며,
    상기 복수의 클래스 각각은 복수의 클래스별 특성으로 분류되며,
    상기 신경망 모델은, 상기 클래스별 완전결합층의 출력에 따라, 상기 복수의 클래스 각각의 클래스별 특성들에 대한 클래스별 특성 확률을 제공 가능하고,
    상기 프로세서는,
    입력 영상을 상기 컨볼루션층에 입력하고, 상기 컨볼루션층의 출력에 기초하여, 상기 복수의 클래스 각각에 대한 복수의 클래스별 관찰 지도를 연산하고, 상기 클래스별 관찰 지도에 기초하여, 상기 복수의 클래스에 공통되는 공통 관찰 지도를 생성하고, 상기 공통 관찰 지도 및 상기 입력 영상의 대상 영역을 이용하여 관찰 손실(Lobs)을 연산하고, 상기 관찰 손실(Lobs)에 기초한 손실을 상기 신경망 모델에 역전파하는 것을 특징으로 하는 신경망 모델의 학습 장치.
PCT/KR2021/009939 2020-07-31 2021-07-29 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치 WO2022025690A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180006146.5A CN114641780A (zh) 2020-07-31 2021-07-29 用于复合特性分类和共同局部化的神经网络模型的学习方法及装置
US17/777,246 US20220406035A1 (en) 2020-07-31 2021-07-29 Neural network model training method and apparatus for complex characteristic classification and common localization
EP21849783.2A EP4191480A1 (en) 2020-07-31 2021-07-29 Neural network model training method and apparatus for complex characteristic classification and common localization
JP2022524128A JP2022553407A (ja) 2020-07-31 2021-07-29 複合特性分類と共通局所化のためのニューラルネットワークモデルの学習方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200095773A KR102236615B1 (ko) 2020-07-31 2020-07-31 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
KR10-2020-0095773 2020-07-31

Publications (1)

Publication Number Publication Date
WO2022025690A1 true WO2022025690A1 (ko) 2022-02-03

Family

ID=75472778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009939 WO2022025690A1 (ko) 2020-07-31 2021-07-29 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Country Status (6)

Country Link
US (1) US20220406035A1 (ko)
EP (1) EP4191480A1 (ko)
JP (1) JP2022553407A (ko)
KR (1) KR102236615B1 (ko)
CN (1) CN114641780A (ko)
WO (1) WO2022025690A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084320A (ja) * 2015-03-06 2017-05-18 パナソニックＩｐマネジメント株式会社 学習方法およびプログラム
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
KR20200020079A (ko) * 2018-08-16 2020-02-26 한국과학기술원 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
JP2020080021A (ja) * 2018-11-12 2020-05-28 富士通株式会社 学習プログラム、学習方法および学習装置
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR20180048407A (ko) * 2016-10-31 2018-05-10 삼성전자주식회사 차선 검출 장치 및 방법
KR102095335B1 (ko) 2017-11-15 2020-03-31 에스케이텔레콤 주식회사 연산 가속화가 적용된 신경망 모델의 생성 및 활용을 위한 장치 및 방법
KR101977067B1 (ko) * 2018-08-24 2019-05-10 주식회사 뷰노 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084320A (ja) * 2015-03-06 2017-05-18 パナソニックＩｐマネジメント株式会社 学習方法およびプログラム
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR20200020079A (ko) * 2018-08-16 2020-02-26 한국과학기술원 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크
JP2020080021A (ja) * 2018-11-12 2020-05-28 富士通株式会社 学習プログラム、学習方法および学習装置
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치

Also Published As

Publication number Publication date
KR102236615B1 (ko) 2021-04-06
CN114641780A (zh) 2022-06-17
JP2022553407A (ja) 2022-12-22
US20220406035A1 (en) 2022-12-22
EP4191480A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
WO2020101103A1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
EP3735662A1 (en) Method of performing learning of deep neural network and apparatus thereof
WO2020153623A1 (ko) 결함 검사 장치
WO2022025690A1 (ko) 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
EP1126698B1 (en) High-speed vision sensor
WO2021091021A1 (ko) 화재 검출 시스템
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2021010671A9 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
WO2018139847A1 (ko) 얼굴 비교를 통한 개인 식별 방법
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2020071618A1 (ko) 엔트로피 기반 신경망 부분학습 방법 및 시스템
WO2022092993A1 (ko) 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2020050456A1 (ko) 설비 데이터의 이상 정도 평가 방법
WO2020204610A1 (ko) 딥러닝 기반 컬러링 방법, 시스템 및 프로그램
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2020032561A2 (ko) 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법
WO2022055231A1 (ko) 인공신경망을 이용한 주행 차량의 차로 판단 방법과 장치 및 이를 포함하는 내비게이션 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21849783

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022524128

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021849783

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021849783

Country of ref document: EP

Effective date: 20230228

NENP Non-entry into the national phase

Ref country code: DE