KR20200131185A - 검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치 - Google Patents

검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치 Download PDF

Info

Publication number
KR20200131185A
KR20200131185A KR1020200057370A KR20200057370A KR20200131185A KR 20200131185 A KR20200131185 A KR 20200131185A KR 1020200057370 A KR1020200057370 A KR 1020200057370A KR 20200057370 A KR20200057370 A KR 20200057370A KR 20200131185 A KR20200131185 A KR 20200131185A
Authority
KR
South Korea
Prior art keywords
neural network
classification
verification
output value
reliability
Prior art date
Application number
KR1020200057370A
Other languages
English (en)
Inventor
옥성민
김영석
나휘동
유상현
이호식
최준휘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2020/006309 priority Critical patent/WO2020231188A1/ko
Publication of KR20200131185A publication Critical patent/KR20200131185A/ko
Priority to US17/469,590 priority patent/US20210406688A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치가 개시된다. 분류 결과 검증 방법은, 분류 뉴럴 네트워크로부터 출력된 입력 데이터에 대한 중간 출력값을 검증 뉴럴 네트워크에 입력하고, 상기 검증 뉴럴 네트워크가 상기 중간 출력값을 이용하여 상기 분류 뉴럴 네트워크의 상기 입력 데이터에 대한 분류 결과의 신뢰도를 출력함으로써 입력 데이터에 대한 분류 결과를 검증할 수 있다.

Description

검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치 {METHOD FOR VERIFYING AND LEARNING OF CLASSIFICATION RESULT USING VERIFICATION NEURAL NETWORK, AND COMPUTING DEVICE FOR PERFORMING THE METHOD}
아래의 설명들은 검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법들을 수행하는 컴퓨팅 장치에 관한 것이다.
뉴럴 네트워크(Neural Network)는 입력 데이터가 어떤 특정 객체나 패턴 등을 나타내는지 분류하기 위해 사용된다. 예를 들어, 특정 이미지가 뉴럴 네트워크에 입력되면, 뉴럴 네트워크는 특정 이미지가 어떤 객체나 패턴을 표현하고 있는지를 분석하여 확률값 등의 형태로 출력할 수 있다.
하지만, 실제로 분류하고자 하는 입력 데이터는 뉴럴 네트워크의 학습 과정에서 사용된 학습 데이터와 다를 수 있다. 예를 들어, 뉴럴 네트워크가 입력 데이터인 이미지를 A 패턴이라는 클래스로 분류한 경우, 뉴럴 네트워크의 분류 결과를 특정 어플리케이션에 활용할 수 있는지를 판단하기 위한 추가적인 과정이 필요하다.
일실시예에 따른 분류 결과 검증 방법은 분류 뉴럴 네트워크가 분류하고자 하는 입력 데이터를 입력 받는 단계; 상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 중간 출력값을 출력하는 단계; 상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 분류 결과를 출력하는 단계; 검증 뉴럴 네트워크가 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력 받는 단계; 및 상기 검증 뉴럴 네트워크가 상기 중간 출력값을 이용하여 상기 분류 뉴럴 네트워크의 상기 입력 데이터에 대한 분류 결과의 신뢰도를 출력하는 단계를 포함할 수 있다.
상기 입력 데이터에 대한 중간 출력값은, 상기 입력 데이터가 분류 뉴럴 네트워크에 입력된 경우, 상기 분류 뉴럴 네트워크를 구성하는 복수의 히든 레이어들 중 하나 또는 2개 이상의 히든 레이어의 출력값을 포함할 수 있다.
상기 분류 뉴럴 네트워크의 중간 출력값은, 상기 분류 뉴럴 네트워크를 학습할 때 검증 뉴럴 네트워크에 입력한 중간 출력값에 대응하는 히든 레이어와 동일한 히든 레이어의 출력값을 포함할 수 있다.
분류 결과 검증 방법은 상기 입력 데이터에 대한 분류 결과의 신뢰도에 기초하여 상기 분류 뉴럴 네트워크로부터 결정된 입력 데이터에 대한 분류 결과를 이용할 지 여부를 결정하는 단계를 더 포함할 수 있다.
상기 검증 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가질 수 있다.
상기 분류 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가질 수 있다.
일실시예에 따른 분류 결과 검증 방법은 분류 뉴럴 네트워크가 학습하고자 하는 학습 데이터를 입력 받는 단계; 상기 분류 뉴럴 네트워크가 상기 학습 데이터에 대한 중간 출력값을 출력하는 단계; 검증 뉴럴 네트워크가 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력 받는 단계; 및 상기 학습 데이터에 대한 중간 출력값과 신뢰도 모델에 기초하여 상기 검증 뉴럴 네트워크를 학습하는 단계를 포함할 수 있다.
상기 검증 뉴럴 네트워크는, 상기 신뢰도 모델을 이용하여 상기 학습 데이터와 상기 학습 데이터로부터 생성된 샘플 데이터들 간의 거리 및 상기 학습 데이터의 속성 정보에 기초하여 학습할 수 있다.
상기 검증 뉴럴 네트워크는, 상기 분류 뉴럴 네트워크로부터 수신한 중간 출력값에 대응하는 중심 포인트의 스코어를 수신하고, 상기 중심 포인트의 주변에 임의로 생성한 샘플 데이터에 대응하는 샘플 포인트의 스코어를 결정하여, 상기 중심 포인트의 스코어와 상기 샘플 포인트의 스코어에 기초하여 학습될 수 있다.
상기 신뢰도 모델은, 상기 학습 데이터에 대응하는 중심 포인트와 샘플 데이트에 대응하는 샘플 포인트 간의 거리가 멀어질수록 신뢰도가 감소하는 형태일 수 있다.
상기 검증 뉴럴 네트워크는, (i) 학습 데이터에 대응하는 중심 포인트와 학습 데이터와 유사한 속성을 가지는 샘플 데이터에 대응하는 샘플 포인트 간의 거리에 따라 샘플 포인트의 신뢰도를 결정하는 제1 신뢰도 모델; 또는 (ii) 학습 데이터에 대응하는 중심 포인트와의 학습 데이터와 유사한 속성을 가지는 샘플 데이터에 대응하는 샘플 포인트 간의 거리 및 상기 학습 데이터의 속성 정보인 상기 중심 포인트의 그래디언트 방향에 기초하여 샘플 포인트의 신뢰도를 결정하는 제2 신뢰도 모델중 어느 하나의 신뢰도 모델을 이용하여 학습될 수 있다.
상기 검증 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가질 수 있다.
상기 분류 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가질 수 있다.
일실시예에 따른 분류 결과 학습 방법을 수행하는 신뢰도 결정 방법을 수행하는 컴퓨팅 장치는 프로세서를 포함하고, 상기 프로세서는, 분류 뉴럴 네트워크가 분류하고자 하는 입력 데이터를 입력 받고, 상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 중간 출력값을 출력하고, 상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 분류 결과를 출력하고, 검증 뉴럴 네트워크가 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력받고, 상기 검증 뉴럴 네트워크가 상기 중간 출력값을 이용하여 상기 분류 뉴럴 네트워크의 상기 입력 데이터에 대한 분류 결과의 신뢰도를 출력할 수 있다.
상기 입력 데이터에 대한 중간 출력값은, 상기 입력 데이터가 분류 뉴럴 네트워크에 입력된 경우, 상기 분류 뉴럴 네트워크를 구성하는 복수의 히든 레이어들 중 하나 또는 2개 이상의 히든 레이어의 출력값을 포함할 수 있다.
상기 분류 뉴럴 네트워크의 중간 출력값은, 상기 분류 뉴럴 네트워크를 학습할 때 검증 뉴럴 네트워크에 입력한 중간 출력값에 대응하는 히든 레이어와 동일한 히든 레이어의 출력값을 포함할 수 있다.
분류 결과 학습 방법은 상기 입력 데이터에 대한 분류 결과의 신뢰도에 기초하여 상기 분류 뉴럴 네트워크로부터 결정된 입력 데이터에 대한 분류 결과를 이용할 지 여부를 결정하는 단계를 더 포함할 수 있다.
상기 검증 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가질 수 있다.
상기 분류 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가질 수 있다.
컴퓨팅 장치는, 입력 데이터를 입력 받아 상기 입력 데이터의 분류 결과를 출력하고, 상기 분류 결과를 도출하는 과정의 중간 출력값을 출력하는 분류 뉴럴 네트워크; 및 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력 받아 상기 분류 결과의 신뢰도를 출력하는 검증 뉴럴 네트워크를 포함할 수 있다.
상기 분류 뉴럴 네트워크는 Convolutional Neural Network(CNN)이다.
상기 분류 뉴럴 네트워크는 5개 이상의 히든 레이어들을 포함할 수 있다.
상기 검증 뉴럴 네트워크는 Convolutional Neural Network(CNN)일 수 있다.
상기 검증 뉴럴 네트워크는 5개 이상의 히든 레이어들을 포함할 수 있다.
상기 입력 데이터는 영상 데이터이거나 또는 음성 데이터일 수 있다.
상기 검증 뉴럴 네트워크가 출력한 신뢰도에 기초하여 상기 분류 결과를 이용할지 여부를 결정할 수 있다.
상기 분류 뉴럴 네트워크는 입력 레이어, 출력 레이어 및 복수의 히든 레이어들을 포함하고, 상기 중간 출력값은 상기 입력 레이어보다 상기 출력 레이어에 더 가까운 히든 레이어의 출력값일 수 있다.
도 1은 일실시예에 따라 분류 뉴럴 네트워크와 검증 뉴럴 네트워크를 도시한 도면이다.
도 2는 일실시예에 따라 분류 뉴럴 네트워크로부터 결정된 분류 결과의 예시를 도시한 도면이다.
도 3은 일실시예에 따라 검증 뉴럴 네트워크를 학습하는 과정을 설명하는 도면이다.
도 4는 일실시예에 따라 검증 뉴럴 네트워크가 분류 결과의 신뢰도를 결정하는 과정을 설명하는 도면이다.
도 5는 일실시예에 따라 검증 뉴럴 네트워크를 학습하기 위해 샘플 포인트의 스코어를 결정하는 과정을 설명하는 도면이다.
도 6은 일실시예에 따라 분류 결과의 신뢰도를 결정하기 위한 검증 뉴럴 네트워크의 학습에 이용될 수 있는 신뢰도 모델들을 도시한 도면이다.
도 7은 일실시예에 따라 검증 뉴럴 네트워크를 학습시키는 과정을 도시한 플로우차트이다.
도 8은 일실시예에 따라 검증 뉴럴 네트워크가 입력 데이터에 대한 분류 결과의 신뢰도를 결정하는 과정을 도시한 플로우차트이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에는 다양한 변경이 가해질 수 있어서 실시 형태들이 이들에 대해 한정되는 것은 아니다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
실시예를 설명하는데 사용한 용어는 단지 기술적 특징의 이해를 돕기 위해 사용된 것으로, 실제로 구현될 형태를 실시예로 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예와 관련된 공지 기술에 대한 구체적인 설명이 기술적 특징의 이해를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일실시예에 따라 분류 뉴럴 네트워크와 검증 뉴럴 네트워크를 도시한 도면이다.
도 1을 참고하면, 분류 뉴럴 네트워크(Classification Network)(101)와 검증 뉴럴 네트워크 (Verification Network)(102)가 도시된다. 분류 뉴럴 네트워크(101)와 검증 뉴럴 네트워크(102)는 복수의 레이어들로 구성된 뉴럴 네트워크(Neural network)로 정의될 수 있다. 뉴럴 네트워크는 CNN(Convolutional Neural Network)일 수 있고, 입력 레이어(input layer), 복수의 히든 레이어(hidden layer)들 및 출력 레이어(output layer)를 포함할 수 있다. 구체적으로, 뉴럴 네트워크는 5, 10, 20 또는 30개 이상의 히든 레이어들을 가지는 네트워크일 수 있다.
분류 뉴럴 네트워크(101)는 입력 데이터가 어떤 패턴이나 객체를 나타내는지를 결정하는 분류 과정을 수행한다. 분류 뉴럴 네트워크(101)는 입력 데이터를 복수의 레벨로 설정된 복수의 히든 레이어들에 통과시킴으로써 입력 데이터가 어떤 객체나 패턴 등의 클래스를 나타내는지를 결정할 수 있다. 예를 들어, 입력 데이터가 영상인 경우, 분류 뉴럴 네트워크(101)는 영상을 복수의 클래스(예, 개, 고양이, 비행기, 배, 사람, 신호등, 자동차, 자전거 등)들 중 어느 하나의 클래스로 분류할 수 있다. 분류 뉴럴 네트워크(101)는 클래스들 중 스코어가 가장 큰 클래스를 입력 데이터의 분류 결과로 결정할 수 있다.
분류 뉴럴 네트워크(101)가 학습 과정을 통해 분류했던 학습 데이터와 유사한 입력 데이터를 분류하는 경우, 어플리케이션에 활용 가능한 신뢰도(reliability)가 높은 분류 결과가 출력될 수 있다. 하지만, 분류 뉴럴 네트워크(101)가 학습 과정을 통해 분류했던 학습 데이터와 유사하지 않은 입력 데이터를 분류하는 경우, 신뢰도가 높지 않은 분류 결과가 출력될 수 있다. 그래서, 분류 뉴럴 네트워크(101)로부터 출력된 입력 데이터에 대한 분류 결과의 신뢰도가 계산될 필요가 있다.
분류 뉴럴 네트워크(101)로부터 도출된 분류 결과에 대한 신뢰도는 분류 결과를 이용하거나 또는 거절(reject)하기 위해 사용될 수 있다. 예를 들어, 분류 뉴럴 네트워크(101)가 얼굴인식, 자율주행, 음성 인식 등 다양한 어플리케이션에서 데이터를 분류하기 위해 사용되는 경우, 분류 결과의 신뢰도는 분류 뉴럴 네트워크(101)의 분류 결과에 대한 불확실성을 추정하기 위해 이용될 수 있다. 그렇기 때문에, 미리 설정된 기준값 이상인 경우 분류 결과의 신뢰도가 어플리케이션에 활용될 수 있다. 하지만, 분류 결과의 신뢰도가 미리 설정된 기준값 미만인 경우, 분류 뉴럴 네트워크(101)의 분류 결과는 폐기되거나 또는 미리 설정된 다른 동작이 수행될 수 있다.
도 1을 참고하면, 분류 뉴럴 네트워크(101)로부터 출력된 입력 데이터에 대한 분류 결과가 신뢰할 만한 것인지를 판단하기 위해서, 분류 뉴럴 네트워크(101)와 별도로 정의된 검증 뉴럴 네트워크(102)가 이용될 수 있다. 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)로부터 도출된 분류 결과의 신뢰도를 결정할 수 있다. 예를 들어, 입력 데이터가 영상인 경우, 분류 뉴럴 네트워크(101)는 영상이 어떤 객체나 패턴을 나타내는지를 판단하는 분류 과정을 수행할 수 있고, 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)의 분류 결과의 신뢰성을 판단할 수 있다.
일실시예에서, 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)가 처리하는 입력 데이터의 분류 과정으로부터 수집된 중간 출력값을 이용하여 데이터에 대한 분류 결과의 신뢰도를 결정할 수 있다. 여기서, 중간 출력값은 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 어느 하나의 선택된 히든 레이어의 출력값일 수 있다. 분류 뉴럴 네트워크(101)의 중간 출력값은 검증 뉴럴 네트워크(102)를 학습할 때도 이용된다.
분류 뉴럴 네트워크(101)를 학습시키는 과정에서 사용된 학습 데이터와 검증 뉴럴 네트워크(102)를 학습시키는데 사용되는 학습 데이터 간의 유사도가 높을수록, 검증 뉴럴 네트워크(102)는 분류 결과의 신뢰도를 높게 계산하도록 학습된다. 반대로, 분류 뉴럴 네트워크(101)를 학습시키는 과정에서 사용된 학습 데이터와 검증 뉴럴 네트워크(102)를 학습시키는데 사용되는 학습 데이터 간의 유사도가 낮을수록 검증 뉴럴 네트워크(102)는 분류 결과의 신뢰도를 낮게 계산하도록 학습될 수 있다.
분류 뉴럴 네트워크(101) 및 검증 뉴럴 네트워크(102)가 둘 다 학습된 이후에는, 분류하고자 하는 어떤 입력 데이터가 입력되면 분류 뉴럴 네트워크(101)는 입력 데이터에 대한 분류 결과를 도출하고, 검증 뉴럴 네트워크(102)는 입력 데이터에 대한 분류 결과의 신뢰도를 계산할 수 있다.
앞서 설명한 바와 같이, 분류 뉴럴 네트워크(101)로부터 도출된 분류 결과에 대한 검증 뉴럴 네트워크(102)의 신뢰도가 미리 설정된 기준값을 만족하는 경우 분류 결과의 신뢰성이 인정되어 분류 뉴럴 네트워크(101)가 적용된 어플리케이션에 분류 결과가 활용될 수 있다. 하지만, 분류 결과의 신뢰도가 미리 설정된 기준값을 만족하지 못한다면, 분류 뉴럴 네트워크(101)로부터 출력된 분류 결과는 활용되지 않거나 또는 미리 설정된 다른 액션(action)이 수행될 수 있다.
도 1을 참고하면, 분류 뉴럴 네트워크(101)는 학습 데이터를 이용하여 분류 과정을 학습할 수 있다. 그러면, 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)의 분류 과정 중에 식별되는 중간 출력값을 이용하여 분류 뉴럴 네트워크(101)에 의해 결정된 분류 결과의 신뢰도를 계산하는 과정을 학습할 수 있다.
학습 과정이 완료된 이후, 분류 뉴럴 네트워크(101)에 입력 데이터가 입력되면, 분류 뉴럴 네트워크(101)는 입력 데이터에 대한 분류 결과를 출력한다. 그리고, 이미 학습된 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)가 결정한 입력 데이터에 대한 분류 결과의 신뢰도를 계산할 수 있다. 위에서 설명한 학습 데이터를 이용한 학습 과정과 입력 데이터를 이용한 처리 과정은 프로세서, 메모리 등의 하드웨어를 포함하는 컴퓨팅 장치에 의해 수행될 수 있다.
도 2는 일실시예에 따라 분류 뉴럴 네트워크로부터 결정된 분류 결과의 예시를 도시한 도면이다.
도 2를 참고하면, 분류 뉴럴 네트워크(101)를 통해 도출된 입력 데이터에 대한 분류 결과의 예시가 도시된다. 도 2는 8개의 이미지를 나타내는 입력 데이터를 분류 뉴럴 네트워크(101)가 분류한 결과를 도시한다. 도 2를 참고하면, 분류 뉴럴 네트워크(101)는 이미지의 분류 과정을 통해 이미지가 어떤 객체나 패턴을 나타내는 것인지를 결정할 수 있다. 입력 데이터가 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들을 통과함으로써 복수의 클래스들(예를 들면, 패턴 1, 패턴 2 … 패턴 N)각각의 스코어가 결정되고, 가장 높은 스코어를 나타내는 클래스가 입력 데이터의 분류 결과로 결정될 수 있다.
일실시예에 따르면, 분류 뉴럴 네트워크(101)로부터 도출된 입력 데이터의 분류 결과가 다른 어플리케이션 등에 활용할 수 있는지를 고려하기 위해, 분류 뉴럴 네트워크(101)와 별도로 설정된 검증 뉴럴 네트워크(102)에서 입력 데이터에 대한 분류 결과의 신뢰도가 계산될 수 있다. 예를 들어, 도 2에 도시된 7번째 입력 데이터에 대해, 분류 뉴럴 네트워크(101)는 "baseball" 패턴으로 분류했다고 가정한다. 그러면, 검증 뉴럴 네트워크(102)는 "baseball" 패턴에 대응하는 입력 데이터에 대한 분류 결과의 신뢰도를 0에서 1사이의 스코어로 계산할 수 있다.
검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 하나 또는 2개 이상의 히든 레이어의 출력값인 중간 출력값을 이용하여 분류 뉴럴 네트워크(101)로부터 도출된 입력 데이터에 대한 분류 결과의 신뢰도를 결정할 수 있다. 여기서, 중간 출력값은 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 어느 하나의 히든 레이어로부터 도출된 출력값이거나 또는 2개 이상의 히든 레이어들 각각의 출력값일 수 있다. 히든 레이어의 출력값은 히든 레이어의 입력값과 필터의 컨벌루션(convolution)에 따라 결정된 피쳐맵(Feature Map)으로 결정될 수 있다.
도 3은 일실시예에 따라 검증 뉴럴 네트워크를 학습하는 과정을 설명하는 도면이다.
분류 뉴럴 네트워크(101)의 분류 과정과 검증 뉴럴 네트워크(102)의 신뢰도 결정은 프로세서와 메모리 등을 포함하는 컴퓨팅 장치에 의해 수행될 수 있다. 도 3을 참고하면, 분류 뉴럴 네트워크(101)의 분류 과정을 학습하기 위해, 학습 데이터가 분류 뉴럴 네트워크(101)에 입력될 수 있다.
일실시예에서, 학습 데이터(x)가 분류 뉴럴 네트워크(101)에 입력되면, 분류 뉴럴 네트워크(101)는 복수의 히든 레이어들에 학습 데이터를 적용한 후 학습 데이터에 대한 분류 결과의 라벨과 분류 뉴럴 네트워크(101)로부터 도출된 분류 결과의 출력 간의 오차를 역전파(back propagation)함으로써 각 노드에 대응하는 히든 레이어들 각각의 파라미터를 업데이트함으로써 학습한다. 분류 뉴럴 네트워크(101)는 학습 과정을 통해 학습 데이터가 어떤 객체나 패턴을 나타내는지를 판단하는 복수의 히든 레이어들 각각에 적용되는 필터의 가중치를 업데이트함으로써 최적화할 수 있다.
검증 뉴럴 네트워크(102)는 분류 결과의 신뢰도를 계산할 수 있도록 학습된다. 검증 뉴럴 네트워크(102)의 학습 과정을 위해, 분류 뉴럴 네트워크(101)에서 결정된 중간 출력값(Hidden Representation)이 이용된다. 일실시예에서, 분류 뉴럴 네트워크(101)가 N개의 히든 레이어들로 구성된 경우, 미리 설정된 단계에 대응하는 히든 레이어의 출력값이 분류 뉴럴 네트워크(101)의 중간 출력값으로 설정될 수 있다. 검증 뉴럴 네트워크(102)는 신뢰도를 결정하는 과정을 학습하기 위해, 분류 뉴럴 네트워크(101)의 중간 출력값인 히든 레이어의 출력값을 이용할 수 있다.
도 3의 경우, N-2번째 히든 레이어의 출력값(Hidden Representation)인 분류 뉴럴 네트워크(101)의 중간 출력값이 검증 뉴럴 네트워크(102)를 학습하기 위해 활용된다. 즉, 분류 뉴럴 네트워크(101)를 학습할 때 검증 뉴럴 네트워크(102)의 학습도 동시에 수행된다. 분류 뉴럴 네트워크(101)에 학습 데이터가 적용된 이후에 역전파 과정이 반복적으로 진행되면서 분류 뉴럴 네트워크(101)를 구성하는 히든 레이어들 각각의 파라미터가 업데이트됨으로써 분류 뉴럴 네트워크(101)가 학습되며, 분류 뉴럴 네트워크(101)의 학습 과정에서 도출되는 히든 레이어의 출력값을 이용하여 검증 뉴럴 네트워크(102)도 함께 학습된다.
도 3의 경우, 1개의 히든 레이어의 출력값이 검증 뉴럴 네트워크(102)를 학습하기 위해 사용하는 것을 예를 들어 설명하였으나, 다른 실시예에 의하면, 2개 이상의 히든 레이어의 출력값들이 검증 뉴럴 네트워크(102)를 학습하기 위해 사용될 수 있다.
도 3에 도시되지 않았지만, 실시예에 따르면, 컴퓨팅 장치는 복수의 검증 뉴럴 네트워크(102)를 포함할 수도 있다. 이 경우, 분류 뉴럴 네트워크(101)를 구성하는 히든 레이어들 중 서로 다른 히든 레이어의 출력값(중간 출력값)은 서로 다른 검증 뉴럴 네트워크(102)의 입력값으로 설정되어 구현될 수 있으며, 복수의 검증 뉴럴 네트워크(102)에서 계산된 각각의 신뢰도를 조합(예: 평균 등)하여 분류 뉴럴 네트워크(101)의 분류 결과에 대한 최종적인 신뢰도가 도출될 수도 있다.
또 다른 실시예로, 서로 다른 히든 레이어의 출력값이 하나의 검증 뉴럴 네트워크(102)에 입력되도록 구성할 수도 있다. 하나의 검증 뉴럴 네트워크(102)는 선택된 2개 이상의 히든 레이어들 각각의 출력값을 조합하여 분류 결과의 신뢰도를 계산할 수 있다. 즉, 분류 뉴럴 네트워크(101)를 구성하는 전체 N개의 히든 레이어들 중 2개 이상의 히든 레이어들 각각의 출력값이 하나의 검증 뉴럴 네트워크(102)에 입력될 수 있다. 이 경우, 2개 이상의 히든 레이어들 각각의 출력값을 조합(예: 합산, 평균 등)하여 하나의 검증 뉴럴 네트워크(102)에 입력되며, 검증 뉴럴 네트워크(102)는 2개 이상의 히든 레이어들 각각의 출력값이 조합된 결과를 이용하여 분류 뉴럴 네트워크(101)의 분류 결과에 대한 신뢰도를 도출할 수 있다. 이 때, 히든 레이어들 각각의 출력값을 조합하는 경우, 출력 레이어에 가까운 히든 레이어에 대해 가중치를 상대적으로 높게 설정하여 조합할 수도 있다.
검증 뉴럴 네트워크(102)가 신뢰도를 학습하는 과정에 대해서는 도 5 및 도 6에서 구체적으로 설명하기로 한다.
도 4는 일실시예에 따라 검증 뉴럴 네트워크가 분류 결과의 신뢰도를 결정하는 과정을 설명하는 도면이다.
도 3에서 학습된 분류 뉴럴 네트워크(101)에 특정 클래스로 분류하고자 하는 입력 데이터(y)가 입력된다. 입력 데이터는 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들을 통과한다. 그러면, 분류 뉴럴 네트워크(101)는 입력 데이터의 분류 과정을 통해 입력 데이터를 복수의 클래스들 중 어느 하나의 클래스로 분류하고 그 결과를 출력할 수 있다.
검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)가 처리한 입력 데이터에 대한 분류 결과에 대해 신뢰도를 결정할 수 있다. 일실시예에서 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)의 중간 출력값을 이용하여 분류 뉴럴 네트워크(101)로부터 출력된 입력 데이터의 분류 결과에 대해 신뢰도를 결정할 수 있다.
일실시예에서, 검증 뉴럴 네트워크(102)는 입력 데이터에 대한 분류 결과의 신뢰도를 기준값과 비교할 수 있다. 만약, 신뢰도가 기준값보다 같거나 또는 큰 경우, 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)에서 출력된 입력 데이터의 분류 결과를 신뢰할 수 있다고 결정할 수 있다. 반대로, 신뢰도가 기준값보다 작은 경우, 검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)에서 출력된 입력 데이터의 분류 결과를 신뢰할 수 없다고 결정할 수 있다. 이 경우, 검증 뉴럴 네트워크(102)는 입력 데이터의 분류 결과에 대해 거절하고, 미리 설정된 동작을 수행할 수 있다.
검증 뉴럴 네트워크(102)에서 분류 결과의 신뢰도를 결정하기 위한 학습 및 판단 과정에 대해서는 도 5 내지 도 7에서 구체적으로 설명하기로 한다.
도 5는 일실시예에 따라 검증 뉴럴 네트워크를 학습하기 위해 샘플 포인트의 스코어를 결정하는 과정을 설명하는 도면이다.
분류 결과의 신뢰도를 결정하는 검증 뉴럴 네트워크(102)를 학습하기 위해 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 어느 하나의 히든 레이어의 출력값인 분류 뉴럴 네트워크(101)의 중간 출력값이 이용된다. 도 5는 중간 출력값의 도메인을 나타낸다.
일실시예에 따르면, 학습 데이터가 분류 뉴럴 네트워크(101)에 입력되었을 때, 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 어느 하나 또는 선택된 2개 이상의 히든 레이어의 출력값(hidden representation)이 분류 뉴럴 네트워크(101)의 중간 출력값으로 설정되어 검증 뉴럴 네트워크(102)의 학습을 위해 사용된다.
도 5에서 중심 포인트 X1 내지 X3는 분류 뉴럴 네트워크(101)에 서로 다른 3개의 학습 데이터가 입력되었을 때, 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 어느 하나의 히든 레이어의 출력값인 중간 출력값에 대응하는 포인트를 의미한다. 즉, 중심 포인트는 실제로 분류 뉴럴 네트워크(101)의 학습에 사용된 학습 데이터와 연관된다.
그리고, 샘플 포인트는 중심 포인트 주변에 임의로 생성한 포인트이다. 즉, 샘플 포인트는 실제로 학습에 사용된 학습 데이터로부터 가상으로 생성한 것으로, 검증 뉴럴 네트워크(102)의 학습을 위해서 활용될 수 있다. 이 때, 샘플 포인트는 실제 학습 데이터와 유사한 속성을 가지는 가상의 샘플 데이터와 연관된다. 도 5의 샘플 포인트는 중심 포인트에서 가우시안 샘플링을 통해 새롭게 생성될 수 있다.
즉, 검증 뉴럴 네트워크(102)는 스코어링을 위한 샘플 데이터를 학습 데이터와 유사하도록 생성함으로써, 실제로 분류하고자 하는 다양한 내용을 포함하는 입력 데이터를 커버할 수 있다. 이러한 샘플 포인트 및 분류 뉴럴 네트워크(101)의 학습에 사용된 학습 데이터와 연관된 중심포인트들이 검증 뉴럴 네트워크(102)의 학습에 사용될 수 있다.
분류 네트워크(101)는 중심 포인트와 샘플 포인트 각각의 스코어를 결정할 수 있다. 여기서, 스코어는 특정 포인트에서 분류하고자 하는 데이터의 클래스에 대한 스코어를 의미한다. 예를 들어, 분류 뉴럴 네트워크(101)가 중심 포인트 X1에 대한 학습 데이터를 클래스 1(개), 클래스 2(고양이), 클래스 3(돼지), 클래스 4(닭) 중 어느 하나로 분류하는 경우, 중심 포인트 X1에 대한 스코어는 특정 클래스(ex. 클래스 2-고양이)로 결정하기 위한 스코어를 의미한다. 스코어는 선택한 클래스에 따라 다르게 결정될 수 있다.
검증 뉴럴 네트워크(102)는 분류 뉴럴 네트워크(101)의 중간 출력값인 히든 레프리젠테이션과 히든 레프리젠테이션에 대응하는 중심 포인트의 스코어를 분류 뉴럴 네트워크(101)로부터 수신할 수 있다. 그리고, 검증 뉴럴 네트워크(102)는 중심 포인트 주변에 생성한 임의의 샘플 포인트에 대해서도 스코어를 결정할 수 있다. 이 때, 중심 포인트 주변에 생성된 샘플 포인트의 스코어는 특정 클래스에 대해 중심 포인트의 스코어보다 클 수도 있고 작을 수도 있다. 즉, 중심 포인트는 샘플 포인트에 비해 반드시 스코어가 클 필요는 없다.
검증 뉴럴 네트워크(102)의 학습은 중심 포인트와 샘플 포인트 각각의 스코어를 이용하여 학습 과정이 수행된다. 검증 뉴럴 네트워크(102)의 학습에 대해서는 도 6에서 구체적으로 설명한다.
도 6은 일실시예에 따라 분류 결과의 신뢰도를 결정하기 위한 검증 뉴럴 네트워크의 학습에 이용될 수 있는 신뢰도 모델들을 도시한 도면이다.
도 6은 3가지 형태의 신뢰도 모델을 보여준다. 신뢰도 모델은 등고선 형태로 표현될 수 있으며 검증 뉴럴 네트워크(102)를 학습시키는데 이용되는 샘플 데이터의 신뢰도를 결정할 수 있다. 여기서, 샘플 데이터는 도 5에서 설명된 샘플 포인트에 대응하는 데이터로서, 학습 데이터에 대해 임의로 생성된 데이터이다.
예를 들어, 어느 한 샘플 데이터에 대응하는 샘플 포인트의 신뢰도는 선택된 신뢰도 모델로부터 결정될 수 있다. 신뢰도 모델은 학습 데이터에 대응하는 중심 포인트와 샘플 데이터에 대응하는 샘플 포인트 간의 거리가 멀어질수록 신뢰도가 감소하는 형태를 나타낸다. 예를 들어, 중심 포인트는 신뢰도 1을 가질 수 있고, 중심 포인트에 가까운 샘플 포인트는 신뢰도 0.9, 그보다 더 먼 샘플 포인트는 0.8 등의 신뢰도를 가질 수 있다.
신뢰도 모델은 (i) 학습 데이터에 대응하는 중심 포인트와 거리에 따라 샘플 포인트의 신뢰도를 결정하는 제1 모델; 또는 (ii) 학습 데이터에 대응하는 중심 포인트와의 거리 및 학습 데이터의 속성 정보인 중심 포인트의 그래디언트 방향에 따라 샘플 포인트의 신뢰도를 결정하는 제2 모델로 구분될 수 있다. 도 6에서 Isotropy 모델은 제1 모델에 해당하고, Symmetry 모델, Asymmetry 모델은 제2 모델에 해당한다.
검증 뉴럴 네트워크(102)의 신뢰도 모델은 검증 뉴럴 네트워크(102)를 학습시키는 데이터의 신뢰도를 결정하기 위한 것으로, 앞서 언급한 Isotropy 모델, Symmetry 모델, Asymmetry 모델로 구분될 수 있다. 여기서 3가지 신뢰도 모델은 학습 데이터의 종류 (ex. 음성 데이터, 이미지 데이터 등), 분류 뉴럴 네트워크(101)의 사이즈(ex. 히든 레이어의 개수 등), 분류 뉴럴 네트워크(101)의 종류 등에 기초하여 결정될 수 있다.
특히, 도 6을 참고하면, 학습 데이터에 대응하는 중심 포인트 X를 중심으로 거리 및/또는 그래디언트를 고려하여 검증 뉴럴 네트워크(102)의 학습에 이용될 데이터의 신뢰도를 결정하는 방식을 설명한다. 도 6에서 그래디언트(G: Gradient)는 도 5에서 설명한 중심 포인트로부터 샘플 포인트로의 스코어가 얼마나 급격하게 변경(증가 또는 감소)되는지를 나타내는 정보이다.
그래디언트는 중심 포인트 X에 대한 여러 방향 중에서 샘플 포인트의 스코어와 관련하여 가장 크게 증가하거나 감소할 수 있는 하나의 방향으로 설정된다. 그래디언트가 (+)인 경우, 중심 포인트를 중심으로 샘플 포인트의 스코어가 가장 크게 증가하는 방향을 나타내고, 그래디언트가 (-)인 경우, 중심 포인트를 중심으로 샘플 포인트의 스코어가 가장 크게 감소하는 방향을 나타낸다. 그래디언트는 학습 데이터에 따라 설정될 수 있으며, 학습 데이터의 속성 정보를 의미한다.
이하에서는 위에서 설명한 신뢰도 모델에 대해 보다 구체적으로 설명한다.
(1) Isotropy 모델
도 6에 도시된 Isotropy 모델의 경우, 중심 포인트를 중심으로 동심원 형태의 등고선과 같은 신뢰도 분포를 나타낸다. Isotropy 모델의 경우, 중심 포인트에 대해 그래디언트 G1가 설정되어 있으나, 신뢰도는 중심 포인트의 거리에 대해서만 결정된다. 이 때, Isotropy 모델의 경우, 중심 포인트 X로부터 같은 거리에 있는 샘플 포인트의 신뢰도는 동일하게 결정된다.
Isotropy 모델에서, 샘플 포인트 y1과 샘플 포인트 y2가 중심 포인트로부터 동일한 거리에 존재한다고 가정한다. 다만, 샘플 포인트 y2가 샘플 포인트 y1보다는 중심 포인트 X의 그래디언트 G1에 가깝게 위치하기 때문에 실제 스코어는 더 클 수 있다. 샘플 포인트 y1과 샘플 포인트 y2는 각각 제1 입력 데이터와 제2 입력 데이터를 분류 뉴럴 네트워크(101)에 입력하였을 때의 히든 레이어의 출력값(hidden representation)을 의미한다.
Isotropy의 경우, 중심 포인트 X에 대한 그래디언트와 무관하게 중심 포인트 X로부터 같은 거리에 위치한 샘플 포인트에 대해서는 동일한 신뢰도가 지정될 수 있다. 즉, 샘플 포인트 y1의 신뢰도 (a)와 샘플 포인트 y2의 신뢰도 (b)는 대략 0.85의 신뢰도로 동일하게 결정된다.
(2) Symmetry 모델
도 6에 도시된 Symmetry 모델의 경우, 중심 포인트를 중심으로 타원 형태의 등고선과 같은 신뢰도 분포를 나타낸다. Symmetry 모델의 경우, 중심 포인트에 대해 그래디언트 G2가 설정되어 있다. 여기서, 그래디언트 G2는 중심 포인트 X를 중심으로 스코어가 가장 급격하게 변경(G2(+)인 경우 스코어가 증가, G2(-)인 경우 스코어가 감소)하는 방향을 의미한다. 이 때, Symmetry 모델의 경우, 스코어가 급격하게 변경되는 방향에 대해서는 신뢰도가 상대적으로 더욱 빨리 변경되도록 설정한다.
즉, Symmetry 모델에 의하면, 스코어가 급격하게 변경된다는 것은 분류 결과에 대해 신뢰도를 높게 설정할 수 없다는 것을 의미한다. 다시 말해서, Symmetry 모델에서 중심 포인트에서 같은 거리에 위치한 샘플 포인트들에 대해 그래디언트 방향과 가까운지 여부에 따라 신뢰도는 다르게 결정될 수 있다. Symmetry 모델은 샘플 포인트의 스코어의 크기의 변화 정도에 따라 신뢰도를 고려할 수 있다.
Symmetry 모델에서, 샘플 포인트 y1과 샘플 포인트 y2가 중심 포인트로부터 동일한 거리에 존재한다고 가정한다. 이 때, 샘플 포인트 y1과 샘플 포인트 y2 중에서 중심 포인트의 그래디언트 G2에 좀더 가까운 방향에 위치한 샘플 포인트 y1이 중심 포인트와의 스코어 차이가 좀더 크기 때문에, 샘플 포인트 y1의 신뢰도(a)는 샘플 포인트 y2의 신뢰도 (b)보다는 낮게 결정된다. Symmetry 모델에서, 중심 포인트 X의 그래디언트 방향에 대한 스코어의 변화 정도가 가장 크기 때문에 신뢰도의 변화 정도도 가장 크고, 등고선의 간격도 가장 좁게 결정된다.
(3) Asymmetry 모델
도 6에 도시된 Asymmetry 모델의 경우, 중심 포인트를 중심으로 비정형의 등고선과 같은 신뢰도의 분포를 나타낸다. Asymmetry 모델의 경우, 중심 포인트에 대해 그래디언트 G3가 설정되어 있다. 여기서, 그래디언트 G3는 중심 포인트 X를 중심으로 스코어가 가장 급격하게 변경(G3(+)인 경우 스코어가 증가, G3(-) 인 경우 스코어가 감소)하는 방향을 의미한다. 이 때, Asymmetry 모델의 경우, Symmetry 모델과 반대로 스코어가 급격하게 증가되는 방향(그래디언트(+) 방향)에 대해서는 신뢰도를 높게 설정한다. 반대로, 그래디언트 (+) 방향의 반대 방향인 그래디언트 (-) 방향에 대해서는 신뢰도를 낮게 설정한다.
Asymmetry 모델에 의하면, 스코어가 급격하게 증가한다는 것은 클래스로 분류했을 때의 확률이 높기 때문에 신뢰도를 높게 설정한다는 것을 의미한다. 따라서 그래디언트 G3(+) 방향에 가까울수록 샘플 포인트에 대한 신뢰도는 크게 결정된다. 반대로, 그래디언트 G3(-) 방향에 가까울수록 타겟 포인트의 스코어가 가장 크게 감소하기 때문에, 샘플 포인트에 대한 신뢰도는 낮게 결정된다.
다시 말해서, Asymmetry 모델에서 중심 포인트에서 같은 거리에 위치한 샘플 포인트에 대해 그래디언트 방향과 가까운지 여부에 따라 신뢰도는 다르게 결정될 수 있다. Asymmetry 모델은 타겟 포인트의 스코어의 크기에 따라 신뢰도를 고려할 수 있다.
Asymmetry 모델에서, 샘플 포인트 y1과 샘플 포인트 y2가 중심 포인트로부터 동일한 거리에 존재한다고 가정한다. 이 때, 샘플 포인트 y1과 y2 중에서 중심 포인트의 그래디언트 G3에 좀더 가까운 방향에 위치한 샘플 포인트 y1이 중심 포인트와의 스코어 차이가 크다. 그러면, 샘플 포인트 y1의 신뢰도(a)는 샘플 포인트 y2의 신뢰도 (b)보다는 높게 결정된다. 그리고, Asymmetry 모델에서, 중심 포인트 X의 그래디언트 G3(+) 방향에 대한 스코어의 변화 정도가 가장 크기 때문에 신뢰도의 변화 정도가 가장 작게 결정된다.
샘플 포인트의 위치가 중심 포인트에 대해 같은 거리에 있어도 그래디언트 G3(+)방향에 가까울수록 중심 포인트 X로부터의 신뢰도의 감소 정도가 작다. 따라서, Asymmetry 모델에서 모델에서 그래디언트 G3(+)방향으로 등고선 간격이 가장 넓게 결정된다. 하지만, 샘플 포인트의 위치가 중심 포인트에 대해 같은 거리에 있어도 그래디언트 G3(-)방향에 가까울수록 중심 포인트 X로부터의 신뢰도의 감소 정도는 크다. 그래서, Asymmetry 모델에서는 그래디언트 G3(-)방향으로 등고선의 간격이 가장 좁게 결정된다.
도 7은 일실시예에 따라 검증 뉴럴 네트워크를 학습시키는 과정을 도시한 플로우차트이다.
단계(701)에서, 컴퓨팅 장치는 학습 데이터를 이용하여 분류 뉴럴 네트워크(101)를 학습시킨다.
단계(702)에서, 컴퓨팅 장치는 분류 뉴럴 네트워크(101)의 중간 출력값을 검증 뉴럴 네트워크(102)에 입력하도록 제어한다. 이 때, 분류 뉴럴 네트워크(101)의 중간 출력값은 학습 데이터가 분류 뉴럴 네트워크(101)를 구성하는 히든 레이어들을 통과할 때 미리 결정된 하나 또는 2개 이상의 히든 레이어의 출력값일 수 있다.
단계(703)에서, 검증 뉴럴 네트워크(102)가 분류 뉴럴 네트워크(101)로부터 중간 출력값을 입력 받을 수 있다.
단계(704)에서, 컴퓨팅 장치는 학습 데이터에 대한 중간 출력값과 신뢰도 모델에 기초하여 검증 뉴럴 네트워크(102)를 학습시킬 수 있다.
컴퓨팅 장치는 분류 뉴럴 네트워크(101)의 중간 출력값을 이용하여 검증 뉴럴 네트워크(102)의 학습에 이용될 샘플 데이터들의 신뢰도를 지정하기 위한 신뢰도 모델을 결정하고, 결정된 신뢰도 모델과 샘플 데이터들을 이용하여 검증 뉴럴 네트워크(102)를 학습시킨다.
여기서, 신뢰도 모델은 분류 뉴럴 네트워크(101)의 중간 출력값에 대응하는 중심 포인트의 주변에 임의로 다수의 샘플 포인트를 생성하고, 샘플 포인트의 스코어를 이용하여 생성된다.
신뢰도 모델에 대해서는 도 6의 설명을 참고할 수 있다.
도 8은 일실시예에 따라 검증 뉴럴 네트워크가 입력 데이터에 대한 분류 결과의 신뢰도를 결정하는 과정을 도시한 플로우차트이다. 도 8의 과정은 학습이 완료된 분류 뉴럴 네트워크(101) 및 검증 뉴럴 네트워크(102)를 이용하여 수행된다.
단계(801)에서, 컴퓨팅 장치는 분류하고자 하는 입력 데이터를 분류 뉴럴 네트워크(101)에 입력시킬 수 있다.
단계(802)에서, 컴퓨팅 장치는 입력 데이터에 대한 분류 뉴럴 네트워크(101)의 중간 출력값을 출력시킬 수 있다.
단계(803)에서, 컴퓨팅 장치는 분류 뉴럴 네트워크(101)를 통해 입력 데이터에 대한 분류 결과를 출력시킬 수 있다. 분류 결과는 입력 데이터가 분류 뉴럴 네트워크(101)의 최종 레이어를 통과하여 결정한 최종 클래스일 수 있으며, 예를 들어, 입력 데이터가 영상인 경우, 복수의 클래스(예, 개, 고양이, 비행기, 배, 사람, 신호등, 자동차, 자전거 등)들 중 어느 하나일 수 있다.
단계(804)에서, 컴퓨팅 장치는 입력 데이터에 대한 분류 뉴럴 네트워크(101)의 중간 출력값을 검증 뉴럴 네트워크(102)에 입력시킬 수 있다. 분류 뉴럴 네트워크(101)의 중간 출력값은 분류 뉴럴 네트워크(101)를 구성하는 복수의 히든 레이어들 중 어느 하나의 히든 레이어의 출력값일 수 있다.
단계(805)에서, 컴퓨팅 장치는 검증 뉴럴 네트워크(102)를 통해 입력 데이터에 대한 분류 결과의 신뢰도를 결정할 수 있다.
단계(806)에서, 컴퓨팅 장치는 입력 데이터에 대한 분류 결과의 신뢰도와 미리 설정된 기준값을 비교하여, 입력 데이터의 분류 결과를 이용할지 여부를 결정할 수 있다. 일실시예에 의하면, 입력 데이터에 대한 분류 결과의 신뢰도가 미리 설정된 기준값을 초과하는 경우, 컴퓨팅 장치는 입력 데이터의 분류 결과를 출력하고, 반대로, 입력 데이터에 대한 분류 결과의 신뢰도가 미리 설정된 기준값 미만인 경우, 입력 데이터의 분류 결과를 거절하거나 미리 설정된 다른 액션을 수행할 수 있다.
한편, 위에서 설명한 일실시예에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 권리나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 일실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 일실시예의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 일실시예의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 일실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 분류 뉴럴 네트워크
102: 검증 뉴럴 네트워크

Claims (28)

  1. 분류 뉴럴 네트워크가 분류하고자 하는 입력 데이터를 입력 받는 단계;
    상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 중간 출력값을 출력하는 단계;
    상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 분류 결과를 출력하는 단계;
    검증 뉴럴 네트워크가 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력 받는 단계; 및
    상기 검증 뉴럴 네트워크가 상기 중간 출력값을 이용하여 상기 분류 뉴럴 네트워크의 상기 입력 데이터에 대한 분류 결과의 신뢰도를 출력하는 단계;
    를 포함하는 분류 결과 검증 방법.
  2. 제1항에 있어서,
    상기 입력 데이터에 대한 중간 출력값은,
    상기 분류 뉴럴 네트워크를 구성하는 복수의 히든 레이어들 중 하나 또는 2개 이상의 히든 레이어의 출력값을 포함하는 분류 결과 검증 방법.
  3. 제1항에 있어서,
    상기 분류 뉴럴 네트워크의 중간 출력값은,
    상기 분류 뉴럴 네트워크를 학습할 때 검증 뉴럴 네트워크에 입력한 중간 출력값에 대응하는 히든 레이어와 동일한 히든 레이어의 출력값을 포함하는 분류 결과 검증 방법.
  4. 제1항에 있어서,
    상기 입력 데이터에 대한 분류 결과의 신뢰도에 기초하여 상기 분류 뉴럴 네트워크로부터 결정된 입력 데이터에 대한 분류 결과를 이용할지 여부를 결정하는 단계;
    를 더 포함하는 분류 결과 검증 방법.
  5. 제1항에 있어서,
    상기 검증 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가지는 분류 결과 검증 방법.
  6. 제1항에 있어서,
    상기 분류 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가지는 분류 결과 검증 방법.
  7. 분류 뉴럴 네트워크가 학습하고자 하는 학습 데이터를 입력 받는 단계;
    상기 분류 뉴럴 네트워크가 상기 학습 데이터에 대한 중간 출력값을 출력하는 단계;
    검증 뉴럴 네트워크가 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력 받는 단계; 및
    상기 학습 데이터에 대한 중간 출력값과 신뢰도 모델에 기초하여 상기 검증 뉴럴 네트워크를 학습하는 단계
    를 포함하는 분류 결과 학습 방법.
  8. 제7항에 있어서,
    상기 검증 뉴럴 네트워크는,
    상기 신뢰도 모델을 이용하여 상기 학습 데이터와 상기 학습 데이터로부터 생성된 샘플 데이터들 간의 거리 및 상기 학습 데이터의 속성 정보에 기초하여 학습하는 분류 결과 학습 방법.
  9. 제7항에 있어서,
    상기 검증 뉴럴 네트워크는,
    상기 분류 뉴럴 네트워크로부터 수신한 중간 출력값에 대응하는 중심 포인트의 스코어를 수신하고, 상기 중심 포인트의 주변에 임의로 생성한 샘플 데이터에 대응하는 샘플 포인트의 스코어를 결정하여, 상기 중심 포인트의 스코어와 상기 샘플 포인트의 스코어에 기초하여 학습되는 분류 결과 학습 방법.
  10. 제7항에 있어서,
    상기 신뢰도 모델은,
    상기 학습 데이터에 대응하는 중심 포인트와 샘플 데이트에 대응하는 샘플 포인트 간의 거리가 멀어질수록 신뢰도가 감소하는 형태인 분류 결과 학습 방법.
  11. 제7항에 있어서,
    상기 검증 뉴럴 네트워크는,
    (i) 학습 데이터에 대응하는 중심 포인트와 학습 데이터와 유사한 속성을 가지는 샘플 데이터에 대응하는 샘플 포인트 간의 거리에 따라 샘플 포인트의 신뢰도를 결정하는 제1 신뢰도 모델; 또는
    (ii) 학습 데이터에 대응하는 중심 포인트와의 학습 데이터와 유사한 속성을 가지는 샘플 데이터에 대응하는 샘플 포인트 간의 거리 및 상기 학습 데이터의 속성 정보인 상기 중심 포인트의 그래디언트 방향에 기초하여 샘플 포인트의 신뢰도를 결정하는 제2 신뢰도 모델
    중 어느 하나의 신뢰도 모델을 이용하여 학습되는 분류 결과 학습 방법.
  12. 제7항에 있어서,
    상기 검증 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가지는 분류 결과 학습 방법.
  13. 제7항에 있어서,
    상기 분류 뉴럴 네트워크는, 5개 이상의 히든 레이들을 가지는 분류 결과 학습 방법.
  14. 분류 결과 검증 방법을 수행하는 컴퓨팅 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    분류 뉴럴 네트워크가 분류하고자 하는 입력 데이터를 입력 받고,
    상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 중간 출력값을 출력하고,
    상기 분류 뉴럴 네트워크가 상기 입력 데이터에 대한 분류 결과를 출력하고,
    검증 뉴럴 네트워크가 상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력받고,
    상기 검증 뉴럴 네트워크가 상기 중간 출력값을 이용하여 상기 분류 뉴럴 네트워크의 상기 입력 데이터에 대한 분류 결과의 신뢰도를 출력하는 컴퓨팅 장치.
  15. 제14항에 있어서,
    상기 입력 데이터에 대한 중간 출력값은,
    상기 입력 데이터가 분류 뉴럴 네트워크에 입력된 경우, 상기 분류 뉴럴 네트워크를 구성하는 복수의 히든 레이어들 중 하나 또는 2개 이상의 히든 레이어의 출력값을 포함하는 컴퓨팅 장치.
  16. 제14항에 있어서,
    상기 분류 뉴럴 네트워크의 중간 출력값은,
    상기 분류 뉴럴 네트워크를 학습할 때 검증 뉴럴 네트워크에 입력한 중간 출력값에 대응하는 히든 레이어와 동일한 히든 레이어의 출력값을 포함하는 컴퓨팅 장치.
  17. 제14항에 있어서,
    상기 프로세서는,
    상기 입력 데이터에 대한 분류 결과의 신뢰도에 기초하여 상기 분류 뉴럴 네트워크로부터 결정된 입력 데이터에 대한 분류 결과를 이용할지 여부를 결정하는 컴퓨팅 장치.
  18. 제14항에 있어서,
    상기 검증 뉴럴 네트워크는 5개 이상의 히든 레이들을 가지는 컴퓨팅 장치.
  19. 제14항에 있어서,
    상기 분류 뉴럴 네트워크는 5개 이상의 히든 레이들을 가지는 컴퓨팅 장치.
  20. 입력 데이터를 입력 받아 상기 입력 데이터의 분류 결과를 출력하고, 상기 분류 결과를 도출하는 과정의 중간 출력값을 출력하는 분류 뉴럴 네트워크; 및
    상기 분류 뉴럴 네트워크로부터 상기 중간 출력값을 입력 받아 상기 분류 결과의 신뢰도를 출력하는 검증 뉴럴 네트워크;
    를 포함하는 컴퓨팅 장치.
  21. 제20항에 있어서,
    상기 분류 뉴럴 네트워크는 Convolutional Neural Network(CNN)인 컴퓨팅 장치.
  22. 제21항에 있어서,
    상기 분류 뉴럴 네트워크는 5개 이상의 히든 레이어들을 포함하는 컴퓨팅 장치.
  23. 제20항에 있어서,
    상기 검증 뉴럴 네트워크는 Convolutional Neural Network(CNN)인 컴퓨팅 장치.
  24. 제23항에 있어서,
    상기 검증 뉴럴 네트워크는 5개 이상의 히든 레이어들을 포함하는 컴퓨팅 장치.
  25. 제20항에 있어서,
    상기 입력 데이터는 영상 데이터인 컴퓨팅 장치.
  26. 제20항에 있어서,
    상기 입력 데이터는 음성 데이터인 컴퓨팅 장치.
  27. 제20항에 있어서,
    상기 검증 뉴럴 네트워크가 출력한 신뢰도에 기초하여 상기 분류 결과를 이용할지 여부를 결정하는 컴퓨팅 장치.
  28. 제20항에 있어서,
    상기 분류 뉴럴 네트워크는 입력 레이어, 출력 레이어 및 복수의 히든 레이어들을 포함하고, 상기 중간 출력값은 상기 입력 레이어보다 상기 출력 레이어에 더 가까운 히든 레이어의 출력값인 컴퓨팅 장치.
KR1020200057370A 2019-05-13 2020-05-13 검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치 KR20200131185A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2020/006309 WO2020231188A1 (ko) 2019-05-13 2020-05-13 검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치
US17/469,590 US20210406688A1 (en) 2019-05-13 2021-09-08 Method and device with classification verification

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190055544 2019-05-13
KR1020190055544 2019-05-13

Publications (1)

Publication Number Publication Date
KR20200131185A true KR20200131185A (ko) 2020-11-23

Family

ID=73680249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200057370A KR20200131185A (ko) 2019-05-13 2020-05-13 검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치

Country Status (3)

Country Link
EP (1) EP3971791A4 (ko)
KR (1) KR20200131185A (ko)
CN (1) CN113366500A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102484218B1 (ko) 2022-06-20 2023-01-04 주식회사 애자일소다 유사도 기반의 분류 모델 결과 검증 장치 및 방법
WO2023043214A1 (ko) * 2021-09-17 2023-03-23 주식회사 에이아이네이션 인공지능 모델의 건강도 유지/관리 장치 및 그를 포함하는 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070151B (zh) * 2023-03-17 2023-06-20 国网安徽省电力有限公司超高压分公司 基于广义回归神经网络特高压直流输电线路故障检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023043214A1 (ko) * 2021-09-17 2023-03-23 주식회사 에이아이네이션 인공지능 모델의 건강도 유지/관리 장치 및 그를 포함하는 시스템
KR102484218B1 (ko) 2022-06-20 2023-01-04 주식회사 애자일소다 유사도 기반의 분류 모델 결과 검증 장치 및 방법

Also Published As

Publication number Publication date
EP3971791A4 (en) 2023-02-15
CN113366500A (zh) 2021-09-07
EP3971791A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
KR102513089B1 (ko) 소프트 라벨링을 이용한 딥 러닝 훈련 방법 및 장치
US10963738B2 (en) Method for processing input on basis of neural network learning and apparatus therefor
KR102595399B1 (ko) 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화
EP3295382B1 (en) Bit width selection for fixed point neural networks
KR20200131185A (ko) 검증 뉴럴 네트워크를 이용한 분류 결과 검증 방법, 분류 결과 학습 방법 및 상기 방법을 수행하는 컴퓨팅 장치
KR102557512B1 (ko) 이미지들에서의 오브젝트 검출을 위한 콘텍스트-기반 프라이어들
US11640518B2 (en) Method and apparatus for training a neural network using modality signals of different domains
US10325202B2 (en) Incorporating top-down information in deep neural networks via the bias term
US10699192B1 (en) Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same
KR20200128938A (ko) 모델 학습 방법 및 장치
CN110348384B (zh) 一种基于特征融合的小目标车辆属性识别方法
US8606022B2 (en) Information processing apparatus, method and program
KR20180036709A (ko) 미디어 분류
US20190108399A1 (en) Video action localization from proposal-attention
US20200134455A1 (en) Apparatus and method for training deep learning model
CN108021908B (zh) 人脸年龄段识别方法及装置、计算机装置及可读存储介质
Wang et al. Towards realistic predictors
EP3942461A1 (en) Subject-object interaction recognition model
CN112868032A (zh) 提升ai识别学习能力
WO2023088174A1 (zh) 目标检测方法及装置
CN114463552A (zh) 迁移学习、行人重识别方法及相关设备
US20210182684A1 (en) Depth-first deep convolutional neural network inference
CN111340057A (zh) 一种分类模型训练的方法及装置
US20210342707A1 (en) Data-driven techniques for model ensembles
US11321527B1 (en) Effective classification of data based on curated features

Legal Events

Date Code Title Description
A201 Request for examination