KR20210060146A - 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치 - Google Patents

딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치 Download PDF

Info

Publication number
KR20210060146A
KR20210060146A KR1020190147821A KR20190147821A KR20210060146A KR 20210060146 A KR20210060146 A KR 20210060146A KR 1020190147821 A KR1020190147821 A KR 1020190147821A KR 20190147821 A KR20190147821 A KR 20190147821A KR 20210060146 A KR20210060146 A KR 20210060146A
Authority
KR
South Korea
Prior art keywords
neural network
deep neural
network model
data
modified
Prior art date
Application number
KR1020190147821A
Other languages
English (en)
Inventor
곽영준
김영성
유병인
이용일
이한아
정상일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190147821A priority Critical patent/KR20210060146A/ko
Priority to US16/902,299 priority patent/US11475312B2/en
Priority to CN202010642022.3A priority patent/CN112819151A/zh
Priority to EP20204519.1A priority patent/EP3822864A1/en
Publication of KR20210060146A publication Critical patent/KR20210060146A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치가 개시된다. 데이터 처리 방법은 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 의해 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하는 단계, 해당 딥 뉴럴 네트워크 모델을 변형시키는 단계, 변형된 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 의해 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하는 단계, 및 제1 출력 데이터 및 제2 출력 데이터를 조합하여 결과 데이터를 결정하는 단계를 포함한다.

Description

딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING DATA USING DEEP NEURAL NETWORK MODEL, METHOD AND APPARATUS FOR TRINING DEEP NEURAL NETWORK MODEL}
아래의 실시예들은 뉴럴 네트워크 모델을 학습시키는 기술과 뉴럴 네트워크 모델을 이용하여 입력 데이터를 처리하는 기술에 관한 것이다.
인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 것을 '뉴럴 네트워크(neural network)'라 한다. 뉴럴 네트워크는 단순한 기능을 가진 많은 수의 처리 소자들이 병렬로 연결된 연산 구조를 가지고 있으며, 여러 분야에서 기존의 방법론으로는 해결하기 어려웠던 부분들을 해결하는 새로운 기법으로서 널리 이용되고 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가지고 있다.
최근에는 여러 가지 기계 학습 알고리즘을 적용하여 생성한 다양한 뉴럴 네트워크들을 조합하여 결과를 도출하는 앙상블(ensemble) 알고리즘에 대한 연구가 활발히 진행되고 있다.
일 실시예에 따른 데이터 처리 방법은, 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 의해 상기 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하는 단계; 상기 딥 뉴럴 네트워크 모델을 변형시키는 단계; 상기 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하는 단계; 및 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정하는 단계를 포함할 수 있다.
상기 변형시키는 단계는, 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계를 포함할 수 있다.
상기 변형시키는 단계는, 노이즈 모델을 이용하여 노이즈 값을 결정하는 단계; 및 상기 결정된 노이즈 값을 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치에 적용하는 단계를 포함할 수 있다.
상기 노이즈 값을 결정하는 단계는, 가우시안 모델을 이용하여 상기 노이즈 값을 결정하는 단계를 포함할 수 있다.
상기 노이즈 값은, 양자화된 노이즈 값일 수 있다.
상기 딥 뉴럴 네트워크 모델은, 단일의 딥 뉴럴 네트워크 모델일 수 있다.
다른 실시예에 따른 데이터 처리 방법은, 딥 뉴럴 네트워크 모델을 변형하여 제1 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계; 상기 제1 변형된 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 상기 제1 변형된 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하는 단계; 상기 딥 뉴럴 네트워크 모델을 변형하여 제2 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계; 상기 제2 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 제2 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하는 단계; 및 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정하는 단계를 포함할 수 있다.
상기 제1 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계는, 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계를 포함하고, 상기 제2 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계는, 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계를 포함하고, 상기 제1 변형된 딥 뉴럴 네트워크 모델은, 상기 제2 변형된 딥 뉴럴 네트워크 모델과 다를 수 있다.
일 실시예에 따른 학습 방법은, 상기 딥 뉴럴 네트워크 모델을 변형시키는 단계; 상기 변형된 딥 뉴럴 네트워크 모델에 학습 데이터를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 출력 데이터를 획득하는 단계; 상기 출력 데이터에 기초하여 상기 딥 뉴럴 네트워크 모델의 파라미터들을 업데이트하는 단계; 및 상기 변형시키는 단계, 상기 획득하는 단계 및 상기 업데이트하는 단계를 반복적으로 수행하는 것에 의해 상기 딥 뉴럴 네트워크 모델을 학습시키는 단계를 포함할 수 있다.
상기 변형시키는 단계는, 노이즈 모델을 이용하여 노이즈 값을 결정하는 단계; 및 상기 결정된 노이즈 값을 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치에 적용하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 노이즈를 포함하는 학습 데이터를 상기 변형된 딥 뉴럴 네트워크 모델에 입력시키는 것에 의해 상기 출력 데이터를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 데이터 처리 장치는, 입력 데이터를 저장하는 저장 장치; 및 복수의 레이어들을 포함하는 딥 뉴럴 네트워크 모델을 이용하여 입력 데이터를 처리하는 프로세서를 포함하고, 상기 프로세서는, 상기 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 의해 상기 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하고, 상기 딥 뉴럴 네트워크 모델을 변형시키고, 상기 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하고, 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정할 수 있다.
다른 실시예에 따른 데이터 처리 장치는, 입력 데이터를 저장하는 저장 장치; 및 복수의 레이어들을 포함하는 딥 뉴럴 네트워크 모델을 이용하여 입력 데이터를 처리하는 프로세서를 포함하고, 상기 프로세서는, 상기 딥 뉴럴 네트워크 모델을 변형하여 제1 변형된 딥 뉴럴 네트워크 모델을 획득하고, 상기 제1 변형된 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 상기 제1 변형된 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하고, 상기 딥 뉴럴 네트워크 모델을 변형하여 제2 변형된 딥 뉴럴 네트워크 모델을 획득하고, 상기 제2 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 제2 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하고, 상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정할 수 있다.
일 실시예에 따른 학습 장치는, 학습 데이터들을 저장하는 저장 장치; 및 복수의 레이어들을 포함하는 딥 뉴럴 네트워크 모델을 학습시키는 프로세서를 포함하고, 상기 프로세서는, 상기 딥 뉴럴 네트워크 모델을 변형시키는 동작을 수행하고, 상기 변형된 딥 뉴럴 네트워크 모델에 학습 데이터를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 출력 데이터를 획득하는 동작을 수행하고, 상기 출력 데이터에 기초하여 상기 딥 뉴럴 네트워크 모델의 파라미터들을 업데이트하는 동작을 수행하고, 상기 변형시키는 동작, 상기 획득하는 동작 및 상기 업데이트하는 동작을 반복적으로 수행하는 것에 의해 상기 딥 뉴럴 네트워크 모델을 학습시킬 수 있다.
도 1은 일 실시예에 따른 딥 뉴럴 네트워크 모델의 일례를 도시하는 도면이다.
도 2는 일 실시예에 따른 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법의 동작을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 과정의 일례를 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법의 동작을 설명하기 위한 흐름도이다.
도 6은 다른 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 과정의 일례를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 학습 장치의 세부 구성을 도시한 블록도이다.
도 8은 일 실시예에 따른 데이터 처리 장치의 세부 구성을 도시한 블록도이다.
도면은 반드시 일정한 비율로 그려지는 것은 아니며, 유사한 구조 또는 기능의 요소는 도면 전체에 걸쳐 예시적인 목적으로 유사한 참조 번호로 일반적으로 표시된다. 도면들은 본 명세서에 기재된 다양한 실시 예들의 설명을 용이하게 하기 위한 것이다. 도면은 본원에 개시된 교시의 모든 양상을 기술하지 않으며 청구항의 범위를 제한하지 않는다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 딥 뉴럴 네트워크(deep neural network; DNN) 모델의 일례를 도시하는 도면이다.
도 1을 참조하면, DNN 모델(100)은 복수의 레이어들(110, 120, 130, 140)을 포함한다. 일 실시예에서, DNN 모델(100)은 입력 레이어(110), 복수의 히든 레이어들(120, 130) 및 출력 레이어(140)를 포함할 수 있다. 각각의 레이어들(110, 120, 130, 140)은 인공 뉴런이라고도 불리는 복수의 노드들을 포함한다. 각 노드는 하나 이상의 입력 및 출력을 가지는 계산 단위를 나타내고, 노드들은 상호 연결될 수 있다.
입력 레이어(110)는 다른 노드와의 관계에서 링크를 거치지 않고, 데이터가 직접 입력되는 하나 이상의 노드들(I1 내지 In)을 포함할 수 있다. 출력 레이어(140)는 다른 노드와의 관계에서 출력 노드를 가지지 않는 하나 이상의 노드들(O1 내지 On)을 포함할 수 있다. 히든 레이어들(120, 130)은 입력 레이어(110) 및 출력 레이어(140)를 제외한 DNN 모델(100)의 나머지 레이어들에 해당하며, 다른 노드와의 관계에서 입력 노드 또는 출력 노드에 해당하는 노드들(H11 내지 H1m, H21 내지 H2m)을 포함할 수 있다. 도 1에 도시된 DNN 모델(100)은 설명의 편의를 위해 예시한 것으로, 해당 DNN 모델(100)의 구조에 의해 실시예의 범위가 한정되는 것으로 해석되어서는 안된다. 실시예에서 이용되는 DNN 모델의 구조는 다양할 수 있다. 실시예에 따라 DNN 모델(100)에 포함된 히든 레이어의 수, 각 레이어에 포함된 노드의 수 및/또는 노드들 간의 연결 관계는 다를 수 있다.
어느 레이어에 포함된 일 노드의 출력은 다른 레이어의 하나 이상의 노드에 입력될 수 있다. 예를 들어, 입력 레이어(110)에 포함된 노드(112)의 출력은 히든 레이어(120)의 노드(122)를 포함하는 노드들에 전달될 수 있다. 노드들은 서로 '링크'에 의해 서로 연결될 수 있고, 링크를 통해 연결된 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드의 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드의 관계에 있을 수 있으며, 그 역도 성립할 수 있다.
노드들 간의 링크에는 연결 가중치(connection weight)가 설정된다. 예를 들어, 노드(112)와 노드(122) 간의 링크(115)에는 특정한 연결 가중치가 설정되어 있다. 이러한 연결 가중치는 조정 또는 변경될 수 있다. 연결 가중치의 값이 서로 다른 DNN 모델들은 다른 특성을 나타낼 수 있다. 연결 가중치는 연관된 데이터 값을 증폭, 감소 또는 유지시킴으로써 해당 데이터 값이 최종 결과에 미치는 영향도를 결정할 수 있다. 연결 가중치는 DNN 모델(100)의 파라미터에 해당한다.
링크를 통해 연결된 입력 노드 및 출력 노드의 관계에서, 출력 노드의 출력 값은 입력 노드에 입력된 데이터, 및 입력 노드와 출력 노드 간의 링크가 가지는 연결 가중치에 의해 결정될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 연결된 경우, 해당 하나 이상의 입력 노드에 입력된 입력 값 및 해당 하나 이상의 입력 노드 각각과 출력 노드 간의 링크가 가지는 연결 가중치에 기초하여 출력 노드의 출력 값이 결정될 수 있다.
일 실시예에서, 히든 레이어들(120, 130)에 포함된 각각의 노드에는 이전 레이어에 포함된 노드들의 가중된 입력들(weighted inputs)에 관한 활성 함수(activation function)의 출력이 입력될 수 있다. 가중된 입력은 이전 레이어에 포함된 노드들의 입력에 연결 가중치가 곱해진 것이다. 활성 함수는 예를 들어 시그모이드(sigmoid), 하이퍼볼릭 탄젠트(hyperbolic tangent; tanh) 또는 렐루(rectified linear unit; ReLU)에 해당할 수 있다. 출력 레이어(140)에 포함된 각각의 노드에는 이전 레이어에 포함된 노드들의 가중된 입력들이 입력될 수 있다. 가중된 데이터가 임의의 레이어로부터 다음 레이어로 입력되는 과정을 전파(propagation)라고 지칭할 수 있다.
위와 같은 DNN 모델(100)은 컴퓨터 시스템과 같은 하드웨어 장치에서 동작할 수 있는 소프트웨어 프레임워크에서 실행될 수 있다. DNN 모델(100)은 예를 들어 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함할 수 있다. DNN 모델(110)은 객체 인식, 음성 인식, 패턴 인식, 컴퓨터 비전 등 다양한 분야에서 이용될 수 있다.
DNN 모델(100)의 성능을 보다 향상시키기 위한 기법으로서 앙상블(ensemble) 기법이 존재한다. 일반적으로, 앙상블 기법은 복수 개의 서로 다른 DNN 모델들로부터 복수의 출력들을 획득하고, 획득한 복수의 출력들을 조합하여 최종적인 결과를 결정하는 기법을 나타낸다. 이러한 앙상블 기법은 DNN 모델의 성능을 개선시킬 수 있을지는 모르지만, 여러 DNN 모델들을 학습시키는데 많은 시간과 자원이 소요되고, 앙상블 기법을 구현하기 위해 복수의 DNN 모델들을 저장 또는 로드(load)할 수 있는 많은 자원(예, 메모리 크기)이 필요하다는 한계가 존재한다. 앙상블 기법에 사용되는 DNN 모델의 개수가 많아질수록 이에 비례하여 요구되는 메모리의 크기도 커져야 한다. DNN 모델은 많은 수의 파라미터들로 구현되기 때문에, 단 하나의 DNN 모델도 많은 메모리 공간을 필요로 한다.
본 명세서에서 설명되는 일 실시예에 따르면, 하나의 DNN 모델을 서로 다른 시점(time)들에서 변형시켜 복수의 출력 데이터들을 획득하고, 복수의 출력 데이터들을 조합하여 최종적인 결과 데이터를 결정하는 처리 방식을 통해, 단 하나의 DNN 모델을 이용하여서도 앙상블 기법과 동일한 효과를 제공할 수 있다. 이와 같은 처리 방식을 통해 요구되는 자원의 크기를 줄이고, DNN 모델의 성능을 개선시킬 수 있다는 이점을 제공한다. 또한, 일 실시예에 따른 학습 방법에 의하면, 적대적 공격(adversarial attack)에 강인한 DNN 모델을 생성할 수 있다. 적대적 공격은 DNN 모델이 잘못된 결과를 산출하도록 공격자가 의도적으로 입력 값을 조작하여 공격하는 것을 나타낸다. 예를 들어, 적대적 공격은 입력 이미지에 육안으로는 구분할 수 없는 특정한 노이즈를 합성한 후, 노이즈가 합성된 입력 이미지를 DNN 모델에 입력시켜 DNN 모델의 잘못된 분류 결과를 유도하는 것에 해당한다. 일 실시예에 따르면, 노이즈(noise)가 포함된 학습 데이터(training data)로 DNN 모델을 학습(training)시키는 것에 의해 위와 같은 적대적 공격에 강인한 DNN 모델을 생성할 수 있다. 이하, 실시예들을 보다 자세히 설명한다.
도 2는 일 실시예에 따른 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법의 동작을 설명하기 위한 흐름도이다. 일 실시예에 따른 학습 방법은 본 명세서에서 설명되는 학습 장치에 의해 수행될 수 있다.
도 2를 참조하면, 단계(210)에서 학습 장치는 DNN 모델을 변형시킬 수 있다. 일 실시예에서, DNN 모델의 변형은 DNN 모델의 하나 이상의 연결 가중치를 변경하는 것을 포함할 수 있다. 학습 장치는 예를 들어 가우시안 모델(Gaussian model)의 형태를 가지는 노이즈 모델을 이용하여 노이즈 값을 결정하고, 결정된 노이즈 값을 DNN 모델의 하나 이상의 연결 가중치에 적용하는 것에 의해 연결 가중치를 변경시킬 수 있다. 이 때, 노이즈 값은 양자화된(quantized) 노이즈 값일 수 있다. 노이즈 모델에 적용된 평균과 표준편차 값에 따라 노이즈 모델에서 출력될 노이즈 값의 특성이 달라질 수 있다. 실시예에 따라, 학습 장치는 양자화된 노이즈 값을 제공하는 양자화 노이즈 모델을 이용하여 DNN 모델의 연결 가중치에 적용할 노이즈 값을 결정할 수도 있다.
단계(220)에서, 학습 장치는 학습 데이터에 기초하여, 변형된 DNN 모델의 출력 데이터를 획득할 수 있다. 학습 장치는 변형된 DNN 모델에 학습 데이터를 입력시키고, 해당 변형된 DNN 모델로부터 출력 데이터를 획득할 수 있다. 변형된 DNN 모델은 입력된 학습 데이터를 기초로 노드들 간의 연결 관계와 연결 가중치에 따라 출력 데이터를 계산하여 출력할 수 있다.
실시예에 따라 학습 데이터에 노이즈를 인위적으로 추가할 수도 있으며, 이 경우 학습 장치는 노이즈를 포함하는 학습 데이터를 변형된 DNN 모델에 입력시키는 것에 의해 DNN 모델의 출력 데이터를 획득할 수 있다. 노이즈를 포함하는 학습 데이터에 기반하여 DNN 모델을 학습시키는 경우, 적대적 공격에 강인한 DNN 모델을 획득할 수 있다.
학습 데이터는 DNN 모델이 이용될 용도에 따라 다양할 수 있다. 예를 들어, DNN 모델이 얼굴 인식에 이용되는 경우, 학습 데이터는 다양하고 많은 수의 얼굴 이미지들을 포함할 수 있다. 또는, DNN 모델이 음성 인식에 이용되는 경우, 학습 데이터는 다양한 음성 데이터들을 포함할 수 있다.
단계(230)에서, 학습 장치는 변형된 DNN 모델의 출력 데이터에 기초하여 DNN 모델의 파라미터들을 업데이트할 수 있다. 일 실시예에서, 학습 장치는 기계 학습 기법으로서 지도식(supervised) 또는 비지도식(unsupervised) 방식을 통해 DNN 모델의 파라미터들을 업데이트하는 학습 과정을 수행할 수 있다. 학습 과정은 변형된 DNN 모델의 출력 데이터와 목적하는 출력 데이터 간의 오차를 계산하고, 계산된 오차가 줄어들도록 DNN 모델의 연결 가중치들을 업데이트하는 과정을 포함할 수 있다. 연결 가중치들의 업데이트 과정은, 예를 들어 점진적 경도 하강(incremental gradient descent)라고도 불리는 확률적 경도 하강(SGD: Stochastic Gradient descent) 등과 같이 차등 함수의 합으로 기술된 목적 함수(또는 비용 함수)를 최소화하는 방향으로 연결 가중치들을 조정하는 과정을 포함할 수 있다.
단계(240)에서, 학습 장치는 모든 학습 데이터에 대한 학습이 완료되었는지 여부를 판단한다. 모든 학습 데이터에 대한 학습이 완료되지 않은 경우, 단계(250)에서 학습 데이터는 다음 학습 데이터를 수신한다. 이후에 학습 장치는 해당 다음 학습 데이터를 기초로 단계(210) 내지 단계(240)의 과정을 반복하여 수행한다. 이와 같이, 학습 장치는 DNN 모델을 변형시키는 단계, 변형된 DNN 모델의 출력 데이터를 획득하는 단계 및 DNN 모델의 파라미터들을 업데이트하는 단계를 반복적으로 수행하는 것에 의해 DNN 모델을 학습시킬 수 있다. 모든 학습 데이터에 대한 학습이 완료된 경우, DNN 모델에 대한 학습 과정은 종료된다.
도 3은 일 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법의 동작을 설명하기 위한 흐름도이다. 일 실시예에 따른 데이터 처리 방법은 본 명세서에서 설명되는 데이터 처리 장치에 의해 수행될 수 있다.
도 3을 참조하면, 단계(310)에서 데이터 처리 장치는 DNN 모델에 입력 데이터를 입력시키는 것에 의해 DNN 모델의 제1 출력 데이터를 획득할 수 있다. 일 실시예에서, DNN 모델이 얼굴 인증에서 이용되는 경우, 입력 데이터로서 영상 데이터가 DNN 모델에 입력될 수 있고, DNN 모델은 해당 영상 데이터에 나타난 사용자 얼굴이 등록된 사용자의 얼굴에 얼마나 가까운지를 나타내는 확률 값이나 특징 값을 출력 데이터로서 출력할 수 있다. 다른 실시예에서, DNN 모델이 객체의 진짜(genuine) 또는 가짜(fake) 여부를 구별하기 위한 라이브니스(liveness) 검사에서 이용되는 경우, 입력 데이터로서 검사 대상인 객체가 나타난 영상 데이터가 DNN 모델에 입력될 수 있다. DNN 모델은 해당 영상 데이터에 나타난 객체가 살아있는 객체에 해당할 기대 값을 나타내는 스코어나 특징 값을 출력 데이터로서 출력할 수 있다.
단계(320)에서, 데이터 처리 장치는 DNN 모델을 변형시킬 수 있다. 데이터 처리 장치는 DNN 모델의 파라미터(예, DNN 모델에 포함된 노드들 간의 링크가 가지는 연결 가중치)를 변경하는 것을 통해 DNN 모델을 변형시킬 수 있다. 데이터 처리 장치는 하나 이상의 링크의 연결 가중치를 변경할 수 있다. 일 실시예에서, 데이터 처리 장치는 노이즈 모델을 이용하여 노이즈 값을 결정하고, 결정된 노이즈 값을 DNN 모델의 연결 가중치에 적용하는 것에 의해 연결 가중치를 변경할 수 있다. 데이터 처리 장치는 예를 들어 가우시안 모델의 형태를 가지는 노이즈 모델을 이용하여 임의의 노이즈 값을 결정하고, 결정된 노이즈 값을 DNN 모델의 하나 이상의 연결 가중치에 적용할 수 있다. 가우시안 모델의 형태를 가지는 노이즈 모델을 가우시안 잡음 모델이라고도 지칭할 수 있으며, 가우시안 잡음 모델은 보통 평균이 0인 가우시안 분포를 따르는 노이즈를 의미한다. 가우시안 잡음 모델의 경우, 설정된 평균과 표준편차(또는 분산)에 따라 노이즈 값의 특성이 달라질 수 있다.
노이즈 값이 적용될 연결 가중치는 랜덤하게 결정되거나 또는 노이즈 값이 적용될 연결 가중치가 미리 정의되어 있을 수 있으나, 실시예의 범위가 이에 한정되는 것은 아니다. 실시예에 따라, 노이즈 모델을 통해 양자화된 노이즈 값이 결정되고, 양자화된 노이즈 값이 DNN 모델의 하나 이상의 연결 가중치에 적용될 수도 있다. 이와 같은 DNN 모델의 변형을 통해, 단계(310)에서 이용된 DNN 모델과 특성이 다른 DNN 모델이 생성될 수 있다.
단계(330)에서, 데이터 처리 장치는 변형된 DNN 모델로부터 제2 출력 데이터를 획득할 수 있다. 데이터 처리 장치는 변형된 DNN 모델에 입력 데이터를 입력시키는 것에 의해, 해당 변형된 DNN 모델의 제2 출력 데이터를 획득할 수 있다. 여기서, 입력 데이터는 단계(310)에서 DNN 모델에 입력된 입력 데이터와 동일할 수 있다. 데이터 처리 장치는 위 단계(310)에서의 과정과 유사하게, 변형된 DNN 모델로부터 제2 출력 데이터를 획득할 수 있다. 한편, '제2 출력 데이터'의 용어는 단계(310)의 '제1 출력 데이터'와 구별하기 위한 것으로, 제2 출력 데이터는 변형된 DNN 모델의 출력 데이터에 해당한다.
단계(340)에서, 데이터 처리 장치는 제1 출력 데이터 및 제2 출력 데이터를 조합(또는 융합(fusion))하여 결과 데이터를 결정할 수 있다. 일 실시예에서, 데이터 처리 장치는 앙상블 기법과 유사하게 제1 출력 데이터 및 제2 출력 데이터를 조합하여 최종적인 결과 데이터를 결정할 수 있다. 예를 들어, 제1 출력 데이터가 제1 특징 값이고, 제2 출력 데이터가 제2 특징 값이라고 가정하면, 데이터 처리 장치는 제1 특징 값과 제2 특징 값의 합, 가중 합 또는 평균의 결과를 결과 데이터로서 결정할 수 있다.
본 도면에 도시된 실시예에서는, 두 개의 출력 데이터를 이용하여 결과 데이터를 결정하는 경우를 예를 들어 설명하였으나, 2번 이상 DNN 모델을 변형하여 각각마다 출력 데이터들을 획득하고, 획득된 출력 데이터들을 조합하여 결과 데이터를 결정하는 경우에도 위 데이터 처리 방법이 그대로 적용될 수 있다. 예를 들어, 단계(330)에서 제2 출력 데이터를 획득한 후 다시 단계(320)의 과정에 따라 DNN 모델을 변형시켜 다른 특성을 가지는 변형된 DNN 모델을 생성하고, 해당 변형된 DNN 모델에 입력 데이터를 입력시키는 것을 통해 제3 출력 데이터를 획득할 수 있다. 이 경우, 데이터 처리 장치는 제1, 제2 및 제3 출력 데이터들을 조합하여 결과 데이터를 결정할 수 있다.
위와 같이, 데이터 처리 장치는 주어진 DNN 모델을 변형시키고, 변형된 DNN 모델을 이용하여 다양한 출력 데이터를 획득하는 것을 통해 단일의 DNN 모델을 이용하여 앙상블 기법과 유사한 효과를 제공할 수 있다. DNN 모델은 강력한 컴퓨팅 자원과 광범위한 데이터 스토리지 자원을 필요로 하는데, 일반적인 앙상블 기법의 경우 복수 개의 DNN 모델들을 이용하므로, 필요로 하는 자원의 크기가 상당히 크다. 하지만, 본 명세서에서 설명하는 데이터 처리 방법의 경우, 하나의 DNN 모델을 통해 구현이 가능하므로 요구되는 자원의 크기가 적으며, 앙상블 기법을 통해 DNN 모델의 정확도를 개선시킬 수 있다. 따라서, 본 데이터 처리 방법은 자원이 제한된 사용 환경에서 DNN 모델의 성능을 향상시키는데 효과적으로 이용될 수 있다. 또한, 도 2에서 설명된 학습 과정과 같이, 학습 과정에서 DNN 모델이 인위적으로 입력된 노이즈를 보다 잘 구별하도록 학습될 수 있기 때문에, 적대적 공격에 강인한 처리 결과를 획득할 수 있다.
도 4는 일 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 과정의 일례를 설명하기 위한 도면이다.
도 4를 참조하면, 데이터 처리의 대상이 되는 입력 데이터(410)가 전달된다. 제1 페이즈(phase)에서 기본 DNN 모델(422)에 입력 데이터(410)가 입력되고, 기본 DNN 모델(422)은 기본 출력 데이터(432)를 출력할 수 있다. 여기서, 기본 DNN 모델(422)은 처음부터 주어진 DNN 모델로서, 변형되지 않은 DNN 모델에 대응할 수 있다.
제2 페이즈에서, 기본 DNN 모델(422)이 변형되어 제1 변형된 DNN 모델(424)이 생성된다. 기본 DNN 모델(422)을 구성하는 파라미터를 변경하는 것에 의해 제1 변형된 DNN 모델(424)이 생성될 수 있다. 예를 들어, 기본 DNN 모델(422)의 연결 가중치에 양자화된 노이즈 값을 적용하는 것에 의해 제1 변형된 DNN 모델(424)이 획득될 수 있다. 제1 변형된 DNN 모델(424)에 입력 데이터(410)가 입력되고, 제1 변형된 DNN 모델(424)은 제1 출력 데이터(434)를 출력할 수 있다.
제N 페이즈에서, 기본 DNN 모델(422)이 변형되어 제N 변형된 DNN 모델(426)이 생성되고, 위와 동일하게 입력 데이터(410)가 제N 변형된 DNN 모델(426)에 입력되어 제N 변형된 DNN 모델(426)로부터 제N 출력 데이터(436)가 획득된다. 여기서, N은 2 이상의 자연수이다. 본 실시예에서는 기본 DNN 모델을 N번 변형하는 것을 예를 들어 설명하였으나, 기본 DNN 모델을 1번만 변형하는 것도 가능하다.
이후에, 기본 출력 데이터(432), 제1 출력 데이터(434), ..., 및 제N 출력 데이터(436)를 조합(440)하여 결과 데이터(450)가 결정될 수 있다. 위와 같이, 하나의 기본 DNN 모델(422)을 이용하여 앙상블 기법을 구현할 수 있어, 앙상블 기법을 구현하는데 요구되는 자원의 크기를 줄일 수 있다.
도 5는 다른 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법의 동작을 설명하기 위한 흐름도이다. 다른 실시예에 따른 데이터 처리 방법은 본 명세서에서 설명되는 데이터 처리 장치에 의해 수행될 수 있다.
도 5를 참조하면, 단계(510)에서 데이터 처리 장치는 DNN 모델(주어진 기본 DNN 모델)을 변형하여 제1 변형된 DNN 모델을 획득할 수 있다. 데이터 처리 장치는 예를 들어 기본 DNN 모델의 하나 이상의 연결 가중치에 양자화된 노이즈 값을 적용하는 것에 의해 제1 변형된 DNN 모델을 생성할 수 있다.
단계(520)에서, 데이터 처리 장치는 제1 변형된 DNN 모델에 입력 데이터를 입력시키는 것에 제1 변형된 DNN 모델의 제1 출력 데이터를 획득할 수 있다.
단계(530)에서, 데이터 처리 장치는 DNN 모델(기본 DNN 모델)을 변형하여 제2 변형된 딥 뉴럴 네트워크 모델을 획득할 수 있다. 단계(510)에서와 유사하게, 데이터 처리 장치는 기본 DNN 모델의 하나 이상의 연결 가중치에 양자화된 노이즈 값을 적용하는 것에 의해 제2 변형된 DNN 모델을 생성할 수 있다. 단계(510)의 제1 변형된 DNN 모델과 본 단계(530)의 제2 변형된 DNN 모델은 상이할 수 있다. 이는, 기본 DNN 모델의 연결 가중치에 적용된 노이즈 값이 서로 다르거나 또는 노이즈 값이 적용된 연결 가중치가 서로 다를 수 있기 때문이다.
단계(540)에서, 데이터 처리 장치는 제2 변형된 DNN 모델에 입력 데이터를 입력시키는 것에 의해 제2 변형된 DNN 모델의 제2 출력 데이터를 획득할 수 있다. 여기서, 입력 데이터는 단계(210)에서 제1 변형된 DNN 모델에 입력된 입력 데이터와 동일할 수 있다.
단계(550)에서, 데이터 처리 장치는 제1 출력 데이터 및 제2 출력 데이터를 조합(또는 융합)하여 결과 데이터를 결정할 수 있다.
본 도면에 도시된 실시예에서는, 두 개의 출력 데이터를 이용하여 결과 데이터를 결정하는 경우를 예를 들어 설명하였으나, 3번 이상 DNN 모델을 변형하여 각각마다 출력 데이터들을 획득하고, 획득된 출력 데이터들을 조합하여 결과 데이터를 결정하는 경우에도 위 데이터 처리 방법이 그대로 적용될 수 있다.
도 6은 다른 실시예에 따른 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 과정의 일례를 설명하기 위한 도면이다.
도 6의 실시예의 경우, 도 4의 실시예와 다르게 변형된 DNN 모델만이 이용된다. 도 6을 참조하면, 먼저 데이터 처리의 대상이 되는 입력 데이터(610)가 전달된다. 제1 페이즈에서 기본 DNN 모델이 변형되어 변형된 제1 변형된 DNN 모델(622)이 생성될 수 있다. 일 실시예에서, 기본 DNN 모델의 하나 이상의 연결 가중치에 양자화된 노이즈 값을 적용하는 것에 의해 제1 변형된 DNN 모델(622)이 생성될 수 있다. 제1 변형된 DNN 모델(622)에 입력 데이터(610)가 입력되고, 제1 변형된 DNN 모델(622)는 제1 출력 데이터(632)를 출력할 수 있다.
제2 페이즈에서, 기본 DNN 모델이 변형되어 제2 변형된 DNN 모델(624)이 생성된다. 일 실시예에서, 제1 변형된 DNN 모델(622)이 생성될 때와 유사하게, 기본 DNN 모델의 하나 이상의 연결 가중치에 양자화된 노이즈 값을 적용하는 것에 의해 제2 변형된 DNN 모델(624)이 생성될 수 있다. 다만, 제1 변형된 DNN 모델(622)에 적용된 노이즈 값과 제2 변형된 DNN 모델(624)에 적용된 노이즈 값은 서로 다르거나, 노이즈 값이 적용되는 연결 가중치가 서로 다를 수 있다. 제2 변형된 DNN 모델(624)에 입력 데이터(610)가 입력되고, 제2 변형된 DNN 모델(624)는 제2 출력 데이터(634)를 출력할 수 있다.
제N 페이즈에서, 기본 DNN 모델이 변형되어 제N 변형된 DNN 모델(626)이 생성되고, 위와 동일하게 입력 데이터(610)가 제N 변형된 DNN 모델(626)에 입력되어 제N 변형된 DNN 모델(626)로부터 제N 출력 데이터(636)가 획득된다. 여기서, N은 3 이상의 자연수이다.
이후에, 제1 출력 데이터(632), 제2 출력 데이터(634), ??, 및 제N 출력 데이터(636)를 조합(640)하여 결과 데이터(650)가 결정될 수 있다.
도 7은 일 실시예에 따른 학습 장치의 세부 구성을 도시한 블록도이다.
도 7을 참조하면, 학습 장치(700)는 프로세서(710) 및 저장 장치(720)를 포함할 수 있다.
저장 장치(720)는 학습 장치(700)의 처리 동작에 필요한 정보 내지 데이터를 저장한다. 예를 들어, 저장 장치(720)는 DNN 모델의 학습을 위해 이용되는 학습 데이터들을 저장할 수 있다. 또한, 저장 장치(720)는 프로세서(710)에 의해 실행하기 위한 인스트럭션들을 저장할 수 있다. 저장 장치(720)는, 컴퓨터 판독가능한 저장 매체, 예를 들어 RAM(random access memories), DRAM(dynamic random access memories), SRAM(static random access memories), 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리(EPROM), 또는 이 기술 분야에서 알려진 다른 형태의 컴퓨터 판독가능한 저장 매체를 포함할 수 있다.
프로세서(710)는 학습 장치(700)의 전체적인 동작들을 제어하고, 학습 장치(700) 내에서 실행하기 위한 기능 및/또는 인스트럭션들을 실행한다. 프로세서(710)는 학습 데이터에 기초하여 DNN 모델을 학습시키는 학습 과정을 수행하고, 해당 학습 과정과 관련하여 도 2를 통해 전술한 하나 이상의 동작을 수행할 수 있다.
일 실시예에서, 프로세서(710)는 노이즈 값을 DNN 모델의 하나 이상의 연결 가중치에 적용시키는 것에 의해 DNN 모델을 변형시키고, 변형된 DNN 모델과 학습 데이터에 기초하여 학습 과정을 수행할 수 있다. 프로세서(710)는 변형된 DNN 모델에 학습 데이터를 입력시키는 것에 의해, 해당 변형된 DNN 모델의 출력 데이터를 획득하고, 해당 출력 데이터에 기초하여 DNN 모델의 파라미터들을 업데이트하는 동작을 수행할 수 있다. 학습 장치는 이러한 DNN 모델을 변형시키는 동작, 변형된 DNN 모델의 출력 데이터를 획득하는 동작 및 해당 출력 데이터에 기초하여 DNN 모델의 파라미터들을 업데이트하는 동작을 반복적으로 수행하는 것에 의해 DNN 모델을 학습시킬 수 있다. 실시예에 따라, 프로세서(710)는 학습 데이터에 노이즈를 적용하여 노이즈가 포함된 학습 데이터를 생성하고, 해당 노이즈가 포함된 학습 데이터를 기초로 위 DNN 모델의 학습 과정을 수행할 수도 있다.
도 8은 일 실시예에 따른 데이터 처리 장치의 세부 구성을 도시한 블록도이다.
도 8을 참조하면, 데이터 처리 장치(800)는 프로세서(810) 및 저장 장치(820)를 포함할 수 있다. 실시예에 따라, 데이터 처리 장치(800)는 센서(830), 입력 장치(840), 출력 장치(850) 및 통신 장치(860) 중 하나 이상을 더 포함할 수도 있다.
저장 장치(820)는 데이터 처리 장치(800)의 처리 동작에 필요한 정보 내지 데이터를 저장한다. 예를 들어, 데이터 처리 장치(800)는 데이터 처리의 목적이 되는 입력 데이터를 저장할 수 있다. 또한, 저장 장치(820)는 프로세서(810)에 의해 실행하기 위한 인스트럭션들을 저장할 수 있다. 저장 장치(820)는, 컴퓨터 판독가능한 저장 매체, 예를 들어 RAM, DRAM, SRAM, 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리, 또는 이 기술 분야에서 알려진 다른 형태의 컴퓨터 판독가능한 저장 매체를 포함할 수 있다.
프로세서(810)는 데이터 처리 장치(800)의 전체적인 동작들을 제어하고, 데이터 처리 장치(800) 내에서 실행하기 위한 기능 및/또는 인스트럭션들을 실행한다. 데이터 처리 장치(800)는 하나 이상의 프로세서(810)를 포함할 수 있으며, 프로세서(810)는 예를 들어 컴퓨팅 장치의 중앙 처리 장치(CPU) 및/또는 그래픽 처리 유닛(GPU)을 포함할 수 있다. 프로세서(810)는 DNN 모델을 이용하여 입력 데이터를 처리하는 과정을 수행하고, 해당 과정과 관련하여 도 3 내지 도 6을 통해 전술한 하나 이상의 동작을 수행할 수 있다.
일 실시예에서, 프로세서(810)는 DNN 모델에 입력 데이터를 입력시키는 것에 의해 DNN 모델의 제1 출력 데이터를 획득할 수 있다. 이후에, 프로세서(810)는 DNN 모델을 변형하여 변형된 DNN 모델을 생성할 수 있다. 예를 들어, 프로세서(810)는 노이즈 모델을 이용하여 노이즈 값을 결정하고, 결정된 노이즈 값을 DNN 모델의 하나 이상의 연결 가중치에 적용하는 것에 의해 DNN 모델의 하나 이상의 연결 가중치를 변경할 수 있다. 이러한 과정을 통해 특성이 달라진 DNN 모델이 생성될 수 있다. 프로세서(810)는 변형된 DNN 모델에 입력 데이터를 입력시키는 것에 의해, 해당 변형된 DNN 모델의 제2 출력 데이터를 획득하고, 제1 출력 데이터 및 제2 출력 데이터를 조합하여 결과 데이터를 결정할 수 있다.
다른 실시예에서, 프로세서(810)는 DNN 모델을 변형하여 제1 변형된 DNN 모델을 획득할 수 있다. 예를 들어, 프로세서(810)는 노이즈 값을 DNN 모델의 하나 이상의 연결 가중치에 적용하여 제1 변형된 DNN 모델을 생성할 수 있다. 프로세서(810)는 제1 변형된 DNN 모델에 입력 데이터를 입력시키는 것에 해당 제1 변형된 DNN 모델의 제1 출력 데이터를 획득할 수 있다. 이후에, 프로세서(810)는 위와 유사하게 노이즈 값을 이용하여 원래의 DNN 모델의 하나 이상의 연결 가중치를 변경하는 것에 의해 제2 변형된 DNN 모델을 생성할 수 있다. 제2 변형된 DNN 모델은 제1 변형된 DNN 모델과 상이할 수 있다. 프로세서(810)는 제2 변형된 DNN 모델에 입력 데이터를 입력시키는 것에 의해, 해당 제2 변형된 DNN 모델의 제2 출력 데이터를 획득하고, 제1 출력 데이터 및 제2 출력 데이터를 조합하여 결과 데이터를 결정할 수 있다.
센서(830)는 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서(830)는 영상 센서, 음성 센서, 레이더 센서, 측정 센서 등을 포함할 수 있다. 일 실시예에서, 센서(830)에 의해 획득한 영상 데이터, 음성 데이터 또는 레이더 데이터가 위에서 설명한 입력 데이터로서 이용될 수 있다.
입력 장치(840)는 사용자로부터 사용자 입력을 수신할 수 있다. 입력 장치(1040)는 예를 들어 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.
출력 장치(850)는 시각적, 청각적 또는 촉각적인 방식을 통해 사용자에게 데이터 처리 장치(800)의 출력을 제공할 수 있다. 출력 장치(1050)는 예를 들어 디스플레이 장치, 스피커 장치, 조명 장치, 햅틱 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다.
통신 장치(860)는 유선 또는 무선 네트워크를 통해 외부의 다른 장치와 통신할 수 있다. 예를 들어, 통신 장치(860)는 유선 통신 방식이나 블루투스(Bluetooth), 와이파이(WiFi), 3G(generation), LTE(Long Term Evolution) 등의 무선 통신 방식을 이용하여 외부의 다른 장치와 통신할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 복수의 레이어들을 포함하는 딥 뉴럴 네트워크(deep neural network; DNN) 모델을 이용한 데이터 처리 방법에 있어서,
    상기 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 의해 상기 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하는 단계;
    상기 딥 뉴럴 네트워크 모델을 변형시키는 단계;
    상기 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하는 단계; 및
    상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정하는 단계
    를 포함하는 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 변형시키는 단계는,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계
    를 포함하는 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 변형시키는 단계는,
    노이즈 모델을 이용하여 노이즈 값을 결정하는 단계; 및
    상기 결정된 노이즈 값을 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치에 적용하는 단계
    를 포함하는 데이터 처리 방법.
  4. 제3항에 있어서,
    상기 노이즈 값을 결정하는 단계는,
    가우시안 모델(Gaussian model)을 이용하여 상기 노이즈 값을 결정하는 단계
    를 포함하는 데이터 처리 방법.
  5. 제3항에 있어서,
    상기 노이즈 값은,
    양자화된(quantized) 노이즈 값인,
    데이터 처리 방법.
  6. 제1항에 있어서,
    상기 딥 뉴럴 네트워크 모델은,
    단일의 딥 뉴럴 네트워크 모델인,
    데이터 처리 방법.
  7. 제1항에 있어서,
    상기 딥 뉴럴 네트워크 모델은,
    컴퓨터 시스템의 소프트웨어 프레임워크에서 실행되는,
    데이터 처리 방법.
  8. 복수의 레이어들을 포함하는 딥 뉴럴 네트워크(deep neural network; DNN) 모델을 이용한 모델을 이용한 데이터 처리 방법에 있어서,
    상기 딥 뉴럴 네트워크 모델을 변형하여 제1 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계;
    상기 제1 변형된 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 상기 제1 변형된 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하는 단계;
    상기 딥 뉴럴 네트워크 모델을 변형하여 제2 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계;
    상기 제2 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 제2 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하는 단계; 및
    상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정하는 단계
    를 포함하는 데이터 처리 방법.
  9. 제8항에 있어서,
    상기 제1 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계는,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계를 포함하고,
    상기 제2 변형된 딥 뉴럴 네트워크 모델을 획득하는 단계는,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계를 포함하고,
    상기 제1 변형된 딥 뉴럴 네트워크 모델은, 상기 제2 변형된 딥 뉴럴 네트워크 모델과 다른,
    데이터 처리 방법.
  10. 복수의 레이어들을 포함하는 딥 뉴럴 네트워크(deep neural network; DNN) 모델을 학습시키는 학습 방법에 있어서,
    상기 딥 뉴럴 네트워크 모델을 변형시키는 단계;
    상기 변형된 딥 뉴럴 네트워크 모델에 학습 데이터(training data)를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 출력 데이터를 획득하는 단계;
    상기 출력 데이터에 기초하여 상기 딥 뉴럴 네트워크 모델의 파라미터들을 업데이트하는 단계; 및
    상기 변형시키는 단계, 상기 획득하는 단계 및 상기 업데이트하는 단계를 반복적으로 수행하는 것에 의해 상기 딥 뉴럴 네트워크 모델을 학습(training)시키는 단계
    를 포함하는 학습 방법.
  11. 제10항에 있어서,
    상기 변형시키는 단계는,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 단계
    를 포함하는 학습 방법.
  12. 제10항에 있어서,
    상기 변형시키는 단계는,
    노이즈 모델을 이용하여 노이즈 값을 결정하는 단계; 및
    상기 결정된 노이즈 값을 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치에 적용하는 단계
    를 포함하는 학습 방법.
  13. 제12항에 있어서,
    상기 노이즈 값은,
    양자화된 노이즈 값인,
    데이터 처리 방법.
  14. 제7항에 있어서,
    상기 획득하는 단계는,
    노이즈를 포함하는 학습 데이터를 상기 변형된 딥 뉴럴 네트워크 모델에 입력시키는 것에 의해 상기 출력 데이터를 획득하는 단계
    를 포함하는 학습 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
  16. 데이터 처리 장치에 있어서,
    입력 데이터를 저장하는 저장 장치; 및
    복수의 레이어들을 포함하는 딥 뉴럴 네트워크 모델을 이용하여 입력 데이터를 처리하는 프로세서를 포함하고, 상기 프로세서는,
    상기 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 의해 상기 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하고,
    상기 딥 뉴럴 네트워크 모델을 변형시키고,
    상기 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하고,
    상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정하는,
    데이터 처리 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는,
    데이터 처리 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    노이즈 모델을 이용하여 노이즈 값을 결정하고, 상기 결정된 노이즈 값을 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치에 적용하는 것에 의해 상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는,
    데이터 처리 장치.
  19. 데이터 처리 장치에 있어서,
    입력 데이터를 저장하는 저장 장치; 및
    복수의 레이어들을 포함하는 딥 뉴럴 네트워크 모델을 이용하여 입력 데이터를 처리하는 프로세서를 포함하고, 상기 프로세서는,
    상기 딥 뉴럴 네트워크 모델을 변형하여 제1 변형된 딥 뉴럴 네트워크 모델을 획득하고,
    상기 제1 변형된 딥 뉴럴 네트워크 모델에 입력 데이터를 입력시키는 것에 상기 제1 변형된 딥 뉴럴 네트워크 모델의 제1 출력 데이터를 획득하고,
    상기 딥 뉴럴 네트워크 모델을 변형하여 제2 변형된 딥 뉴럴 네트워크 모델을 획득하고,
    상기 제2 변형된 딥 뉴럴 네트워크 모델에 상기 입력 데이터를 입력시키는 것에 의해 상기 제2 변형된 딥 뉴럴 네트워크 모델의 제2 출력 데이터를 획득하고,
    상기 제1 출력 데이터 및 상기 제2 출력 데이터를 조합하여 결과 데이터를 결정하는,
    데이터 처리 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 것에 의해 상기 제1 변형된 딥 뉴럴 네트워크 모델을 획득하고,
    상기 딥 뉴럴 네트워크 모델의 하나 이상의 연결 가중치를 변경하는 것에 의해 상기 제2 변형된 딥 뉴럴 네트워크 모델을 획득하고,
    상기 제1 변형된 딥 뉴럴 네트워크 모델은, 상기 제2 변형된 딥 뉴럴 네트워크 모델과 다른,
    데이터 처리 장치.
KR1020190147821A 2019-11-18 2019-11-18 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치 KR20210060146A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190147821A KR20210060146A (ko) 2019-11-18 2019-11-18 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치
US16/902,299 US11475312B2 (en) 2019-11-18 2020-06-16 Method and apparatus with deep neural network model fusing
CN202010642022.3A CN112819151A (zh) 2019-11-18 2020-07-06 用于识别图像的方法和设备以及训练方法
EP20204519.1A EP3822864A1 (en) 2019-11-18 2020-10-29 Method and apparatus with deep neural network model fusing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190147821A KR20210060146A (ko) 2019-11-18 2019-11-18 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210060146A true KR20210060146A (ko) 2021-05-26

Family

ID=73037881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147821A KR20210060146A (ko) 2019-11-18 2019-11-18 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치

Country Status (4)

Country Link
US (1) US11475312B2 (ko)
EP (1) EP3822864A1 (ko)
KR (1) KR20210060146A (ko)
CN (1) CN112819151A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018310A (ko) 2021-07-29 2023-02-07 국방과학연구소 심층신경망의 성능하락을 유발시키는 객체검출용 적대적공격 방법 및 그 시스템
WO2024034695A1 (ko) * 2022-08-08 2024-02-15 엘지전자 주식회사 무선 통신 시스템에서 송수신 신호를 생성하기 위한 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020437435B2 (en) * 2020-03-26 2023-07-20 Shenzhen Institutes Of Advanced Technology Adversarial image generation method, apparatus, device, and readable storage medium

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640264B1 (ko) 2002-03-02 2007-02-28 김용대 앙상블 모형을 이용한 데이터 마이닝 모형 구축 장치 및그 방법
US7565369B2 (en) 2004-05-28 2009-07-21 International Business Machines Corporation System and method for mining time-changing data streams
JP2009282686A (ja) 2008-05-21 2009-12-03 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
RU2666631C2 (ru) 2014-09-12 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Обучение dnn-студента посредством распределения вывода
US10540957B2 (en) 2014-12-15 2020-01-21 Baidu Usa Llc Systems and methods for speech transcription
US9805305B2 (en) 2015-08-07 2017-10-31 Yahoo Holdings, Inc. Boosted deep convolutional neural networks (CNNs)
US9892344B1 (en) * 2015-11-30 2018-02-13 A9.Com, Inc. Activation layers for deep learning networks
US20180018757A1 (en) 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
US10264009B2 (en) 2016-07-26 2019-04-16 Booz Allen Hamilton Inc. Automated machine learning scheme for software exploit prediction
US11531852B2 (en) 2016-11-28 2022-12-20 D-Wave Systems Inc. Machine learning systems and methods for training with noisy labels
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US10546237B2 (en) * 2017-03-30 2020-01-28 Atomwise Inc. Systems and methods for correcting error in a first classifier by evaluating classifier output in parallel
KR101998950B1 (ko) 2017-06-27 2019-07-10 한양대학교 산학협력단 인공 잡음에 강인한 음성 대역폭 확장을 위한 심화 신경망 앙상블
KR101916348B1 (ko) 2017-08-04 2018-11-08 주식회사 수아랩 인공 신경망의 훈련 방법
KR101828503B1 (ko) 2017-08-23 2018-03-29 주식회사 에이젠글로벌 앙상블 모델 생성 장치 및 방법
US11461628B2 (en) 2017-11-03 2022-10-04 Samsung Electronics Co., Ltd. Method for optimizing neural networks
US20190197395A1 (en) 2017-12-21 2019-06-27 Fujitsu Limited Model ensemble generation
WO2019207581A1 (en) * 2018-04-22 2019-10-31 Technion Research & Development Foundation Limited System and method for emulating quantization noise for a neural network
KR102002732B1 (ko) 2018-09-20 2019-07-23 건국대학교 산학협력단 앙상블 모델을 이용한 심층 신경망 기반 데이터 처리 방법 및 장치
US11568211B2 (en) * 2018-12-27 2023-01-31 Intel Corporation Defending neural networks by randomizing model weights
US11657162B2 (en) 2019-03-22 2023-05-23 Intel Corporation Adversarial training of neural networks using information about activation path differentials

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018310A (ko) 2021-07-29 2023-02-07 국방과학연구소 심층신경망의 성능하락을 유발시키는 객체검출용 적대적공격 방법 및 그 시스템
WO2024034695A1 (ko) * 2022-08-08 2024-02-15 엘지전자 주식회사 무선 통신 시스템에서 송수신 신호를 생성하기 위한 장치 및 방법

Also Published As

Publication number Publication date
CN112819151A (zh) 2021-05-18
US11475312B2 (en) 2022-10-18
EP3822864A1 (en) 2021-05-19
US20210150367A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
KR102563752B1 (ko) 뉴럴 네트워크를 위한 트레이닝 방법, 뉴럴 네트워크를 이용한 인식 방법 및 그 장치들
KR102483639B1 (ko) 뉴럴 네트워크 구조 확장 방법, 디멘션 리덕션 방법, 및 그 방법을 이용한 장치
KR102450374B1 (ko) 데이터 인식 및 트레이닝 장치 및 방법
KR20200045128A (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN105810193B (zh) 训练语言模型的方法和设备及识别语言的方法和设备
JP6287999B2 (ja) ニューラルネットワーク学習装置
WO2018180263A1 (ja) 情報処理装置、情報処理方法、及びコンピュータ可読記憶媒体
KR20190018278A (ko) 뉴럴 네트워크를 이용한 인식 방법 및 장치 및 상기 뉴럴 네트워크를 트레이닝하는 방법 및 장치
KR102190103B1 (ko) 인공 신경망의 상용화 서비스 제공 방법
KR20210060146A (ko) 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치
KR20180027887A (ko) 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
US20190205762A1 (en) Method for topological optimization of graph-based models
KR20200129639A (ko) 모델 학습 방법 및 장치
KR20200048032A (ko) 이미지 생성 장치 및 방법과 생성 모델을 트레이닝시키는 장치 및 방법
KR102570070B1 (ko) 일반화된 사용자 모델을 이용한 사용자 인증 방법 및 장치
KR20200076461A (ko) 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치
US20220004904A1 (en) Deepfake detection models utilizing subject-specific libraries
US20230268035A1 (en) Method and apparatus for generating chemical structure using neural network
JP2021093144A (ja) センサ特化イメージ認識装置及び方法
KR102624710B1 (ko) Gru 기반 구조물 시계열 응답 예측 방법
KR20230081214A (ko) 뉴럴 네트워크의 분산 학습을 수행하는 학습 방법 및 이를 수행하는 학습 장치
JP2022151502A (ja) プログラム、情報処理装置、及び方法
KR102168882B1 (ko) 뉴럴 네트워크 하드웨어
KR102187830B1 (ko) 뉴럴 네트워크 하드웨어