KR20190041922A - 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치 - Google Patents

액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치 Download PDF

Info

Publication number
KR20190041922A
KR20190041922A KR1020180120357A KR20180120357A KR20190041922A KR 20190041922 A KR20190041922 A KR 20190041922A KR 1020180120357 A KR1020180120357 A KR 1020180120357A KR 20180120357 A KR20180120357 A KR 20180120357A KR 20190041922 A KR20190041922 A KR 20190041922A
Authority
KR
South Korea
Prior art keywords
layer
value
activation
bias
output
Prior art date
Application number
KR1020180120357A
Other languages
English (en)
Other versions
KR102112997B1 (ko
Inventor
김용중
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20190041922A publication Critical patent/KR20190041922A/ko
Application granted granted Critical
Publication of KR102112997B1 publication Critical patent/KR102112997B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

본 발명에서는 CNN 에서 컨벌루션 연산과 액티베이션 연산을 동시에 수행하는 방법, 장치 및 이를 위한 학습 방법과 학습 장치가 개시되는 바, 이는 딥 러닝을 이용한 이미지 인식 기술 분야에 속한 것이다. CNN 구성 방법은 (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는 학습 장치에서 CNN의 파라미터를 학습하는 방법에 있어서, (a) 상기 학습 장치가, 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스를 수행하는 단계; (c) 상기 학습 장치가, (i) 상기 스케일 레이어에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어의 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스 및 (ii) 상기 각각의 요소 바이어스 레이어에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 하는 프로세스를 수행하는 단계; (d) 상기 학습 장치가, 컨캐터네이션 레이어로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스를 수행하는 단계; (e) 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 컨캐터네이트된 출력 값에 컨벌루션 연산을 수행하도록 하는 단계; 및 (f) 상기 (e) 단계의 출력을 소정의 어플리케이션 블럭에 입력하고 상기 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 상기 학습 장치가, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 한다.

Description

액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치 {METHOD AND DEVICE FOR PERFORMING ACTIVATION AND CONVOLUTION OPERATION AT THE SAME TIME, LEARNING METHOD AND LEARNING DEVICE FOR THE SAME}
본 발명은 액티베이션 연산과 컨벌루션 연산을 동시에 수행할 수 있는 연산 방법 및 연산 장치 그리고 이를 구현하기 위한 학습 방법 및 학습 장치에 관한 것이다. 보다 상세하게는, (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는, 학습 장치에서 CNN의 파라미터를 학습하는 방법에 있어서, (a) 상기 학습 장치가, 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스를 수행하는 단계; (c) 상기 학습 장치가, (i) 상기 스케일 레이어에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어의 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스 및 (ii) 상기 각각의 요소 바이어스 레이어에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 하는 프로세스를 수행하는 단계; (d) 상기 학습 장치가, 컨캐터네이션 레이어로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스를 수행하는 단계; (e) 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 컨캐터네이트된 출력 값에 컨벌루션 연산을 수행하도록 하는 단계; 및 (f) 상기 (e) 단계의 출력을 소정의 어플리케이션 블럭에 입력하고 상기 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 상기 학습 장치가, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 방법 및 장치, 그리고 이를 위한 학습 방법 및 학습 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolution Neural Networks, 딥 CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 딥 CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그리고 나서 컨벌루션 뉴럴 네트워크는 Machine Learning 분야에서 매우 유용한 툴이 되었다.
도 1은 CReLU 연산과 컨벌루션 연산을 수행할 수 있는 기존의 CNN 학습 장치의 구성을 나타낸다.
도 1을 참조하면, 기존의 CNN 학습 장치(100)는 컨볼루션 레이어(110, 130), CReLU(Concatenated Rectified Linear Unit; 120) 및 다른 CReLU(미도시)를 포함하고 있으며, 연산이 교대로 여러 번 반복되는 형태를 가지고 있다.
이때, CReLU(120)는 2개의 ReLU(Rectified Linear Unit; 122)를 포함하며 ReLU(122)에서 수행하는 연산은 아래와 같은 수식으로 수행된다.
Figure pat00001
상기 CReLU는 기존의 CNN 모델들의 컨벌루션 필터들을 학습할 때 음의 상관관계가 강한 필터들이 쌍으로 학습되는 현상에서 착안하여 아래의 수식과 같은 기존 ReLU의 포지티브 액티베이션 뿐만 아니라 네거티브 액티베이션도 추가로 만들어내는 액티베이션 스킴이다.
Figure pat00002
도 1에서와 같이 컨벌루션 연산과 CReLU(또는 ReLU) 연산이 교대로 반복되는 구조에서 CReLU는 ReLU와 비교하였을 때 컨벌루션 연산량의 증가 없이 2배 개수의 결과값을 출력하거나 또는 같은 개수의 결과값을 출력할 때 앞선 컨벌루션 연산량을 1/2로 줄일 수 있는 장점이 있다. 따라서 CReLU 도입으로 검출 속도를 유지하면서 검출 정확도를 높일 수 있거나, 검출 정확도를 유지하면서 검출 속도를 높일 수 있게 된다.
도 1에서 CReLU 유닛(120)은 하나의 스케일 레이어(121), 2개의 ReLU 레이어(122) 및 컨캐터네이션 레이어(123)을 포함한다. 스케일 레이어(121)는 이전 컨벌루션 레이어(110)에서의 값에 -1을 곱하여 출력하며, ReLU 레이어(122)중 하나는 이전 컨벌루션 레이어(110)에서 값을 입력받고 다른 하나는 스케일 레이어(121)에서 스케일링된 값을 입력받아, ReLU 연산을 수행한다. 도 1에서 ReLU 레이어(122)와 컨캐터네이션 레이어(123)는 그 순서가 바뀌어도 된다. 만일 컨캐터네이션 레이어(123) 이후에 ReLU 레이어(122)가 연결되면 ReLU 레이어는 1개만 존재한다.
도 1을 참조하면, 이전 컨벌루션 레이어(110)에서 출력값으로
Figure pat00003
(예를 들어, 이 값은 (x=0, y=0, 채널ch=0)인 위치의 화소값이 1, (x=1, y=0, 채널ch=1)인 위치의 화소값이 2, (x=0, y=1, 채널ch=1)인 위치의 화소값이 3, (x=1, y=1, 채널ch=0)인 위치의 화소값이 4이고 나머지는 모두 0인 특징 맵을 나타낸다)가 CReLU(120)에 입력되면, 스케일 레이어(121)은 각 값들에 -1을 곱하여 생성한 값인
Figure pat00004
를 두 번째 ReLU 레이어로 전달하고,
Figure pat00005
값을 직접 전달받은 첫 번째 ReLU 레이어 및 스케일 레이어(121)에서
Figure pat00006
값을 전달받은 두 번째 ReLU 레이어는 각각 포지티브 액티베이션 연산을 수행하여
Figure pat00007
와
Figure pat00008
를 생성하고 이를 컨캐터네이션 레이어(123)로 전달한다. 그러면, 컨캐터네이션 레이어(123)는 이들 값을 하나로 컨캐터네이트 하여 [
Figure pat00009
Figure pat00010
] 를 생성하고 이를 다음 이웃한 컨벌루션 레이어(130)로 전달한다. 컨벌루션 레이어(130)는 이들 값에 컨벌루션 연산을 수행한다.
한편, 도 1와 같이 CReLU 레이어의 연산과 컨벌루션 레이어의 연산을 별도로 수행하게 되면 각각의 독립적인 연산 프로세스가 수행되어 연산량이 많은 문제가 있다.
따라서 본 발명에서는 CReLU가 사용된 CNN 모델에서 컨벌루션 연산량을 줄이기 위한 새로운 방법을 제공하고자 한다.
본 발명은 CReLU 유닛이 사용된 CNN에서 컨벌루션 레이어의 연산량을 줄이는 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 컨벌루션 연산량이나 메모리의 큰 증가 없이 CNN 모델의 복잡도를 높여 검출 정확도를 높일 수 있는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 태양에 따르면, (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는, 학습 장치에서 CNN의 파라미터를 학습하는 방법에 있어서, (a) 상기 학습 장치가, 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스를 수행하는 단계; (c) 상기 학습 장치가, (i) 상기 스케일 레이어에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어의 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스 및 (ii) 상기 각각의 요소 바이어스 레이어에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 하는 프로세스를 수행하는 단계; (d) 상기 학습 장치가, 컨캐터네이션 레이어로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스를 수행하는 단계; (e) 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 컨캐터네이트된 출력 값에 컨벌루션 연산을 수행하도록 하는 단계; 및 (f) 상기 (e) 단계의 출력을 소정의 어플리케이션 블럭에 입력하고 상기 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 상기 학습 장치가, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 예로서, 상기 스케일 값은 음수인 것을 특징으로 하는 학습 방법이 제공된다.
일 예로서, 상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units)를 포함하며, 상기 요소 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 방법이 제공된다.
일 예로서, 상기 (c) 단계에서 n개의 요소 액티베이션 레이어를 사용하는 경우, 상기 (a) 단계에서 사용되는 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 방법이 제공된다.
본 발명의 다른 태양에 따르면, (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는, 학습 장치에서 CNN의 파라미터를 학습하는 방법에 있어서, (a) 상기 학습 장치가, 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스를 수행하는 단계; (c) 상기 학습 장치가, 상기 스케일 레이어 및 상기 각각의 요소 바이어스 레이어에 연결된 컨캐터네이션 레이어로 하여금 상기 스케일 레이어의 출력 값 및 상기 각각의 요소 바이어스 레이어의 출력 값을 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스를 수행하는 단계; (d) 상기 학습 장치가, 상기 컨캐터네이션 레이어에 연결된 액티베이션 레이어로 하여금 상기 컨캐터네이트된 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스를 수행하는 단계; (e) 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 액티베이션 레이어의 출력 값에 컨벌루션 연산을 수행하도록 하는 단계; 및 (f) 상기 (e) 단계의 출력을 소정의 어플리케이션 블럭에 입력하고 상기 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 상기 학습 장치가, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 예로서, 상기 스케일 값은 음수인 것을 특징으로 하는 학습 방법이 제공된다.
일 예로서, 상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units)를 포함하며, 상기 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 방법이 제공된다.
일 예로서, 상기 단일의 (a) 단계에서 사용되는 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 방법이 제공된다.
본 발명의 또 다른 태양에 따르면, (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는, CNN의 파라미터를 학습하는 장치에 있어서, 상기 입력 이미지를 수신하는 통신부; 및 (i) 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스; (ii) 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스; (iii) 상기 스케일 레이어에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어의 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스; (iv) 상기 각각의 요소 바이어스 레이어에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 하는 프로세스; (v) 컨캐터네이션 레이어로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스; 및 (vi) 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 컨캐터네이트된 출력 값에 대한 컨벌루션 연산을 수행하도록 하는 프로세스; 및 (vii) 소정의 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 프로세스;를 수행하는 프로세서를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
일 예로서, 상기 스케일 값은 음수인 것을 특징으로 하는 학습 장치가 제공된다.
일 예로서, 상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units) 를 포함하며, 상기 요소 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 장치가 제공된다.
일 예로서, 상기 프로세서에서 n개의 요소 액티베이션 레이어를 사용하는 경우, 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 장치가 제공된다.
본 발명의 또 다른 태양에 따르면, (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는, CNN의 파라미터를 학습하는 장치에 있어서, 상기 입력 이미지를 수신하는 통신부; 및 (i) 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스; (ii) 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스; (iii) 상기 스케일 레이어 및 상기 각각의 요소 바이어스 레이어에 연결된 컨캐터네이션 레이어로 하여금 상기 스케일 레이어의 출력 값 및 상기 각각의 요소 바이어스 레이어의 출력 값을 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스; (iv) 상기 컨캐터네이션 레이어에 연결된 액티베이션 레이어로 하여금 상기 컨캐터네이트된 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스; (v) 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 액티베이션 레이어의 출력 값에 컨벌루션 연산을 수행하도록 하는 프로세스; 및 (vi) 소정의 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 프로세스; 수행하는 프로세서를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
일 예로서, 상기 스케일 값은 음수인 것을 특징으로 하는 학습 장치가 제공된다.
일 예로서, 상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units)를 포함하며, 상기 요소 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 장치가 제공된다.
일 예로서, 상기 프로세서에서 사용되는 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 장치가 제공된다.
본 발명에 따르면, 보다 적은 연산량을 요구하는 새로운 연산 유닛을 통해, CReLU 연산과 컨벌루션 연산을 동시에 수행하도록 할 수 있다.
또한 본 발명에 따르면, N-way CreLU 를 구현함으로써, 컨벌루션 레이어에서의 연산량을 줄이면서, 다른 레이어에서의 연산량이나 메모리의 큰 증가 없이 검출 정확도를 높일 수 있는 효과가 있다.
도 1은 CReLU 연산과 컨벌루션 연산을 수행할 수 있는 기존의 CNN 학습 장치의 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 CReLU 연산과 컨벌루션 연산을 통합하기 위한 CNN 학습 장치의 연산 방법을 나타낸다.
도 3a 및 도 3b는 도 2의 예시적인 연산 과정을 나타낸다.
도 4a 및 도 4b는 CReLU_Conv 연산의 예를 나타내며, 도 4c는 NCReLU_Conv 연산의 예를 나타내며, 여기서 N은 3이다.
도 5는 본 발명의 다른 실시예 따른 CNN의 NCReLU_Conv 연산 방법을 나타낸다.
도 6a 및 도 6b는 도 5의 예시적인 연산 과정을 나타낸다.
도 7은 본 발명의 또 다른 실시예에 따라 도 6의 NCReLU_Conv 연산을 구현하기 위한 CNN 학습 장치를 나타낸다.
도 8은 도 7의 예시적인 연산 과정을 나타낸다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 CReLU 연산과 컨벌루션 연산을 통합하기 위한 CNN 학습 장치의 연산 방법을 나타낸다.
도 2를 참조하면, 본 발명에 따른 CReLU 연산과 컨벌루션 연산을 통합하기 위한 CNN 연산 장치(200)는 비교기(201), 선택기(202) 및 곱셈기(203)를 포함한다. 본 발명에 따른 CNN 연산 장치(200)는 소정의 입력(예를 들어 이전 컨볼루션 레이어(미도시)에서 전달받은 특징 맵)을 수신하기 위한 통신부(미도시)와 상기 비교기(201), 선택기(202) 및 곱셈기(203)에서 수행하는 프로세스를 수행하는 프로세서(미도시)로 구성될 수 있다. 즉, 상기 비교기(201), 선택기(202) 및 곱셈기(203)의 기능은 CNN 연산 장치(200) 내의 프로세서(미도시)에서 수행되는 각 프로세스로 구현될 수 있다.
다시 도 1을 참조하면, 도 1의 CReLU(120)의 연산은 하나의 입력에 대하여 두 개의 출력을 만들어 내는데 아래와 같은 수식으로 표현될 수 있다.
Figure pat00011
위의 수학식 3에서와 같이 CReLU는 입력 값의 범위에 따라 첫 번째 또는 두 번째 출력값만 0 이 아닌 값을 갖게 한다.
만일 CNN의 컨벌루션 레이어(130)가 컨벌루션 필터의 요소 파라미터 값으로
Figure pat00012
를 갖는다면, CNN 에서 CReLU(120)의 연산 결과를 입력으로 컨벌루션 레이어(130)에 의한 연산을 하는 것은 아래와 같은 수식으로 간략하게 표현될 수 있다.
Figure pat00013
위 수학식 4와 같이 CReLU 연산과 컨벌루션 연산을 합쳐서 생각하면 CReLU의 입력값의 범위에 따라 컨벌루션 레이어의 파라미터 값을 정하는 형태로 바꿔서 다음과 같은 수학식으로 표현할 수 있다.
Figure pat00014
여기서 CReLU_Conv 는 CReLU 유닛의 출력에 컨벌루션 필터를 적용한 연산 결과를 나타내며, x는 입력 값, 상기 w1, w2는 컨벌루션 레이어의 파라미터, a, b는 상기 w1, w2를 획득하기 위한 학습된 컨벌루션 레이어의 요소 파라미터이다.
도 2는 상기 수학식 5를 구현하기 위한 CNN 연산 장치(200)의 연산 방법을 나타내는 것이다.
종래 기술에 따라 CReLU 연산 다음에 컨벌루션 연산을 적용하면, CReLU의 출력값에 0을 곱하는 연산과 같은 불필요한 연산이 많이 생길 수 밖에 없다. 그러나 본 발명에 따른 CNN 연산 장치(200)를 이용한 CNN 연산 구성 방법은 CReLU에서의 연산과 컨벌루션 연산을 하나로 합치고, CReLU의 입력 값(x)의 범위에 따라 컨벌루션 레이어의 파라미터 값(w1, w2)을 선택하여 곱하는 형태의 효율적인 연산 과정을 이용한다.
구체적으로 도 2를 참조하면, 본 발명에 따른 CNN 연산 장치(200)가 테스트 이미지로서의 입력 이미지를 입력 받으면, 연산 장치(200) 내의 비교기(201)에서 입력된 이미지의 각 화소 값에 대응하는 입력 값(x)을 소정의 기준 값과 비교하여 그 비교 결과에 대한 비교 결과 값을 출력한다. 상기 입력 이미지는 CNN 장치에 입력되는 테스트 이미지뿐만 아니라 이전 CNN 연산 장치, 이전 컨벌루션 레이어 또는 이전 액티베이션 레이어 등에서 출력되어 입력된 이미지 또는 특징 맵 등 중 적어도 일부를 포함하는 개념이다. 그리고 상기 소정의 기준 값은 0일 수 있으나 이에 한정되는 것은 아니다.
또한, 상기 선택기(202)는 상기 비교 결과를 참조하여 상기 파라미터들(w1, w2) 중에서 선택된 특정 파라미터를 출력하여 곱셈기(203)로 전달한다.
그리고, 상기 곱셈기(203)는 상기 입력 값(x)과 상기 선택된 특정 파라미터를 곱하여, 곱한 값을 구하고 출력한다.
예를 들어, 상기 수학식 5와 같이, 입력 값(x)이 0보다 작으면 상기 연산 장치(200)는 상기 입력 값에 컨벌루션 레이어의 제2 요소 파라미터(b)의 음수 값인 제1 파라미터(w1)를 곱하여 출력하고, 입력 값(x)이 0보다 크거나 같으면 상기 연산 장치(200)는 컨벌루션 레이어의 제1 요소 파라미터(a) 값인 제2 파라미터(w2)를 곱하여 출력한다.
도 3a 및 도 3b는 도 2의 예시적인 연산 과정을 나타낸다.
도 3a를 참조하면, 입력 값(x)이 3인 경우, 상기 비교기(201)에서는 3이 소정의 기준 값인 0보다 크다는 비교 결과 값으로 2를 출력하고, 상기 선택기(202)에서는 2개의 필터 파라미터(w1=0.2, w2=0.8) 중에서 비교 결과 값인 2에 대응하는 w2 (0.8)을 곱셈기(203)로 출력한다. 그러면, 상기 곱셈기(203)는 입력 값(x)에 w2 (0.8)을 곱한 값인 0.24를 생성한후 이를 출력한다.
도 3b를 참조하면, 입력 값(x)이 -1인 경우, 상기 비교기(201)에서는 -1이 소정의 기준 값인 0보다 작다는 비교 결과 값으로 1를 출력하고, 상기 선택기(202)에서는 2개의 필터 파라미터(w1=0.2, w2=0.8) 중에서 비교 결과 값인 1에 대응하는 w1 (0.2)을 곱셈기(203)로 출력한다. 그러면, 상기 곱셈기(203)는 입력 값(x)에 w1 (0.2)을 곱한 값인 -0.2를 생성한후 이를 출력한다.
도 4a 및 도 4b는 CReLU_Conv 연산의 예를 나타내며, 도 4c는 NCReLU_Conv 연산의 예를 나타내며, 여기서 N은 3이다.
도 4a 및 도 4b는 도 2, 도 3a, 및 도 3b를 통해 설명한 CReLU_Conv (CReLU 연산과 컨벌루션 연산의 통합 연산)의 입력(x)과 출력(y= CReLU_Conv(x))의 관계를 나타내는 그래프이다. 상기 도 4a 및 도 4b의 그래프의 모양은 w1 및 w2의 값의 부호에 따라 다를 수 있다.
한편, 도 4c는 리니어 세그멘트 개수를 3개로 확장하고, 상기 그래프가 (0, 0)을 반드시 지나야 하는 제한 조건을 제거한 그래프이다.
도 4c에 도시된 바와 같이, 리니어 세그멘트 개수는 2개에서 n개로 확장할 수 있고, 비교 값(이하 구간 구분 기준 값)도 확장될 수 있을 것이다. 여기서, 각각의 구간은 입력 값과 비교되는 각각의 범위에 대한 정보를 포함할 수 있다. 상기 연산 장치의 상기 비교기는 상기 입력 값이 어느 구간에 속하는지에 대한 정보를 참조로 하여 결정된 비교 결과를 출력할 수 있다.
상기 리니어 세그멘트 개수는 도 4a 및 4b와 같이 2개에서 도 4c와 같이 n개(n=>3, 가령, 3)까지 증가될 수 있으며, 상기 비교 값은 도 4a 및 4b와 같이 1부터 도 4c와 같이 n-1(가령, 2)까지 증가될 수 있다. 이렇게 되면, piecewise linear continuous function 형태의 NCReLU_Conv 연산기를 구현할 수 있게 된다.
이와 같은 NCReLU_Conv 연산기는 아래와 같은 수학식으로 정의될 수 있다.
Figure pat00015
Figure pat00016
여기서, NCReLU_Conv는 N개의 액티베이션 유닛(이하 N-way CReLU(N-way Concatenated Rectified Linear Units) 또는 NCReLU 라 한다)으로 구성되는 CReLU의 출력에 컨벌루션 레이어를 적용한 연산 결과를 나타내며, x는 입력 값, wi는 컨볼루션 레이어의 통합 웨이트 파라미터, bi은 컨볼루션 레이어의 수정 바이어스 파라미터, vi 은 각각의 구간 구분 기준 값이다.
한편, 상기 수학식 6에서 bi+1에 대한 조건식은 NCReLU_Conv가 연속 함수(Continuous Function)이 되기 위해 필요하며, b1을 제외한 바이어스 값들은 주어진 b1, wi, vi 값들에 의해 결정된다.
도 5는 본 발명의 다른 실시예에 따른 CNN의 NCReLU_Conv 연산 방법을 나타낸다.
도 5에 도시된 본 발명의 일 실시예에 따른 NCReLU_Conv 연산을 수행하는 CNN 연산 장치(500)는, 도 2에 도시된 상기 연산 장치(200)의 개선된 버전이다. 상기 연산 장치(200)는 2개의 비교 구간을 사용하지만, 상기 연산 장치(500)는 piecewise linear continuous function 을 적용하여 비교 구간을 2개에서 n 개로 확장한 장치이다.
도 5를 참조하면, 본 발명에 다른 CNN 연산 장치(500)는 NCReLU 연산과 컨벌루션 연산을 동시에 수행할 수 있으며, 비교기(501), 제1 선택기(502), 제2 선택기(503), 곱셈기(504) 및 덧셈기(505)를 포함한다.
본 발명에 따른 CNN 연산 장치(500)는 입력 값(예를 들어 이전 연산부에서 전달받은 특징 맵)을 수신하고 연산된 값을 출력하기 위한 통신부(미도시)와 상기 비교기(501), 제1 선택기(502), 제2 선택기(503), 곱셈기(504) 및 덧셈기(505)에서 수행하는 프로세스를 수행하는 프로세서로 구성될 수 있다. 즉, 상기 비교기(501), 제1 선택기(502), 제2 선택기(503), 곱셈기(504) 및 덧셈기(505)의 기능은 CNN 연산 장치(500) 내의 프로세서(미도시)에서 수행되는 각 프로세스로 구현될 수 있다.
구체적으로, 도 5를 참조하여, CNN 연산 장치(500)가 테스트 이미지로서의 입력 이미지를 입력 받으면, 비교기(501)는 입력된 이미지의 각 화소 값에 대응하는 입력 값(x)을 소정의 기준 구간 구분 값과 비교하여 그 비교 결과에 대한 비교 결과 값을 출력한다. 즉, 입력 값(x)이 상기 소정의 구간 구분 기준 값들 중 어느 값들 사이의 구간에 해당하는 지에 대한 비교 결과 값을 출력한다.
예를 들어, 도 4c에 도시된 예에서는 x 값이 v1보다 작으면 비교 결과 값으로 1을, x 값이 v1과 v2 사이이면 비교 결과 값으로 2를, x 값이 v2보다 크면 비교 결과 값으로 3을 출력한다. 여기서, 입력 이미지는 입력된 이미지 자체뿐만 아니라, 이전의 컨볼루션 레이어로부터 수신한 특징 맵 중 적어도 하나를 포함하는 개념일 수 있다.
상기 제1 선택기(502)는 비교 결과를 참조로 하여, 컨벌루션 레이어의 다수의 통합 웨이터 파라미터(w1, …, wn)들 중에서 선택된 특정 통합 웨이트 파라미터를 출력하고, 상기 제2 선택기(503)는 비교 결과를 참조로 하여, 컨벌루션 레이어의 다수의 수정 바이어스 파라미터(b1, …, bn)들 중에서 선택된 특정 수정 바이어스 파라미터를 출력한다. 한편, CNN 연산 장치(500)의 프로세서는 제1 선택기(502)의 프로세스와 제2 선택기(503)의 프로세스를 동시에 수행할 수도 있다.
상기 곱셈기(504)는 제1 선택기(502)에서 선택된 특정 통합 웨이트 파라미터를 입력 값(x)와 곱하여 출력하며, 덧셈기(505)는 곱셈기(504)의 출력에 제2 선택기(503)에서 선택된 특정 수정 바이어스 파라미터를 더하여 출력한다. 즉, 이렇게 출력된 값은 NCReLU 유닛의 출력에 컨벌루션 레이어의 연산을 적용하여 얻은 결과 값으로 간주 될 수 있다.
한편, 수학식 6에서의 통합 웨이트 파라미터 (wi), 수정 바이어스 파라미터 (bi), 구간 구분 기준 값 (vi)은 다음의 수학식 7에서 산출된다.
Figure pat00017
Figure pat00018
Figure pat00019
Figure pat00020
여기서 qi(q1 내지 qn-1)는 각 바이어스 레이어의 각각의 요소 바이어스 파라미터이며, pi(p1 내지 pn)은 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터이며, d는 상기 컨벌루션 레이어의 요소 바이어스 파라미터이고, rank (qi)은 {q1,…..qn-1} 안에서 qi가 몇 번째로 큰 수인지를 나타내며, rank- 1(i)는 {q1,…, qn - 1}들 안에서 i 번째 큰 수의 인덱스(Index)를 나타낸다.
도 5에 도시된 N-way CReLU_Conv (NCReLU_Conv) 연산 장치는 모든 가능한 n개의 세그멘트로 구성된 piecewise linear continuous function을 표현할 수 있다. 또한, 모든 충분히 부드러운 함수들은 x의 특정 범위 내에서 piecewise linear continuous function으로 근사가 가능하므로 N-way CReLU_Conv 연산 장치가 그러한 함수들을 학습해 낼 수 있기 때문이다.
이에 비해, 도 1과 같이 기존의 바이어스가 없는 CReLU 유닛은 2개의 세그멘트로만 구성되며, "f(x)=0 when x=0" 조건을 만족하는 piecewise linear continuous function 만 표현할 수 있는 단점이 있다. 이는 도 2에 도시된 2개의 세그멘트로 구성되는 CReLU_Conv 연산 장치에서도 마찬가지이다.
도 5의 NCReLU_Conv 연산 장치(500)에서 NCReLU_Conv의 n이 2인 경우에는 아래와 같이 표현할 수 있고, 이는 도 2의 CReLU_Conv 연산 장치의 연산 내용과 동일해진다.
Figure pat00021
도 6a 및 도 6b는 도 5의 예시적인 연산 과정을 나타낸다.
도 6a를 참조하면, 입력 값(x)이 -1.5 인 경우, 비교기(501)에서는 2개의 구간 구분 값(v1, v2)과 입력 값(x)를 비교하고, 입력 값(x=-1.5)이 제1 구간 구분 값(v1)인 -1 보다 작기 때문에, 비교 결과 값으로 1을 출력하여 제1 선택기(502)와 제2 선택기(503)으로 전달한다. 상기 제1 선택기(502)에서는 3개의 통합 웨이트 파라미터(w1, w2, w3)들 중에서 비교 결과 값(1)에 대응되는 특정 통합 웨이트 파라미터(w1) 값인 -1을 선택하여 곱셈기(504)로 전달하고, 상기 제2 선택기(503)에서는 3개의 수정 바이어스 파라미터(b1, b2, b3)들 중에서 비교 결과 값(1)에 대응되는 특정 수정 바이어스 파라미터(b1) 값인 -1을 선택하여 덧셈기(505)로 전달한다. 그러면 곱셈기(504)는 입력 값(x=-1.5)에 제1 선택기(502)의 출력인 선택된 특정 통합 웨이터 파라미터(w1=-1)을 곱한 1.5를 생성하여 이를 덧셈기(505)로 전달하고, 덧셈기(505)는 곱셈기(504)의 출력 값(1.5)에 제2 선택기(503)의 출력인 선택된 특정 수정 바이어스 파라미터(b1=-1)를 더한 값인 0.5를 생성한후 이를 출력한다.
도 6b를 참조하면, 입력 값(x)이 0.5 인 경우, 비교기(501)에서는 2개의 구간 구분 값(v1, v2)과 입력 값(x)를 비교하고, 입력 값(x=0.5)이 제1 구간 구분 값(v1)인 -1과 제2 구간 구분 값(v2)인 1 사이 이기 때문에 비교 결과 값으로 2를 출력하여 제1 선택기(502)와 제2 선택기(503)으로 전달한다. 상기 제1 선택기(502)에서는 3개의 통합 웨이트 파라미터(w1, w2, w3)들 중에서 비교 결과 값(2)에 대응되는 특정 통합 웨이트 파라미터(w2) 값인 0.5 선택하여 곱셈기(504)로 전달하고, 상기 제2 선택기(503)에서는 3개의 수정 바이어스 파라미터(b1, b2, b3)들 중에서 비교 결과 값(2)에 대응되는 특정 수정 바이어스 파라미터(b2) 값인 0.5을 선택하여 덧셈기(505)로 전달한다. 그러면 곱셈기(504)는 입력 값(x=0.5)에 제1 선택기(502)의 출력인 선택된 특정 통합 웨이터 파라미터(w2=0.5)을 곱한 0.25를 생성하여 이를 덧셈기(505)로 전달하고, 덧셈기(505)는 곱셈기(504)의 출력 값(0.25)에 제2 선택기(503)의 출력인 선택된 특정 수정 바이어스 파라미터(b2=0.5)를 더한 값인 0.75를 생성한후 이를 출력한다.
한편, 수학식 6에서의 통합 웨이트 파라미터(wi), 수정 바이어스 파라미터(bi) 및 구간 구분 기준 값(vi)을 구하기 위해서는 수학식 7을 이용해야 하고, 수학식 7을 이용하기 위해서는 각 바이어스 레이어의 요소 바이어스 파라미터(qi(i=1 내지 n-1)), 각 컨벌루션 레이어의 요소 웨이트 파라미터(pi(i=1 내지 n)) 및 컨벌루션 레이어의 요소 바이어스 파라미터(d)를 학습 장치를 통해 구해야 한다.
도 7은 본 발명의 또 다른 실시예에 따라 도 6의 NCReLU_Conv 연산을 구현하기 위한 CNN 학습 장치를 나타낸다.
본 발명에 따른 CNN 학습 장치(700)는 도 1에 도시된 하나의 액티베이션 모듈 당 하나의 CReLU를 이용하는 CNN 학습 장치(100)와 달리, 하나의 액티베이션 모듈에서 NCReLU를 이용하고, 상기 NCReLU(N-way CReLU)에서는 n-1 개의 바이어스 레이어를 가지며, n이 증가할수록 바이어스 레이어와 요소 액티베이션 레이어(ReLU)의 쌍이 늘어난다. 한편, 아래에서 설명하겠지만, 요소 액티베이션 레이어와 컨캐터네이션 레이어의 순서가 바뀌면 바이어스 레이어의 수만 들어나고 요소 액티베이션 레이어는 1개만 있어도 된다.
도 7을 참조하면, CNN 학습 장치(700)는 컨벌루션 레이어(710, 730), NCReLU(720) 및 다른 NCReLU(미도시)와 같은 많은 NCReLU가 번갈아 배치되는 구성을 갖는다.
상기 액티베이션 모듈(NCReLU; 720)은 n-1 개의 바이어스 레이어(721)를 포함하며, 각각의 바이어스 레이어는 각각의 요소 바이어스 파라미터 (q1 내지 qn-1)를 갖는다. 바람직하게는, 제1 바이어스 레이어의 요소 바이어스 파라미터(q1)을 제외한 제2 내지 제n-1 바이어스 레이어의 요소 바이어스 파라미터(q2, …, qn -1) 들의 순서는 q2>>qn -1로 설정할 수 있다.
또한, 액티베이션 모듈(720)은 하나의 스케일 레이어(722)를 포함하고, n 개의 요소 액티베이션 레이어(723)를 포함한다. 일 실시예에서 상기 요소 액티베이션 레이어는 ReLU 레이어이다. 상기 스케일 레이어(722)는 n-1개의 바이어스 레이어(721) 중에서 특정 바이어스 레이어(예를 들어 제1 바이어스 레이어)와 연결되어, 상기 특정 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하는 프로세스를 수행하고, 상기 특정 요소 액티베이션 레이어(특정 ReLU 레이어)로 전송하는 과정을 수행한다.
그리고, 학습장치는, (i) 상기 스케일 레이어(722)에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어(722)의 출력 값에 비선형 액티베이션 함수를 적용하도록 하고, (ii) 상기 각각의 요소 바이어스 레이어(721)에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 한다. 상기 비선형 액티베이션 함수는 ReLU 연산이며, 상기 스케일 레이어의 스케일 값은 -1일 수 있으나 이에 한정되는 것은 아니다.
그리고, 학습장치는, 컨캐터네이션 레이어(724)로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 과정을 수행한다.
다른 예로서, 상기 요소 액티베이션 레이어(723)과 컨캐터네이션 레이어(724)의 순서는 바뀌어도 상관없다. 만일 요소 액티베이션 레이어(723)가 컨캐터네이션 레이어(722) 뒤에 온다면, 요소 액티베이션 레이어(723)는 n 개가 아닌 1개만 있어도 된다.
다시 도 7을 참조하면, 액티베이션 모듈(720)의 출력(즉, 컨캐터네이션 레이어(724)의 출력)이 다음 컨벌루션 레이어(730)로 전달되면, 학습장치는, 다음 컨볼루션 레이어(730)의 각각의 요소 웨이트 파라미터(pi) 및 각각의 요소 바이어스 파라미터(d)를 사용하여 컨캐터네이트된 출력 값에 컨벌루션 연산을 적용하도록 한다.
그리고, 다수의 반복된 컨벌루션 레이어(710, 730), 다수의 NCReLU(720) 및 다른 NCReLU(미도시)는 교대로 배치되고, 획득된 출력은 어플리케이션 블럭(740)을 통해 원하는 결과 값(들어 라벨 이미지 등)을 산출하고, 산출된 결과 값과 이에 대응되는 GT 값 사이를 비교하여 로스를 로스 레이어(750)에서 획득하며, 산출된 로스를 이용하여 백프로포게이션을 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조절한다.
도 7과 같은 N-way CreLU를 갖는 CNN 학습 장치(700)을 통해 CNN 학습이 완료되면, (i) 상기 n-1개의 바이어스 레이어들이 학습한 바이어스 값들 q1, …, qn -1과 (ii) 상기 컨벌루션 레이어(730)의 요소 웨이트 파라미터들 p1, …, pn과 (iii) 요소 바이어스 파라미터 d가 획득된다. 그리고 상술한 바와 같이 이 값들을 수학식 6 및 수학식 7을 통해 NCReLU_Conv 연산 장치에서 이용된다.
한편, 도 7의 CNN 학습 장치(700)는 이전 레이어나 유닛에서 생성한 값을 수신하고, 해당 유닛에서 생성한 값을 전달하기 위한 통신부(미도시)와 각 유닛과 레이어에서 수행하는 연산 프로세스를 수행하는 프로세서(미도시)로 구성될 수 있다.
도 7의 CNN 학습 장치에서 각 파라미터에 대한 학습이 완료되면 로스 레이어(750)를 제거하고, 로스 레이어(750)가 없는 테스트 장치(미도시)에 의해 테스트 과정을 수행하게 된다. 즉, 테스트 이미지는 컨볼루션 레이어(710, 730), NCReLU(720) 및 다른 NCReLU(미도시)를 교대로 배치한 후, 다수의 컨볼루션 레이어 및 다수의 NCReLU를 통과하여 획득된 출력이 어플리케이션 블록(740)에 입력되도록 하고, 어플리케이션 블럭(740)으로부터 출력된 결과 값이 획득될 수 있다. 예를 들어, 어플리케이션 블럭(740)은 CNN 모델의 용도에 따라 가령 객체 감지 블록일 수도 있으며, 시멘틱 세그멘테이션 블럭 등이 될 수 있으나 이에 한정되는 것은 아니다.
도 8은 도 7의 예시적인 연산 과정을 나타낸다.
도 8을 참조하면, 도 7의 학습 장치(700)에서 구한 컨벌루션 레이어의 요소 웨이트 파라미터들(p1, …, pn)과 요소 바이어스 파라미터(d), 바이어스 레이어의 요소 바이어스 파라미터(q1, …, qn - 1)를 수학식 6 대신 도 7의 학습 장치(700)와 동일한 CNN 모델을 이용하여 입력 값을 연산한 예를 나타낸다.
도 6b에서와 같이, 입력 값(x)으로 0.5가 이전 컨벌루션 레이어(710)에서 액티베이션 모듈(720)로 전달되면, 액티베이션 모듈(720)의 제1 바이어스 레이어는 제1 바이어스 파라미터(q1= -1)을 적용하여 -0.5를 스케일 레이어와 제2 ReLU 레이어로 전달하고, 제2 바이어스 레이어는 제2 바이어스 파라미터(q2=1)를 적용하여 1.5를 제3 ReLU 레이어로 전달한다.
한편, 스케일 레이어(72)는 -0.5 값을 전달받아 -1을 곱해 생성한 0.5를 제1 ReLU 레이어로 전달한다. 결과적으로, 제1 내지 제3 ReLU 레이어는 각각 0.5, -0.5, 1.5를 입력받아 ReLU 연산하여 각각 0.5, 0, 1.5를 생성하여 출력한다. 그리고 상기 컨캐터네이션 레이어(724)는 상기 제1 내지 제3 ReLU 레이어들의 출력을 컨캐터네이션하고, 컨캐터네이트된 값을 뒤에 오는 컨벌루션 레이어로 전달한다.
상기 컨벌루션 레이어는 입력된 값에 요소 웨이트 파라미터(1, -0.5, 1.5)와 요소 바이어스 파라미터(-2)를 이용하여, 출력 값(y=0.5*1 + 0*(-0.5) + 1.5*1.5 +(-2))으로 0.75를 생성하여 출력한다. 이와 같이 도 7의 학습 장치 또는 상기 학습 장치와 유사한 형태를 갖는 CNN 모델을 통해, 상기 CNN 모델의 컨벌루션 레이어(730)에서 출력한 값인 0.75는 도 6b의 연산 장치를 통한 생성 값과 동일함을 확인할 수 있다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 입력 이미지, 학습 이미지, 테스트 이미지와 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 에러 값 연산 과정이 주로 학습 장치, 연산 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는 학습 장치에서 CNN의 파라미터를 학습하는 방법에 있어서,
    (a) 상기 학습 장치가, 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스를 수행하는 단계;
    (b) 상기 학습 장치가, 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스를 수행하는 단계;
    (c) 상기 학습 장치가, (i) 상기 스케일 레이어에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어의 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스 및 (ii) 상기 각각의 요소 바이어스 레이어에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 하는 프로세스를 수행하는 단계;
    (d) 상기 학습 장치가, 컨캐터네이션 레이어로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스를 수행하는 단계;
    (e) 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 컨캐터네이트된 출력 값에 컨벌루션 연산을 수행하도록 하는 단계; 및
    (f) 상기 (e) 단계의 출력을 소정의 어플리케이션 블럭에 입력하고 상기 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 상기 학습 장치가, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 스케일 값은 음수인 것을 특징으로 하는 학습 방법.
  3. 제 1 항에 있어서,
    상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units)를 포함하며,
    상기 요소 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 방법.
  4. 제 1 항에 있어서,
    상기 (c) 단계에서 n개의 요소 액티베이션 레이어를 사용하는 경우, 상기 (a) 단계에서 사용되는 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 방법.
  5. (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는 학습 장치에서 CNN의 파라미터를 학습하는 방법에 있어서,
    (a) 상기 학습 장치가, 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스를 수행하는 단계;
    (b) 상기 학습 장치가, 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스를 수행하는 단계;
    (c) 상기 학습 장치가, 상기 스케일 레이어 및 상기 각각의 요소 바이어스 레이어에 연결된 컨캐터네이션 레이어로 하여금 상기 스케일 레이어의 출력 값 및 상기 각각의 요소 바이어스 레이어의 출력 값을 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스를 수행하는 단계;
    (d) 상기 학습 장치가, 상기 컨캐터네이션 레이어에 연결된 액티베이션 레이어로 하여금 상기 컨캐터네이트된 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스를 수행하는 단계;
    (e) 상기 학습 장치가, 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 액티베이션 레이어의 출력 값에 컨벌루션 연산을 수행하도록 하는 단계; 및
    (f) 상기 (e) 단계의 출력을 소정의 어플리케이션 블럭에 입력하고 상기 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 상기 학습 장치가, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서,
    상기 스케일 값은 음수인 것을 특징으로 하는 학습 방법.
  7. 제 5 항에 있어서,
    상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units)를 포함하며,
    상기 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 방법.
  8. 제 5 항에 있어서,
    상기 단일의 (a) 단계에서 사용되는 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 방법.
  9. (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는 CNN의 파라미터를 학습하는 장치에 있어서,
    상기 입력 이미지를 수신하는 통신부; 및
    (i) 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스; (ii) 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스; (iii) 상기 스케일 레이어에 연결된 특정 요소 액티베이션 레이어로 하여금 상기 스케일 레이어의 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스; (iv) 상기 각각의 요소 바이어스 레이어에 연결된 나머지 요소 액티베이션 레이어로 하여금 상기 각각의 요소 바이어스 레이어들의 출력 값들에 각각의 비선형 함수를 적용하도록 하는 프로세스; (v) 컨캐터네이션 레이어로 하여금 상기 특정 요소 액티베이션 레이어 및 상기 나머지 요소 액티베이션 레이어들의 출력 값들을 하나로 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스; 및 (vi) 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 컨캐터네이트된 출력 값에 대한 컨벌루션 연산을 수행하도록 하는 프로세스; 및 (vii) 소정의 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 프로세스;를 수행하는 프로세서를 포함하는 것을 특징으로 하는 학습 장치.
  10. 제 9 항에 있어서,
    상기 스케일 값은 음수인 것을 특징으로 하는 학습 장치.
  11. 제 9 항에 있어서,
    상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units) 를 포함하며,
    상기 요소 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 장치.
  12. 제 9 항에 있어서,
    상기 프로세서에서 n개의 요소 액티베이션 레이어를 사용하는 경우, 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 장치.
  13. (i) 다수의 요소 바이어스 레이어, 스케일 레이어 및 다수의 요소 액티베이션 레이어를 포함하는 액티베이션 모듈의 액티베이션 연산과 (ii) 컨벌루션 레이어의 컨벌루션 연산을 수행하는 CNN의 파라미터를 학습하는 장치에 있어서,
    상기 입력 이미지를 수신하는 통신부; 및
    (i) 입력 이미지에 대응되는 입력 값이 각각의 다수의 요소 바이어스 레이어에 각각 전달되도록 하고, 상기 각각의 다수의 요소 바이어스 레이어들로 하여금 각각의 대응하는 요소 바이어스 파라미터(qi)를 상기 입력 값에 적용하도록 하는 프로세스; (ii) 상기 다수의 요소 바이어스 레이어들 중 특정 요소 바이어스 레이어에 연결된 상기 스케일 레이어로 하여금 상기 특정 요소 바이어스 레이어의 출력 값에 소정의 스케일 값을 곱하도록 하는 프로세스; (iii) 상기 스케일 레이어 및 상기 각각의 요소 바이어스 레이어에 연결된 컨캐터네이션 레이어로 하여금 상기 스케일 레이어의 출력 값 및 상기 각각의 요소 바이어스 레이어의 출력 값을 컨캐터네이트하도록 하고, 상기 컨캐터네이트된 출력 값을 획득하도록 하는 프로세스; (iv) 상기 컨캐터네이션 레이어에 연결된 액티베이션 레이어로 하여금 상기 컨캐터네이트된 출력 값에 비선형 액티베이션 함수를 적용하도록 하는 프로세스; (v) 상기 컨벌루션 레이어로 하여금 상기 컨벌루션 레이어의 각각의 요소 웨이트 파라미터(pi) 및 상기 컨벌루션 레이어의 각각의 요소 바이어스 파라미터(d)를 이용하여, 상기 액티베이션 레이어의 출력 값에 컨벌루션 연산을 수행하도록 하는 프로세스; 및 (vi) 소정의 어플리케이션 블럭에 의해 소정의 결과값이 출력되면, 로스 레이어로 하여금 상기 어플리케이션 블록으로부터 출력된 결과값 및 상기 결과값에 대응되는 GT 값 사이를 참조하여 계산된 로스를 획득하도록 하고, 백프로포게이션 프로세스를 수행하여, 상기 각각의 요소 바이어스 레이어의 각각의 요소 바이어스 파라미터(qi), 상기 요소 웨이트 파라미터(pi) 및 상기 요소 바이어스 파라미터(d) 중 적어도 일부의 파라미터를 조정하는 프로세스; 수행하는 프로세서를 포함하는 것을 특징으로 하는 학습 장치.
  14. 제 13 항에 있어서,
    상기 스케일 값은 음수인 것을 특징으로 하는 학습 장치.
  15. 제 13 항에 있어서,
    상기 액티베이션 모듈은 N-way CReLU(N-way Concatenated Rectified Linear Units)를 포함하며,
    상기 요소 액티베이션 레이어는 ReLU(Rectified Linear Units) 레이어인 것을 특징으로 하는 학습 장치.
  16. 제 13 항에 있어서,
    상기 프로세서에서 사용되는 상기 요소 바이어스 레이어의 개수는 n-1 개인 것을 특징으로 하는 학습 장치.
KR1020180120357A 2017-10-13 2018-10-10 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치 KR102112997B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/783,367 US10049323B1 (en) 2017-10-13 2017-10-13 Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
US15/783,367 2017-10-13

Publications (2)

Publication Number Publication Date
KR20190041922A true KR20190041922A (ko) 2019-04-23
KR102112997B1 KR102112997B1 (ko) 2020-06-02

Family

ID=63078872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120357A KR102112997B1 (ko) 2017-10-13 2018-10-10 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치

Country Status (5)

Country Link
US (1) US10049323B1 (ko)
EP (1) EP3471025A1 (ko)
JP (1) JP6676722B2 (ko)
KR (1) KR102112997B1 (ko)
CN (1) CN109670575B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093654A1 (en) * 2018-11-06 2020-05-14 Genesys Logic, Inc. Multichip system and data processing method adapted to the same for implementing neural network application
US10467500B1 (en) 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
WO2020176064A1 (en) 2018-12-31 2020-09-03 Didi Research America, Llc Method and system of annotation densification for semantic segmentation
US11461653B2 (en) * 2019-01-23 2022-10-04 StradVision, Inc. Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US11615303B2 (en) * 2019-02-25 2023-03-28 Samsung Electronics Co., Ltd. Electronic device for classifying classes, electronic device for providing classification model for classifying classes, and method for operating the same
KR20210017185A (ko) 2019-08-07 2021-02-17 한국전자통신연구원 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치
CN110689081B (zh) * 2019-09-30 2020-08-21 中国科学院大学 一种基于分歧学习的弱监督目标分类和定位方法
US20210150306A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Phase selective convolution with dynamic weight selection
US11449758B2 (en) 2020-03-11 2022-09-20 Qualcomm Incorproated Quantization and inferencing for low-bitwidth neural networks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350914A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US20170083792A1 (en) * 2015-09-22 2017-03-23 Xerox Corporation Similarity-based detection of prominent objects using deep cnn pooling layers as features
JP2017138867A (ja) * 2016-02-05 2017-08-10 富士通株式会社 演算処理回路、および情報処理装置
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US20180096226A1 (en) * 2016-10-04 2018-04-05 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
US20180129893A1 (en) * 2016-11-07 2018-05-10 Samsung Electronics Co., Ltd. Convolutional neural network processing method and apparatus
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992167B (zh) * 2015-07-28 2018-09-11 中国科学院自动化研究所 一种基于卷积神经网络的人脸检测方法及装置
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
CN106204468B (zh) * 2016-06-27 2019-04-26 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN107229942B (zh) * 2017-04-16 2021-03-30 北京工业大学 一种基于多个分类器的卷积神经网络分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350914A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US20170083792A1 (en) * 2015-09-22 2017-03-23 Xerox Corporation Similarity-based detection of prominent objects using deep cnn pooling layers as features
JP2017138867A (ja) * 2016-02-05 2017-08-10 富士通株式会社 演算処理回路、および情報処理装置
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US20180096226A1 (en) * 2016-10-04 2018-04-05 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
US20180129893A1 (en) * 2016-11-07 2018-05-10 Samsung Electronics Co., Ltd. Convolutional neural network processing method and apparatus
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANBANG YAO ET AL, "HoloNet: towards robust emotion recognition in the wild", MULTIMODAL INTERACTION, 2 Penn Plaza, Suite 701 New York NY 10121-0701 USA, (20161112), doi:10.1145/2993148.2997639, ISBN 9 *
KONG, Bailey et al., , Energy-Based Spherical Sparse Coding, , , 2017.10.04, https://arxiv.org/pdf/1710.01820.pdf, pp.1-12 *
XIAOJIE JIN, CHUNYAN XU, JIASHI FENG, YUNCHAO WEI, JUNJUN XIONG, SHUICHENG YAN: "Deep Learning with S-shaped Rectified Linear Activation Units", 22 December 2015 (2015-12-22), XP055567731, Retrieved from the Internet <URL:https://arxiv.org/pdf/1512.07030.pdf> *

Also Published As

Publication number Publication date
EP3471025A1 (en) 2019-04-17
US10049323B1 (en) 2018-08-14
JP2019075115A (ja) 2019-05-16
CN109670575B (zh) 2023-07-21
JP6676722B2 (ja) 2020-04-08
CN109670575A (zh) 2019-04-23
KR102112997B1 (ko) 2020-06-02

Similar Documents

Publication Publication Date Title
KR20190041922A (ko) 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치
KR20190041921A (ko) 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치
KR102192850B1 (ko) Fun을 사용하여 특징 맵을 생성하기 위한 방법 및 장치
KR102229342B1 (ko) Fun을 사용하여 cnn의 성능을 향상시키기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한, 테스트 방법 및 테스트 장치
US11809515B2 (en) Reduced dot product computation circuit
EP3340129B1 (en) Artificial neural network class-based pruning
KR102144381B1 (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
US20220405591A1 (en) Training network with discrete weight values
KR20230130591A (ko) 정보 처리장치, 정보 처리방법, 비일시적인 컴퓨터 판독가능한 기억매체
KR20220045424A (ko) 인공 신경망을 압축하는 방법 및 장치
JP2021111388A (ja) ニューラル・ネットワーク・アーキテクチャ・サーチ・システム及び方法
EP3940603A1 (en) Processing apparatus for performing pointwise convolutions and depthwise convolutions
JP2023527228A (ja) 情報処理装置、情報処理方法及びプログラム
US11144790B2 (en) Deep learning model embodiments and training embodiments for faster training
US11468147B1 (en) Activation function approximation in deep neural networks using rectified-linear-unit function
CN110852348B (zh) 特征图处理方法、图像处理方法及装置
JP6994572B2 (ja) データ処理システムおよびデータ処理方法
US20230084673A1 (en) Training Sparse Networks With Discrete Weight Values
US20230004788A1 (en) Hardware architecture for processing tensors with activation sparsity
KR102271254B1 (ko) 이진화된 컨벌루션 신경망의 추론 속도 향상 장치 및 방법
JP2023062411A (ja) 道路情報計算装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant