KR20200076461A - 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치 - Google Patents

중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치 Download PDF

Info

Publication number
KR20200076461A
KR20200076461A KR1020180165585A KR20180165585A KR20200076461A KR 20200076461 A KR20200076461 A KR 20200076461A KR 1020180165585 A KR1020180165585 A KR 1020180165585A KR 20180165585 A KR20180165585 A KR 20180165585A KR 20200076461 A KR20200076461 A KR 20200076461A
Authority
KR
South Korea
Prior art keywords
weights
neural network
bit width
layer
bit
Prior art date
Application number
KR1020180165585A
Other languages
English (en)
Inventor
이서형
곽영준
손진우
손창용
정상일
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180165585A priority Critical patent/KR20200076461A/ko
Priority to US16/537,752 priority patent/US20200202199A1/en
Priority to CN201910778533.5A priority patent/CN111340177A/zh
Priority to EP19204904.7A priority patent/EP3671575A3/en
Publication of KR20200076461A publication Critical patent/KR20200076461A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치가 개시된다. 일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 방법은 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정하고, 뉴럴 네트워크의 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 뉴럴 네트워크의 제1 레이어를 위한 제2 웨이트들을 획득하고, 획득된 제2 웨이트들에 기초하여 뉴럴 네트워크의 제1 레이어를 실행하여 뉴럴 네트워크의 제1 레이어의 입력 데이터를 처리하는 단계들을 포함한다.

Description

중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING NEURAL NETWORK BASED ON NESTED BIT REPRESENTATION}
아래 실시예들은 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치에 관한 것이다.
최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하는 방안으로써, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 인공 뉴럴 네트워크(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공 뉴럴 네트워크는 입력 패턴과 출력 패턴들 간의 사상(mapping)을 생성해낼 수 있는데, 이를 인공 뉴럴 네트워크가 학습 능력이 있다고 표현한다. 또한, 인공 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가지고 있다.
일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 방법은 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정하는 단계; 상기 뉴럴 네트워크의 상기 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 상기 결정된 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제1 레이어를 위한 제2 웨이트들을 획득하는 단계; 및 상기 획득된 상기 제2 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제1 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제1 레이어의 입력 데이터를 처리하는 단계를 포함한다.
상기 제1 웨이트들은 상기 제2 웨이트들에 비해 높은 비트 정밀도(bit-precision)를 가질 수 있다. 상기 제2 웨이트들은 상기 제1 웨이트들에 중첩(nested)될 수 있다.
상기 뉴럴 네트워크의 상기 제1 레이어를 위한 상기 비트 폭은 상기 뉴럴 네트워크의 상기 제1 레이어에 대응하는 처리 특성에 기초하여 결정될 수 있고, 상기 처리 특성은 요구 처리 속도, 요구 처리 정확도, 처리 난이도 및 단말 성능 중 적어도 하나를 포함할 수 있다.
상기 뉴럴 네트워크를 이용한 처리 방법은 상기 뉴럴 네트워크의 제2 레이어를 위한 비트 폭을 결정하는 단계; 상기 뉴럴 네트워크의 상기 제2 레이어에 대응하는 상기 소스 모델의 제2 레이어를 위한 제3 웨이트들 각각에서 상기 결정된 상기 뉴럴 네트워크의 상기 제2 레이어를 위한 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제2 레이어를 위한 제4 웨이트들을 획득하는 단계; 및 상기 획득된 제4 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제2 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제2 레이어의 입력 데이터를 처리하는 단계를 더 포함할 수 있다.
상기 제2 웨이트들에 기초하여 실행된 상기 뉴럴 네트워크의 상기 제1 레이어는 상기 제1 레이어의 상기 입력 데이터에 기초하여 제1 태스크를 처리하고, 상기 제4 웨이트들에 기초하여 실행된 상기 뉴럴 네트워크의 상기 제2 레이어는 상기 제2 레이어의 상기 입력 데이터에 기초하여 상기 제1 태스크와 구별되는 제2 태스크를 처리할 수 있다.
일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 방법은 제1 뉴럴 네트워크를 위한 비트 폭을 결정하는 단계; 소스 모델을 위한 제1 웨이트들 각각에서 상기 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제1 뉴럴 네트워크를 위한 제2 웨이트들을 획득하는 단계; 및 상기 획득된 제2 웨이트들에 기초하여 상기 제1 뉴럴 네트워크를 실행하여 상기 제1 뉴럴 네트워크의 입력 데이터를 처리하는 단계를 포함한다.
상기 뉴럴 네트워크를 이용한 처리 방법은 상기 제1 뉴럴 네트워크에 의한 상기 입력 데이터의 처리 결과에 따라, 제2 뉴럴 네트워크를 위한 비트 폭을 결정하는 단계; 상기 제1 웨이트들 각각에서 상기 결정된 상기 제2 뉴럴 네트워크를 위한 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제2 뉴럴 네트워크를 위한 제3 웨이트들을 획득하는 단계; 및 상기 획득된 상기 제3 웨이트들에 기초하여 상기 제2 뉴럴 네트워크를 실행하여 상기 제2 뉴럴 네트워크의 입력 데이터를 처리하는 단계를 더 포함할 수 있다.
상기 제2 웨이트들에 기초하여 실행된 상기 제1 뉴럴 네트워크는 상기 제1 뉴럴 네트워크의 상기 입력 데이터에 기초하여 제1 태스크를 처리하고, 상기 제3 웨이트들에 기초하여 실행된 상기 제2 뉴럴 네트워크는 상기 제2 뉴럴 네트워크의 상기 입력 데이터에 기초하여 상기 제1 태스크와 구별되는 제2 태스크를 처리할 수 있다.
일 실시예에 따르면, 뉴럴 네트워크 트레이닝 방법은 뉴럴 네트워크의 제1 레이어에 대응하는 하이 비트 폭(high bit width)의 웨이트들을 양자화(quantization)하여 상기 제1 레이어에 대응하는 로우 비트 폭(low bit width)의 웨이트들을 결정하는 단계; 입력 데이터를 상기 제1 레이어에 인가하여 상기 결정된 상기 로우 비트 폭의 상기 웨이트들에 대응하는 로스 값(loss value)들을 결정하는 단계; 및 상기 결정된 상기 로스 값들에 기초하여 상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계를 포함한다.
상기 뉴럴 네트워크 트레이닝 방법은 상기 하이 비트 폭의 상기 웨이트들에 관한 트레이닝이 완료된 이후, 상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제1 레이어에 대응하는 상기 로우 비트 폭의 웨이트 세트들을 결정하는 단계를 더 포함할 수 있다.
상기 로우 비트 폭의 상기 웨이트 세트들은 제1 비트 폭의 웨이트 세트 및 상기 제1 비트 폭의 상기 웨이트 세트에 비해 낮은 비트 정밀도(bit precision)를 갖는 제2 비트 폭의 웨이트 세트를 포함하고, 상기 제2 비트 폭의 웨이트 세트는 상기 제1 비트 폭의 웨이트 세트에 중첩(nested)될 수 있다.
상기 로우 비트 폭의 상기 웨이트들은 상기 하이 비트 폭의 상기 웨이트들에 비해 낮은 비트 정밀도(bit-precision)를 갖는 제1 비트 폭의 제1 웨이트들, 및 상기 제1 비트 폭의 제1 웨이트들에 비해 낮은 비트 정밀도(bit-precision)를 갖는 제2 비트 폭의 제2 웨이트들을 포함할 수 있다.
상기 로우 비트 폭의 상기 웨이트들을 결정하는 단계는 상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제1 비트 폭의 상기 제1 웨이트들을 결정하는 단계; 및 상기 결정된 상기 로우 비트 폭의 상기 제1 웨이트들 각각에서 일부 비트들을 추출하여 상기 제2 비트 폭의 상기 제2 웨이트들을 결정하는 단계를 포함할 수 있다.
상기 로우 비트 폭의 상기 웨이트들을 결정하는 단계는 상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제2 비트 폭의 상기 제2 웨이트들을 결정하는 단계; 상기 결정된 상기 제2 비트 폭의 상기 제2 웨이트들을 상기 제1 비트 폭의 상기 제1 웨이트들의 상위 비트 그룹으로 결정하는 단계; 및 상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제1 비트 폭의 상기 제1 웨이트들의 하위 비트 그룹을 결정하는 단계를 포함할 수 있다.
상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계는 상기 결정된 상기 로스 값들에 대응하는 손실 기울기(gradient of loss)들의 통계 정보에 기초하여 상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계를 포함할 수 있다. 상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계는 상기 로우 비트 폭의 상기 웨이트들 중에 우선순위가 높게 설정된 웨이트에 대응하는 손실 기울기에 높은 가중치를 부여하여 상기 통계 정보를 계산하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 장치는 프로세서; 및 상기 프로세서에서 읽을 수 있는 명령어를 저장하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정하고, 상기 뉴럴 네트워크의 상기 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 상기 결정된 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제1 레이어를 위한 제2 웨이트들을 획득하고, 상기 획득된 상기 제2 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제1 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제1 레이어의 입력 데이터를 처리한다.
일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 장치는 프로세서; 및 상기 프로세서에서 읽을 수 있는 명령어를 저장하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 뉴럴 네트워크를 위한 비트 폭을 결정하고, 소스 모델을 위한 제1 웨이트들 각각에서 상기 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제1 뉴럴 네트워크를 위한 제2 웨이트들을 획득하고, 상기 획득된 제2 웨이트들에 기초하여 상기 제1 뉴럴 네트워크를 실행하여 상기 제1 뉴럴 네트워크의 입력 데이터를 처리한다.
일 실시예에 따르면, 뉴럴 네트워크 트레이닝 장치는 프로세서; 및 상기 프로세서에서 읽을 수 있는 명령어를 저장하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 뉴럴 네트워크의 제1 레이어에 대응하는 하이 비트 폭(high bit width)의 웨이트들을 양자화(quantization)하여 상기 제1 레이어에 대응하는 로우 비트 폭(low bit width)의 웨이트들을 결정하고, 입력 데이터를 상기 제1 레이어에 인가하여 상기 결정된 상기 로우 비트 폭의 상기 웨이트들에 대응하는 로스 값(loss value)들을 결정하고, 상기 결정된 상기 로스 값들에 기초하여 상기 하이 비트 폭의 상기 웨이트들을 업데이트한다.
도 1은 일 실시예에 따른 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 장치를 나타낸 도면.
도 2는 일 실시예에 따른 중첩된 비트 표현을 나타낸 도면.
도 3은 일 실시예에 따른 중첩된 비트 표현에 따른 웨이트들을 나타낸 도면.
도 4는 적어도 하나의 레이어 별로 웨이트들의 비트 폭이 조절되는 실시예를 나타낸 도면.
도 5는 뉴럴 네트워크 별로 웨이트들의 비트 폭이 조절되는 실시예를 나타낸 도면.
도 6은 일 실시예에 따른 중첩된 비트 표현의 트레이닝 장치를 나타낸 블록도.
도 7은 일 실시예에 따른 트레이닝을 위한 포워드 프로세스를 나타낸 도면.
도 8은 다른 실시예에 따른 트레이닝을 위한 포워드 프로세스를 나타낸 도면.
도 9는 일 실시예에 따른 트레이닝을 위한 백워드 프로세스를 나타낸 도면.
도 10은 일 실시예에 따른 싱글 태스크를 처리하기 위한 중첩된 비트 표현의 이용을 나타낸 도면.
도 11은 일 실시예에 따른 멀티 태스크를 처리하기 위한 중첩된 비트 표현의 이용을 나타낸 도면.
도 12는 일 실시예에 따른 얼굴 인증을 위한 멀티 태스크를 나타낸 도면.
도 13은 일 실시예에 따른 객체 분류를 위한 멀티 태스크를 나타낸 도면.
도 14는 일 실시예에 따른 멀티 태스크를 이용하여 얼굴을 저전력으로 감지하는 장치를 나타낸 도면.
도 15는 일 실시예에 따른 멀티 태스크를 이용하여 음성 명령을 저전력으로 인식하는 장치를 나타낸 도면.
도 16은 일 실시예에 따른 뉴럴 네트워크 처리 장치를 나타낸 블록도.
도 17은 일 실시예에 따른 전자 장치를 나타낸 블록도.
도 18은 일 실시예에 따른 뉴럴 네트워크 처리 방법을 나타낸 동작 흐름도.
도 19는 다른 실시예에 따른 뉴럴 네트워크 처리 방법을 나타낸 동작 흐름도.
도 20은 일 실시예에 따른 뉴럴 네트워크 트레이닝 방법을 나타낸 동작 흐름도.
아래 개시되어 있는 특정한 구조 또는 기능들은 단지 기술적 개념을 설명하기 위한 목적으로 예시된 것으로서, 아래 개시와는 달리 다른 다양한 형태로 실시될 수 있으며 본 명세서의 실시예들을 한정하지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 장치를 나타낸 도면이다.
도 1을 참조하면, 처리 장치(100)는 뉴럴 네트워크(neural network, 120)의 동작을 처리할 수 있다. 예를 들어, 뉴럴 네트워크(120)의 동작은 입력 영상 내 객체를 인식하거나 인증하는 것을 포함할 수 있다. 아래에서 설명되는 뉴럴 네트워크(120)와 관련된 처리 동작의 적어도 일부는 소프트웨어로 구현되거나, 뉴럴 프로세서(neural processor)를 포함하는 하드웨어로 구현되거나, 혹은 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다.
뉴럴 네트워크(120)는 웨이트(weight) 기반으로 동작하는 모든 종류의 뉴럴 네트워크들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크(120)는 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함하는 딥 뉴럴 네트워크(deep neural network, DNN)에 해당할 수 있다. 아래에서는 뉴럴 네트워크(120)가 컨볼루셔널 뉴럴 네트워크(convolutional neural network, CNN)인 경우의 실시예가 설명되지만, 아래의 설명은 웨이트 기반으로 동작하는 다른 타입의 뉴럴 네트워크들에 관해서도 적용될 수 있다.
뉴럴 네트워크(120)는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 객체 인식 및 객체 인증 등을 수행할 수 있다. 딥 러닝은 빅 데이터 세트로부터 영상 또는 음성 인식과 같은 문제를 해결하기 위한 기계 학습 기법이다. 딥 러닝은 준비된 트레이닝 데이터를 이용하여 뉴럴 네트워크(120)를 트레이닝하면서 에너지가 최소화되는 지점을 찾아가는 최적화 문제 풀이 과정으로 이해될 수 있다. 딥 러닝의 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 뉴럴 네트워크(120)의 구조, 혹은 모델에 대응하는 웨이트가 구해질 수 있고, 이러한 웨이트를 통해 입력 데이터 및 출력 데이터가 서로 매핑될 수 있다. CNN에서는 컨볼루셔널 레이어들에서 이용되는 웨이트 커널들의 웨이트 값들에 관해 딥 러닝이 수행될 수 있다.
뉴럴 네트워크(120)는 복수의 레이어들을 포함할 수 있다. 복수의 레이어들은 입력 레이어(input layer), 적어도 하나의 히든 레이어(hidden layer), 및 출력 레이어(output layer)를 포함할 수 있다. 뉴럴 네트워크(120)에 포함된 제1 레이어 및 제2 레이어는 상기 복수의 레이어들 중 적어도 일부일 수 있다. 도 1에는 뉴럴 네트워크(120)가 두 레이어들을 포함하는 것으로 도시되어 있으나, 이는 설명의 편의를 위한 것으로, 뉴럴 네트워크(120)는 두 레이어들 이외에 더 많은 레이어들을 포함할 수 있다.
소스 모델(110)은 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들을 포함할 수 있다. Xn에서 n이 클수록 비트 폭이 큰 것으로 가정한다. 처리 장치(100)는 소스 모델(110)에서 적절한 비트 폭의 웨이트들을 선택하여 뉴럴 네트워크(120)를 실행할 수 있다. 다시 말해, 뉴럴 네트워크(120)에는 선택적 가변 비트 폭(selective variable bit width)이 적용될 수 있다. 소스 모델(110)은 뉴럴 네트워크(120)의 처리 특성(processing characteristic)을 고려하여 적절한 비트 폭의 웨이트들을 선택할 수 있다. 예를 들어, 처리 특성은 요구 처리 속도, 요구 처리 정확도, 처리 난이도 및 단말 성능 등 중에 적어도 하나를 포함할 수 있다. 정확도는 오 인식률(False Acceptance Rate: FAR), 혹은 인증률(Verification Rate: VR)에 대응할 수 있다.
일례로, 빠른 처리 속도가 요구되는 경우, 혹은 리소스가 충분하지 않은 모바일 단말에서 데이터가 처리되는 경우, 소스 모델(110)은 로우 비트 폭(low bit width)에 대응하는 제1 비트 폭(X1)으로 뉴럴 네트워크(120)를 실행할 수 있다. 높은 처리 정확도가 요구되는 경우, 혹은 처리 난이도가 높은 경우, 소스 모델(110)은 하이 비트 폭(high bit width)에 대응하는 제n 비트 폭(Xn)으로 뉴럴 네트워크(120)를 실행할 수 있다. 비트 정밀도는 비트 폭에 대응하므로, 비트 폭이 가변적이라는 것은 비트 정밀도(bit precision)가 가변적인 것을 의미할 수 있다.
일 실시예에 따르면, 웨이트들의 비트 폭은 적어도 하나의 레이어 별로 조절될 수 있다. 예를 들어, 제1 레이어에 제1 비트 폭(X1)에 대응하는 웨이트들이 적용되고, 제2 레이어에 제2 비트 폭(X2)에 대응하는 웨이트들이 적용되는 것과 같이 레이어 별로 웨이트들의 비트 폭이 조절될 수 있다. 혹은, 제1 레이어 내지 제3 레이어에 제1 비트 폭(X1)에 대응하는 웨이트들이 적용되고, 제4 레이어 및 제5 레이어에 제2 비트 폭(X2)에 대응하는 웨이트들이 적용되는 것과 같이 둘 이상의 레이어 별로 웨이트들의 비트 폭이 조절될 수 있다.
이 때, 적어도 하나의 레이어 별로 적용되는 웨이트들의 비트 폭은 레이어가 갖는 처리 특성에 따라 결정될 수 있다. 예를 들어, 빠른 처리 속도가 요구되는 레이어, 혹은 리소스가 충분하지 않은 모바일 단말에서 데이터가 처리되는 레이어에는 로우 비트 폭의 웨이트들이 적용될 수 있다. 높은 처리 정확도가 요구되는 레이어, 혹은 처리 난이도가 높은 레이어에는 하이 비트 폭의 웨이트들이 적용될 수 있다.
다른 실시예에 따르면, 웨이트들의 비트 폭은 뉴럴 네트워크 별로 조절될 수 있다. 예를 들어, 제1 뉴럴 네트워크에 제1 비트 폭(X1)에 대응하는 웨이트들이 적용되고, 제2 뉴럴 네트워크에 제2 비트 폭(X2)에 대응하는 웨이트들이 적용될 수 있다. 이 때, 뉴럴 네트워크 별로 적용되는 웨이트들의 비트 폭은 뉴럴 네트워크가 갖는 처리 특성에 따라 결정될 수 있다. 예를 들어, 얼굴 감지와 같이 난이도가 낮은 동작을 처리하는 뉴럴 네트워크에는 로우 비트 폭의 웨이트들이 적용될 수 있고, 얼굴 인증이나 얼굴 인식과 같이 난이도가 높은 동작을 처리하는 뉴럴 네트워크에는 하이 비트 폭의 웨이트들이 적용될 수 있다.
소스 모델(110)에 포함된 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들이 서로 독립적인 메모리 공간을 차지한다면, 메모리 효율이 떨어질 수 있다. 실시예에 따르면, 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들에 대응하는 비트들은 서로 중첩되어(nested) 표현될 수 있고, 이에 따라 메모리 공간이 효율적으로 사용될 수 있다. 예를 들어, 소스 모델(110)에 포함된 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들은 서로 중첩될 수 있다. 일례로, 제1 비트 폭(X1)의 웨이트들은 제2 비트 폭(X2)의 웨이트들 및 제n 비트 폭(Xn)의 웨이트들에 중첩될 수 있고, 제2 비트 폭(X2)의 웨이트들은 제n 비트 폭(Xn)의 웨이트들에 중첩될 수 있다. 중첩된 비트 표현에 관해서는 도 2를 참조하여 추가로 설명한다.
도 2는 일 실시예에 따른 중첩된 비트 표현을 나타낸 도면이다. 도 2는 CNN의 웨이트 커널의 웨이트들이 중첩된 비트로 표현된 실시예를 나타낸다. 중첩된 비트 표현은 다른 종류의 뉴럴 네트워크들에도 적용될 수 있다. 도 2를 참조하면, 3*3의 웨이트 커널들(210, 220, 230)이 도시되어 있다. 웨이트 커널들의 각 엘리먼트는 하나의 웨이트 값에 대응한다.
웨이트 커널들(210)의 웨이트들은 X1비트로 표현되고, 웨이트 커널들(220)의 웨이트들은 X2비트로 표현되고, 웨이트 커널들(230)의 웨이트들은 X3 비트로 표현된다. X2는 X1보다 큰 값이고, X3는 X2보다 큰 값이다. 예를 들어, X1비트는 2비트일 수 있고, X2는 4비트일 수 있고, X3는 8비트일 수 있다. 다만, X1 내지 X3의 값이 이에 한정되는 것은 아니며, 웨이트들은 X1 내지 X3 이외에 더 많은 종류의 비트 폭들로 표현되거나, 더 적은 종류의 비트 폭들로 표현될 수 있다.
웨이트 커널들(210, 220, 230)은 비트 값들을 서로 공유할 수 있다. 예를 들어, 웨이트 커널들(210)의 특정 위치의 제1 엘리먼트는 '01(2)'의 웨이트 값을 가질 수 있고, 웨이트 커널들(220)의 대응 위치의 제2 엘리먼트는 '0111(2)'의 웨이트 값을 가질 수 있고, 웨이트 커널들(230)의 대응 위치의 제3 엘리먼트는 '01110100(2)'의 웨이트 값을 가질 수 있다. 여기서, (2)는 2진수 표현을 의미한다. 이 경우, 제1 엘리먼트 내지 제3 엘리먼트는 '01(2)'의 비트 값들을 공유하고, 제2 엘리먼트 및 제3 엘리먼트는 '0111(2)'의 비트 값들을 공유하므로, 제1 엘리먼트 내지 제3 엘리먼트는 서로 중첩되어 표현될 수 있다.
이와 같이 웨이트 커널들(210, 220, 230)은 대응 엘리먼트 간에 비트 값들을 공유하는 관계에 있으며, 웨이트 커널들(210, 220, 230)이 병합되어 중첩된 비트 모델(nested bit model, 250)이 정의될 수 있다. 중첩된 비트 모델(250)을 저장하기 위해서는 웨이트 커널들(230)을 위한 메모리 공간이 요구될 뿐이므로, 중첩된 비트 모델(250)을 통해 메모리 효율이 향상될 수 있다.
다시 도 1을 참조하면, 도 1의 소스 모델(110)에 포함된 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들은 도 2를 통해 설명된 중첩된 비트 모델(250)에 대응할 수 있다. 예를 들어, 제1 비트 폭(X1)의 웨이트들은 도 2의 웨이트 커널들(210)에 대응할 수 있고, 제2 비트 폭(X2)의 웨이트들은 도 2의 웨이트 커널들(220)에 대응할 수 있고, 제n 비트 폭(Xn)의 웨이트들은 도 2의 웨이트 커널들(230)에 대응할 수 있다. 따라서, 제n 비트 폭(Xn)의 웨이트들을 위한 메모리 공간에 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들이 모두 저장될 수 있다.
뉴럴 네트워크(120)는 트레이닝 단계에서 트레이닝 데이터에 기초하여 트레이닝될 수 있고, 추론(inference) 단계에서 입력 데이터에 관한 분류, 인식, 검출과 같은 추론 동작을 수행할 수 있다. 소스 모델(110)에 포함된 제1 비트 폭(X1) 내지 제n 비트 폭(Xn)의 웨이트들은 트레이닝 단계를 거쳐 결정될 수 있다. 트레이닝은 오프라인 단계 혹은 온라인 단계에서 수행될 수 있다. 최근 뉴럴 프로세서와 같은 트레이닝 가속이 가능한 하드웨어의 등장으로 인해, 온라인 단계의 트레이닝이 가능하다.
웨이트 커널은 '미리' 결정된 것으로 표현될 수 있는데, 여기서 '미리'는 뉴럴 네트워크(120)가 '시작'되기 전을 나타낼 수 있다. 뉴럴 네트워크(120)가 '시작'되었다는 것은 뉴럴 네트워크(120)가 추론(inference)을 위한 준비가 된 것을 의미할 수 있다. 예를 들어, 뉴럴 네트워크(120)가 '시작'된 것은 뉴럴 네트워크(120)가 메모리에 로드된 것, 혹은 뉴럴 네트워크(120)가 메모리에 로드된 이후 뉴럴 네트워크(120)에 추론(inference)을 위한 입력 데이터가 입력된 것을 포함할 수 있다.
도 3은 일 실시예에 따른 중첩된 비트 표현에 따른 웨이트들을 나타낸 도면이다.
도 3을 참조하면, 입력 데이터(310) 및 웨이트 커널들(320) 간의 연산에 기초하여 출력 데이터(330)가 결정될 수 있다. 입력 데이터(310)는 H*W*C의 디멘젼을 갖는다. 웨이트 커널들(320)은 K*K*C의 디멘젼을 갖고, D개의 그룹으로 분류된다. 출력 데이터(330)는 H*W*D의 디멘젼을 갖는다. 입력 데이터(310), 웨이트 커널들(320) 및 출력 데이터(330)는 제1 레이어에 관한 것으로 가정한다.
웨이트 커널들(320)은 '116(10)'의 웨이트를 갖는 엘리먼트(이하, 제1 엘리먼트로 지칭함)를 포함한다. '116(10)'은 '01110100(2)'로 나타낼 수 있다. 여기서, (10)은 10진수 표현을 의미하고, (2)는 2진수 표현을 의미한다. 소스 모델은 제1 엘리먼트를 위해 '01110100(2)'에 대응하는 웨이트 값(350)을 포함할 수 있다.
처리 장치는 제1 레이어를 위한 비트 폭(이하, 제1 비트 폭으로 지칭함)을 결정하고, 웨이트 값(350)에서 제1 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 제1 엘리먼트를 위한 웨이트 값을 획득할 수 있다. 예를 들어, 결정된 비트 폭이 2비트인 경우, 처리 장치는 웨이트 값(350)에서 '01(2)'을 추출하여 웨이트 값(351)을 획득할 수 있다. 결정된 비트 폭이 4비트인 경우, 처리 장치는 웨이트 값(350)에서 '0110(2)'을 추출하여 웨이트 값(352)을 획득할 수 있다. 결정된 비트 폭이 8비트인 경우, 처리 장치는 웨이트 값(350)에서 '01100100(2)'을 추출하여 웨이트 값(353)을 획득할 수 있다. 여기서, 2비트, 4비트 및 8비트는 소스 모델로 표현 가능한 비트 폭들의 예시일 뿐, 소스 모델은 더 다양한 비트 폭들을 표현할 수 있다.
처리 장치는 웨이트 커널들(320)들의 나머지 엘리먼트들에 대응하는 소스 모델의 웨이트 값들에서 제1 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 나머지 엘리먼트들을 위한 웨이트 값들을 획득할 수 있다. 처리 장치는 획득된 웨이트 값들에 기초하여 제1 레이어를 실행하여 입력 데이터(310)를 처리할 수 있다. 예를 들어, 처리 장치는 제1 레이어를 실행하여 입력 데이터(310) 및 웨이트 커널들(320) 간의 연산을 수행할 수 있고, 연산 결과 출력 데이터(330)가 결정될 수 있다. 도 3에는 하나의 레이어에 관한 실시예가 도시되어 있으나, 이와 대응하는 프로세스를 통해 하나의 뉴럴 네트워크 전체에 관해 웨이트들이 설정될 수 있다.
'01(2)'는 '1(10)'에 대응하고, '0110(2)'는 '7(10)'에 대응하고, '01100100(2)'는 '116(10)'에 대응한다. 이는 비트 추출로 인해 웨이트 값이 달라짐을 의미한다. 따라서, 중첩된 비트 표현의 모델은 비트 폭의 변화에 따른 각 웨이트 값의 변화에 대응하도록 트레이닝될 필요가 있다. 중첩된 비트 표현의 모델, 다시 말해 소스 모델을 트레이닝하는 프로세스는 추후 상세히 설명한다.
도 4는 적어도 하나의 레이어 별로 웨이트들의 비트 폭이 조절되는 실시예를 나타낸 도면이다.
처리 장치는 제1 레이어를 위한 비트 폭을 결정할 수 있다. 제1 레이어를 위한 비트 폭은 4비트로 결정된 것으로 가정한다. 처리 장치는 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 웨이트들(410) 각각에서 4비트의 비트 폭에 대응하는 일부 비트들을 추출하여 제1 레이어를 위한 웨이트들(420)을 획득할 수 있다. 예를 들어, 처리 장치는 웨이트들(410) 내 엘리먼트인 '01110100(2)'에서 상위 4비트인 '0111(2)'를 추출하여 웨이트들(420) 내 대응 엘리먼트를 획득할 수 있다.
처리 장치는 웨이트들(410) 내 나머지 엘리먼트들 각각에서 4비트를 추출하여 제1 레이어를 위한 웨이트들(420)을 획득할 수 있다. 비트 추출로 인해 '01110100(2)' 및 '0111(2)'는 비트를 공유하는 관계에 있게 된다. 처리 장치는 획득된 웨이트들(420)에 기초하여 제1 레이어를 실행하여 제1 레이어의 입력 데이터(430)를 처리할 수 있다.
상술된 제1 레이어에 관한 프로세스의 대응 프로세스가 제2 레이어에 관해 수행될 수 있다. 처리 장치는 제2 레이어를 위한 비트 폭을 결정할 수 있다. 처리 장치는 제1 레이어를 위해 결정된 비트 폭과 동일한 비트 폭을 제2 레이어를 위한 비트 폭으로 결정하거나, 혹은 제1 레이어를 위해 결정된 비트 폭과 다른 비트 폭을 제2 레이어를 위한 비트 폭으로 결정할 수 있다. 제2 레이어를 위한 비트 폭은 2비트로 결정된 것으로 가정한다.
처리 장치는 제2 레이어에 대응하는 소스 모델의 제2 레이어를 위한 웨이트들(440) 각각에서 2비트의 비트 폭에 대응하는 일부 비트들을 추출하여 제2 레이어를 위한 웨이트들(450)을 획득할 수 있다. 예를 들어, 처리 장치는 웨이트들(440) 내 엘리먼트인 '01000101(2)'에서 상위 2비트인 '01(2)'을 추출하여 웨이트들(450) 내 대응 엘리먼트를 획득할 수 있다. 처리 장치는 웨이트들(440) 내 나머지 엘리먼트들 각각에서 2비트를 추출하여 제2 레이어를 위한 웨이트들(450)을 획득할 수 있다. '01000101(2)' 및 '01(2)'은 비트를 공유하는 관계에 있다. 처리 장치는 획득된 웨이트들(450)에 기초하여 제2 레이어를 실행하여 제2 레이어의 입력 데이터(460)를 처리할 수 있다.
상술된 제1 레이어 및 제2 레이어에 관한 프로세스의 대응 프로세스가 제2 레이어 이후의 레이어들에 관해 수행될 수 있다. 처리 장치는 레이어 별로 웨이트들의 비트 폭을 조절하거나, 혹은 둘 이상의 레이어 별로 웨이트들의 비트 폭을 조절할 수 있다. 적어도 하나의 레이어 별로 적용되는 웨이트들의 비트 폭은 레이어가 갖는 처리 특성에 따라 결정될 수 있다. 처리 특성은 요구 처리 속도, 요구 처리 정확도, 처리 난이도 및 단말 성능 등 중에 적어도 하나를 포함할 수 있다.
도 5는 뉴럴 네트워크 별로 웨이트들의 비트 폭이 조절되는 실시예를 나타낸 도면이다.
처리 장치는 뉴럴 네트워크(510)를 위한 비트 폭을 결정할 수 있다. 예를 들어, 뉴럴 네트워크(510)를 위한 비트 폭은 2비트로 결정될 수 있다. 처리 장치는 소스 모델(500)을 위한 제1 웨이트들 각각에서 2비트의 비트 폭에 대응하는 일부 비트들을 추출하여 뉴럴 네트워크(510)를 위한 제2 웨이트들을 획득할 수 있다. 처리 장치는 획득된 제2 웨이트들에 기초하여 뉴럴 네트워크(510)를 실행하여 뉴럴 네트워크(510)의 입력 데이터를 처리할 수 있다.
상술된 뉴럴 네트워크(510)에 관한 프로세스의 대응 프로세스가 뉴럴 네트워크(520)에 관해 수행될 수 있다. 처리 장치는 뉴럴 네트워크(520)를 위한 비트 폭을 결정할 수 있다. 처리 장치는 뉴럴 네트워크(510)에 의한 입력 데이터의 처리 결과에 따라, 뉴럴 네트워크(520)를 위한 비트 폭을 결정할 수 있다. 예를 들어, 뉴럴 네트워크(510)는 얼굴 감지 프로세스를 처리하고, 뉴럴 네트워크(520)는 얼굴 검출 프로세스를 처리할 수 있다. 뉴럴 네트워크(510)가 얼굴 감지에 성공한 경우, 처리 장치는 뉴럴 네트워크(520)를 실행하기 위해 뉴럴 네트워크(520)를 위한 비트 폭을 결정할 수 있다. 예를 들어, 상대적으로 난이도가 낮은 얼굴 감지 프로세스를 위해 뉴럴 네트워크(510)를 위한 비트 폭은 2비트로 결정될 수 있고, 상대적으로 난이도가 높은 얼굴 검출 프로세스를 위해 뉴럴 네트워크(520)를 위한 비트 폭은 4비트로 결정될 수 있다.
처리 장치는 소스 모델(500)을 위한 제1 웨이트들 각각에서 2비트의 비트 폭에 대응하는 일부 비트들을 추출하여 뉴럴 네트워크(520)를 위한 제3 웨이트들을 획득할 수 있다. 처리 장치는 획득된 제3 웨이트들에 기초하여 뉴럴 네트워크(520)를 실행하여 뉴럴 네트워크(520)의 입력 데이터를 처리할 수 있다. 뉴럴 네트워크(520)의 입력 데이터는 뉴럴 네트워크(510)의 입력 데이터에 비해 품질 혹은 해상도가 높을 수 있다. 예를 들어, 저해상도 모드에서 저해상도 영상이 뉴럴 네트워크(510)에 입력 데이터로서 제공될 수 있고, 뉴럴 네트워크(510)가 얼굴 감지에 성공한 경우 고해상도 모드에서 고해상도 영상이 뉴럴 네트워크(520)에 입력 데이터로서 제공될 수 있다.
도 6은 일 실시예에 따른 중첩된 비트 표현의 트레이닝 장치를 나타낸 블록도이다.
도 6을 참조하면, 트레이닝 장치(600)는 메모리(610) 및 프로세서(620)를 포함한다. 메모리(610)는 뉴럴 네트워크(615)를 저장할 수 있다. 프로세서(620)는 메모리(610)에서 뉴럴 네트워크(615)를 획득하고, 트레이닝 데이터에 기초하여 뉴럴 네트워크(615)를 트레이닝시킬 수 있다. 메모리(610)는 프로세서(620)에서 읽을 수 있는 명령어를 저장할 수 있고, 프로세서(620)는 메모리(610)에 저장된 명령어가 프로세서(620)에서 실행됨에 따라 뉴럴 네트워크(615)를 트레이닝하기 위한 동작을 수행할 수 있다.
트레이닝 데이터는 트레이닝 입력 및 트레이닝 출력을 포함할 수 있다. 트레이닝 입력은 뉴럴 네트워크(615)에 입력되는 입력 데이터로, 예컨대 영상 데이터 혹은 음성 데이터를 포함할 수 있다. 트레이닝 출력은 트레이닝 입력에 매핑된 데이터로, 예컨대 트레이닝 입력이 뉴럴 네트워크(615)에 입력됨에 따라 메인 뉴럴 네트워크(721)에서 출력되어야 하는 레이블(label)일 수 있다. 트레이닝 데이터는 입력 데이터로 지칭될 수도 있다.
프로세서(620)는 트레이닝 입력으로부터 트레이닝 출력이 산출되도록 뉴럴 네트워크(615)를 트레이닝시킬 수 있다. 뉴럴 네트워크(615)를 트레이닝시킨다는 것은 뉴럴 네트워크(615)의 파라미터를 트레이닝시키는 것, 뉴럴 네트워크(615)를 갱신하는 것, 혹은 뉴럴 네트워크(615)의 파라미터를 갱신하는 것을 포함할 수 있다.
예를 들어, 프로세서(620)는 뉴럴 네트워크(615)의 제1 레이어에 대응하는 하이 비트 폭(high bit width)의 웨이트들을 양자화(quantization)하여 제1 레이어에 대응하는 로우 비트 폭(low bit width)의 웨이트들을 결정하고, 트레이닝 입력을 제1 레이어에 인가하여 결정된 로우 비트 폭의 웨이트들에 대응하는 로스 값(loss value)들을 결정할 수 있다. 프로세서(620)는 결정된 로스 값들에 기초하여 하이 비트 폭의 웨이트들을 업데이트할 수 있다. 이와 같은 과정은 뉴럴 네트워크(615)의 모든 레이어에 관해 반복될 수 있다.
하이 비트 폭의 웨이트들에 관한 트레이닝이 완료된 이후, 프로세서(620)는 하이 비트 폭의 웨이트들을 양자화하여 로우 비트 폭의 웨이트 세트들을 결정할 수 있다. 예를 들어, 로우 비트 폭의 웨이트 세트들은 도 1의 소스 모델(110)에 대응할 수 있다. 일례로, 로우 비트 폭의 웨이트 세트들은 서로 중첩되어 표현된 제1 비트 폭 내지 제n 비트 폭의 웨이트들을 포함할 수 있다.
뉴럴 네트워크(615)를 위한 트레이닝 프로세스는 로스 값들을 결정하는 포워드 프로세스(forward process) 및 역전파(backpropagation)를 통해 웨이트들을 업데이트하는 백워드 프로세스(backward process)를 포함할 수 있다. 실시예에 따르면, 단일 트레이닝 과정을 통해 다양한 비트 폭의 웨이트들이 트레이닝될 수 있다. 아래에서 뉴럴 네트워크(615)를 트레이닝하기 위한 포워드 프로세스 및 백워드 프로세스를 상세히 설명한다.
도 7은 일 실시예에 따른 트레이닝을 위한 포워드 프로세스를 나타낸 도면이다.
도 7을 참조하면, 입력 데이터(710), 하이 비트 폭의 웨이트들(720) 및 로우 비트 폭의 웨이트들(730 내지 750)이 도시되어 있다. 웨이트들(720)은 웨이트들(730 내지 750)에 비해 높은 비트 정밀도(bit precision)를 갖는다. 예를 들어, 웨이트들(730 내지 750)은 8비트, 4비트 및 2비트의 비트 폭으로 표현될 수 있고, 웨이트들(720)은 32비트의 비트 폭, 다시 말해 플로트 타입(float type)으로 표현될 수 있다. 여기서 언급되는 비트 수들은 하나의 예시에 불과하며, 웨이트들(720 내지 750)은 여기서 언급되는 비트 수들 이외에 다양한 비트들로 표현될 수 있다. 웨이트들(730)은 웨이트들(740)에 비해 높은 비트 정밀도를 가질 수 있고, 웨이트들(740)은 웨이트들(750)에 비해 높은 비트 정밀도를 가질 수 있다. 입력 데이터(710), 하이 비트 폭의 웨이트들(720) 및 로우 비트 폭의 웨이트들(730 내지 750)은 제1 레이어에 대응하는 것으로 가정한다.
트레이닝 장치는 웨이트들(720)을 양자화(quantization)하여 웨이트들(730 내지 750)을 결정한다. 트레이닝 장치는 웨이트들(720)을 양자화하여 웨이트들(730)을 결정하고, 웨이트들(730) 각각에서 일부 비트들을 추출하여 웨이트들(740)을 결정할 수 있고, 웨이트들(740) 각각에서 일부 비트들을 추출하여 웨이트들(750)을 결정할 수 있다. 이와 같은 과정을 통해 웨이트들(730 내지 750)은 비트들을 공유할 수 있다. 예를 들어, 웨이트들(730) 및 웨이트들(740)은 4비트를 공유할 수 있고, 웨이트들(740) 및 웨이트들(750)은 2비트를 공유할 수 있다.
트레이닝 장치는 입력 데이터(710)를 제1 레이어에 인가하여 웨이트들(730, 740, 750)에 대응하는 로스 값들(Loss8, Loss4, Loss2)을 결정한다. 로스 값들(Loss8, Loss4, Loss2)은 제1 레이어 및 제1 레이어 이후의 레이어들에 의한 뉴럴 네트워크의 출력에 대응할 수 있다. 웨이트들(730, 740, 750)은 포워드 프로세스에서 로스 값들(Loss8, Loss4, Loss2)을 결정하는 역할을 하고, 웨이트들(720)은 백워드 프로세스에서 로스 값들(Loss8, Loss4, Loss2)에 기초하여 업데이트된다. 백워드 프로세스에 관해서는 추후 상세히 설명한다.
이와 같은 과정을 통해 웨이트들(720)의 트레이닝이 완료되면, 트레이닝이 완료된 웨이트들(720)을 웨이트들(730 내지 750)에 대응하는 비트 폭으로 양자화하여 소스 모델이 결정될 수 있다. 예를 들어, 트레이닝이 완료된 웨이트들(720) 양자화하여 8비트의 비트 폭을 갖는 제1 웨이트 세트가 결정될 수 있고, 제1 웨이트 세트의 웨이트들 각각에서 일부 비트들을 추출하여 4비트의 비트 폭을 갖는 제2 웨이트 세트가 결정될 수 있고, 제2 웨이트 세트의 웨이트들 각각에서 일부 비트들을 추출하여 2비트의 비트 폭을 갖는 제3 웨이트 세트가 결정될 수 있다. 여기서 언급되는 비트 수들은 하나의 예시에 불과하며, 웨이트 세트들은 여기서 언급되는 비트 수들 이외에 웨이트들(730 내지 750)에 대응하는 다양한 비트들로 표현될 수 있다. 결정된 웨이트 세트들은 도 1의 소스 모델(110)에 대응할 수 있다.
웨이트들(720)은 웨이트들(730 내지 750)에 기초하여 최적화될 수 있고, 웨이트 세트들은 웨이트들(730 내지 750)에 대응하는 비트 폭을 갖는다. 따라서, 비트 추출로 인해 웨이트 값이 달라지더라도, 각 웨이트 값은 최적화 상태를 유지할 수 있다. 나아가, 트레이닝 과정에서 서로 다른 비트 폭을 갖는 로우 비트 폭의 웨이트들이 서로 영향을 주어, 단일 트레이닝 과정을 통해 다양한 비트 폭의 웨이트들이 트레이닝됨에 불구하고 최적화 상태가 유지될 수 있다.
도 8은 다른 실시예에 따른 트레이닝을 위한 포워드 프로세스를 나타낸 도면이다.
도 8을 참조하면, 입력 데이터(810), 하이 비트 폭의 웨이트들(820) 및 로우 비트 폭의 웨이트들(830 내지 850)이 도시되어 있다. 웨이트들(820)은 웨이트들(830 내지 850)에 비해 높은 비트 정밀도(bit precision)를 갖는다. 예를 들어, 웨이트들(830 내지 850)은 2비트, 4비트 및 8비트의 비트 폭으로 표현될 수 있고, 웨이트들(820)은 32비트의 비트 폭, 다시 말해 플로트 타입(float type)으로 표현될 수 있다. 여기서 언급되는 비트 수들은 하나의 예시에 불과하며, 웨이트들(820 내지 850)은 여기서 언급되는 비트 수들 이외에 다양한 비트들로 표현될 수 있다. 웨이트들(830)은 웨이트들(840)에 비해 낮은 비트 정밀도를 가질 수 있고, 웨이트들(840)은 웨이트들(850)에 비해 낮은 비트 정밀도를 가질 수 있다. 입력 데이터(810), 하이 비트 폭의 웨이트들(820) 및 로우 비트 폭의 웨이트들(830 내지 850)은 제1 레이어에 대응하는 것으로 가정한다.
트레이닝 장치는 웨이트들(820)을 양자화(quantization)하여 웨이트들(830 내지 850)을 결정한다. 트레이닝 장치는 웨이트들(820)을 양자화하여 웨이트들(830)을 결정하고, 웨이트들(820) 및 웨이트들(830)에 기초하여 웨이트들(840)을 결정한다. 예를 들어, 트레이닝 장치는 웨이트들(830)을 웨이트들(840)의 상위 비트 그룹으로 결정하고, 웨이트들(820)을 양자화하여 웨이트들(840)의 하위 비트 그룹을 결정할 수 있다. 트레이닝 장치는 웨이트들(840)의 상위 비트 그룹이 고정된 상태에서 웨이트들(840)이 웨이트들(820)에 대응하는 값을 갖도록 양자화를 수행할 수 있다.
트레이닝 장치는 웨이트들(840)을 결정하는 과정에 대응하도록, 웨이트들(820) 및 웨이트들(840)에 기초하여 웨이트들(850)을 결정할 수 있다. 예를 들어, 트레이닝 장치는 웨이트들(840)을 웨이트들(850)의 상위 비트 그룹으로 결정하고, 웨이트들(820)을 양자화하여 웨이트들(850)의 하위 비트 그룹을 결정할 수 있다. 도 8에 따르면 웨이트들(830)에 포함된 '01(2)'의 웨이트 값에 기초하여 웨이트들(840)에 포함된 '0111(2)'의 웨이트 값이 결정되고, 웨이트들(840)에 포함된 '0111(2)'의 웨이트 값에 기초하여 웨이트들(850)에 포함된 '01110100(2)'의 웨이트 값이 결정된다.
트레이닝 장치는 입력 데이터(810)를 제1 레이어에 인가하여 웨이트들(830, 840, 850)에 대응하는 로스 값들(Loss8, Loss4, Loss2)을 결정한다. 로스 값들(Loss8, Loss4, Loss2)은 제1 레이어 및 제1 레이어 이후의 레이어들에 의한 뉴럴 네트워크의 출력에 대응할 수 있다. 웨이트들(820)은 백워드 프로세스에서 로스 값들(Loss8, Loss4, Loss2)에 기초하여 업데이트된다. 이와 같은 과정을 통해 웨이트들(820)의 트레이닝이 완료되면, 트레이닝이 완료된 웨이트들(820)을 웨이트들(830 내지 850)에 대응하는 비트 폭으로 양자화하여 소스 모델이 결정될 수 있다. 그 밖에, 도 8의 포워드 프로세스에는 도 7의 포워드 프로세스가 적용될 수 있다.
도 7의 포워드 프로세스는 비트 추출로 인해 하위 비트 폭의 웨이트들의 비트 값들이 상위 비트 폭의 웨이트들의 비트 값들에 종속적이므로, 도 7의 포워드 프로세스에 따라 선형적인 양자화(linear quantization)가 수행된다. 도 8의 포워드 프로세스는 하위 비트 폭의 웨이트들의 비트 값들 중 일부 비트 값들만 상위 비트 폭의 웨이트들의 비트 값들로부터 추출되고, 나머지 비트 값들은 하이 비트 폭의 웨이트에 따른 양자화에 기초하여 결정된다. 따라서, 양자화를 통해 결정되는 비트 값들로 인해 도 8의 포워드 프로세스에 따라 비선형적인 양자화(nonlinear quantization)가 수행될 수 있다. 따라서, 웨이트들(830 내지 850) 간의 비트 공유(bit sharing)는 도 7의 웨이트들(730 내지 750)에 비해 약할 수 있다.
도 9는 일 실시예에 따른 트레이닝을 위한 백워드 프로세스를 나타낸 도면이다.
도 9을 참조하면, 하이 비트 폭의 웨이트들(910) 및 로우 비트 폭의 웨이트들(920 내지 940)이 도시되어 있다. 웨이트들(910)은 웨이트들(920 내지 940)에 비해 높은 비트 정밀도(bit precision)를 갖는다. 웨이트들(920)은 n비트의 비트 폭을 갖고, 웨이트들(930)은 n-1비트의 비트 폭을 갖고, 웨이트들(940)은 1비트의 비트 폭을 갖는다. 도 9에는 2비트의 비트 폭을 갖는 웨이트들 내지 n-2 비트의 비트 폭을 갖는 웨이트들이 생략되어 있다. 도 9에는 비트 폭들 간의 간격들이 1비트로 기재되어 있으나, 비트 폭들의 간격들은 다양한 비트 수로 정의될 수 있다. 또한, 비트 폭들의 간격들은 서로 갖거나, 혹은 서로 다를 수 있다. 하이 비트 폭의 웨이트들(910) 및 로우 비트 폭의 웨이트들(920 내지 940)은 제1 레이어에 대응하는 것으로 가정한다.
트레이닝 장치는 로스 값들(Loss8, Loss4, Loss2)에 기초하여 웨이트들(910)을 업데이트한다. 트레이닝 장치는 로스 값들(Loss8, Loss4, Loss2)에 대응하는 손실 기울기(gradient of loss)들을 결정하고, 결정된 손실 기울기들의 통계 정보에 기초하여 웨이트들(910)을 업데이트할 수 있다. 손실 기울기는
Figure pat00001
로 표현되는 제1 손실 기울기 및
Figure pat00002
로 표현되는 제2 손실 기울기를 포함할 수 있다. i는 1 내지 n 사이의 정수 값을 나타낸다. 여기서, L은 로스를 나타내고, w는 웨이트를 나타내고, wq는 양자화 웨이트를 나타낸다.
트레이닝 장치는 제2 손실 기울기의 통계 정보에 기초하여 웨이트들(910)을 업데이트할 수 있다. 예를 들어, 통계 정보는 제2 손실 기울기의 평균 혹은 제2 손실 기울기의 가중 평균을 나타낼 수 있다. 아래 수학식 1은 제2 손실 기울기의 평균을 나타내고, 아래 수학식 2는 제2 손실 기울기의 가중 평균을 나타낸다.
Figure pat00003
Figure pat00004
수학식 2에서 α는 가중치를 나타낸다. 트레이닝 장치는 웨이트들(920 내지 940) 중에 우선순위가 높게 설정된 웨이트에 대응하는 손실 기울기에 높은 가중치를 부여하여 통계 정보를 계산할 수 있다. 예를 들어, 비트 정밀도가 높은 웨이트일수록 가중치가 높게 부여되거나, 혹은 비트 정밀도가 낮은 웨이트일수록 가중치가 높게 부여될 수 있다. 가중치는 트레이닝 결과 혹은 트레이닝 목적에 따라 정해질 수 있다.
이와 같은 과정을 통해 웨이트들(910)의 트레이닝이 완료되면, 트레이닝이 완료된 웨이트들(920)을 웨이트들(920 내지 940)에 대응하는 비트 폭으로 양자화하여 소스 모델이 결정될 수 있다.
도 10은 일 실시예에 따른 싱글 태스크를 처리하기 위한 중첩된 비트 표현의 이용을 나타낸 도면이다.
도 10을 참조하면, 뉴럴 네트워크(1020)는 2비트의 비트 폭을 갖는 웨이트들(1021), 4비트의 비트 폭을 갖는 웨이트들(1022) 및 8비트의 비트 폭을 갖는 웨이트들(1023)에 기초하여 실행될 수 있다. 웨이트들(1021 내지 1023)은 중첩된 비트 모델에 대응할 수 있다. 여기서 언급되는 비트 수들은 하나의 예시에 불과하며, 웨이트들(1012 내지 1023)은 여기서 언급되는 비트 수들 이외에 다양한 비트들로 표현될 수 있다. 또한, 도 10에는 세 종류의 비트 폭에 따른 웨이트들(1021 내지 1023)이 도시되어 있으나, 뉴럴 네트워크(1020)는 두 종류 혹은 네 종류 이상의 비트 폭에 따른 웨이트들에 기초하여 실행될 수 있다.
뉴럴 네트워크(1020)는 입력 데이터(1010)를 처리하여 하여 출력 데이터(1030)를 생성한다. 입력 데이터(1010)는 영상 데이터 혹은 음성 데이터일 수 있다. 입력 데이터(1010)가 입력되면, 뉴럴 네트워크(1020)는 웨이트들(1021 내지 1023) 중 적어도 하나의 비트 폭에 대응하는 웨이트들을 선택하여 입력 데이터(1010)를 처리할 수 있다.
뉴럴 네트워크(1020)는 적어도 하나의 레이어 별로 다른 비트 폭을 갖는 웨이트들에 기초하여 실행될 수 있다. 예를 들어, 뉴럴 네트워크(1020)의 제1 레이어는 제1 비트 폭의 웨이트에 기초하여 실행될 수 있고, 뉴럴 네트워크(1020)의 제2 레이어는 제2 비트 폭의 웨이트에 기초하여 실행될 수 있다. 혹은, 뉴럴 네트워크(1020)는 네트워크 별로 다른 비트 폭을 갖는 웨이트들에 기초하여 실행될 수 있다. 예를 들어, 뉴럴 네트워크(1020)는 제1 비트 폭의 웨이트에 기초하여 실행된 이후, 제2 비트 폭의 웨이트에 기초하여 다시 실행될 수 있다. 이 경우, 제1 비트 폭의 웨이트에 기초하여 실행된 뉴럴 네트워크(1020)는 제1 뉴럴 네트워크로 지칭될 수 있고, 제2 비트 폭의 웨이트에 기초하여 실행된 뉴럴 네트워크(1020)는 제2 뉴럴 네트워크로 지칭될 수 있다.
뉴럴 네트워크(1020)는 다양한 비트 폭의 웨이트들(1021 내지 1023)에 기초하여 싱글 태스크를 처리할 수 있다. 이 때, 웨이트들(1021 내지 1023) 비트 폭들에 대응하는 비트 정밀도(bit precision)는 싱글 태스크의 처리 정확도에 영향을 줄 수 있다. 예를 들어, 상대적으로 높은 비트 폭에 대응하는 웨이트들(1023)에 기초하여 생성된 출력 데이터(1030)는 상대적으로 낮은 비트 폭에 대응하는 웨이트들(1021)에 기초하여 생성된 출력 데이터(1030)에 비해 높은 정확도를 가질 수 있다. 예를 들어, 처리 정확도는 오 인식률(False Acceptance Rate: FAR), 혹은 인증률(Verification Rate: VR)에 대응할 수 있다. 따라서, 싱글 태스크에게 요구되는 처리 정확도에 기초하여 비트 폭이 결정될 수 있다.
도 11은 일 실시예에 따른 멀티 태스크를 처리하기 위한 중첩된 비트 표현의 이용을 나타낸 도면이다.
도 11을 참조하면, 멀티 레벨의 입력 데이터(1110)가 뉴럴 네트워크(1120)에 인가되며, 뉴럴 네트워크(1120)는 멀티 레벨의 입력 데이터(1110)를 처리하여 멀티 레벨의 출력 데이터(1130)를 생성한다. 멀티 레벨의 입력 데이터(1110)는 멀티 레벨의 영상 데이터 혹은 음성 데이터일 수 있다. 예를 들어, 입력 데이터(1111)는 저해상도의 영상에 대응하고, 입력 데이터(1112)는 중간 해상도의 영상에 대응하고, 입력 데이터(1113)는 고해상도의 영상에 대응할 수 있다. 혹은, 입력 데이터(1111)는 저해상도의 영상에 대응하고, 입력 데이터(1112)는 고해상도의 영상에 대응하고, 입력 데이터(1113)는 크롭된 영상에 대응할 수 있다.
뉴럴 네트워크(1112)는 2비트의 비트 폭을 갖는 웨이트들(1121), 4비트의 비트 폭을 갖는 웨이트들(1122) 및 8비트의 비트 폭을 갖는 웨이트들(1123)에 기초하여 실행될 수 있다. 웨이트들(1121 내지 1123)은 각각 다른 태스크를 수행하도록 트레이닝될 수 있다. 예를 들어, 웨이트들(1121)은 영상 내 얼굴을 감지하도록 트레이닝될 수 있고, 웨이트들(1122)은 영상 내 얼굴 위치를 검출하도록 트레이닝될 수 있고, 웨이트들(1123)은 영상 내 얼굴을 인증하도록 트레이닝될 수 있다. 이 경우, 출력 데이터(1131)는 얼굴 감지 여부를 나타낼 수 있고, 출력 데이터(1132)는 얼굴 위치 정보를 나타낼 수 있고, 출력 데이터(1133)는 얼굴 인증 여부를 나타낼 수 있다.
혹은, 웨이트들(1121)은 영상 내 객체를 감지하도록 트레이닝될 수 있고, 웨이트들(1122)은 영상 내 객체의 위치를 검출하고, 객체의 상위 분류(super class)를 인식하도록 트레이닝될 수 있고, 웨이트들(1123)은 객체의 세밀한 분류(fine-grained class)를 인식하도록 트레이닝될 수 있다. 이 경우, 출력 데이터(1131)는 객체 감지 여부를 나타낼 수 있고, 출력 데이터(1132)는 객체 위치 정보 및 객체의 상위 분류를 나타낼 수 있고, 출력 데이터(1133)는 객체의 세밀한 분류를 나타낼 수 있다. 멀티 레벨의 출력 데이터(1130)는 다음 태스크를 위해 이용될 수 있다. 예를 들어, 제1 태스크에 대응하는 웨이트들(1121)에 기초하여 생성된 출력 데이터(1131)는 제2 태스크를 트리거하는데 이용될 수 있다.
웨이트들(1121 내지 1123)은 중첩된 비트 모델에 대응할 수 있다. 웨이트들(1121 내지 1123)은 공유 비트 및 개별 비트를 포함할 수 있다. 예를 들어, 2비트의 웨이트 '01(2)' 및 4비트의 웨이트 '0111(2)'에서 '01'은 공유 비트에 해당하고 '11'는 개별 비트에 해당할 수 있다. 뉴럴 네트워크(1112)는 개별 비트를 통해 멀티 태스크를 수행하도록 학습될 수 있다. 예를 들어, 웨이트들(1321)이 얼굴 감지 목적으로 트레이닝된 경우, 웨이트들(1322)은 웨이트들(1322)의 개별 비트를 통해 얼굴 위치 검출 목적으로 트레이닝될 수 있다.
뉴럴 네트워크(1120)는 적어도 하나의 레이어 별로 다른 비트 폭을 갖는 웨이트들에 기초하여 실행되거나, 혹은 네트워크 별로 다른 비트 폭을 갖는 웨이트들에 기초하여 실행될 수 있다. 하나의 네트워크 내에서 멀티 태스크의 처리가 필요한 경우, 뉴럴 네트워크(1120)는 적어도 하나의 레이어 별로 다른 비트 폭을 갖는 웨이트들에 기초하여 실행될 수 있다. 예를 들어, 뉴럴 네트워크(1120)의 제1 레이어 그룹은 웨이트들(1321)에 기초하여 얼굴 감지 동작을 수행할 수 있고, 뉴럴 네트워크(1120)의 제2 레이어 그룹은 웨이트들(1322)에 기초하여 얼굴 위치 검출 동작을 수행할 수 있고, 뉴럴 네트워크(1130)의 제3 레이어 그룹은 웨이트들(1323)에 기초하여 얼굴 위치 검출 동작을 수행할 수 있다. 각 레이어 그룹은 적어도 하나의 레이어를 포함할 수 있다.
복수의 네트워크들을 이용하여 멀티 태스크를 처리하는 경우, 뉴럴 네트워크(1120)는 네트워크 별로 다른 비트 폭을 갖는 웨이트들에 기초하여 실행될 수 있다. 예를 들어, 뉴럴 네트워크(1120)는 웨이트들(1321)에 기초하여 실행되어 객체 감지 동작을 수행할 수 있고, 웨이트들(1322)에 기초하여 실행되어 객체 위치 검출 동작 및 상위 분류 인식 동작을 수행할 수 있고, 웨이트들(1323)에 기초하여 실행되어 세밀한 분류 인식 동작을 수행할 수 있다. 뉴럴 네트워크(1120)는 각 태스크에 대응하여 제1 뉴럴 네트워크 내지 제3 뉴럴 네트워크로 지칭될 수 있다.
상술된 사항 이외에 도 10의 뉴럴 네트워크(1020)에 관해 설명된 사항이 뉴럴 네트워크(1120)에 적용될 수 있다.
도 12는 일 실시예에 따른 얼굴 인증을 위한 멀티 태스크를 나타낸 도면이다.
도 12를 참조하면, 뉴럴 네트워크(1220)는 멀티 레벨의 입력 데이터(1210)를 처리한다. 처리 장치는 2비트의 비트 폭을 갖는 웨이트들(1221)에 기초하여 뉴럴 네트워크(1220)의 적어도 일부 레이어를 실행할 수 있다. 웨이트들(1221)에 기초하여 실행된 뉴럴 네트워크(1220)의 적어도 일부 레이어는 저품질 영상(1211) 내 얼굴이 존재하는지를 나타내는 얼굴 감지 정보를 출력할 수 있다. 처리 장치는 웨이트들(1221)에 의한 출력에 기초하여 블록(1230) 내 동작을 수행할 수 있다. 영상 내 얼굴이 존재하지 않는 경우, 처리 장치는 저품질 영상(1211)을 웨이트들(1221)에 기초하여 실행된 뉴럴 네트워크(1220)의 적어도 일부 레이어에 다시 인가할 수 있다.
영상 내 얼굴이 존재하는 경우, 처리 장치는 4비트의 비트 폭을 갖는 웨이트들(1222)에 기초하여 뉴럴 네트워크(1220)의 적어도 일부 레이어를 실행하고, 웨이트들(1222)에 기초하여 실행된 뉴럴 네트워크(1220)의 적어도 일부 레이어에 고품질 영상(1212)을 인가할 수 있다. 웨이트들(1222)에 기초하여 실행된 뉴럴 네트워크(1220)의 적어도 일부 레이어는 고품질 영상(1212)에서 얼굴 위치를 검출하여 얼굴 위치(1240)를 나타내는 정보를 출력할 수 있다.
처리 장치는 얼굴 위치(1240)에 기초하여 크롭된 영상(1213)을 생성할 수 있다. 처리 장치는 8비트의 비트 폭을 갖는 웨이트들(1223)에 기초하여 뉴럴 네트워크(1220)의 적어도 일부 레이어를 실행하고, 웨이트들(1223)에 기초하여 실행된 뉴럴 네트워크(1220)의 적어도 일부 레이어에 크롭된 영상(1213)을 인가할 수 있다. 웨이트들(1223)에 기초하여 실행된 뉴럴 네트워크(1220)의 적어도 일부 레이어는 크롭된 영상(1213)을 통해 얼굴 인증을 수행하고, 인증 결과(1250)를 출력할 수 있다.
상술된 사항 이외에 도 10의 뉴럴 네트워크(1020) 및 도 11의 뉴럴 네트워크(1120)에 관해 설명된 사항이 뉴럴 네트워크(1220)에 적용될 수 있다.
도 13은 일 실시예에 따른 객체 분류를 위한 멀티 태스크를 나타낸 도면이다. 도 13을 참조하면, 멀티 레벨의 입력 데이터(1310)는 저해상도 영상(1311), 고해상도 영상(1312) 및 크롭된 영상(1313)을 포함한다. 2비트의 비트 폭을 갖는 웨이트들(1321)에 기초하여 실행된 뉴럴 네트워크(1320)의 적어도 일부 레이어는 저해상도 영상(1311) 내 객체가 존재하는지를 나타내는 객체 감지 정보를 출력하고, 블록(1330) 내에서 객체 감지 정보에 기초한 판단이 이루어진다. 4비트의 비트 폭을 갖는 웨이트들(1322)에 기초하여 실행된 뉴럴 네트워크(1320)의 적어도 일부 레이어는 고해상도 영상(1312)에서 객체의 상위 분류 및 객체 위치를 검출하여 상위 분류 및 객체 위치(1340)를 나타내는 정보를 출력할 수 있다. 8비트의 비트 폭을 갖는 웨이트들(1323)에 기초하여 실행된 뉴럴 네트워크(1320)의 적어도 일부 레이어는 크롭된 영상(1313)을 통해 객체를 분류하고, 세밀한 분류(1350)에 관한 정보를 출력할 수 있다. 그 밖에, 도 10의 뉴럴 네트워크(1020), 도 11의 뉴럴 네트워크(1120) 및 도 12의 뉴럴 네트워크(1220)에 관해 설명된 사항이 뉴럴 네트워크(1320)에 적용될 수 있다.
도 14는 일 실시예에 따른 멀티 태스크를 이용하여 얼굴을 저전력으로 감지하는 장치를 나타낸 도면이다.
도 14를 참조하면, 이미지 센서(1400)는 픽셀(1410), 로직(1420) 및 인터페이스(1430)를 포함한다. 이미지 센서(1400)는 상시-전원(always-on)으로 동작할 수 있다. 상시-전원 동작을 위해서는 전력 소모가 낮을 필요가 있는데, 이미지 센서(1400)는 중첩된 비트 모델을 이용한 얼굴 감지 여부에 따라 저해상도 모드 또는 고해상도 모드로 동작하여 전력 소모를 낮출 수 있다.
저해상도 모드에서 픽셀(1410)은 픽셀(1410)의 일부 영역만 활성화시켜서 저해상도 영상을 생성할 수 있다. 로직(1420)은 저해상도 모드에 대응하여 로우 비트 폭의 웨이트들에 기초하여 로우 비트 폭 네트워크(1421)를 실행하여 저해상도 영상에 얼굴이 존재하는지 감지할 수 있다. 예를 들어, 로우 비트 폭은 2비트 혹은 4비트일 수 있다.
저해상도 영상에 얼굴이 존재하는 것으로 판단된 경우, 이미지 센서(1400)의 동작 모드는 저해상도 모드에서 고해상도 모드로 전환될 수 있다. 고해상도 모드에서 픽셀(1410)은 저해상도 모드보다 넓은 픽셀(1410)의 영역을 활성화시켜서 고해상도 영상을 생성할 수 있다. 예를 들어, 고해상도 모드에서 픽셀(1410)은 픽셀(1410)의 전체 영역을 활성화시킬 수 있다. 로직(1420)은 고해상도 모드에 대응하여 하이 비트 폭의 웨이트들에 기초하여 하이 비트 폭 네트워크(1422)를 실행하여 고해상도 영상에서 얼굴에 대응하는 ROI(region of interest)를 검출할 수 있다. 예를 들어, 하이 비트 폭은 4비트 혹은 8비트일 수 있다.
인터페이스(1430)는 웨이크-업(wake-up) 인터럽트 및 크롭된 ROI 영상을 어플리케이션(1450)에 전달할 수 있다. 어플리케이션(1450)은 웨이크-업 인터럽트에 의해 깨어난 뒤, 크롭된 ROI 영상을 이용해 사용자 인증을 수행할 수 있다.
로우 비트 폭 네트워크(1421) 및 하이 비트 폭 네트워크(1422)는 중첩된 비트 모델에 기초하여 실행될 수 있다. 중첩된 비트 모델은 메모리 공간을 적게 차지하므로, 로직(1420)이 적은 용량의 메모리를 갖는 경우라도 로직(1420) 내에서 구동될 수 있고, 이에 따라 이미지 센서(1400)는 저해상도 모드 및 고해상도 모드를 제공할 수 있다. 저해상도 모드에서 픽셀(1410)의 일부 영역만 활성화되고, 로직(1420)에서 처리 용량이 적은 저해상도 영상이 처리되므로, 저해상도 모드를 통해 소모되는 전력이 감소될 수 있다. 따라서, 중첩된 비트 모델에 기반한 이미지 센서(1400)를 통해 저전력 상시-전원으로 얼굴 감지가 수행될 수 있다. 나아가, 어플리케이션(1450)은 얼굴 ROI가 검출된 이후 구동되므로, 어플리케이션(1450)의 구동으로 인한 전력 소모가 최소화될 수 있다.
도 15는 일 실시예에 따른 멀티 태스크를 이용하여 음성 명령을 저전력으로 인식하는 장치를 나타낸 도면이다.
도 15를 참조하면, 마이크 모듈(1500)은 마이크(1510) 및 DSP(digital signal processor, 1420)를 포함한다. 마이크 모듈(1500)은 상시-전원(always-on)으로 동작할 수 있다. 마이크 모듈(1500)은 중첩된 비트 모델을 이용하여 상시-전원 동작을 위한 전력 소모를 낮출 수 있다.
마이크(1510)는 상시-전원 상태에서 오디오 신호(audio signal)를 출력할 수 있다. DSP(1520)는 로우 비트 폭의 웨이트들에 기초하여 로우 비트 폭 네트워크(1521)를 실행하고, 로우 비트 폭 네트워크(1521)를 이용하여 오디오 신호가 음성에 해당하는지 결정할 수 있다. 예를 들어, 로우 비트 폭은 2비트일 수 있다. 오디오 신호가 음성에 해당하는 것으로 결정된 경우, DSP(1520)는 미들 비트 폭의 웨이트들에 기초하여 미들 비트 폭 네트워크(1522)를 실행할 수 있다. 예를 들어, 미들 비트 폭은 4비트일 수 있다. DSP(1520)는 미들 비트 폭 네트워크(1522)를 이용하여 음성 신호에서 키워드를 검출할 수 있다. 예를 들어, 키워드는 '하이, ○○○', '오케이, ○○'와 같이 어플리케이션(1550)을 웨이크-업하기 위한 명령어에 해당할 수 있다.
음성 신호에서 키워드가 검출된 경우, DSP(1520)는 하이 비트 폭의 웨이트들에 기초하여 하이 비트 폭 네트워크(1523)를 실행할 수 있다. 예를 들어, 하이 비트 폭은 8비트일 수 있다. DSP(1520)는 하이 비트 폭 네트워크(1522)를 이용하여 화자를 인증할 수 있다. 화자 인증에 성공한 경우, 즉 화자가 등록된 사용자에 해당하는 경우, 웨이크-업 인터럽트 및 발화 구간의 음성신호가 어플리케이션(1550)으로 전달될 수 있다. 어플리케이션(1550)은 웨이크-업 인터럽트에 의해 깨어난 뒤, 발화 구간 음성신호를 이용해 음성 인식을 수행할 수 있다.
로우 비트 폭 네트워크(1521), 미들 비트 폭 네트워크(1522) 및 하이 비트 폭 네트워크(1523)는 중첩된 비트 모델에 기초하여 실행될 수 있다. 중첩된 비트 모델은 메모리 공간을 적게 차지하므로, DSP(1520)이 적은 용량의 메모리를 갖는 경우라도 로직(1520) 내에서 구동될 수 있다. DSP(1520)는 평상시 로우 비트 폭 네트워크(1521)를 구동하고, 오디오 신호가 음성에 해당하는 경우 및 키워드가 검출된 경우에만 미들 비트 폭 네트워크(1522) 및 하이 비트 폭 네트워크(1523)를 구동하여 전력 소모를 낮출 수 있다. 나아가, 어플리케이션(1550)은 화자 인증이 성공한 이후 구동되므로, 어플리케이션(1550)의 구동으로 인한 전력 소모가 최소화될 수 있다.
도 16은 일 실시예에 따른 뉴럴 네트워크 처리 장치를 나타낸 블록도이다.
도 16을 참조하면, 처리 장치(1600)는 입력 데이터를 수신한다. 처리 장치(1600)는 뉴럴 네트워크를 이용하여 입력 데이터를 처리할 수 있다. 예를 들어, 처리 장치(1600)는 뉴럴 네트워크를 이용하여 입력 데이터에 관한 인식 동작 혹은 인증 동작을 처리할 수 있다. 데이터베이스(1630)는 소스 모델을 저장할 수 있다.
처리 장치(1600)는 얼굴 인증 방법과 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있고, 얼굴 인증의 결과를 사용자에게 제공할 수 있다. 처리 장치(1600)는 하나 이상의 프로세서(1610) 및 메모리(1620)를 포함할 수 있다. 메모리(1620)는 프로세서(1610)에 연결되고, 프로세서(1610)에 의해 실행가능한 명령어들, 프로세서(1610)가 연산할 데이터 또는 프로세서(1610)에 의해 처리된 데이터를 저장할 수 있다. 메모리(1620)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
프로세서(1610)는 도 1 내지 도 15를 참조하여 설명된 하나 이상의 동작을 실행하기 위한 명령어들을 실행할 수 있다. 예를 들어, 프로세서(1610)는 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정하고, 뉴럴 네트워크의 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 뉴럴 네트워크의 제1 레이어를 위한 제2 웨이트들을 획득하고, 획득된 제2 웨이트들에 기초하여 뉴럴 네트워크의 제1 레이어를 실행하여 뉴럴 네트워크의 제1 레이어의 입력 데이터를 처리할 수 있다. 혹은, 프로세서(1610)는 제1 뉴럴 네트워크를 위한 비트 폭을 결정하고, 소스 모델을 위한 제1 웨이트들 각각에서 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 제1 뉴럴 네트워크를 위한 제2 웨이트들을 획득하고, 획득된 제2 웨이트들에 기초하여 제1 뉴럴 네트워크를 실행하여 제1 뉴럴 네트워크의 입력 데이터를 처리할 수 있다.
도 17은 일 실시예에 따른 전자 장치를 나타낸 블록도이다.
도 17을 참조하면, 전자 장치(1700)는 입력 영상을 수신하고, 입력 영상과 관련된 뉴럴 네트워크의 동작을 처리할 수 있다. 예를 들어, 뉴럴 네트워크의 동작은 입력 영상 내 객체를 인식하거나 인증하는 것을 포함할 수 있다. 전자 장치(1700)는 뉴럴 네트워크의 동작을 처리하는 과정에서 전술된 소스 모델을 이용할 수 있다. 전자 장치(1700)는 도 1 내지 도 16을 통해 설명된 처리 장치를 포함하거나, 도 1 내지 도 16을 통해 설명된 처리 장치의 기능을 수행할 수 있다.
전자 장치(1700)는 프로세서(1710), 메모리(1720), 카메라(1730), 저장 장치(1740), 입력 장치(1750), 출력 장치(1760) 및 네트워크 인터페이스(1770)를 포함할 수 있다. 프로세서(1710), 메모리(1720), 카메라(1730), 저장 장치(1740), 입력 장치(1750), 출력 장치(1760) 및 네트워크 인터페이스(1770)는 통신 버스(1780)를 통해 서로 통신할 수 있다.
프로세서(1710)는 전자 장치(1700) 내에서 실행하기 위한 기능 및 명령어들을 실행한다. 예를 들어, 프로세서(1710)는 메모리(1720) 또는 저장 장치(1740)에 저장된 명령어들을 처리할 수 있다. 프로세서(1710)는 도 1 내지 도 16을 통하여 설명된 하나 이상의 동작을 수행할 수 있다.
메모리(1720)는 뉴럴 네트워크의 동작을 처리하기 위한 정보를 저장한다. 메모리(1720)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 메모리(1720)는 프로세서(1710)에 의해 실행하기 위한 명령어들을 저장할 수 있고, 전자 장치(1700)에 의해 소프트웨어 또는 애플리케이션이 실행되는 동안 관련 정보를 저장할 수 있다.
카메라(1730)는 정지 영상, 비디오 영상, 또는 이들 모두를 촬영할 수 있다. 카메라(1730)는 사용자가 얼굴 인증을 시도하기 위해 입력하는 얼굴 영역을 촬영할 수 있다. 카메라(1730)는 객체들에 관한 깊이 정보를 포함하는 3D 영상을 제공할 수 있다.
저장 장치(1740)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 저장 장치(1740)는 소스 모델, 웨이트 커널, 웨이트 값들과 같이 뉴럴 네트워크를 처리하기 위한 정보를 포함하는 데이터베이스를 저장할 수 있다. 일 실시예에 따르면, 저장 장치(1740)는 메모리(1720)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(1740)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.
입력 장치(1750)는 키보드 및 마우스를 통한 전통적인 입력 방식, 및 터치 입력, 음성 입력, 및 이미지 입력과 같은 새로운 입력 방식을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(1750)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 전자 장치(1700)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.
출력 장치(1760)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 전자 장치(1700)의 출력을 제공할 수 있다. 출력 장치(1760)는 예를 들어, 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 네트워크 인터페이스(1770)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
도 18은 일 실시예에 따른 뉴럴 네트워크 처리 방법을 나타낸 동작 흐름도이다. 도 18을 참조하면, 단계(1810)에서, 처리 장치는 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정한다. 단계(1820)에서, 처리 장치는 뉴럴 네트워크의 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 뉴럴 네트워크의 제1 레이어를 위한 제2 웨이트들을 획득한다. 단계(1830)에서, 처리 장치는 획득된 제2 웨이트들에 기초하여 뉴럴 네트워크의 제1 레이어를 실행하여 뉴럴 네트워크의 제1 레이어의 입력 데이터를 처리한다. 그 밖에, 뉴럴 네트워크를 이용한 처리 방법에는 도 1 내지 도 17을 통해 설명된 사항이 적용될 수 있다.
도 19는 다른 실시예에 따른 뉴럴 네트워크 처리 방법을 나타낸 동작 흐름도이다. 도 19를 참조하면, 단계(1910)에서, 처리 장치는 제1 뉴럴 네트워크를 위한 비트 폭을 결정한다. 단계(1920)에서, 처리 장치는 소스 모델을 위한 제1 웨이트들 각각에서 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 제1 뉴럴 네트워크를 위한 제2 웨이트들을 획득한다. 단계(1930)에서, 처리 장치는 획득된 제2 웨이트들에 기초하여 제1 뉴럴 네트워크를 실행하여 제1 뉴럴 네트워크의 입력 데이터를 처리한다. 그 밖에, 뉴럴 네트워크를 이용한 처리 방법에는 도 1 내지 도 17을 통해 설명된 사항이 적용될 수 있다.
도 20은 일 실시예에 따른 뉴럴 네트워크 트레이닝 방법을 나타낸 동작 흐름도이다. 도 20을 참조하면, 단계(2010)에서, 트레이닝 장치는 뉴럴 네트워크의 제1 레이어에 대응하는 하이 비트 폭의 웨이트들을 양자화하여 제1 레이어에 대응하는 로우 비트 폭의 웨이트들을 결정한다. 단계(2020)에서, 트레이닝 장치는 입력 데이터를 제1 레이어에 인가하여 결정된 로우 비트 폭의 웨이트들에 대응하는 로스 값들을 결정한다. 단계(2030)에서, 트레이닝 장치는 결정된 로스 값들에 기초하여 하이 비트 폭의 웨이트들을 업데이트한다. 그 밖에, 뉴럴 네트워크 트레이닝 방법에는 도 1 내지 도 17을 통해 설명된 사항이 적용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (32)

  1. 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정하는 단계;
    상기 뉴럴 네트워크의 상기 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 상기 결정된 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제1 레이어를 위한 제2 웨이트들을 획득하는 단계; 및
    상기 획득된 상기 제2 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제1 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제1 레이어의 입력 데이터를 처리하는 단계
    를 포함하는 뉴럴 네트워크를 이용한 처리 방법.
  2. 제1항에 있어서,
    상기 제1 웨이트들은 상기 제2 웨이트들에 비해 높은 비트 정밀도(bit-precision)를 갖는, 뉴럴 네트워크를 이용한 처리 방법.
  3. 제1항에 있어서,
    상기 제2 웨이트들은 상기 제1 웨이트들에 중첩(nested)되는, 뉴럴 네트워크를 이용한 처리 방법.
  4. 제1항에 있어서,
    상기 뉴럴 네트워크의 상기 제1 레이어를 위한 상기 비트 폭은 상기 뉴럴 네트워크의 상기 제1 레이어에 대응하는 처리 특성에 기초하여 결정되고,
    상기 처리 특성은 요구 처리 속도, 요구 처리 정확도, 처리 난이도 및 단말 성능 중 적어도 하나를 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  5. 제1항에 있어서,
    상기 뉴럴 네트워크의 제2 레이어를 위한 비트 폭을 결정하는 단계;
    상기 뉴럴 네트워크의 상기 제2 레이어에 대응하는 상기 소스 모델의 제2 레이어를 위한 제3 웨이트들 각각에서 상기 결정된 상기 뉴럴 네트워크의 상기 제2 레이어를 위한 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제2 레이어를 위한 제4 웨이트들을 획득하는 단계; 및
    상기 획득된 제4 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제2 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제2 레이어의 입력 데이터를 처리하는 단계
    를 더 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  6. 제5항에 있어서,
    상기 제3 웨이트들은 상기 제4 웨이트들에 비해 높은 비트 정밀도(bit precision)를 갖는, 뉴럴 네트워크를 이용한 처리 방법.
  7. 제5항에 있어서,
    상기 제4 웨이트들은 상기 제3 웨이트들에 중첩(nested)되는, 뉴럴 네트워크를 이용한 처리 방법.
  8. 제5항에 있어서,
    상기 제2 웨이트들에 기초하여 실행된 상기 뉴럴 네트워크의 상기 제1 레이어는 상기 제1 레이어의 상기 입력 데이터에 기초하여 제1 태스크를 처리하고,
    상기 제4 웨이트들에 기초하여 실행된 상기 뉴럴 네트워크의 상기 제2 레이어는 상기 제2 레이어의 상기 입력 데이터에 기초하여 상기 제1 태스크와 구별되는 제2 태스크를 처리하는,
    뉴럴 네트워크를 이용한 처리 방법.
  9. 제1 뉴럴 네트워크를 위한 비트 폭을 결정하는 단계;
    소스 모델을 위한 제1 웨이트들 각각에서 상기 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제1 뉴럴 네트워크를 위한 제2 웨이트들을 획득하는 단계; 및
    상기 획득된 제2 웨이트들에 기초하여 상기 제1 뉴럴 네트워크를 실행하여 상기 제1 뉴럴 네트워크의 입력 데이터를 처리하는 단계
    를 포함하는 뉴럴 네트워크를 이용한 처리 방법.
  10. 제9항에 있어서,
    상기 제1 웨이트들은 상기 제2 웨이트들에 비해 높은 비트 정밀도(bit-precision)를 갖는, 뉴럴 네트워크를 이용한 처리 방법.
  11. 제9항에 있어서,
    상기 제2 웨이트들은 상기 제1 웨이트들에 중첩(nested)되는, 뉴럴 네트워크를 이용한 처리 방법.
  12. 제9항에 있어서,
    상기 제1 뉴럴 네트워크에 의한 상기 입력 데이터의 처리 결과에 따라, 제2 뉴럴 네트워크를 위한 비트 폭을 결정하는 단계;
    상기 제1 웨이트들 각각에서 상기 결정된 상기 제2 뉴럴 네트워크를 위한 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제2 뉴럴 네트워크를 위한 제3 웨이트들을 획득하는 단계; 및
    상기 획득된 상기 제3 웨이트들에 기초하여 상기 제2 뉴럴 네트워크를 실행하여 상기 제2 뉴럴 네트워크의 입력 데이터를 처리하는 단계
    를 더 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  13. 제12항에 있어서,
    상기 제1 웨이트들은 상기 제3 웨이트들에 비해 높은 비트 정밀도(bit-precision)를 갖는, 뉴럴 네트워크를 이용한 처리 방법.
  14. 제12항에 있어서,
    상기 제2 웨이트들 및 상기 제3 웨이트들은 상기 제1 웨이트들에 중첩(nested)되는, 뉴럴 네트워크를 이용한 처리 방법.
  15. 제12항에 있어서,
    상기 제2 웨이트들에 기초하여 실행된 상기 제1 뉴럴 네트워크는 상기 제1 뉴럴 네트워크의 상기 입력 데이터에 기초하여 제1 태스크를 처리하고,
    상기 제3 웨이트들에 기초하여 실행된 상기 제2 뉴럴 네트워크는 상기 제2 뉴럴 네트워크의 상기 입력 데이터에 기초하여 상기 제1 태스크와 구별되는 제2 태스크를 처리하는,
    뉴럴 네트워크를 이용한 처리 방법.
  16. 제9항에 있어서,
    상기 제1 뉴럴 네트워크를 위한 비트 폭은 상기 제1 뉴럴 네트워크에 대응하는 처리 특성에 기초하여 결정되고,
    상기 처리 특성은 요구 처리 속도, 요구 처리 정확도, 처리 난이도 및 단말 성능 중 적어도 하나를 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  17. 뉴럴 네트워크의 제1 레이어에 대응하는 하이 비트 폭(high bit width)의 웨이트들을 양자화(quantization)하여 상기 제1 레이어에 대응하는 로우 비트 폭(low bit width)의 웨이트들을 결정하는 단계;
    입력 데이터를 상기 제1 레이어에 인가하여 상기 결정된 상기 로우 비트 폭의 상기 웨이트들에 대응하는 로스 값(loss value)들을 결정하는 단계; 및
    상기 결정된 상기 로스 값들에 기초하여 상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계
    를 포함하는 뉴럴 네트워크 트레이닝 방법.
  18. 제17항에 있어서,
    상기 하이 비트 폭의 상기 웨이트들에 관한 트레이닝이 완료된 이후, 상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제1 레이어에 대응하는 상기 로우 비트 폭의 웨이트 세트들을 결정하는 단계를 더 포함하는, 뉴럴 네트워크 트레이닝 방법.
  19. 제18항에 있어서,
    상기 로우 비트 폭의 상기 웨이트 세트들은 제1 비트 폭의 웨이트 세트 및 상기 제1 비트 폭의 상기 웨이트 세트에 비해 낮은 비트 정밀도(bit precision)를 갖는 제2 비트 폭의 웨이트 세트를 포함하고,
    상기 제2 비트 폭의 웨이트 세트는 상기 제1 비트 폭의 웨이트 세트에 중첩(nested)되는, 뉴럴 네트워크 트레이닝 방법.
  20. 제17항에 있어서,
    상기 로우 비트 폭의 상기 웨이트들은 상기 하이 비트 폭의 상기 웨이트들에 비해 낮은 비트 정밀도(bit-precision)를 갖는 제1 비트 폭의 제1 웨이트들, 및 상기 제1 비트 폭의 제1 웨이트들에 비해 낮은 비트 정밀도(bit-precision)를 갖는 제2 비트 폭의 제2 웨이트들을 포함하는, 뉴럴 네트워크 트레이닝 방법.
  21. 제20항에 있어서,
    상기 로우 비트 폭의 상기 웨이트들을 결정하는 단계는
    상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제1 비트 폭의 상기 제1 웨이트들을 결정하는 단계; 및
    상기 결정된 상기 로우 비트 폭의 상기 제1 웨이트들 각각에서 일부 비트들을 추출하여 상기 제2 비트 폭의 상기 제2 웨이트들을 결정하는 단계
    를 포함하는, 뉴럴 네트워크 트레이닝 방법.
  22. 제20항에 있어서,
    상기 로우 비트 폭의 상기 웨이트들을 결정하는 단계는
    상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제2 비트 폭의 상기 제2 웨이트들을 결정하는 단계;
    상기 결정된 상기 제2 비트 폭의 상기 제2 웨이트들을 상기 제1 비트 폭의 상기 제1 웨이트들의 상위 비트 그룹으로 결정하는 단계; 및
    상기 하이 비트 폭의 상기 웨이트들을 양자화하여 상기 제1 비트 폭의 상기 제1 웨이트들의 하위 비트 그룹을 결정하는 단계
    를 포함하는, 뉴럴 네트워크 트레이닝 방법.
  23. 제17항에 있어서,
    상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계는
    상기 결정된 상기 로스 값들에 대응하는 손실 기울기(gradient of loss)들의 통계 정보에 기초하여 상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계를 포함하는, 뉴럴 네트워크 트레이닝 방법.
  24. 제23항에 있어서,
    상기 하이 비트 폭의 상기 웨이트들을 업데이트하는 단계는
    상기 로우 비트 폭의 상기 웨이트들 중에 우선순위가 높게 설정된 웨이트에 대응하는 손실 기울기에 높은 가중치를 부여하여 상기 통계 정보를 계산하는 단계를 더 포함하는, 뉴럴 네트워크 트레이닝 방법.
  25. 프로세서; 및
    상기 프로세서에서 읽을 수 있는 명령어를 저장하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 뉴럴 네트워크의 제1 레이어를 위한 비트 폭을 결정하고, 상기 뉴럴 네트워크의 상기 제1 레이어에 대응하는 소스 모델의 제1 레이어를 위한 제1 웨이트들 각각에서 상기 결정된 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제1 레이어를 위한 제2 웨이트들을 획득하고, 상기 획득된 상기 제2 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제1 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제1 레이어의 입력 데이터를 처리하는, 뉴럴 네트워크를 이용한 처리 장치.
  26. 제25항에 있어서,
    상기 프로세서는
    상기 뉴럴 네트워크의 제2 레이어를 위한 비트 폭을 결정하고, 상기 뉴럴 네트워크의 상기 제2 레이어에 대응하는 상기 소스 모델의 제2 레이어를 위한 제3 웨이트들 각각에서 상기 결정된 상기 뉴럴 네트워크의 상기 제2 레이어를 위한 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 뉴럴 네트워크의 상기 제2 레이어를 위한 제4 웨이트들을 획득하고, 상기 획득된 제4 웨이트들에 기초하여 상기 뉴럴 네트워크의 상기 제2 레이어를 실행하여 상기 뉴럴 네트워크의 상기 제2 레이어의 입력 데이터를 처리하는, 뉴럴 네트워크를 이용한 처리 장치.
  27. 프로세서; 및
    상기 프로세서에서 읽을 수 있는 명령어를 저장하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 뉴럴 네트워크를 위한 비트 폭을 결정하고, 소스 모델을 위한 제1 웨이트들 각각에서 상기 결정된 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제1 뉴럴 네트워크를 위한 제2 웨이트들을 획득하고, 상기 획득된 제2 웨이트들에 기초하여 상기 제1 뉴럴 네트워크를 실행하여 상기 제1 뉴럴 네트워크의 입력 데이터를 처리하는, 뉴럴 네트워크를 이용한 처리 장치.
  28. 제27항에 있어서,
    상기 프로세서는
    상기 제1 뉴럴 네트워크에 의한 상기 입력 데이터의 처리 결과에 따라, 제2 뉴럴 네트워크를 위한 비트 폭을 결정하고, 상기 제1 웨이트들 각각에서 상기 결정된 상기 제2 뉴럴 네트워크를 위한 상기 비트 폭에 대응하는 적어도 일부 비트들을 추출하여 상기 제2 뉴럴 네트워크를 위한 제3 웨이트들을 획득하고, 상기 획득된 상기 제3 웨이트들에 기초하여 상기 제2 뉴럴 네트워크를 실행하여 상기 제2 뉴럴 네트워크의 입력 데이터를 처리하는, 뉴럴 네트워크를 이용한 처리 장치.
  29. 프로세서; 및
    상기 프로세서에서 읽을 수 있는 명령어를 저장하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 뉴럴 네트워크의 제1 레이어에 대응하는 하이 비트 폭(high bit width)의 웨이트들을 양자화(quantization)하여 상기 제1 레이어에 대응하는 로우 비트 폭(low bit width)의 웨이트들을 결정하고, 입력 데이터를 상기 제1 레이어에 인가하여 상기 결정된 상기 로우 비트 폭의 상기 웨이트들에 대응하는 로스 값(loss value)들을 결정하고, 상기 결정된 상기 로스 값들에 기초하여 상기 하이 비트 폭의 상기 웨이트들을 업데이트하는, 뉴럴 네트워크 트레이닝 장치.
  30. 제29항에 있어서,
    상기 로우 비트 폭의 웨이트들은 상기 하이 비트 폭의 상기 웨이트들에 비해 낮은 비트 정밀도(bit-precision)를 갖는 제1 비트 폭의 제1 웨이트들, 및 상기 제1 비트 폭의 제1 웨이트들에 비해 낮은 비트 정밀도(bit-precision)를 갖는 제2 비트 폭의 제2 웨이트들을 포함하는, 뉴럴 네트워크 트레이닝 장치.
  31. 제30항에 있어서,
    상기 프로세서는
    상기 하이 비트 폭의 웨이트들을 양자화하여 상기 제1 비트 폭의 상기 제1 웨이트들을 결정하고, 상기 결정된 상기 로우 비트 폭의 상기 제1 웨이트들 각각에서 일부 비트들을 추출하여 상기 제2 비트 폭의 상기 제2 웨이트들을 결정하는, 뉴럴 네트워크 트레이닝 장치.
  32. 제30항에 있어서,
    상기 프로세서는
    상기 하이 비트 폭의 웨이트들을 양자화하여 상기 제2 비트 폭의 상기 제2 웨이트들을 결정하고, 상기 결정된 상기 제2 비트 폭의 상기 제2 웨이트들을 상기 제1 비트 폭의 상기 제1 웨이트들의 상위 비트들로 결정하고, 상기 하이 비트 폭의 웨이트들을 양자화하여 상기 제1 비트 폭의 상기 제1 웨이트들의 하위 비트들을 결정하는, 뉴럴 네트워크 트레이닝 장치.
KR1020180165585A 2018-12-19 2018-12-19 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치 KR20200076461A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180165585A KR20200076461A (ko) 2018-12-19 2018-12-19 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치
US16/537,752 US20200202199A1 (en) 2018-12-19 2019-08-12 Neural network processing method and apparatus based on nested bit representation
CN201910778533.5A CN111340177A (zh) 2018-12-19 2019-08-22 基于嵌套位表示的神经网络处理方法和设备
EP19204904.7A EP3671575A3 (en) 2018-12-19 2019-10-23 Neural network processing method and apparatus based on nested bit representation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165585A KR20200076461A (ko) 2018-12-19 2018-12-19 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200076461A true KR20200076461A (ko) 2020-06-29

Family

ID=68342676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165585A KR20200076461A (ko) 2018-12-19 2018-12-19 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US20200202199A1 (ko)
EP (1) EP3671575A3 (ko)
KR (1) KR20200076461A (ko)
CN (1) CN111340177A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231090A1 (ko) * 2021-04-27 2022-11-03 삼성전자 주식회사 인공 지능 모델에 기반하여 데이터를 처리하는 전자 장치 및 그 동작 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806107B2 (ja) * 2018-03-20 2021-01-06 日本電気株式会社 障害物認識支援装置、障害物認識支援方法、プログラム
CN109871845B (zh) * 2019-01-10 2023-10-31 平安科技（深圳）有限公司 证件图像提取方法及终端设备
US11593628B2 (en) * 2020-03-05 2023-02-28 Apple Inc. Dynamic variable bit width neural processor
CN111831354B (zh) * 2020-07-09 2023-05-16 北京灵汐科技有限公司 数据精度配置方法、装置、芯片、芯片阵列、设备及介质
US10970619B1 (en) 2020-08-21 2021-04-06 Moffett Technologies Co., Limited Method and system for hierarchical weight-sparse convolution processing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101914701B1 (ko) * 2016-12-29 2019-01-14 한국과학기술원 스토캐스틱 컴퓨팅 기반의 에스엔지 및 이를 이용한 뉴로모픽 회로

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022231090A1 (ko) * 2021-04-27 2022-11-03 삼성전자 주식회사 인공 지능 모델에 기반하여 데이터를 처리하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP3671575A3 (en) 2020-09-16
EP3671575A2 (en) 2020-06-24
CN111340177A (zh) 2020-06-26
US20200202199A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
KR20200076461A (ko) 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치
EP3474194B1 (en) Method and apparatus with neural network parameter quantization
US20230102087A1 (en) Method and apparatus with neural network
EP3270330B1 (en) Method for neural network and apparatus performing same method
KR102415506B1 (ko) 뉴럴 네트워크 간소화 방법 및 장치
KR102399548B1 (ko) 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
KR102562320B1 (ko) 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치
KR20200086581A (ko) 뉴럴 네트워크 양자화를 위한 방법 및 장치
KR20180070103A (ko) 인식 방법 및 인식 장치
US20190354865A1 (en) Variance propagation for quantization
US20210319090A1 (en) Authenticator-integrated generative adversarial network (gan) for secure deepfake generation
US20210117781A1 (en) Method and apparatus with neural network operation
US20240086694A1 (en) Neuromorphic method and apparatus with multi-bit neuromorphic operation
CN113632106A (zh) 人工神经网络的混合精度训练
CN111105017A (zh) 神经网络量化方法、装置及电子设备
US20230076169A1 (en) Neural network apparatus and method of processing variable-resolution operation by the same
WO2023146613A1 (en) Reduced power consumption analog or hybrid mac neural network
US20220004904A1 (en) Deepfake detection models utilizing subject-specific libraries
CN110909860A (zh) 神经网络参数初始化的方法和装置
CN117999560A (zh) 机器学习模型的硬件感知渐进训练
EP3843005B1 (en) Method and apparatus with quantized image generation
EP4032028A1 (en) Efficient inferencing with fast pointwise convolution
KR20210141252A (ko) 전자 장치 및 그 제어 방법
US20220108156A1 (en) Hardware architecture for processing data in sparse neural network

Legal Events

Date Code Title Description
A201 Request for examination