KR20210135465A - 훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템 - Google Patents

훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템 Download PDF

Info

Publication number
KR20210135465A
KR20210135465A KR1020210152195A KR20210152195A KR20210135465A KR 20210135465 A KR20210135465 A KR 20210135465A KR 1020210152195 A KR1020210152195 A KR 1020210152195A KR 20210152195 A KR20210152195 A KR 20210152195A KR 20210135465 A KR20210135465 A KR 20210135465A
Authority
KR
South Korea
Prior art keywords
neural network
deep neural
weight matrix
parameter
computer system
Prior art date
Application number
KR1020210152195A
Other languages
English (en)
Inventor
문현철
김재곤
천승문
고현철
Original Assignee
(주)인시그널
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인시그널, 한국항공대학교산학협력단 filed Critical (주)인시그널
Publication of KR20210135465A publication Critical patent/KR20210135465A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

훈련된 심층 신경망(trained deep neuralnetwork)의 압축 장치가 구현된 컴퓨터 시스템이 개시된다. 일 실시예에 따른 컴퓨터 시스템은, 저장 장치 및 상기 저장 장치에 저장되어 있는 프로그래밍 명령을 가져와서 실행하는 프로세서를 포함하고, 상기 프로세서는, 멀티미디어 콘텐츠의 처리를 위한 훈련된 심층 신경망을 기술하는 가중치 매트릭스(weight matrix)를 간략화하기 위한 파라미터 축소 유닛(parameter reduction unit), 상기 파라미터 축소 유닛에 의하여 축소된 상기 가중치 매트릭스를 양자화하기 위한 양자화 유닛(quantization unit) 및 상기 양자화 유닛에 의하여 양자화된 가중치 매트릭스를 소정의 방향으로 스캔한 다음, 스캔된 가중치들을 순차적으로 엔트로피 코딩하여 비트스트림으로 출력하기 위한 엔트로피 코딩 유닛(entropy coding unit)을 포함하고, 상기 파라미터 축소 유닛은, 가지치기(pruning) 기법 및 저계층 근사화(low rank approximation) 기법 중에서 적어도 하나의 기법을 이용한다.

Description

훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템{Computer system for apparatus for compressing trained deep neural networks}
본 발명은 인공 신경망(Artificial Neural Network, ANN) 기술에 관한 것으로, 보다 구체적으로 멀티미디어 콘텐츠의 처리를 위한 훈련된 심층 신경망(Deep Neural Network, DNN)의 압축 장치 및 방법에 관한 것이다.
인공 지능(Artificial Intelligence, AI)을 다양한 산업 분야에서 활용하기 위한 시도들이 계속되어 왔다. 특히, 최근의 인공 지능 기술은 생물학적 신경망과 공통된 특정 성능을 갖는 정보 처리 시스템인 신경망(Neural Network, NN)을 활용하면서, 그 성능이 큰 폭으로 향상되고 있으며, 그에 따라 응용 분야도 급속도로 증가하고 있다.
이러한 신경망(NN)은 '인공' 신경망(Artificial Neural Network, ANN)이라고도 불린다. 인공 신경망(ANN)은 동물 신경의 행동 특성을 모방하는 분산 병렬 정보 처리 모델이다. ANN에는 서로 연결되어 있는 많은 수의 노드(뉴런이라고도 함)가 존재한다. ANN은 두 가지 특징을 가지고 있다: 1) 각 뉴런은 특정 출력 기능(활성화 기능이라고도 함)을 통해 다른 인접한 뉴런으로부터 가중 입력값을 계산한다. 2) 뉴런들 사이의 정보 전송 강도는 소위 "가중치(weight)"이라고 불리는 것에 의해 측정되며, 그러한 가중치는 특정한 알고리즘의 자기 학습에 의해 조정될 수 있다.
ANN은 신경망에 포함되는 변수 및 토폴로지 관계를 지정하기 위해 상이한 아키텍쳐를 사용할 수 있다. 신경망에 포함되는 파라미터는 뉴런의 활동과 함께 뉴런들 간의 연결의 가중치일 수 있다. 신경망 토폴로지의 유형으로 피드 포워드 네트워크와 역방향 전파 신경망(backward propagation neural network)이 있다. 전자에서는 동일한 계층에서 서로 연결된 각 계층 내의 노드가 다음 스테이지로 공급되는데, 제공되는 입력 패턴에 따라 연결의 가중치를 수정하는 '학습 규칙'의 일부 형태를 포함한다. 후자에서는 가중 조정치의 역방향 에러 전파를 허용하는 것으로, 전자보다 진보된 신경망이다.
심층 신경망(Deep Neural Network, DNN)은 다수의 레벨의 상호 연결된 노드를 갖는 신경망에 대응하여 매우 비선형이고 고도로 변화하는 기능을 콤팩트하게 표현할 수 있다. 그럼에도 불구하고, 다수의 계층과 연관된 노드의 수와 함께 DNN에 대한 계산 복잡도가 급격히 상승한다. 최근까지 이러한 DNN을 학습 또는 훈련(training)시키기 위한 효율적인 연산 방법들이 개발되고 있다. DNN의 학습 속도가 획기적으로 높아짐에 따라, 음성 인식, 이미지 세분화, 물체 감지, 안면 인식 등의 다양하고 복잡한 작업에 성공적으로 적용되고 있다.
멀티미디어 콘텐츠, 예컨데 비디오의 압축 및 복원도 이러한 DNN의 적용이 시도되고 있는 분야의 하나이다. 현재 차세대 비디오 코딩으로 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)이 ITU-T(비디오 코딩 전문가 그룹) 및 ISO/IEC MPEG(동영상 전문가 그룹) 표준화 조직의 공동 비디오 프로젝트에 의하여 개발되어 국제 표준으로 채택되어 사용되고 있으며, DNN을 HEVC 등과 같은 새로운 비디오 코딩 표준에 적용함으로써, 그 성능을 더욱 향상시키는 것이 가능하다는 것이 알려져 있다. 이러한 시도의 하나가 한국공개특허 제10-2018-0052651호, "비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치"에 개시되어 있다.
그러나, 신경망의 규모는 최근 몇 년 동안 급속한 발전으로 인해 폭발하고 있다. 몇몇 진보된 신경망 모델들은 수백 개의 층과 수십억 개의 연결을 가지고 있을 것이다. 그리고 그것의 구현은 계산-중심과 기억-중심 둘 다이다.
신경망이 점점 커지고 있기 때문에, 이동 단말기 등과 같이 스토리지 용량, 프로세서의 성능, 통신 대역폭 등에 제약이 있는 장치에서 적용하기 위해서는 신경망 모델을 작은 크기로 만드는 것, 즉 압축이 상당히 중요하다. 특히, 이동 단말기에서 중요한 어플리케이션으로 활용되는 멀티미디어 콘텐츠의 생산 및 소비를 위한 비디오 코딩 어플리케이션에 신경망 모델을 적용하기 위해서는, 작은 크기의 신경망 모델이 필수적이다. 하지만, 현재까지는 신경망 모델을 압축하고 또한 압축된 신경망 모델을 복원하는 기술과 관련해서는, 충분한 연구가 이루어지지 않고 있다.
한국공개특허 제10-2018-0052651호, "비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치"
본 발명이 해결하고자 하는 하나의 과제는, 신경망의 성능을 저하를 최소화하면서 이동 단말기 등과 같이 스토리지, 프로세서의 성능, 통신 대역폭 등에 제약이 있는 장치에 적용할 수 있는, 멀티미디어 콘텐츠의 기술, 분석, 처리를 위한 훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 시스템은저장 장치 및 상기 저장 장치에 저장되어 있는 프로그래밍 명령을 가져와서 실행하는 프로세서를 포함하는 컴퓨터 시스템으로서, 상기 프로세서는, 심층 신경망을 기술하는 가중치 매트릭스(weight matrix)를 간략화하기 위한 파라미터 축소 유닛(parameter reduction unit), 상기 파라미터 축소 유닛에 의하여 축소된 상기 가중치 매트릭스를 양자화하기 위한 양자화 유닛(quantization unit) 및 상기 양자화 유닛에 의하여 양자화된 가중치 매트릭스를 소정의 방향으로 스캔한 다음, 스캔된 가중치들을 순차적으로 엔트로피 코딩하여 비트스트림으로 출력하기 위한 엔트로피 코딩 유닛(entropy coding unit)을 포함하고, 상기 파라미터 축소 유닛은 가지치기(pruning) 기법 및 저계층 근사화(low rank approximation) 기법 중에서 적어도 하나의 기법을 이용하여 상기 가중치 매트릭스를 간략화하고, 또한 상기 가중치 매트릭스의 간략화에 사용한 기법을 지시하는 정보를 출력한다.
상기 실시예의 일 측면에 의하면, 상기 저계층 근사화 기법은, 상기 훈련된 심층 신경망의 최초 가중치 매트릭스(original weight matrix)를, 복수 개의 보다 낮은 차원의 저차원 가중치 매트릭스(low rank weight matrix)로 분해하여 표현한다.
이 경우에, 상기 파라미터 축소 유닛은, 상기 저계층 근사화 기법에서 사용되는 순환 오퍼레이터(circulant operator), 랭크값(rank value), 상기 최초 가중치 매트릭스의 차원과 형상(dimension and shape) 정보 및 리쉐이핑 모드(reshaping mode) 중에서, 하나 이상을 출력한다.
본 발명의 실시예에 의하면, 이동 단말기 등과 같이 스토리지, 프로세서의 성능, 통신 대역폭에 제약이 있는 장치에서도, 멀티미디어 콘텐츠의 처리 등에 심층 신경망을 적용할 수 있도록, 훈련된 심층 신경망을 효과적으로 압축하는 것이 가능하다.
도 1은 심층 신경망의 압축 및 복원을 위한 프레임워크의 구성을 보여 주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 처리를 위한 훈련된 심층 신경망의 압축/복원 장치가 구현된 컴퓨터 시스템의 구체적인 구성을 보여 주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 심층 신경망 압축 장치의 구성의 일례를 보여 주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 훈련된 심층 신경망의 일례인 컨볼루션 신경망(CNN)을 보여 주는 도면이다.
도 5는 가지치기 기법에 따른 처리 과정의 일례를 보여 주는 흐름도이다.
도 6은 매트릭스 분해 과정의 일례를 보여 주는 흐름도이다.
도 7은 균일양자화 과정의 일례를 보여 주는 흐름도이다.
도 8은 적응적 양자화 과정의 일례를 보여 주는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 심층 신경망 복원 장치의 구성의 일례를 보여 주는 블록도이다.
이하, 도면을 참조하여 본 발명의 바람직한 실시형태 및 실시예를 설명한다. 다만, 이하의 실시형태 및 실시예는 본 발명의 바람직한 구성을 예시적으로 나타내는 것일 뿐이며, 본 발명의 범위는 이들 구성에 한정되지 않는다. 그리고 이하의 설명에 있어서, 장치의 하드웨어 구성 및 소프트웨어 구성, 처리 흐름, 제조조건, 크기, 재질, 형상 등은, 특히 특정적인 기재가 없는 한, 본 발명의 범위를 이것으로 한정하려는 취지인 것은 아니다.
신경망 압축 및 복원 시스템
도 1은 심층 신경망의 압축 및 복원을 위한 프레임워크의 구성을 보여 주는 블록도이다. 도 1을 참조하면, 신경망의 압축 및 복원을 위한 프레임워크는 파라미터 축소 모듈(parameter reduction module, Part 1), 파라미터 근사화 모듈(parameter approximation module, Part 2), 재구성 모듈(reconstruction module, Part 3), 인코딩 모듈(encoding module, Part 4) 및 디코딩 모듈(decoding module, Part 5)을 포함한다. 도 1에서 최초 신경망 모델(Original NN Model)과 재구성된 신경망 모델(Reconstructed NN Model)은 동일한 모델 포맷으로 구성됨을 가정한다.
파라미터 축소 모듈(Part 1)에서의 과정은, 전처리의 관점에서 수행하는 것으로, 임의적인 과정이다. 따라서 파라미터 축소 모듈(Part 1)에서의 과정을 거치지 않고, 최초 신경망 모델(Original NN Model)이 바로 파라미터 근사화 모듈(Part 2)로 입력될 수도 있다. 다만, 파라미터 축소 모듈(Part 1)을 거치는 경우에는, 해당 모듈의 수행과 관련된 정보(메타데이터 등)가 생성되어서, 신경망 복원을 위해 압축 및 전송될 수 있다. 예컨대, 가지치기 기법 및/또는 매트릭스 분해 기법의 수행 여부를 지시하는 정보(플래그)와 함께 해당 기법의 수행과 관련된 정보들이 메타데이터로서, 파라미터 축소 모듈(Part 1)의 출력이 될 수 있는데, 이에 대해서는 후술한다. 그리고 출력된 정보는 복원을 위하여 재구성 모듈(Part 3) 및/또는 디코딩 모듈(Part 5)로 전송될 수 있다. 파라미터 축소 모듈(Part 1)에서 수행되는 구체적인 과정에 대해서는 후술한다.
파라미터 근사화 모듈(Part 2)에서는 추출된 파라미터 텐서들에 파라미터 근사화 기법을 적용한다. 파라미터 근사화 기법은 예컨대, 양자화(quantization), 변환(transfomation), 예측(prediction) 등의 기법을 포함한다. 파라미터 근사화 모듈(Part 2)에서 수행되는 과정의 일례로서, 양자화 과정에 대해서는 후술한다.
재구성 모듈(Part 3)에서는, 파라미터 근사화 모듈(Part 2)에 의해서 생성되는 근사화된 파라미터 텐서를 복원한다. 일반적으로, 비트스트림에서 복원된 메타데이터 정보를 이용하여, 근사화된 파라미터 텐서를 복원할 수 있다. 재구성 모듈(Part 3)로의 입력은, 파라미터 근사화 모듈(Part 2)의 출력과 동일한 포맷을 갖는다. 그리고 재구성 모듈(Part 3)로부터의 출력은, 파라미터 근사화 모듈(Part 2)의 입력과 동일한 포맷을 갖는다.
인코딩 모듈(Part 4)은 엔트로피 인코딩 기법을 사용하며, 이에 대해서는 후술한다. 그리고 디코딩 모듈(Part 5)에서는 입력되는 비트스트림에 대한 무손실 디코딩을 수행한다. 디코딩 모듈(Part 5)의 입력은, 인코딩 모듈(Part 4)에서 특정되는 비트스트림이며, 또한 아이템이 없는 빈 사전의 경우에는 인코딩 모듈(Part 4)의 입력과 동일한 포맷을 가진다. 디코딩 모듈(Part 5)의 출력은, 파라미터 근사화 모듈(Part 2)의 입력과 동일하 포맷의 사전 형태를 갖는다. 그러나 디코딩 모듈(Part 5)의 출력은, 파라미터 근사화 모듈의 출력 내에 존재하는 파라미터, 메타데이터, int_parameter와 동일해야 한다(loseless coding).
도 2는 본 발명의 일 실시예에 따른 훈련된 심층 신경망의 압축 장치 또는 복원 장치가 구현된 컴퓨터 시스템(100)의 구체적인 구성을 보여 주는 블록도이다.
도 2를 참조하면, 컴퓨터 시스템(100)은 하나 또는 이상의 프로세서(110), 입출력 장치 인터페이스(120), 네트워크 인터페이스(130), 인터컨넥터(BUS, 140), 메모리(150) 및 스토리지(160)를 포함한다. 이러한 컴퓨터 시스템(100)은 단일의 컴퓨팅 장치로 구성한 특정한 하나의 장치이거나 또는 하나 이상의 프로세서와 하나 이상의 관련 메모리를 포함하여 구성된 다수의 장치의 집합일 수 있다.
프로세서(110)는 메모리(150) 또는 스토리지(160)에 저장되어 있는 프로그래밍 명령어를 가져와서 실행한다. 마찬가지로, 프로세서(110)는 메모리(150)에 어플리케이션 데이터를 저장하거나 또는 가져온다. 입출력 장치 인터페이스(120)는, 키보드, 디스플레이 및 마우스 장치 등과 같은 입출력 장치(12)를 컴퓨터 시스템(100)에 연결하기 위한 것이다. 네트워크 인터페이스(130)는 유선이나 무선을 통해 자체망(인트라넷)이나 인터넷, 무신통신 네트워크 등과 같은 외부망과 통신하기 위한 것으로, 데이터 통신 네트워크(14)를 통해 데이터를 전송한다.
인터컨넥터(140)는, 프로세서(110)와 입출력 장치 인터페이스(120), 스토리지(160), 네트워크 인터페이스(130) 및 메모리(150) 각각의 사이에서, 프로그래밍 명령어 및 어플리케이션 데이터를 전송하는 기능을 수행한다. 이러한 인터컨넥터(140)는 하나 이상의 버스(BUS)일 수 있다. 프로세서(110)는 단일의 중앙처리장치(CPU)이거나 또는 복수의 CPU, 다양한 구현예에서 복수의 프로세싱 코어를 갖는 단일의 CPU로 구현될 수 있다. 일 측면에 의하면, 프로세서(110)는 디지털 신호 프로세서(Digital Signal Processor, DSP)일 수 있다.
메모리(150)는 일반적으로 SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 또는 플래시(Flash) 등과 같은 랜덤 엑세스 메모리를 포함한다. 스토리지(160)는 일반적으로 하드 디스크 드라이브, SSD(Solid State Device), 제거 가능한 메모리 카드, 광 스토리지, 플래시 메모리 디바이스, NAS(Network Attached Storage) 또는 SAN(Storage Area Device)에의 연결(connections) 등과 같은 비휘발성 메모리를 포함한다.
컴퓨터 시스템(100)은 하나 이상의 운영 체제(Operating System, OS, 164)를 포함할 수 있다. 운영 체제(164)는 일부는 메모리(150)에 저장되고 나머지 일부는 스토리지(160)에 저장될 수 있다. 이와는 달리, 운영 체제(164)는 전체가 메모리(150)에 저장되거나 또는 스토리지(160)에 저장될 수도 있다. 운영 체제(164)는, 프로세서(110), 입출력 장치 인터페이스(110), 네트워크 인터페이스(130) 등과 같은 다양한 하드웨어 리소스들 사이에서 인터페이스를 제공한다. 또한, 운영 체제(164)는 어플리케이션 프로그램을 위한 시간 기능(time function) 등과 같은 공통 서비스를 제공한다.
심층 신경망 압축 장치(152)는 멀티미디어 컨텐츠의 기술, 분석, 처리 등을 위한 훈련된 심층 신경망, 예컨대 심층 컨블루션 신경망(Deep Convolutional Neural Network)을 압축하여 비트스트림으로 출력한다. 심층 신경망에 의한 멀티미디어 컨텐츠의 기술, 분석, 처리는, 심층 신경망 기술을 이용하는 동영상의 압축 및 복원, 보안 등을 위한 안면, 홍채, 지문, 음성 인식, 감시 등을 위한 동작 감지, 질병의 진단이나 분석, 자율주행 등과 같이 동영상, 정지영상, 음성 등과 같은 멀티미디어 콘텐츠를 이용하는 다양한 어플리케이션을 포함한다.
예를 들어, 동영상의 압축 또는 복원을 위한 장치 또는 이를 구성하는 코딩 도구는, 심층 신경망에 의한 멀티미디어 컨텐츠의 처리가 적용될 수 있는 대표적인 분야이다. 이에 의하면, 심층 신경망 압축 장치(152)는 학습된 또는 훈련된 코딩 도구의 심층 신경망을 압축하여, 호환 가능한 포맷으로 기술하기 위한 수단이다. 즉, 심층 신경망 압축 장치(152)로부터의 결과물인 압축된 심층 신경망은 코딩 도구 신경망의 상호운용 가능한 압축 표현(interoperable compressed representation of neural networks)에 해당된다.
훈련된 심층 신경망을 압축하기 위하여, 심층 신경망 압축 장치(152)는, 훈련된 심층 신경망에 대한 파라미터 축소(parameter reduction), 양자화(quantization) 및 엔트로피 코딩(entropy coding)을 포함하는 일련의 과정을 수행하여, 부호화된 비트스트림을 출력한다. 본 실시예에 의하면, 파라미터 축소 과정에서는 가지치기(pruning) 기법 및/또는 행렬 분해(matrix decomposition) 기법을 이용한다. 일례로, 행렬 분해에 의한 파라미터 축소 이전에, 심층 신경망을 구성하는 일부 가중치를 제거하거나 또는 가중치들 사이의 연결 관계를 단순화하는 가지치기(pruning) 과정이 추가로 수행될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 심층 신경망 압축 장치(152)의 구성의 일례를 보여 주는 블록도이다. 도 3을 참조하면, 심층 신경망 압축 장치(152)는 파라미터 축소 유닛(22), 양자화 유닛(24) 및 엔트로피코딩 유닛(26)을 포함한다. 전술한 바와 같이, 심층 신경망 압축 장치(152)는, 멀티미디어 콘텐츠의 분석을 위한 훈련된 심층 신경망(즉, 훈련된 심층 신경망을 기술하는 가중치 및 파라미터들)을 소정의 알고리즘을 사용하여 압축한 다음, 최종적으로 부호화된 비트스트림을 출력한다.
심층 신경망 압축 장치(152)으로의 입력은 훈련된 심층 신경망을 기술하는 다양한 정보와 파라미터들을 포함한다.
우선, 심층 신경망 압축 장치(152)으로의 입력은 여러가지 상위 레벨 정보를 포함한다. 예를 들어, 해당 심층 신경망이 동영상의 코딩을 위한 코딩 도구로 적용되는 경우, 상위 레벨 정보는 심층 신경망 기반 코딩 도구의 유형을 지시하는 정보를 포함할 수 있다. 심층 신경망 기반 코딩 도구는 2가지 유형이 존재할 수 있다. 보다 구체적으로, 심층 신경망 기반 코딩 도구는 인코더 및 디코더 모두에 필수적인 기능을 구현하는 제1 유형 코딩 도구와, 인코더와 디코더 중에서 어느 하나에만 필수적인 기능을 구현하는 제2 유형 코딩 도구의 두 가지가 존재한다. 이것은 이미지/비디오 코딩에서, 일부의 코딩 도구, 즉 제1 유형 코딩 도구는 인코더와 디코더 모두에 요구되는 것이고, 나머지 다른 일부의 코딩 도구, 즉 제2 유형 코딩 도구는 인코더와 디코더 중에서 어느 하나에만 요구되는 기능이기 때문이다. 예를 들어, 비디오 코딩 과정에서, 인-루프 필터링 과정은 인코더와 디코더 모두에서 행해지는 제1 유형 코딩 도구의 기능에 해당하지만, 인트라 모드 예측 과정은 오직 인코더에서만 행해지는 제2 유형 코딩 도구의 기능에 해당되며, 디코더로는 오직 결정된 예측 모드 정보만이 보내진다. 따라서 두 가지 유형의 DNN 기반 코딩 도구가 고려되어야 하며, 이러한 DNN 기반 코딩 도구의 유형(type)은 반드시 훈련된 심층 신경망 기반 코딩 도구의 상위 레벨 정보로서 표시가 되어야 한다.
그리고 상위 레벨 정보로는 DNN 기반 멀티미디어 콘텐츠 처리 장치(이하, 'DNN 기반 처리 장치'라 한다)의 전반적인 구성에 관한 정보를 포함한다. 보다 구체적으로, DNN 기반 처리 장치의 구성과 관련된 상위 레벨 정보로는, 인식(recognition), 분류(classification), 생성(generation), 차별화(discrimination) 등과 같은 해당 신경망의 기본 기능의 관점에서 본 타겟 어플리케이션(target application)에 관한 정보, DNN 기반 처리 장치의 유형을 지시하는 정보, 인코더가 특정 부호화 과정의 수행시에 훈련된 도구 신경망을 추론 엔진에 적용하는 것과 규격화된 이미지 또는 비디오 부호화 도구를 적용하는 것 중에서 무엇을 선택하였는지를 지시하는 정보, 최적화된 콘텐츠 유형(customized content type)에 관한 정보, 오토인코더(autoencoder), CNN(Convolutional Neural Network), GAN(Generative Adversarial Network), RNN(Recurrent Neural Network) 등과 같은 훈련된 심층 신경망 기반 신경망의 알고리즘에 관한 기초 정보, 트레이닝 데이터 및/또는 테스트 데이터에 관한 기본 정보, 메모리 용량 및 컴퓨팅 파워의 관점에서 추론 엔진에 요구되는 능력에 관한 정보, 모델 압축에 관한 정보 등을 포함한다.
심층 신경망 압축 장치(152)으로의 입력은 또한 훈련된 심층 신경망를 기술하는 다양한 파라미터들을 포함한다. 다양한 파라미터들은 신경망 모델에 관한 정보, 예컨대 커널, 뉴런, 연결의 가중치들을 포함한다. 이하, 심층 신경망의 일례인 컨볼루션 신경망(CNN)의 아키텍쳐를 참조하여, 이에 대하여 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 훈련된 심층 신경망의 일례를 보여 주는 도면으로서, 컨볼루션 신경망(CNN)인 경우이다. 도 4를 참조하면, CNN(200)은 입력 계층(imput layer, 210), 컨볼루션 계층(convolutional layer, 215), 서브샘플링 계층(220), 컨볼루션 계층(225), 서브샘플링 계층(230), 전연결 계층(fully connected(FC) layer, 235, 240) 및 출력 계층(245)를 포함한다. 도 4에 도시된 예에서 입력 계층(210)은 32×32 픽셀 이미지를 받아들이도록 구성되어 있으며, 컨볼루션 계층(215)은 입력 계층으로부터 6개의 28×28 특성맵(feature map)을 생성한다.
이와 같이, 도 4에는 특정한 CNN의 구성이 도시되어 있지만, 보다 일반적으로 CNN은 각각 서브 샘플링 단계를 가지는 하나 또는 그 이상의 컨볼루션 계층(convolutional layer)과, 그리고 하나 또는 그 이상의 전연결 계층(fully connected layer)을 포함하여 구성된다. 일반적으로, 도시된 CNN 아키텍쳐는 입력 이미지의 2차원 구조를 이용하기 위하여 고안되었다. 예를 들어, CNN은 국부적인 연결과, 특정 형태의 풀링이 뒤따르는 연결된 가중치를 이용하여 이를 달성한다. 일반적으로, 유사한 수의 은닉 유닛을 갖는 전연계 네트워크와 비교하여, CNN은 훈련하기가 보다 쉬우며, 보더 적은 파라미터를 가지는 경향이 있다.
일반적으로, CNN은 컨볼루션 계층과 서브샘플링 계층, 이에 뒤따르는 전연결 계층을 포함한다. 일 실시예에 따르면, CNN은 컨볼루션 계층에서 x×y×z의 이미지를 입력으로 받아들이는데, 여기서 x와y는 각각 이미지의 높이와 폭을 나타내며, z는 이미지에서의 채널을 나타낸다. 예컨대, RGB 이미지는 z=3의 채널을 가진다. 컨볼루션 계층은 a×b×c 크기의 필터(커널)을 포함할 수 있는데, 여기서 a×b는 x×y보다 작고, c는 z보다 작거나 같다. 일반적으로, 필터 k의 크기가 국부적으로 연결된 구조를 초래하는데, 이것은 이미지와 컨볼루션되어서 k개의 특성맵을 생성한다. 또한, 각 특성맵은 다양한 크기의 인접한 영역에 걸쳐서 서브샘플링된다.
심층 신경망이 CNN인 경우에, 신경망 모델 정보로는 파라미터 유형 정보, 파라미터 차원 정보, 파라미터 인덱스 정보를 포함한다. 파라미터 유형 정보는 모델 구조에 의하여 정의되는 파라미터 텐서의 명칭과 함께 5개의 스트링 중의 어느 하나에 대응하는 값을 갖는다. 5개의 스트링은 '컨볼루션 계층 가중치', '전연결 계층 가중치', '컨볼루션 계층 바이어스', '전연결 계층 바이어스' 및 '기타'이다. 파라미터 차원 정보는 모델 구조에 의하여 정의되는 파라미터 텐서의 명칭과 함께 해당 파라미터 텐서의 차원에 대응하는 값을 갖는다. 파라미터 인덱스 정보는 모델 구조에 의하여 정의되는 파라미터 텐서의 명칭과 함께 해당 파라미터 텐서의 인덱스에 대응하는 값을 갖는다.
계속해서 도 3을 참조하면, 파라미터 축소 유닛(22)은 심층 신경망을 기술하는 파라미터들의 집합을 감소시키는 과정을 수행한다. 파라미터 축소 유닛(22)은 가지치기(pruning) 등과 같은 성김화(sparsity) 기법 및/또는 행렬 분해(matrix decomposition) 기법 등이 적용할 수 있다. 성김화 기법은, 가중치를 '0'으로 설정하여 가중치들의 빈도를 희박하게 하거나 또는 신경망의 연결관계를 잘라서 간소화하는 것을 가리킨다. 그리고 행렬 분해 기법은, 신경망의 파리미터 텐서(parameter tensor), 즉 가중치 매트릭스를 보다 작은 크기의 매트릭스들로 분해하는 것을 가리킨다.
파라미터 축소 유닛(22)은 이러한 성김화 기법과 행렬 분해 기법은 연속적으로 적용(예컨대, 먼저 가중치들을 성김화한 후에, 성김화된 가중치들의 행렬을 분해함)하거나 또는 둘 중에서 어느 하나의 기법만을 적용할 수도 있다. 또한, 파라미터 축소 유닛(22)에서 적용된 방법을 지시하는 정보는 출력되어 압축된 비트스트림에 포함될 수 있다.
파라미터 축소 유닛(22)에 의하여 심층 신경망을 기술하는 파라미터들의 집합을 감소시킴으로써, 심층 신경망 압축 장치(100)는 물론 이에 의하여 압축된 심층 신경망을 복원하여 사용하는 장치, 예컨대 모바일 장치 등은, 곱셈연산(multiplication) 및 메모리 부하를 줄일 수 있다. 다만, 파라미터들의 집합을 감소시키는 것은 손실 과정(lossy process)에 해당되므로, 복원된 심층 신경망의 성능이 어느 정도 저하될 수 밖에 없다. 따라서 파라미터 축소 유닛(22)는 복원될 심층 신경망의 성능 저하를 최소화하면서, 가중치 매트릭스의 크기를 줄일 수 있는 것이 바람직하다.
통상적으로, 훈련된 심층 신경망의 압축 과정에서, 파라미터 축소 과정은 양자화 과정의 전처리의 관점에서 수행하는 것으로, 임의적인 과정이다. 따라서 입력 데이터(최초 심층 신경망 모델을 기술하는 파라미터)는, 파라미터 축소 유닛(22)을 거치지 않고 바로 양자화 유닛(24)으로 입력될 수도 있다. 다만, 입력 데이터가 파라미터 축소 유닛(22)으로 입력되는 경우에는, 파라미터 축소 과정의 수행과 관련된 정보(메타데이터 등)가 생성되어서, 신경망 복원을 위해 다른 데이터와 함께 부호화되어 비트스트림에 포함될 수 있다. 예컨대, 가지치기 기법 및/또는 매트릭스 분해 기법의 수행 여부를 지시하는 정보(플래그)와 함께 해당 기법의 수행과 관련된 정보들이 메타데이터로서, 파라미터 축소 유닛(22)의 출력이 될 수 있는데, 이에 대해서는 후술한다.
파라미터 축소 유닛(22)으로의 입력 데이터는, 특정한 심층 학습 프레임워크에 의하여 특정되는 신경망을 기술하는 파라미터들과 아키텍쳐(구조 정의)이다. 그리고 파라미터 축소 유닛(22)으로부터의 출력 데이터도, 상기 입력 데이터와 동일하다. 이러한 입력 데이터와 출력 데이터를 기술하는 포맷(representation format)에는 특별한 제한은 없는데, Keras/Tensorflow 또는 Pytorch 등이 적용될 수 있다.
파라미터 축소 유닛(22)에서 수행될 수 있는 하나의 과정인 '성김화 또는 가지치기 과정'에서는 학습된 심층 신경망들을 감소된 파라미터 크기로 만든다. 가지치기는 각각의 단위, 예컨대 하나의 가중치나 채널 단위에서의 가중치의 중요도를 구하고, 중요도가 떨어지는 가중치를 '0'으로 하거나 또는 연결관계를 제거(파라미터값을 0으로 함)한다. 또한, 연결관계를 제거하는 것은 노드 또는 가중치 하나 단위로 연결을 끊는 것은 물론, 필터 단위 등 더 큰 단위로 수행될 수도 있다.
이러한 가지치기 과정에서는, 원래의 성능을 유지하는 동안에 각각의 신경망들의 레이어가 가능한 네트워크들을 가지치기하도록, 좋은 임계값을 설정하는 것에서 문제가 발생한다. 다수의 레이어들로 구성된 신경망들에 대해, 특히 한 계층의 임계값이 다른 계층의 임계값들에 종속적일 수 있다는 것을 고려하면, 임계값을 찾기 위한 브루트 포스는 실용적이지 않을 수 있다. 또한, 가지치기는 원래의 성능을 회복하기 위해 네트워크의 재훈련을 요구할 수 있다. 가지치기 과정이 효율적이라고 확인되기 위해 상당한 시간이 소요될 수 있다. 본 명세서에서 설명되듯이, 다양한 실시 예들에서, 네트워크를 재훈련하기 위한 방법들과 함께 임계값들의 자동 선택은 파라미터들을 줄이기 위해 신경망을 가지치기하는데 사용될 수 있다.
신경망 내에서 약한 반응(weak response) 또는 불필요한 파라미터를 가진 뉴런을 잘라내기 위하여, 해당 파라미터의 중요성을 판정하기 위한 기준은 알고리즘에 따라서 변경될 수 있다. 이러한 기준은 도 5에 도시된 바와 같이, 목적 함수(objective function)로 정의될 수 있다. 도 5를 참조하면, 가지치기 기법은 다음의 과정으로 진행될 수 있다: 데이터 유형 결정(data type decision) -> 목적 함수 결정 및 파리미터 입력(object function decision & parameter input) -> 결정값을 가지치기(pruning decision value) -> 가지치기된 신경망 모델(pruned NN model).
데이터 유형 결정 과정에서는 어떤 유닛(개별 또는 채널 단위)이 가지치기될 것인지를 판정한다. 그리고 목적 함수 결정 및 파리미터 입력 과정에서, 목적 함수는 파라미터들의 중요성을 가지고 목적 함수가 정의된다. 목적 함수를 정의하기 위한 파라미터들로는, 가중치 임계치(weight value threshold), 스케일링 팩터(scaling factor), 기울기(gradient) 등이 있다. 그리고 외적 파라미터들로는 가지치기 비율(pruning rate) 및/또는 임의적이지만 재훈련을 위한 하이퍼파리미터(hyperparameter for re-training) 등이 있다.
가지치기 기법은 크게 학습 여부에 따라 2가지 방식으로 나뉠 수 있다. 첫 번째 방식은, 부가적인 학습 과정이 필요하지 않으며, 이미 학습된 가중치를 기준으로 가지치기 기법을 수행한다. 예를 들어, 가중치들의 임계치(threshold)를 미리 설정해두고서, 이에 따라서 가중치의 중요도를 판단한 다음 가지치기를 수행한다. 두 번째 방식은, 부가적인 학습 과정이 필요하며, 이 때는 학습에 필요한 하이퍼 파라미터(hyperparameter)와 학습 데이터가 입력이 되어야 한다. 또한, 가지치기 기법은 추가적으로 압축율도 같이 설정할 수 있으며, 목적 함수(objective function)는 가지치기 기법의 방법을 나타낸다. 예를 들어, 두 번째 가지치기 방식은, 학습된 가중치을 유지한 상태로, 스케일링 팩터(scaling factor)만을 학습하는 방법과 지정한 성능(task-based loss)에 최대한 가까워지는 임계치(threshold)만을 학습하는 방법이 있다.
이러한 가지치기 기법과 관련하여, 전술한 파라미터들이나 설정된 임계치 등은, 신경망의 복원을 위한 메타데이터로서, 신경망 복원을 위한 메타데이터로서 출력될 수 있다. 예를 들어, 가지치기 기법에서 추가적으로 필요한 마스크 정보(가중치가 0인 위치를 나타내는 정보) 및/또는 임계치 정보 등이, 가지치기 또는 성김화 과정의 메타데이터로서 출력될 수 있다. 또한, 해당 과정에서 실제로 파라미터의 개수가 감소하였는지에 대한 정보(예컨대, 복원의 신경망 모델의 차원(dimension)값과 압축 이전의 신경망 모델의 차원(dimension)값이 동일한지 여부를 지시하는 플래그)도 가지치기 또는 성김화 과정의 메타데이터로서 출력될 수 있다.
파라미터 축소 유닛(22)에서 수행될 수 있는 다른 하나의 과정인 '매트릭스 분해 과정'에서는, 최초 가중치 매트릭스인 1개의 가중치 매트릭스(weight matrix)를 N(N은 2 이상의 정수)개의 저차원 가중치 매트릭스로 분해한다. 그 결과, 1개 계층(layer)의 인덱스마다 N개의 인덱스가 생성되며, 원래 모델과는 다른 모델이 생성된다. 이에 따라, 가중치 파라미터의 수를 줄일 수 있을 뿐만 아니라, 런타임 감수 효과도 기대할 수 있다. 이러한 매트릭스 분해 기법은, 일반적으로 완전히 연결된 계층(fully-connected layer)과 컨벌루션 계층(convolution layer)에 적용이 가능하다.
매트릭스 분해 기법의 일례는 하위 랭크(Low Rank, LR) 근사화 처리 또는 하위 디스플레이스먼트 랭크(Low Displacement Rank, LDR) 근사화 처리이다. 하위 랭크 근사화 처리 또는 하위 디스플레이스먼트 랭크 근사화 처리에 의하면, 다차원의 매트릭스 형식으로 표현되는 신경망의 가중치들을 그 보다 차원이 낮은 다수 개의 매트릭스, 예컨대 행 매트릭스 및/또는 열 매트릭스로 표현함으로써, 계산량을 줄이는 것이 가능하다.
예컨대, 컨볼루션 계층에 적용되는 하위 랭크 근사화는 다음과 같이 수행될 수 있다: 2D-CNN에서 훈련된 컨볼루션 가중치는 4D 유형(필터 크기, 필터 크기, 입력 채널 수, 출력 채널 수)이다. 수학식 1은 각 채널의 근사 방정식을 보여준다. W_st의 차원은 d x d로 표현되는데, 여기서 d는 컨볼루션 계층의 필터 크기다. 또한, 하위 랭크로 근사될 수 있는 매트릭스 Us, Vt의 차원은 d x R로 표현된다. 여기서 R은 하위 랭크 근사화를 위한 크기의 목표치이다.
Figure pat00001
하위 랭크 근사화의 일례에 의하면, 가중치들의 데이터 양을 감소하기 위하여, 각 컨벌루션 계층에서 가중치들의 2D 커널 매트릭스는 2개의 1D 커널 매트릭스로 변환될 수 있다.
따라서, 이 방법의 목적은 Wst와 (Us×Vt)의 최소 차이를 제공하는 (U,V)를 찾는 것이다. 필터 재구성을 최적화하기 위한 비용 함수는 수학식 2와 같다.
Figure pat00002
하위 랭크 근사화의 다른 예에 의하면, 가중치들의 데이터 양을 감소시키기 위하여, 각 컨벌루션 계층에서 가중치들의 2D 커널 매트릭스는 3개의 커널 매트릭스로 변환될 수 있다(예컨대, CP(CANDECOMP/PARAFAC) 분해(decomposition)). 즉, 하나의 컨볼루션 가중치들을 3개의 가중치들로 분해한다. 이러한 CP 분해의 기본 공식은 수학식 3으로 표현될 수 있다.
Figure pat00003
여기서, R은 컴포넌트의 개수를 가리키는데, 이것은 텐서 랭크(tensor rank)이다.
일반적으로, 2D-CNN에서 존재하는 훈련된 컨벌루션 계층의 가중치는 4D 유형이다. T × S × D × D의 크기를 갖는 컨벌루션 커널 텐서 K는, 출력 채널에 대응하는 T, 입력 채널에 대응하는 S 및 커널 크기에 대응하는 D를 포함한다.
CP 분해에서는 컨벌루션 커널 텐서 K를 랭크 R로 근사화한다. 이것은 다음의 수학식 4로 표현될 수 있다.
Figure pat00004
여기서,
Figure pat00005
및
Figure pat00006
은 각각 크기
Figure pat00007
및
Figure pat00008
를 갖는 3개의 컴포넌트이다.
따라서 분해된 결과는 다음의 수학식 5와 같이 매핑될 수 있다.
Figure pat00009
일반적인 컨벌루션의 경우에, 컨벌루션 연산을 입력 채널 × 출력 채널의 수만큼 해야 하지만, depthwise 컨벌루션의 경우에는 출력 채널의 수만큼 연산을 수행하면 된다.
이 때, 필터 재구성을 최적화하기 위한 비용함수는 다음의 수학식 6과 같다.
Figure pat00010
여기서,
Figure pat00011
이다.
이러한 실시예에 따른 하위 랭크 근사화 방법에 의하면, 가중치 파라미터의 수를 줄일 수 있을 뿐만 아니라 연산 속도도 향상시킬 수가 있다.
일반적으로, 매트릭스 분해 과정에서의 출력은, 행렬 A, B(여기서, 행렬 A, B는 매트릭스 분해에 사용되는 순환 오퍼레이터(circulant operator)인 매트릭스 인자(matrix factor)), 랭크값(rank value, 정수 기반), 필터 재구성을 위한 리쉐이핑 모드(reshaping mode, 정수 기반), 최초 가중치 매트릭스의 차원 및 형상(dimension and shape) 등이 있다.
이 중에서, 리쉐이핑 모드(W')는 하나 또는 복수의 모드를 가질 수 있다. 일례로, 리쉐이핑 모드(W')는 수학식 7과 같은 4개의 모드를 가질 수 있는데, 이것은 단지 예시적인 것이다. 그리고 전술한 바와 같이, 매트릭스 분해 과정에서 어떠한 모드를 적용했는지 여부는 리쉐이핑 모드 정보로서, 신경망 복원을 위해 전송되어야 한다.
Figure pat00012
수학식 8은 하위 랭크 근사화 기법을 위한, 전연결 계층의 가중치 매트릭스를 기술하는 것이다. 또한, 수학식 4처럼 리쉐이핑을 하지 않고, 행렬 분해 기법을 적용할 수 있으므로(수학식 3 ~ 수학식 5 참조), 리쉐이핑의 적용 여부에 대한 정보도 메타데이터에 포함될 수 있다.
Figure pat00013
수학식 9는 하위 랭크 근사화 기법을 위한, 컨볼루션 계층의 가중치 매트릭스를 기술하는 것이다.
Figure pat00014
하위 디스플레이스먼트 근사화 기법은, 분해 과정은 하위 랭크 근사화 기법과 동일하지만, 분해하는 과정의 입력은 하위 랭크 근사화 기법과 상이하다. 수학식 10은 하위 디스플레이스먼트 근사화 기법을 기술하는 것이다.
Figure pat00015
여기서, f값은 임의로 설정된다. 그리고 신경망 모델의 복원을 위해서는 행렬 A, B도 매트릭스 분해 유닛의 출력이 되어야 하는 것을 알 수 있다.
이러한 매트릭스 분해 과정에서의 출력은, 해당 파라미트 매트릭스가 전연결(FC) 계층에 대한 것인지 또는 컨볼루션 계층에 대한 것인지에 따라 달라질 수 있다. 그리고 매트릭스 분해 유닛의 출력은, 적용되는 기법이 하위 랭크 근사화 기법인지 또는 하위 디스플레이스먼트 근사화 기법인지에 따라서도 달라질 수 있다.
이것의 일례는 도 6에 도시되어 있다. 만일, 전연결 계층에 대하여 하위 랭크 근사화 기법이 적용되는 경우(LR & FC layers)에는, 매트릭스 분해 과정에서의 출력은, 해당 과정에서 실제로 파라미터의 개수가 감소하였는지에 대한 정보(예컨대, 복원의 신경망 모델의 차원(dimension)값과 압축 이전의 신경망 모델의 차원(dimension)값이 동일한지 여부를 지시하는 플래그), 랭크값, Reshape_mode=none, 최초 행렬의 차원 등이 포함될 수 있다. 대신에, 컨볼루션 계층에 대하여 하위 랭크 근사화 기법이 적용되는 경우(LR & Conv layers)에는, 매트릭스 분해 과정에서의 출력은, 해당 과정에서 실제로 파라미터의 개수가 감소하였는지에 대한 정보(예컨대, 복원의 신경망 모델의 차원(dimension)값과 압축 이전의 신경망 모델의 차원(dimension)값이 동일한지 여부를 지시하는 플래그), 랭크값, Reshape_mode= 1 (or 2, 3, 4), 최초 행렬의 차원 등이 포함될 수 있다. 또한, 컨볼루션 계층에 대하여, 하위 디스플레이스먼트 근사화 기법이 적용되는 경우(LDR & Conv layers)에는, 매트릭스 분해 과정에서의 출력은, 해당 과정에서 실제로 파라미터의 개수가 감소하였는지에 대한 정보(예컨대, 복원의 신경망 모델의 차원(dimension)값과 압축 이전의 신경망 모델의 차원(dimension)값이 동일한지 여부를 지시하는 플래그), 랭크값, Reshape_mode= 1 (or 2, 3, 4), 인자(factor) A, B, 최초 행렬의 차원 등이 포함될 수 있다.
매트릭스 분해 과정의 일 실시형태에 의하면, k번째 계층이 컨볼루션 계층이면, 최초 가중치 매트릭스는 4차원 가중치 매트릭스이다. 이러한 가중치 매트릭스의 차원은 입력 채널의 수, 출력 채널의 수 및 2차원 필터 커널의 크기를 이용하여 분해될 수 있다. 이에 의하면, 4차원 가중치 매트릭스는 복수의 2차원 가중치 매트릭스로 분해될 수 있으며, 생성되는 2차원 매트릭스의 크기 및 구성요소는 리쉐이핑 모드에 기초하여 결정될 수 있다.
계속해서 도 3을 참조하면, 양자화 유닛(24)은 파라미터 축소 유닛(22)의 출력들, 예컨대 복수개의 저차원 가중치 매트릭스들에 대한 양자화를 수행한다. 이를 위하여, 입력되는 양자화 비트(input quantization bits)에 기초하여 양자화를 수행하는데, 최대/최소값(Max/Min vaules)을 추출하여 양자화된 가중치를 출력한다. 도 7에는 양자화 유닛(24)에 의한 균일 양자화 과정의 일례가 도시되어 있다.
본 실시예의 일 측면에 의하면, 양자화를 위하여 입력되는 파라미터들의 분포를 고려함으로써 양자화 오차(quantization error)를 감소시키기 위하여, 양자화 유닛(24)은 적응적 양자화(adaptive quantization)를 수행할 수도 있다. 적응적 양자화 과정에서는 압축된 정수 가중치 파일과 코드북이 입력되며, 양자화 레벨(quantization level, rk) 및 양자화 영역 경계(quantization region boundary, dk)는 수학식 11로 표현될 수 있다.
Figure pat00016
이러한 적응적 양자화 과정의 일례는 도 8에 도시되어 있다.
도 8에 도시된 것과 같은 적응적 양자화 과정에서, 만일 양자화 오차가 충분히 낮지 않은 경우에는, 불균일 양자화가 균일 양자화로 대체될 수 있다. 이에 의하면, 입력은 계층 수를 지시하는 구성 파일을 포함한다. 그리고 만일 양자화 오차의 크기가 균일 양자화보다 큰 경우에는, 불균일 양자화 대신에 균일 양자화가 사용될 수 있다.
도 8에 도시된 양자화 과정은, 뉴럴넷의 가중치 값을 양자화한 값(integer, 정수)을 이진화 형태로 저장하는 기존의 양자화 과정을 추가/보완하였다. 도 8에 도시된 양자화 과정에 의하면, 손실 코딩(Lossy coding)은 양자화 뿐만 아니라 다른 기법을 사용할 수도 있으며, 예를 들면 가중치 값 행렬에서 분할적으로 코딩하는 방법일 수 있다(부호화 효율이 좋은(RD(Rate distortion) 등으로 추정) 분할 맵을 결정). 추가적으로, 가중치 값들을 양자화한 값들을 무손실 코딩인 엔트로피 코딩(산술코딩, CABAC, 팔레트, 인덱스맵코딩 등)으로 이진화 파일을 만들어낸다. 또한 디코딩(or decompression) 과정에서는 이진화 파일 (bitstream)등을 입력값을 두면 복원(reconstruction)을 진행하는데, 이 때 뉴럴넷 모델 복원(reconstruction)을 전체를 진행할 지 또는 일부만 수행할 것인지에 대한 정보도 포함될 수 있다.
일 실시예에 의하면, 양자화 유닛(24)으로의 입력은, 예컨대 numpy.float32 포맷의 넘파이 어레이(numpy array), 예컨대 가중치 행렬(일반적으로, 텐서 형태) 어레이로 표현되는 아이템으로, 네트워크의 모든 파라미터 텐서와 키(key)로서 그들 각각의 명칭을 담고 있는 사전(dictionary) 형태이다. 각 파라미터 텐서의 명칭은, 해당 모델의 코디네이터에 의하여 제공되는 각각의 모델 정의에 의하여 특정되는 명명법(예컨대, 테스트 모델에서의 명명법)과 일치하여야 한다.
양자화 유닛(24)으로부터의 출력은, 세 개의 키, 즉 " parameters", "int_parameters" 및 "metadata"를 담고 있다. 여기서, "parameters"는, 근사화 과정 동안에 수정되지 않는(즉, 근사화 과정과 상관 없는 파라미터) 모든 파라미터들을 값(values)으로, 그리고 그들 각각의 이름을 키(keys)로 가지고 있는 사전 형태(float-point로 저장)를 포함한다(예컨대, layer_type). 이것들은 예컨대 numpy.int32 포맷의 넘파이 어레이(numpy array)로 표현될 수 있다. 그리고 "int_parameters"는, 근사화 과정을 통해 생기는 정수(interger) 기반의 파라미터들, 즉 근사화 과정 동안에 수정되는 모든 파라미터 텐서들로서, 그들 각각의 정수 표현(integer representation)은 아이템으로, 그리고 그들 각각의 명칭은 키로 표현되는 사전을 포함한다.
"metadata"는 근사화 과정 동안에 생성되는 모든 메타데이터를 포함(저장)한다. 이러한 메타데이터는, 압축된 심층 신경망의 복호/재구성에서 요구되는 모든 필요한 정보를 포함한다. 즉, 복호/재구성 과정에서는, 예컨대 네트워크의 모든 numpy.int32 포맷의 파라미터 텐서들을 numpy.float32 포맷으로 표현되도록 할 수 있어야 한다. 메타데이터들은 모든 파라미터들(전역, global)에 의하여 공유되거나(예를 들어, 양자화를 수행할 때 발생하는 코드북이나 step_size 등) 또는 특정 파라미터들(국지, local)에 의하여 공유될 수 있다(예를 들어, per_layer 파라미터처럼 레이어 특성마다 바뀌는 메타데이터들이 해당됨). 후자의 경우에, 재구성 과정을 위하여, 파라미터 명칭과 메타데이터 사이의 개별적인 매핑이 제공되어야 한다. 서로 다른 근사화 기법 사이의 유연성을 확보하기 위하여, 메타데이터의 구체적인 포맷은, 사용되는 특정한 기법에 따라서 임의로 선택될 수 있다. 그러나 일관성의 보장을 위하여, 사전 구조가 바람직하다.
메타데이터는, 예컨대 양자화 과정에서 발생하는 step_size 및 codebook 정보를 포함한다. 또한, 부가적으로 필요한 파라미터들(예를 들면, RD를 구할 때의 lambda값이나 step_size를 학습해서 구할 때 필요한 하이퍼파라미터들)도 메타데이터로 표현될 수 있다.
계속해서 도 3을 참조하면, 엔트로피 코딩 유닛(26)에서는 양자화된 가중치와 인덱스 각각을 소정의 알고리즘(예컨데, 엔트로피 부호화)에 따라서 부호화를 수행하며, 그 결과 압축된 심층 신경망의 비트 스트림이 출력된다. 본 실시예에 의하면, 엔트로피 부호화의 구체적인 과정에 대해서는 특별한 제한이 없으며, 당업계에서 공지된 것이라면, 엔트로피 부호화의 특성상 본질적으로 적용이 불가능한 알고리즘이 아니라면, 제한없이 적용될 수 있다.
일 실시예에 의하면, 엔트로피 코딩 유닛(26)은 인코딩을 할 수 있는 데이터 포맷과 인코딩을 할 수 없는 데이터 포맷을 식별할 수 있다. 엔트로피 코딩 유닛(26)이 해석(이해)할 수 없는 모든 데이터는, "보조 데이터(auxiliary data)"로 분류되어서, 일련화된 방식(serialized manner)으로 비트스트림으로 바로 전달된다. 엔트로피 코딩 유닛(26)의 입력은 양자화 유닛(24)의 출력과 동일한 포맷을 갖는다. 그리고 엔트로피 코딩 유닛(26)으로부터의 출력은, 예컨대 numpy.float32 포맷의 넘파이 어레이로 표현되는 비트스트림이다. 이러한 비트스트림은 입력 사전 내의 모든 아이템에 대한 정보를 담고 있다. 키 명칭이나 사전 구조 등과 같은 다른 정보들은 비트스트림으로 인코딩될 필요가 없다.
엔트로피 코딩 유닛(26)에서는, 예컨대 가중치 파라미터들을 왼쪽 위에서부터 스캔을 시작할 수 있다. 즉, 왼쪽에서 오른쪽으로 행 우선 방식으로 스캔한 뒤, 위쪽에서 아래쪽으로 행을 스캔한다. 그리고 양자화된 인덱스값들을 이진화하여 이진화된 형태로 저장한다. 예컨대, 양자화된 인덱스값은 "Sig_flag", "Sign_flag", "AbsGrXFlag", "MaxNumNoRem" 및/또는 "RemAbs" 값을 이용하여, 이진화하여 표현될 수 있다. 여기서, "Sig_flag"는 인덱스값이 0인지 아닌지에 대해서 나타낸다. "Sign_flag"는 0이 아닌 인덱스값의 부호를 나타낸다. "AbsGrXFlag"는 인덱스값의 크기를 나타내는 것으로서, 만약, AbsGrXFlag==1이면, 해당 인덱스값은 X값(일반적으로 2의 지수승으로 표현됨)보다 큰 것을 의미하며, 이에 따라서 해당 플래그가 0이 나올때가지 계속 나타내어야 한다. "MaxNumNoRem"는 최대로 나타낼 AbsGrX를 나타내며, "RemAbs"는 인덱스값이 MaxNumNoRem을 갖닌 AbsGrXFlag값이 0일 때, 발생하는 나머지 값들을 이진화 표현 형태로 나타낸다. 이 때, 나머지 값을 나타내는 빈(bin)들은 바이패스(bypass)로 코딩한다. 예를 들어, MaxNumNoRem==8이면, index 절대값 5~8인 경우는 RemAbs의 값을 보내주어야 한다. 컨택스트 모델에서는, 이진화 과정에서 사용한 "Sig_flag", "Sign_flag", "AbsGrXFlag" 등이 해당된다.
도 9는 본 발명의 일 실시예에 따른 심층 신경망 복원 장치(154)의 구성의 일례를 보여 주는 블록도이다. 도 9를 참조하면, 심층 신경망 복원 장치(154)는 엔트로피 디코딩 유닛(32)과 역양자화 유닛(34)을 포함한다. 실시 형태에 따라서는 심층 신경망 복원 장치(154)는 파라미터 보강 유닛(36)을 더 포함할 수도 있다. 도 1을 참조하여 설명한 바와 같이, 심층 신경망 복원 장치(154)에서의 복호화 과정은, 도 3을 참조하여 설명한 심층 신경망 압축 장치(152)에서의 인코딩 과정에 대응한다. 즉, 심층 신경망 복원 장치(154)는, 입력된 비트스트림에 포함되어 있는 메타데이터에 기초하여, 인코딩 과정과는 반대로 데이터를 복원함으로써, 심층 신경망을 복원한다.
전술한 바와 같이, 이상의 설명은 실시예에 불과할 뿐이며 이에 의하여 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 후술하는 특허청구범위에 기재된 발명에 의해서만 특정되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. 따라서 전술한 실시예가 다양한 형태로 변형되어 구현될 수 있다는 것은 통상의 기술자에게 자명하다.

Claims (3)

  1. 저장 장치 및 상기 저장 장치에 저장되어 있는 프로그래밍 명령을 가져와서 실행하는 프로세서를 포함하는 컴퓨터 시스템에 있어서,
    상기 프로세서는,
    심층 신경망을 기술하는 가중치 매트릭스(weight matrix)를 간략화하기 위한 파라미터 축소 유닛(parameter reduction unit);
    상기 파라미터 축소 유닛에 의하여 축소된 상기 가중치 매트릭스를 양자화하기 위한 양자화 유닛(quantization unit); 및
    상기 양자화 유닛에 의하여 양자화된 가중치 매트릭스를 소정의 방향으로 스캔한 다음, 스캔된 가중치들을 순차적으로 엔트로피 코딩하여 비트스트림으로 출력하기 위한 엔트로피 코딩 유닛(entropy coding unit)을 포함하고,
    상기 파라미터 축소 유닛은 가지치기(pruning) 기법 및 저계층 근사화(low rank approximation) 기법 중에서 적어도 하나의 기법을 이용하여 상기 가중치 매트릭스를 간략화하고, 또한 상기 가중치 매트릭스의 간략화에 사용한 기법을 지시하는 정보를 출력하는 것을 특징으로 하는 컴퓨터 시스템.
  2. 제1항에 있어서,
    상기 저계층 근사화 기법은, 상기 훈련된 심층 신경망의 최초 가중치 매트릭스(original weight matrix)를, 복수 개의 보다 낮은 차원의 저차원 가중치 매트릭스(low rank weight matrix)로 분해하여 표현하는 것을 특징으로 하는 컴퓨터 시스템.
  3. 제2항에 있어서,
    상기 파라미터 축소 유닛은, 상기 저계층 근사화 기법에서 사용되는 순환 오퍼레이터(circulant operator), 랭크값(rank value), 상기 최초 가중치 매트릭스의 차원과 형상(dimension and shape) 정보 및 리쉐이핑 모드(reshaping mode) 중에서, 하나 이상을 출력하는 것을 특징으로 하는 컴퓨터 시스템.
KR1020210152195A 2019-03-26 2021-11-08 훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템 KR20210135465A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR1020190034096 2019-03-26
KR20190034096 2019-03-26
KR20190077711 2019-06-28
KR1020190077711 2019-06-28
KR1020190087915 2019-07-19
KR20190087915 2019-07-19
KR1020190134144 2019-10-25
KR20190134144 2019-10-25
KR1020200035403A KR20200115239A (ko) 2019-03-26 2020-03-24 훈련된 심층 신경망의 압축 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200035403A Division KR20200115239A (ko) 2019-03-26 2020-03-24 훈련된 심층 신경망의 압축 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210135465A true KR20210135465A (ko) 2021-11-15

Family

ID=72884196

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200035403A KR20200115239A (ko) 2019-03-26 2020-03-24 훈련된 심층 신경망의 압축 장치 및 방법
KR1020210152195A KR20210135465A (ko) 2019-03-26 2021-11-08 훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200035403A KR20200115239A (ko) 2019-03-26 2020-03-24 훈련된 심층 신경망의 압축 장치 및 방법

Country Status (1)

Country Link
KR (2) KR20200115239A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113473A1 (ko) * 2021-12-14 2023-06-22 주식회사 카이 라이브 스트리밍 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102659494B1 (ko) 2019-01-21 2024-04-23 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102454420B1 (ko) 2020-12-15 2022-10-14 경희대학교 산학협력단 초해상화를 수행하는 인공 신경망의 가중치를 처리하는 방법 및 장치
KR102505043B1 (ko) * 2020-12-28 2023-03-02 경희대학교 산학협력단 양자화 및 배치 폴딩을 통해 ai 추론을 수행하는 장치
CN113935484A (zh) * 2021-10-19 2022-01-14 上海交通大学 一种卷积神经网络模型的压缩方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052651A (ko) 2015-09-03 2018-05-18 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052651A (ko) 2015-09-03 2018-05-18 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113473A1 (ko) * 2021-12-14 2023-06-22 주식회사 카이 라이브 스트리밍 방법 및 장치

Also Published As

Publication number Publication date
KR20200115239A (ko) 2020-10-07

Similar Documents

Publication Publication Date Title
KR20210135465A (ko) 훈련된 심층 신경망의 압축 장치가 구현된 컴퓨터 시스템
Gregor et al. Towards conceptual compression
KR102332490B1 (ko) 심층 신경망용 압축 방법, 칩, 전자 장치 및 매체
US11516473B2 (en) Bandwidth compression for neural network systems
EP3555844B1 (en) Method and device for processing multi-channel feature map images
JP7236873B2 (ja) オートエンコーダ装置、データ処理システム、データ処理方法及びプログラム
US10417525B2 (en) Object recognition with reduced neural network weight precision
Jiang Image compression with neural networks–a survey
Dony et al. Neural network approaches to image compression
Nagaraj et al. Competent ultra data compression by enhanced features excerption using deep learning techniques
CN110309847B (zh) 一种模型压缩方法及装置
Kirchhoffer et al. Overview of the neural network compression and representation (NNR) standard
KR20200052182A (ko) 딥러닝 모델 압축 및 압축 해제 방법 그리고 장치
El-Said Image quantization using improved artificial fish swarm algorithm
JP2023542876A (ja) 特徴マップデータのシグナリング
KR20220058628A (ko) 신경망 모델 압축
KR20210131894A (ko) 훈련된 심층 신경망의 압축 장치 및 방법
Sadeeq et al. Image compression using neural networks: a review
Chen et al. Toward knowledge as a service over networks: A deep learning model communication paradigm
Samragh et al. Codex: Bit-flexible encoding for streaming-based fpga acceleration of dnns
CN114978189A (zh) 一种数据编码方法以及相关设备
KR102368447B1 (ko) 동영상 코딩을 위한 훈련된 심층 인공 신경망의 압축 장치 및 방법
KR20210119046A (ko) 멀티미디어 콘텐츠의 처리를 위한 훈련된 심층 신경망의 압축 장치 및 방법
Ettaouil et al. Image medical compression by a new architecture optimization model for the Kohonen networks
KR20220041404A (ko) 훈련된 심층 신경망의 압축 장치 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent