KR20220075407A - 뉴럴 네트워크 표현 형식 - Google Patents
뉴럴 네트워크 표현 형식 Download PDFInfo
- Publication number
- KR20220075407A KR20220075407A KR1020227014848A KR20227014848A KR20220075407A KR 20220075407 A KR20220075407 A KR 20220075407A KR 1020227014848 A KR1020227014848 A KR 1020227014848A KR 20227014848 A KR20227014848 A KR 20227014848A KR 20220075407 A KR20220075407 A KR 20220075407A
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- data stream
- individually accessible
- predetermined
- parameter
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 1583
- 210000002569 neuron Anatomy 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims description 301
- 238000013139 quantization Methods 0.000 claims description 277
- 238000013507 mapping Methods 0.000 claims description 158
- 238000012545 processing Methods 0.000 claims description 106
- 230000003044 adaptive effect Effects 0.000 claims description 36
- 230000000153 supplemental effect Effects 0.000 claims description 29
- 230000001502 supplementing effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 108091026890 Coding region Proteins 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 5
- 239000013589 supplement Substances 0.000 claims 1
- 239000010410 layer Substances 0.000 description 298
- 230000006870 function Effects 0.000 description 33
- 230000004913 activation Effects 0.000 description 29
- 238000001994 activation Methods 0.000 description 29
- 238000010801 machine learning Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 20
- 230000006835 compression Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000084490 Esenbeckia delta Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G06N3/0481—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
- G06N3/105—Shells for specifying net layout
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4006—Conversion to or from arithmetic code
- H03M7/4012—Binary arithmetic codes
- H03M7/4018—Context adapative binary arithmetic codes [CABAC]
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6017—Methods or arrangements to increase the throughput
- H03M7/6023—Parallelization
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서, 데이터 스트림(45)은 뉴럴 네트워크(10)의 뉴런 상호연결(22, 24)을 정의하는 뉴럴 네트워크 파라미터(32)가 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 포함한다.
Description
본 출원은 뉴럴 네트워크 표현 형식에 대한 개념에 관한 것이다.
뉴럴 네트워크(Neural Network, NN)은 오늘날 아래와 같은 많은 애플리케이션에서 획기적인 발전을 가져왔다:
·
이미지/비디오 데이터에서의 물체 감지 또는 분류
·
오디오에서의 음성/키워드 인식
·
음성 합성
·
광학 문자 인식
·
언어 번역
·
등등
그러나, 특정 사용 시나리오에서의 적용 가능성은 NN을 나타내는 데 필요한 엄청난 양의 데이터로 인해 여전히 제한된다. 대부분의 경우, 이 데이터는 뉴런 간의 연결을 설명하는 2 가지 유형의 파라미터, 가중값과 편향값으로 구성된다. 가중값은 일반적으로 입력 값(예를 들어, 내적 또는 컨볼루션)에 대해 일종의 선형 변환을 수행하는, 즉, 뉴런의 입력에 가중값을 부여하는 파라미터이고, 편향값은 선형 계산 후에 추가되는, 즉, 인바운드 가중값 메시지의 뉴런 집계를 오프셋하는 파라미터이다. 보다 구체적으로, NN의 각 계층(최대 수백 개)에 있는 잠재적으로 매우 많은 수의 뉴런(최대 수천만 개) 중 2 개 뉴런 사이의 각 연결을 특성화하는 이러한 가중값, 편향값 및 추가 파라미터는 특정 NN에 연관된 데이터의 대부분을 차지한다. 또한, 이러한 파라미터는 일반적으로 상당한 규모의 부동 소수점 날짜 유형으로 구성된다. 이러한 파라미터는 일반적으로 각 계층의 모든 파라미터를 전달하는 큰 텐서로 표현된다. 애플리케이션이 관련된 NN의 빈번한 전송/업데이트를 요구할 때, 필요한 데이터 속도는 심각한 병목 현상이 된다. 따라서, 이러한 행렬의 손실 압축을 통해 NN 표현의 코딩된 크기를 줄이려는 노력이 유망한 접근 방식이다.
일반적으로, 파라미터 텐서는 NN을 완전히 재구성하고 실행하는 데 필요한 모든 데이터(예를 들어, 위의 파라미터 행렬)와 추가 속성(예를 들어, 파라미터 텐서의 차원, 계층 유형, 동작 등)을 전달하는 컨테이너 형식(ONNX(ONNX=Open Neural Network Exchange, 오픈 뉴럴 네트워크 익스체인지), Pytorch, TensorFlow 등)으로 저장된다. NN 표현의 코드화된 크기, 계산 추론 복잡성, NN 표현을 기술하거나 저장하는 복잡성을 동시에 감소시키는 추론 품질의 보존 측면에서 머신 러닝 예측자 또는 대안으로 뉴럴 네트워크와 같은 스피킹 머신 학습 모델의 전송/업데이트를 더 효율적으로 렌더링하는 개념, 또는 현재보다 더 빈번한 NN 전송/업데이트를 가능하게 하는 개념, 또는 당면한 특정 작업 및/또는 특정 로컬 입력 데이터 통계에 대한 추론 품질을 개선하는 당면한 개념을 갖는 것이 바람직할 것이다. 또한, 뉴럴 네트워크 기반 예측을 수행할 때 뉴럴 네트워크 표현, 이러한 뉴럴 네트워크 표현의 유도 및 이러한 뉴럴 네트워크 표현의 사용을 제공하여 뉴럴 네트워크의 사용이 현재보다 더 효과적으로 되도록 하는 것이 바람직할 것이다.
따라서, 본 발명의 목적은 뉴럴 네트워크의 효율적인 사용 및/또는 뉴럴 네트워크의 효율적인 전송 및/또는 업데이트를 위한 개념을 제공하는 것이다. 이 목적은 본 출원의 독립항의 주제에 의해 달성된다.
본 발명에 따른 추가 실시형태는 본 출원의 종속항의 주제에 의해 정의된다.
본 출원의 제 1 양태의 기초가 되는 기본 아이디어는 직렬화 파라미터가 인코딩된 NN의 표현을 갖는 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩되는 경우 뉴럴 네트워크(NN)의 사용이 매우 효율적으로 렌더링된다는 것이다. 직렬화 파라미터는 NN의 뉴런 상호 연결을 정의하는 NN 파라미터가 데이터 스트림에 인코딩되는 코딩 순서를 나타낸다. 뉴런 상호 연결은 NN의 서로 다른 NN 계층의 뉴런 간의 연결을 나타낼 수 있다. 다시 말해서, NN 파라미터는 NN의 제 1 계층과 연관된 제 1 뉴런과 NN의 제 2 계층과 연관된 제 2 뉴런 간의 연결을 정의할 수 있다. 디코더는 코딩 순서를 사용하여 데이터 스트림으로부터 직렬로 디코딩된 NN 파라미터를 뉴런 상호 연결에 할당할 수 있다.
특히, 직렬화 파라미터를 사용하면 비트스트링을 NN 파라미터의 의미 있는 연속적인 서브세트로 효율적으로 분할하는 것으로 나타났다. 직렬화 파라미터는 NN의 효율적인 실행을 가능하게 하는 NN 파라미터의 그룹화를 나타낼 수 있다. 이것은 NN에 대한 애플리케이션 시나리오에 따라 수행될 수 있다. 다양한 애플리케이션 시나리오에서, 인코더는 다른 코딩 순서를 사용하여 NN 파라미터를 탐색할 수 있다. 따라서, NN 파라미터는 NN의 애플리케이션 시나리오에 따라 개별 코딩 순서를 사용하여 인코딩될 수 있으며 디코더는 직렬화 파라미터에 의해 제공되는 정보로 인해 디코딩하는 동안 그에 따라 NN 파라미터를 재구성할 수 있다. NN 파라미터는 하나 이상의 파라미터 행렬 또는 텐서의 엔트리를 나타낼 수 있으며, 여기서 파라미터 행렬 또는 텐서는 추론 절차에 사용될 수 있다. NN의 하나 이상의 파라미터 행렬 또는 텐서는 직렬화 파라미터 및 디코딩된 NN 파라미터에 기초하여 디코더에 의해 효율적으로 재구성될 수 있다는 것을 알았다.
따라서, 직렬화 파라미터는 향상된 효율성으로 유연한 인코딩 및 디코딩을 가능하게 하는 상이한 애플리케이션 별 코딩 순서를 사용할 수 있게 한다. 예를 들어, 엔트로피 코더가 그들 사이의 의존도를 더 잘 캡처할 수 있기 때문에 상이한 차원에 따른 인코딩 파라미터가 최종 압축 성능을 향상시킬 수 있다. 다른 예에서, 특정 애플리케이션 특정 기준, 즉 그들이 관련되는 입력 데이터의 부분 또는 공동으로 실행될 수 있는지 여부에 따라 파라미터를 그룹화하여 병렬로 디코딩/추론될 수 있도록 하는 것이 바람직할 수 있다. 추가 예(Andrew Kerr, 2017)는 내적 연산을 수행할 때 디코딩된 파라미터의 효율적인 메모리 할당을 지원하는 GEMM(General Matrix Matrix) 곱 스캔 순서에 따라 파라미터를 인코딩하는 것이 있다.
다른 실시형태는 예를 들어 코딩될 NN 파라미터의 에너지 압축을 달성하고 결과적인 순서에 따라 결과적인 순열 데이터를 순차적으로 처리/직렬화/코딩하기 위해 데이터의 인코더 측 선택된 순열에 관한 것이다. 따라서, 순열은 코딩 순서를 따라 점차 동일하게 증가하거나 동일하게 감소하도록 파라미터를 정렬할 수 있다.
본 출원의 제 2 양태에 따르면, 본 출원의 발명자들은 수치 계산 표현 파라미터가 인코딩된 NN의 표현을 갖는 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩되면 뉴럴 네트워크(NN)의 사용이 매우 효율적으로 렌더링된다는 것을 알았다. 수치 계산 표현 파라미터는 부동 소수점 또는 고정 소수점 표현과 같은 수치 표현과, 데이터 스트림으로 인코딩된 NN의 NN 파라미터가 추론을 위해 NN을 사용할 때 표현되어야 하는 비트 크기를 나타낸다. 인코더는 NN 파라미터를 인코딩하도록 구성된다. 디코더는 NN 파라미터를 디코딩하도록 구성되며 데이터 스트림 DS로부터 디코딩된 NN 파라미터를 표시하기 위해 수치 표현 및 비트 크기를 사용하도록 구성될 수 있다.
이 실시형태는 NN 파라미터 및 활성화 값을 나타내는 것이 유리할 수 있다는 아이디어에 기초하며, 활성화 값은 NN을 사용하는 추론에서 NN 파라미터를 사용함으로써 발생하며 둘 모두는 동일한 수치 표현 및 비트 크기를 갖는다. 수치 계산 표현 파라미터에 기초하여 NN 파라미터에 대한 표시된 수치 표현 및 비트 크기를 활성화 값에 대한 가능한 수치 표현 및 비트 크기와 효율적으로 비교할 수 있다. NN 파라미터와 활성화 값이 모두 고정 소수점 표현으로 표현될 수 있다면 고정 소수점 연산으로 인해 추론이 효율적으로 수행될 수 있기 때문에, 이것은 고정 소수점 표현을 수치 표현으로서 나타내는 수치 계산 표현 파라미터의 경우에 특히 유리할 수 있다.
본 출원의 제 3 양태에 따르면, 본 출원의 발명자들은 NN 계층 유형 파라미터가 인코딩된 NN의 표현을 갖는 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩되면, 뉴럴 네트워크 사용은 매우 효율적으로 렌더링된다는 것을 알았다. 된다. NN 계층 유형 파라미터는 NN의 사전 결정된 NN 계층의 NN 계층 유형, 예를 들어 컨볼루션 계층 유형 또는 완전 연결 계층 유형을 나타낸다. 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분 - 개별적으로 액세스 가능한 부분 각각은 NN의 해당 NN 계층을 나타냄 - 으로 구조화된다. 사전 결정된 NN 계층은 뉴럴 네트워크의 NN 계층 중 하나를 나타낸다. 선택적으로, NN의 두 개 이상의 사전 결정된 NN 계층 각각에 대해, NN 계층 유형 파라미터는 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩되며, 여기서 NN 계층 유형 파라미터는 적어도 일부 사전 결정된 NN 계층 사이에서 다를 수 있다.
이 실시형태는 데이터 스트림이 예를 들어 파라미터 텐서/행렬의 차원의 의미를 이해하기 위해 NN 계층에 대한 NN 계층 유형 파라미터를 포함하는 것이 유용할 수 있다는 아이디어에 기초한다. 더욱이, 예를 들어 디코딩하기 전에 디코더가 알아야 할 정보인 컨텍스트 모델의 상이한 세트 또는 모드를 사용함으로써 데이터의 의존성을 더 잘 포착하고 더 높은 코딩 효율성을 유도하기 위해 인코딩하는 동안 상이한 계층이 다르게 처리될 수 있다.
유사하게, NN 파라미터의 파라미터 유형을 표시하는 유형 파라미터를 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩하는 것이 유리할 수 있다. 유형 파라미터는 NN 파라미터가 가중값 또는 편향값을 나타내는지 여부를 나타낼 수 있다. 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분 - 개별적으로 액세스 가능한 부분 각각은 NN의 해당 NN 계층을 나타냄 - 으로 구조화된다. 대응하는 사전 결정된 NN 계층을 나타내는 개별적으로 액세스 가능한 부분은 개별적으로 액세스 가능한 하위 부분으로 추가로 구조화될 수 있다. 각각의 개별적으로 액세스 가능한 하위 부분은 후속 개별적으로 액세스 가능한 하위 부분이 코딩 순서에 의해 횡단되기 전에 코딩 순서에 의해 완전히 횡단된다. 개별적으로 액세스 가능한 하위 부분 각각으로 예를 들어 NN 파라미터와 유형 파라미터가 인코딩되고 디코딩될 수 있다. 개별적으로 액세스 가능한 제 1 하위 부분의 NN 파라미터는 개별적으로 액세스 가능한 제 2 하위 부분의 NN 파라미터와는 상이한 파라미터 유형이거나 동일한 파라미터 유형일 수 있다. 동일한 NN 계층과 연관된 상이한 유형의 NN 파라미터는 동일한 개별적으로 액세스 가능한 부분과 연관된 상이한 개별적으로 액세스 가능한 하위 부분으로/하위 부분으로부터 인코딩/디코딩될 수 있다. 예를 들어 파라미터의 각 유형에 대해 서로 다른 유형의 의존도를 사용할 수 있는 경우 또는 병렬 디코딩을 원하는 경우 등에 파라미터 유형 간의 구별은 인코딩/디코딩에 유용할 수 있다. 동일한 NN 계층 병렬과 관련된 다른 유형의 NN 파라미터를 인코딩/디코딩하는 것이 가능하다. 이것은 NN 파라미터의 인코딩/디코딩에서 더 높은 효율성을 가능하게 하고 엔트로피 코더가 NN 파라미터 간의 의존도를 더 잘 캡처할 수 있기 때문에 최종 압축 성능에 이점을 줄 수도 있다.
본 출원의 제 4 양태에 따르면, 본 출원의 발명자들은 인코딩된 NN의 표현을 갖는 데이터 스트림으로/데이터 스트림으로부터 포인터가 인코딩/디코딩되는 경우 뉴럴 네트워크의 전송/업데이트는 매우 효율적으로 렌더링된다는 것을 알았다. 이는 데이터 스트림이 개별적으로 액세스 가능한 부분으로 구조화되고, 그리고 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 포인터가 각각의 사전 결정된 개별적으로 액세스 가능한 부분의 시작 부분을 가리킨다는 사실로 인한 것이다. 개별적으로 액세스 가능한 모든 부분이 사전 결정된 개별적으로 액세스 가능한 부분일 필요는 없지만, 모든 개별적으로 액세스 가능한 부분이 사전 결정된 개별적으로 액세스 가능한 부분을 나타내는 것이 가능하다. 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분은 기본적으로 설정되거나 데이터 스트림에 인코딩된 NN의 애플리케이션에 따라 달라질 수 있다. 포인터는 예를 들어, 바이트 단위의 데이터 스트림 위치 또는 오프셋, 예를 들어, 데이터 스트림의 시작 또는 각각의 사전 결정된 개별적으로 액세스 가능한 부분이 속하는 부분인 NN 계층에 대응하는 부분의 시작에 대한 바이트 오프셋으로서 사전 결정된 개별적으로 액세스 가능한 부분의 시작을 나타낸다. 포인터는 데이터 스트림의 헤더 부분으로/헤더 부분으로부터 인코딩/디코딩될 수 있다. 실시형태에 따르면, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분이 뉴럴 네트워크의 해당 NN 계층을 나타내는 경우, 포인터는 데이터 스트림의 헤더 부분으로/헤더 부분으로부터 인코딩/디코딩되며, 각각의 사전 결정된 개별적으로 액세스 가능한 부분이 NN의 NN 계층의 NN 부분을 나타내는 경우, 포인터는 NN 계층에 대응하는 부분의 파라미터 세트 부분으로/파라미터 세트 부분으로부터 인코딩/디코딩된다. NN의 NN 계층의 NN 부분은 각각의 NN 계층의 기준 섹션 또는 각 계층의 고급 섹션을 나타낼 수 있다. 포인터를 사용하면, 예를 들어 계층 처리를 병렬화하거나 데이터 스트림을 각각의 컨테이너 형식으로 패키징할 수 있게 하는 사전 결정된 데이터 스트림의 개별적으로 액세스 가능한 부분을 효율적으로 액세스할 수 있다. 포인터를 사용하면 NN의 병렬 또는 부분 디코딩 및 실행이 필요한 애플리케이션을 용이하게 하기 위해 사전 결정된 개별적으로 액세스 가능한 부분에 더 쉽고 빠르고 적절하게 액세스할 수 있다.
본 출원의 제 5 양태에 따르면, 본 출원의 발명자들은 시작 코드, 포인터 및/또는 데이터 스트림 길이 파라미터가 인코딩된 NN의 표현을 갖는 데이터 스트림의 개별적으로 액세스 가능한 하위 부분으로/하위 부분으로부터 인코딩/디코딩되면, 뉴럴 네트워크의 전송/업데이트는 매우 효율적으로 렌더링된다는 것을 알았다. 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분으로 구조화되며, 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 해당 NN 계층을 나타낸다. 또한, 데이터 스트림은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 내에서 개별적으로 액세스 가능한 하위 부분으로 더 구조화되며, 각각의 개별적으로 액세스 가능한 하위 부분은 뉴럴 네트워크의 각각의 NN 계층의 대응하는 NN 부분을 나타낸다. 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작되는 시작 코드, 및/또는 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터, 및/또는 DS를 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이를 표시하는 데이터 스트림 길이 파라미터를 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩하도록 구성된다. 시작 코드, 포인터 및/또는 데이터 스트림 길이 파라미터는 사전 결정된 개별적으로 액세스 가능한 하위 부분에 대한 효율적인 액세스를 가능하게 한다. 이것은 NN 파라미터를 부분적으로 또는 병렬로 디코딩/처리/추론하는 것이 유리할 수 있으므로 특정 구성 가능한 방식으로 NN 계층 내에서 NN 파라미터를 그룹화하는 것에 의존할 수 있는 애플리케이션에 특히 유용하다. 따라서, 개별적으로 액세스 가능한 부분에 대한 개별적으로 액세스 가능한 하위 부분 방식 액세스가 원하는 데이터에 병렬로 액세스하거나 불필요한 데이터 부분을 생략하는 데 도움이 될 수 있다. 시작 코드를 사용하여 개별적으로 액세스 가능한 하위 부분을 나타내는 것으로 충분함을 발견했다. 이것은 NN 계층당 데이터 양이, 즉 개별적으로 액세스 가능한 부분이 전체 데이터 스트림 내에서 시작 코드에 의해 NN 계층이 감지되는 경우보다 일반적으로 적다는 발견에 기반한다. 그럼에도 불구하고, 개별적으로 액세스 가능한 하위 부분에 대한 액세스를 개선하기 위해 포인터 및/또는 데이터 스트림 길이 파라미터를 사용하는 것도 유리하다. 실시형태에 따르면, 데이터 스트림의 개별적으로 액세스 가능한 부분 내의 하나 이상의 개별적으로 액세스 가능한 하위 부분은 개별적으로 액세스 가능한 부분의 파라미터 세트 부분에서 데이터 스트림 위치를 바이트 단위로 나타내는 포인터에 의해 표시된다. 데이터 스트림 길이 파라미터는 개별적으로 액세스 가능한 하위 부분의 실행 길이를 표시할 수 있다. 데이터 스트림 길이 파라미터는 데이터 스트림의 헤더 부분으로/헤더 부분으로부터 또는 개별적으로 액세스 가능한 부분의 파라미터 세트 부분으로/파라미터 세트 부분으로부터 인코딩/디코딩될 수 있다. 데이터 스트림 길이 파라미터는 적절한 컨테이너에 하나 이상의 개별적으로 액세스 가능한 하위 부분을 패키징할 목적으로 개별적으로 액세스 가능한 하위 부분의 절단을 용이하게 하기 위해 사용될 수 있다. 실시형태에 따르면, 데이터 스트림을 디코딩하기 위한 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분에 대해 데이터 스트림에 액세스하기 위한 시작 코드 및/또는 포인터 및/또는 데이터 스트림 길이 파라미터를 사용하도록 구성된다.
본 출원의 제 6 양태에 따르면, 본 출원의 발명자들은 처리 옵션 파라미터가 인코딩된 NN의 표현을 갖는 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩되면, 뉴럴 네트워크의 사용이 매우 효율적으로 렌더링된다는 것을 알았다. 데이터 스트림은 개별적으로 액세스 가능한 부분으로 구조화되고 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 처리 옵션 파라미터는 추론을 위해 뉴럴 네트워크를 사용할 때 사용될 수 있거나 선택적으로 사용해야 하는 하나 이상의 처리 옵션을 표시한다. 처리 옵션 파라미터는 클라이언트가 개별적으로 액세스 가능한 부분(P) 및/또는 개별적으로 액세스 가능한 하위 부분(SP)에 액세스하는지 여부와 방법을 결정하는 다양한 처리 옵션, 예를 들어 각각의 P 및/또는 SP에 대해, P 또는 SP의 병렬 처리 능력 및/또는 각각의 P 또는 SP의 샘플 방식 병렬 처리 능력 및/또는 각각의 P 또는 SP의 채널 방식 병렬 처리 능력 및/또는 각각의 P 또는 SP의 분류 카테고리 방식 병렬 처리 능력 및/또는 기타 처리 옵션 중 하나의 처리 옵션을 표시할 수 있다. 처리 옵션 파라미터는 클라이언트가 적절한 의사 결정을 내릴 수 있게 하므로 NN을 매우 효율적으로 사용할 수 있다.
본 출원의 제 7 양태에 따르면, 본 출원의 발명자들은 NN 파라미터를 역양자화하기 위한 재구성 규칙이 NN 파라미터가 속한 NN 부분에 따라 다르면, 뉴럴 네트워크의 전송/업데이트가 매우 효율적으로 렌더링된다는 것을 알았다. 뉴럴 네트워크를 나타내는 NN 파라미터는 양자화 지수로 양자화된 방식으로 데이터 스트림으로 인코딩된다. 디코딩을 위한 장치는, 예를 들어, 재구성 규칙을 사용하여 NN 파라미터를 재구성하기 위해 양자화 인덱스를 역양자화하도록 구성된다. NN 파라미터는 NN의 상이한 NN 부분에 있는 NN 파라미터가 상이하게 양자화되도록 데이터 스트림으로 인코딩되고, 데이터 스트림은 NN 부분 각각에 대해 각각의 NN 부분과 관련된 NN 파라미터를 역양자화하기 위한 재구성 규칙을 나타낸다. 디코딩을 위한 장치는 NN 부분 각각에 대해, 각각의 NN 부분에서 NN 파라미터를 역양자화하기 위해 각각의 NN 부분에 대한 데이터 스트림에 의해 표시된 재구성 규칙을 사용하도록 구성된다. NN 부분은, 예를 들어, NN의 하나 이상의 NN 계층 및/또는 NN의 사전 결정된 NN 계층 부분이 세분화되는 NN 계층의 부분을 포함한다.
하나의 실시형태에 따르면, 제 1 NN 부분과 관련된 NN 파라미터를 역양자화하기 위한 제 1 재구성 규칙은 제 2 NN 부분과 관련된 NN 파라미터를 역양자화하기 위한 제 2 재구성 규칙에 대해 델타 코딩된 방식으로 데이터 스트림으로 인코딩된다. 제 1 NN 부분은 제 1 NN 계층을 포함할 수 있고 제 2 NN 부분은 제 2 층을 포함할 수 있으며, 여기서 제 1 NN 계층은 제 2 NN 계층과 상이하다. 대안적으로, 제 1 NN 부분은 제 1 NN 계층을 포함할 수 있고 제 2 NN 부분은 제 1 NN 계층 중 하나의 부분을 포함할 수 있다. 이 대안적인 경우에, 사전 결정된 NN 계층의 일부에서 NN 파라미터와 연관된 재구성 규칙, 예를 들어, 제 2 재구성 규칙은 사전 결정된 NN 계층과 관련된 재구성 규칙, 예를 들어, 제 1 재구성 규칙에 대해 델타 코딩된다. 재구성 규칙의 이러한 특수 델타 코딩은 재구성 규칙을 시그널링하는 데 소수의 비트만 사용할 수 있게 하며 뉴럴 네트워크의 효율적인 전송/업데이트를 가능하게 할 수 있다.
본 출원의 제 8 양태에 따르면, 본 출원의 발명자들은 NN 파라미터를 역양자화하기 위한 재구성 규칙이 NN 파라미터와 연관된 양자화 지수의 크기에 따라 달라지면, 뉴럴 네트워크의 전송/업데이트는 매우 효율적으로 렌더링된다는 것을 알았다. 뉴럴 네트워크를 나타내는 NN 파라미터는 양자화 지수로 양자화된 방식으로 데이터 스트림으로 인코딩된다. 디코딩을 위한 장치는, 예를 들어, 재구성 규칙을 사용하여 NN 파라미터를 재구성하기 위해 양자화 인덱스를 역양자화하도록 구성된다. 데이터 스트림은 NN 파라미터를 역양자화하기 위한 재구성 규칙을 표시하기 위해 양자화 단계 크기를 표시하는 양자화 단계 크기 파라미터, 및 양자화 인덱스 대 재구성 레벨 매핑을 정의하는 파라미터 세트를 포함한다. 사전 결정된 NN 부분에서의 NN 파라미터에 대한 재구성 규칙은 사전 결정된 인덱스 간격 내의 양자화 인덱스에 대한 양자화 단계 크기 및 사전 결정된 인덱스 간격 외부의 양자화 인덱스에 대한 양자화 인덱스 대 재구성 레벨 매핑에 의해 정의된다. 각각의 NN 파라미터에 대해, 예를 들어 사전 결정된 인덱스 간격 내의 양자화 인덱스와 연관된 각각의 NN 파라미터는 각각의 양자화 인덱스에 양자화 단계 크기 및 사전 결정된 인덱스 간격 외부의 양자화 인덱스에 대응하는 각각의 NN 파라미터를 곱함으로써 재구성되며, 예를 들어, 양자화 인덱스 대 재구성 레벨 매핑을 사용하여 재구성 레벨에 각각의 양자화 인덱스를 매핑함으로써 재구성된다. 디코더는 데이터 스트림의 파라미터 세트에 기초하여 양자화 인덱스 대 재구성 레벨 매핑을 결정하도록 구성될 수 있다. 실시형태에 따르면, 파라미터 세트는 양자화 인덱스 대 재구성 레벨 매핑 세트 중의 양자화 인덱스 대 재구성 레벨 매핑을 가리킴으로써 양자화 인덱스 대 재구성 레벨 매핑을 정의하고, 여기서 양자화 인덱스 대 재구성 레벨 매핑 세트는 데이터 스트림의 일부가 아닐 수 있으며, 예를 들어 인코더 측 및 디코더 측에서 저장될 수 있다. 양자화 인덱스의 크기에 기초하여 재구성 규칙을 정의하면 몇 비트로 재구성 규칙의 시그널링이 가능해 질 수 있다.
본 출원의 제 9 양태에 따르면, 본 출원의 발명자들은 식별 파라미터가 인코딩된 NN의 표현을 갖는 데이터 스트림의 개별적으로 액세스 가능한 부분으로/액세스 가능한 부분으로부터 인코딩/디코딩되면, 뉴럴 네트워크의 전송/업데이트는 매우 효율적으로 렌더링된다는 것을 알았다. 데이터 스트림은 개별적으로 액세스 가능한 부분으로 구조화되고, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터가 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩된다. 식별 파라미터는 사전 결정된 개별적으로 액세스 가능한 부분의 버전을 나타낼 수 있다. 이는 많은 클라이언트가 개별적으로 NN을 추가로 트레이닝하고 상대적 NN 업데이트를 중앙 엔티티에 다시 보내는 분산 학습과 같은 시나리오에서 특히 유리하다. 식별 파라미터는 버전 관리 체계를 통해 개별 클라이언트의 NN을 식별하는 데 사용될 수 있다. 따라서 중앙 엔티티는 NN 업데이트가 구축된 NN을 식별할 수 있다. 추가적으로 또는 대안적으로, 식별 파라미터는 사전 결정된 개별적으로 액세스 가능한 부분이 NN의 기준 부분 또는 NN의 고급/향상된/완전 부분과 연관되는지 여부를 나타낼 수 있다. 이것은 예를 들어 전체 또는 향상된 NN을 수행하여 전체 결과를 수신하기 전에 예비 결과를 생성하기 위해 NN의 기준 부분을 실행할 수 있는 확장 가능한 NN과 같은 사용 사례에서 유리하다. 또한, NN을 나타내는 NN 파라미터에 기초하여 재구성 가능한 파라미터 텐서의 전송 오류 또는 비자발적 변경은 식별 파라미터를 사용하여 쉽게 인식할 수 있다. 식별 파라미터는 NN 특성에 기초하여 검증될 수 있을 때 사전 결정된 개별적으로 액세스 가능한 부분이 무결성을 확인하고 작업을 보다 강력하게 만들 수 있게 한다.
본 출원의 제 10 양태에 따르면, 본 출원의 발명자들은 다른 버전의 NN이 델타 코딩을 사용하거나 보상 체계를 사용하여 데이터 스트림으로 인코딩/디코딩되는 경우 뉴럴 네트워크의 전송/업데이트가 매우 효율적으로 렌더링된다는 것을 알았다. 데이터 스트림은 다른 버전의 NN이 데이터 스트림으로 인코딩되도록 계층화된 방식으로 인코딩된 NN의 표현을 가지고 있다. 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분으로 구조화되며, 각각의 개별적으로 액세스 가능한 부분은 NN의 해당 버전과 관련된다. 데이터 스트림은, 예를 들어, 제 2 부분으로 인코딩된 제 2 버전의 NN에 비해 델타 코딩된 제 1 부분으로 인코딩된 제 1 버전의 NN을 갖는다. 추가적으로 또는 대안적으로, 데이터 스트림은, 예를 들어, 제 1 버전의 NN에 기초하여 추론을 수행하기 위해 각각이 제 2 부분으로 인코딩된 제 2 버전의 NN의 대응하는 NN 부분의 실행에 추가하여 실행되는 하나 이상의 보상 NN 부분의 형태로 제 1 부분으로 인코딩된 제 1 버전의 NN을 가지며, 여기서 각각의 보상 NN 부분 및 대응하는 NN 부분의 출력은 합산된다. 데이터 스트림에서 NN의 이러한 인코딩된 버전을 사용하여 클라이언트, 예를 들어 디코더는 자신의 처리 능력을 일치시킬 수 있거나 제 2 버전, 예를 들어 더 복잡한 고급 NN을 처리하기 전에 제 1 버전, 예를 들어 기준에 대한 추론을 먼저 수행할 수 있다. 또한, 델타 코딩 및/또는 보상 체계를 적용/사용함으로써 다른 버전의 NN이 몇 비트로 DS로 인코딩될 수 있다.
본 출원의 제 11 양태에 따르면, 본 출원의 발명자들은 인코딩된 NN의 표현을 갖는 데이터 스트림의 개별적으로 액세스 가능한 부분으로/액세스 가능한 부분으로부터 보충 데이터가 인코딩/디코딩되는 경우, 뉴럴 네트워크의 사용이 매우 효율적으로 렌더링된다는 것을 알았다. 데이터 스트림은 개별적으로 액세스 가능한 부분으로 구조화되고 데이터 스트림은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 NN의 표현을 보충하기 위한 보충 데이터를 포함한다. 이 보충 데이터는 일반적으로 NN의 디코딩/재구성/추론에 필요하지 않지만, 애플리케이션 관점에서는 필수적일 수 있다. 따라서 보충 데이터가 필요하지 않은 클라이언트, 예를 들어 디코더가 데이터의 이 부분을 스킵할 수 있도록 이 보충 데이터를 단독 추론의 목적으로 NN의 디코딩과 관련이 없는 것으로 표시하는 것이 유리하다.
본 출원의 제 12 양태에 따르면, 본 출원의 발명자들은 계층적 제어 데이터가 인코딩된 NN의 표현을 갖는 데이터 스트림으로/데이터 스트림으로부터 인코딩/디코딩되는 경우, 뉴럴 네트워크의 사용이 매우 효율적으로 렌더링된다는 것을 알았다. 데이터 스트림은 제어 데이터 부분의 시퀀스로 구조화된 계층적 제어 데이터를 포함하며, 여기서 제어 데이터 부분은 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 NN에 대한 정보를 제공한다. 디코더는 특정 수준의 세부 사항까지만 제어 데이터를 필요로 할 수 있고 따라서 더 많은 세부 사항을 제공하는 제어 데이터를 스킵할 수 있기 때문에 제어 데이터를 계층적으로 구조화하는 것이 유리하다. 따라서, 사용 사례 및 환경에 대한 지식에 따라, 다른 레벨의 제어 데이터가 필요할 수 있으며 이러한 제어 데이터를 제공하는 전술한 방식을 통해 다양한 사용 사례에 필요한 제어 데이터에 효율적으로 액세스할 수 있다.
일부 양태는 장치의 맥락에서 설명되었지만, 이러한 양태는 또한 해당 방법의 설명을 나타내며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 실시형태는 컴퓨터 상에서 실행될 때 이러한 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램에 관한 것이다.
본 발명의 구현은 종속항의 주제이다. 본 출원의 바람직한 실시형태는 도면과 관련하여 아래에 설명된다. 도면이 반드시 축척에 맞춰진 것은 아니다. 대신 일반적으로 본 발명의 원리를 설명하는 데 중점을 둔다. 이하의 설명에서, 본 발명의 다양한 실시형태는 다음 도면을 참조하여 설명되며, 여기서:
도 1은 뉴럴 네트워크를 인코딩/디코딩하기 위한 인코딩/디코딩 파이프라인의 예를 도시하고;
도 2는 실시형태 중 하나에 따라 인코딩/디코딩될 수 있는 뉴럴 네트워크를 도시하고;
도 3은 실시형태에 따른 뉴럴 네트워크 계층의 파라미터 텐서의 직렬화를 도시하고;
도 4는 실시형태에 따른 뉴럴 네트워크 파라미터가 직렬화되는 방법을 나타내기 위한 직렬화 파라미터의 사용을 도시하고;
도 5는 단일 출력 채널 컨볼루션 계층의 예를 도시하고;
도 6은 완전하게 연결된 계층의 예를 도시하고;
도 7은 실시형태에 따른, 뉴럴 네트워크 파라미터가 인코딩될 수 있는 n개의 코딩 순서 세트를 도시하고;
도 8은 실시형태에 따른, 개별적으로 액세스 가능한 부분 또는 하위 부분의 컨텍스트 적응 산술 코딩을 도시하고;
도 9는 실시형태에 따른 수치 계산 표현 파라미터의 사용을 도시하고;
도 10은 실시형태에 따른, 뉴럴 네트워크의 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터의 사용을 도시하고;
도 11은 실시형태에 따른, 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터를 갖는 데이터 스트림의 일반적인 실시형태를 도시하고;
도 12는 실시형태에 따른, 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터를 갖는 데이터 스트림의 상세한 실시형태를 도시하고;
도 13은 실시형태에 따른, 개별적으로 액세스 가능한 하위 부분에 대한 액세스를 가능하게 하기 위한 시작 코드 및/또는 포인터 및/또는 데이터 스트림 길이 파라미터의 사용을 도시하고;
도 14a는 실시형태에 따른, 포인터를 사용하는 하위 계층 액세스를 도시하고;
도 14b는 실시형태에 따른, 시작 코드를 사용하는 하위 계층 액세스를 도시하고;
도 15는 실시형태에 따른, 개별적으로 액세스 가능한 부분에 대한 가능한 처리 옵션으로서 랜덤 액세스의 예시적인 유형을 도시하고;
도 16은 실시형태에 따른, 처리 옵션 파라미터의 사용을 도시하고;
도 17은 실시형태에 따른, 뉴럴 네트워크 부분 의존 재구성 규칙의 사용을 도시하고;
도 18은 실시형태에 따른, 양자화된 뉴럴 네트워크 파라미터를 나타내는 양자화 지수에 기초한 재구성 규칙의 결정을 도시하고;
도 19는 실시형태에 따른, 식별 파라미터의 사용을 도시하고;
도 20은 실시형태에 따른, 뉴럴 네트워크의 상이한 버전의 인코딩/디코딩을 도시하고;
도 21은 실시형태에 따른, 뉴럴 네트워크의 2가지 버전의 델타 코딩을 도시하며, 여기서 2가지 버전은 가중값 및/또는 편향값이 다르고;
도 22는 실시형태에 따른, 뉴럴 네트워크의 2가지 버전의 대안적인 델타 코딩을 도시하며, 여기서 2가지 버전은 뉴런의 수 또는 뉴런 상호 연결의 수가 다르고;
도 23은 실시형태에 따른, 보상 뉴럴 네트워크 부분을 사용하는 뉴럴 네트워크의 상이한 버전의 인코딩을 도시하고;
도 24a는 실시형태에 따른, 보충 데이터를 갖는 데이터 스트림의 실시형태를 도시하고;
도 24b는 실시형태에 따른, 보충 데이터를 갖는 데이터 스트림의 대안적인 실시형태를 도시하며;
도 25는 제어 데이터 부분의 시퀀스를 갖는 데이터 스트림의 실시형태를 도시한다.
동일하거나 동등한 요소 또는 동일하거나 동등한 기능을 갖는 요소는 상이한 도면에서 나타나더라도 이하의 설명에서 동일하거나 동등한 참조 번호로 표시된다.
도 1은 뉴럴 네트워크를 인코딩/디코딩하기 위한 인코딩/디코딩 파이프라인의 예를 도시하고;
도 2는 실시형태 중 하나에 따라 인코딩/디코딩될 수 있는 뉴럴 네트워크를 도시하고;
도 3은 실시형태에 따른 뉴럴 네트워크 계층의 파라미터 텐서의 직렬화를 도시하고;
도 4는 실시형태에 따른 뉴럴 네트워크 파라미터가 직렬화되는 방법을 나타내기 위한 직렬화 파라미터의 사용을 도시하고;
도 5는 단일 출력 채널 컨볼루션 계층의 예를 도시하고;
도 6은 완전하게 연결된 계층의 예를 도시하고;
도 7은 실시형태에 따른, 뉴럴 네트워크 파라미터가 인코딩될 수 있는 n개의 코딩 순서 세트를 도시하고;
도 8은 실시형태에 따른, 개별적으로 액세스 가능한 부분 또는 하위 부분의 컨텍스트 적응 산술 코딩을 도시하고;
도 9는 실시형태에 따른 수치 계산 표현 파라미터의 사용을 도시하고;
도 10은 실시형태에 따른, 뉴럴 네트워크의 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터의 사용을 도시하고;
도 11은 실시형태에 따른, 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터를 갖는 데이터 스트림의 일반적인 실시형태를 도시하고;
도 12는 실시형태에 따른, 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터를 갖는 데이터 스트림의 상세한 실시형태를 도시하고;
도 13은 실시형태에 따른, 개별적으로 액세스 가능한 하위 부분에 대한 액세스를 가능하게 하기 위한 시작 코드 및/또는 포인터 및/또는 데이터 스트림 길이 파라미터의 사용을 도시하고;
도 14a는 실시형태에 따른, 포인터를 사용하는 하위 계층 액세스를 도시하고;
도 14b는 실시형태에 따른, 시작 코드를 사용하는 하위 계층 액세스를 도시하고;
도 15는 실시형태에 따른, 개별적으로 액세스 가능한 부분에 대한 가능한 처리 옵션으로서 랜덤 액세스의 예시적인 유형을 도시하고;
도 16은 실시형태에 따른, 처리 옵션 파라미터의 사용을 도시하고;
도 17은 실시형태에 따른, 뉴럴 네트워크 부분 의존 재구성 규칙의 사용을 도시하고;
도 18은 실시형태에 따른, 양자화된 뉴럴 네트워크 파라미터를 나타내는 양자화 지수에 기초한 재구성 규칙의 결정을 도시하고;
도 19는 실시형태에 따른, 식별 파라미터의 사용을 도시하고;
도 20은 실시형태에 따른, 뉴럴 네트워크의 상이한 버전의 인코딩/디코딩을 도시하고;
도 21은 실시형태에 따른, 뉴럴 네트워크의 2가지 버전의 델타 코딩을 도시하며, 여기서 2가지 버전은 가중값 및/또는 편향값이 다르고;
도 22는 실시형태에 따른, 뉴럴 네트워크의 2가지 버전의 대안적인 델타 코딩을 도시하며, 여기서 2가지 버전은 뉴런의 수 또는 뉴런 상호 연결의 수가 다르고;
도 23은 실시형태에 따른, 보상 뉴럴 네트워크 부분을 사용하는 뉴럴 네트워크의 상이한 버전의 인코딩을 도시하고;
도 24a는 실시형태에 따른, 보충 데이터를 갖는 데이터 스트림의 실시형태를 도시하고;
도 24b는 실시형태에 따른, 보충 데이터를 갖는 데이터 스트림의 대안적인 실시형태를 도시하며;
도 25는 제어 데이터 부분의 시퀀스를 갖는 데이터 스트림의 실시형태를 도시한다.
동일하거나 동등한 요소 또는 동일하거나 동등한 기능을 갖는 요소는 상이한 도면에서 나타나더라도 이하의 설명에서 동일하거나 동등한 참조 번호로 표시된다.
이하의 설명에서, 본 발명의 실시형태에 대한 보다 완전한 설명을 제공하기 위해 복수의 세부 사항이 제시된다. 그러나, 본 발명의 실시형태가 이러한 특정 세부 사항 없이 실시될 수 있음은 당업자에게 명백할 것이다. 다른 예에서, 잘 알려진 구조 및 디바이스는 본 발명의 실시형태를 모호하게 하는 것을 피하기 위해 상세보다는 블록도 형태로 도시된다. 또한, 이후에 설명되는 상이한 실시형태의 특징은 달리 구체적으로 언급되지 않는 한 서로 결합될 수 있다.
본 출원의 실시형태에 대한 이하의 설명은 본 출원의 실시형태의 간략한 소개 및 개요로 시작하여 이들의 이점 및 이러한 이점을 달성하는 방법을 설명한다.
NN 압축에 대한 진행중인 MPEG 활동에서 개발된 것과 같은 NN의 코딩된 표현의 현재 활동에서, 다중 계층의 파라미터 텐서를 나타내는 모델 비트스트림을 개별 계층의 파라미터 텐서의 코딩된 표현을 포함하는 더 작은 하위 비트스트림, 즉 계층 비트스트림으로 분리하는 것이 바람직할 수 있다는 것을 알았다. 이는 이러한 모델 비트스트림을 컨테이너 형식의 컨텍스트에서 또는 NN 계층의 병렬 디코딩/실행을 특징으로 하는 애플리케이션 시나리오에서 저장/로딩해야 할 때 일반적으로 도움이 될 수 있다.
이하에서, 뉴럴 네트워크, NN의 효과적인 압축을 달성할 때 및/또는 NN을 나타내는 데이터에 대한 액세스를 개선하여 NN의 효과적인 전송/업데이트를 가능하게 할 때 도움이 될 수 있는 다양한 예가 설명된다.
본 출원의 다음 예의 이해를 용이하게 하기 위해, 본 출원의 후속적으로 개략적으로 설명된 예가 구축될 수 있는 가능한 인코더 및 디코더의 프리젠테이션으로 설명을 시작한다.
도 1은 DeepCABAC에 따른 인코딩/디코딩 파이프라인의 간단한 스케치 예를 도시하고 이러한 압축 방식의 내부 동작을 예시한다. 먼저, 뉴런(14, 20 및/또는 18) 사이, 예를 들어 선행 뉴런(141 ~ 143)과 중간 뉴런(201 및 202) 사이의 연결(22), 예를 들어 연결(221 ~ 226)의 가중값(32), 예를 들어 가중값(321 ~ 326)은 예에서 행렬(30)로서 표시된 텐서로 형성된다(도 1의 1단계). 도 1의 단계 1에서, 예를 들어, 뉴럴 네트워크(10), NN의 제 1 계층과 연관된 가중값(32)은 행렬(30)에 형성된다. 도 1에 도시된 실시형태에 따르면, 행렬(30)의 열은 선행 뉴런(141 ~ 143)과 연관되고, 행렬(30)의 행은 중간 뉴런(201 및 202)과 연관되지만, 형성된 행렬은 예시된 행렬(30)의 도치를 대안적으로 나타낼 수 있다는 것은 분명하다.
그 다음, 각각의 NN 파라미터, 예를 들어 가중값(32)은 특정 스캐닝 순서, 예를 들어 행 우선 순서(왼쪽에서 오른쪽으로, 위에서 아래로)에 따라 단계 2 및 3에 도시된 바와 같이 예를 들어 컨텍스트 적응 산술 코딩(600)을 사용하여 인코딩, 예를 들어 양자화 및 엔트로피 코딩된다. 아래에서 더 자세히 설명되는 바와 같이, 다른 스캐닝 순서, 즉 코딩 순서를 사용하는 것도 가능하다. 단계 2 및 단계 3은 인코더(40), 즉 인코딩을 위한 장치에 의해 수행된다. 디코더(50), 즉 디코딩을 위한 장치는 역 처리 순서 단계에서 동일한 프로세스를 따른다. 즉, 먼저 단계 4에 나타낸 바와 같이 인코딩된 값의 정수 표현 리스트를 디코딩한 다음, 단계 5에 나타낸 바와 같이 리스트를 텐서 표현(30')으로 재구성한다. 마지막으로, 텐서(30')는 단계 6에 나타낸 바와 같이 네트워크 아키텍처(10'), 즉 재구성된 NN에 로딩된다. 재구성된 텐서(30')는 재구성된 NN 파라미터, 즉 디코딩된 NN 파라미터(32')를 포함한다.
도 1에 도시된 NN(10)은 소수의 뉴런(14, 20 및 18)을 갖는 단순한 NN이다. 뉴런은 이하에서 노드, 요소, 모델 요소 또는 차원으로도 이해될 수 있다. 또한, 참조 부호(10)는 머신 러닝(ML) 예측기, 즉, 뉴럴 네트워크과 같은 머신 러닝 모델을 나타낼 수 있다.
도 2를 참조하여 뉴럴 네트워크가 더 자세히 설명된다. 특히, 도 2는 입력 노드 또는 요소(14)를 갖는 입력 인터페이스(12) 및 출력 노드 또는 요소(18)를 갖는 출력 인터페이스(16)를 포함하는 ML 예측기(10)를 도시한다. 입력 노드/요소(14)는 입력 데이터를 수신한다. 즉, 입력 데이터가 적용된다. 예를 들어, 그들은 예를 들어 각 요소(14)가 픽쳐의 픽셀과 연관되어 있는 픽쳐를 수신할 수 있다. 대안적으로, 요소(14) 상에 적용되는 입력 데이터는 오디오 신호, 센서 신호 등과 같은 1차원 신호와 같은 신호일 수 있다. 대안적으로, 입력 데이터는 의료 파일 데이터 등과 같은 특정 데이터 세트를 나타낼 수 있다. 입력 요소(14)의 수는 임의의 수일 수 있으며, 예를 들어 입력 데이터의 유형에 의존한다. 출력 노드(18)의 수는 도 1에 도시된 바와 같이 하나이거나 도 2에 도시된 바와 같이 하나보다 클 수 있다. 각각의 출력 노드 또는 요소(18)는 특정 추론 또는 예측 작업과 연관될 수 있다. 특히, ML 예측기(10)가 ML 예측기(10)의 입력 인터페이스(12)에 적용된 특정 입력에 적용될 때 ML 예측기(10)는 출력 인터페이스(16)에서 추론 또는 예측 결과를 출력하며, 여기서 예를 들어, 각각의 출력 노드(18)에서 발생하는 활성화, 즉 활성화 값은 예를 들어, 입력된 픽쳐가 자동차, 사람, 위상 등과 같은 특정 대상을 포함하는지 여부와 같은 입력 데이터가 특정 특성을 가지고 있는지 여부 또는 방법과 같은 입력 데이터에 대한 특정 질문에 대한 답변을 나타낼 수 있다.
지금까지, 입력 인터페이스에 적용된 입력은 활성화, 즉 각각의 입력 노드 또는 요소(14)에 적용된 활성화로 해석될 수도 있다.
입력 노드(14)와 출력 노드(들)(18) 사이에서, ML 예측기(10)는 이들 선행 노드로부터 활성화를 수신하기 위해 연결(22)을 통해 선행 노드에 연결된 그리고 노드(20)의 활성화, 즉 활성화 값을 후속 노드에 전달하기 위해 하나 이상의 추가 연결(24)을 통해 후속 노드에 연결된 추가 요소 또는 노드(20)를 포함한다.
선행 노드는 ML 예측기(10)의 다른 내부 노드(20)일 수 있으며, 이를 통해 도 2에 예시적으로 도시된 중간 노드(20)는 입력 노드(14)에 간접적으로 연결되거나, 도 1에 도시된 바와 같이 직접 입력 노드(14)일 수 있으며, 후속 노드는 ML 예측기(10)의 다른 중간 노드일 수 있으며, 이를 통해 예시적으로 도시된 중간 노드(20)는 출력 인터페이스 또는 출력 노드에 연결되거나, 도 1에 도시된 바와 같이 직접 출력 노드(28)일 수 있다.
ML 예측기(10)의 입력 노드(14), 출력 노드(18) 및 내부 노드(20)는 ML 예측기(10)의 특정 계층에 연관되거나 이에 기인될 수 있지만, ML 예측기(10)의 계층화된 구조화는 선택적이며 본 출원의 실시형태가 이러한 계층화된 네트워크에 국한되지 않는 ML 예측기이다. ML 예측기(10)의 예시적으로 도시된 중간 노드(20)에 관한 한, 중간 노드(20)는 입력 인터페이스(12)로부터 연결(22)을 통해 선행 노드로부터 수신된 활성화, 즉 활성화 값을 출력 인터페이스(16)를 향해 후속 노드에 전달함으로써 ML 예측기(10)의 추론 또는 예측 작업에 기여한다. 그렇게 함으로써, 노드 또는 요소(20)는 입력 노드(22)에서의 활성화, 즉 활성화 값에 기초하여 연결(24)을 통해 후속 노드를 향해 전달된 활성화, 즉 활성화 값을 계산하고, 계산은 가중값 합 즉, 각각의 연결(22)에 대해 더해진 다음 각각의 선행 노드로부터 수신된 입력, 즉 활성화와 각각의 선행 노드와 중간 노드(20)를 연결하는 연결(22)과 연관된 가중값 사이의 곱인 합의 계산을 포함한다. 대안적으로 또는 더 일반적으로, 노드 또는 요소(i)(20)로부터 연결(24)을 통해 전달된 활성화(x)는 매핑 함수(mij(x))에 의해 후속 노드(j)에 전달된다는 점에 유의한다. 따라서, 각각의 연결(22 및 24)은 그들과 연관된 특정 가중값을 가질 수 있거나 대안적으로 매핑 함수(mij)의 결과를 가질 수 있다. 선택적으로 추가 파라미터가 특정 후속 노드를 향해 노드(20)에 의해 출력된 활성화의 계산에 포함될 수 있다. ML 예측기(10)의 일부에 대한 관련성 스코어를 결정하기 위해, 입력 인터페이스(12)에서 특정 입력에 대한 특정 예측 또는 추론 작업을 완료할 때 출력 노드(18)에서 발생하는 활성화 또는 대상의 미리 정의되거나 관심 있는 출력 활성화가 사용될 수 있다. 각각의 출력 노드(18)에서의 이러한 활성화는 관련성 스코어 결정을 위한 시작점으로 사용되며 관련성은 입력 인터페이스(12)를 향해 다시 전달된다. 특히, 노드(20)와 같은 ML 예측기(10)의 각 노드에서, 관련성 스코어는 노드(20)의 경우 연결(22)을 통해 선행 노드를 향해 분배되고, 각각의 선행 노드와 연관된 전술한 곱에 비례하는 방식으로 분배되고, 가중값 합산을 통해 노드(20)와 같이 그 활성화가 역방향으로 전달될 현재 노드의 활성화에 기여한다. 즉, 노드(20)와 같은 특정 노드로부터 그것의 특정 선행 노드로 역방향으로 전달되는 관련성 비율은 그 노드의 관련성을 그 선행 노드로부터 수신된 활성화 사이의 비율 × 선행 노드의 활성화 사이의 모든 곱의 합에 따른 값으로 나눈, 활성화가 전술한 각각의 노드의 합에 기여한 가중값과 이러한 활성화가 관련성이 다시 전파될 현재 노드의 가중값 합에 기여한 가중값에 따른 인자와 곱함으로써 계산된다.
위에서 설명된 방식으로, 예를 들어 ML 예측자(10)의 부분에 대한 관련성 스코어는 ML 예측자에 의해 수행된 하나 이상의 추론에서 그 자체를 나타내는 이들 부분의 활성화에 기초하여 결정된다. 이러한 관련성 스코어가 결정되는 "부분"은 위에서 논의된 바와 같이 예측기(10)의 노드 또는 요소일 수 있으며, 여기서 ML 예측기(10)는 임의의 계층화된 ML 네트워크로 제한되지 않으므로, 예를 들어, 요소(20)는 예를 들어 예측기(10)에 의해 수행되는 추론 또는 예측 동안 계산된 중간 값의 임의의 계산일 수 있다는 것을 알아야 한다. 예를 들어, 위에서 논의된 방식으로, 요소 또는 노드(20)에 대한 관련성 스코어는 이 노드 또는 요소(20)가 후속 노드/요소로부터 수신한 다음, 노드(20)와 관련하여 대표적으로 위에 설명된 방식으로 그들의 관련성 스코어를 분배하는 인바운드 관련성 메시지를 집계하거나 합산함으로써 계산된다.
도 2와 관련하여 설명된 ML 예측기(10), 즉 NN은 도 1과 관련하여 설명된 인코더(40)를 사용하여 데이터 스트림(45)으로 인코딩될 수 있고, 도 1과 관련하여 설명된 디코더(50)를 사용하여 데이터 스트림(45)으로부터 재구성/디코딩될 수 있다.
이하에 설명되는 특징 및/또는 기능은 도 1과 관련하여 설명된 압축 방식으로 구현될 수 있으며 도 1 및 도 2와 관련하여 설명된 NN과 관련될 수 있다.
1
파라미터 텐서 직렬화
비트스트림의 하위 계층 방식 처리로부터 이점을 얻을 수 있는 애플리케이션이 있다. 예를 들어, 계층이 개별적으로 트레이닝된 기준과 고급 부분과 같은 독립적인 서브세트로 구조화되고 클라이언트가 추가로 기준 계층 서브세트 또는 고급 계층 서브세트만으로 실행할 것을 결정할 수 있는 방식으로 가용 클라이언트 연산 파워에 적응하는 NN가 있다(Tao, 2018). 다른 예는 데이터 채널 특정 동작을 특징으로 하는 NN, 예를 들어 동작이 병렬 방식으로 컬러 채널별로 별도로 실행될 수 있는 이미지 처리 NN의 계층이 있다(Chollet, 2016).
위의 목적을 위해, 도 3을 참조하면, 계층의 파라미터 텐서(30)의 직렬화(1001 또는 1002)는 예를 들어 엔트로피 코딩 이전에 애플리케이션의 관점에서 의미 있는 연속적인 서브세트(431 ~ 433 또는 441 및 442)로 쉽게 분할할 수 있는 비트스트링(421 또는 422)이 필요하다. 이는 채널(1001) 당 또는 샘플(1002) 당 가중값(32)과 같은 모든 NN 파라미터의 그룹화 또는 기준 대 고급 부분의 뉴런의 그룹화를 포함할 수 있다. 이러한 비트스트링은 후속적으로 엔트로피 코딩되어 함수 관계를 갖는 하위 계층 비트스트림을 형성할 수 있다.
도 4에 도시된 바와 같이, 직렬화 파라미터(102)는 데이터 스트림(45)으로/데이터 스트림(45)으로부터 인코딩/디코딩될 수 있다. 직렬화 파라미터는 NN 파라미터(32)의 인코딩 이전 또는 인코딩 시에 NN 파라미터(32)가 그룹화되는 방법을 나타낼 수 있다. 직렬화 파라미터(102)는 데이터 스트림(45)으로의 NN 파라미터의 인코딩을 가능하게 하기 위해 파라미터 텐서(30)의 NN 파라미터(32)가 비트스트림으로 직렬화되는 방법을 나타낼 수 있다.
일 실시형태에서, 직렬화 정보, 즉 직렬화 파라미터(102)는 계층의 범위로 비트스트림, 즉 데이터 스트림(45)의 파라미터 세트 부분(110)에 표시된다(예를 들어, 도 12, 도 14a, 도 14b 또는 도 24b 참조).
다른 실시형태는 파라미터 텐서(30)의 차원(34 1 및 34 2 )(도 1 참조 및 도 7에서의 코딩 순서(1061) 참조)을 직렬화 파라미터(102)로서 표시한다. 이 정보는 파라미터 행렬, 즉 파라미터 텐서(30)와 샘플(1002) 및 컬러 채널(1001)의 엔트리, 즉 가중값(32) 사이의 명확한 연관성을 갖는 예시적인 이미지 처리 NN에 대해 예를 들어 도 3에 예시된 것처럼 효율적인 실행을 가능하게 하기 위해 예를 들어 메모리에서 파라미터의 디코딩된 리스트가 각각의 방식으로 그룹화/구성되어야 하는 경우에 유용할 수 있다. 도 3은 2개의 상이한 직렬화 모드(1001 그리고 1002) 및 최종 하위 계층(43 및 44)의 예시적인 예시를 도시한다.
추가 실시형태에서, 도 4에 도시된 바와 같이, 비트스트림, 즉 데이터 스트림(45)은 디코더(50)가 디코딩하는 동안 NN 파라미터(32)를 재구성할 수 있도록 인코딩하는 동안 인코더(40)가 NN 파라미터(32), 예를 들어 계층, 뉴런, 텐서를 횡단하는 순서(104)를 특정하며, 인코더(40) 및 디코더(50)에 대한 설명은 도 1을 참조한다. 즉, NN 파라미터(32)의 서로 다른 스캔 순서(301, 302)는 상이한 애플리케이션 시나리오에 적용될 수 있다.
예를 들어, 엔트로피 코더가 그들 사이의 의존도를 더 잘 캡처할 수 있기 때문에 서로 다른 차원을 따라 파라미터를 인코딩하면 최종 압축 성능이 향상될 수 있다. 다른 예에서, 특정 애플리케이션 특정 기준, 즉 그들이 관련되는 입력 데이터의 부분 또는 그들이 결합하여 실행될 수 있는지 여부에 따라 파라미터를 그룹화하여 그들이 병렬로 디코딩/추론될 수 있도록 하는 것이 바람직할 수 있다. 추가 예는 내적 연산을 수행할 때 디코딩된 파라미터의 효율적인 메모리 할당을 지원하는 GEMM(General Matrix Matrix) 곱 스캔 순서에 따라 파라미터를 인코딩하는 것이다(Andrew Kerr, 2017).
추가 예는 예를 들어 코딩될 NN 파라미터(32)의 에너지 압축을 달성하고 최종 순서(104)에 따라 최종 순열 데이터를 후속적으로 처리/직렬화/코딩하기 위해, 예를 들어 도 7에서 코딩 순서(1064)에 의해 예시된 데이터의 인코더 측 선택된 순열에 관한 것이다. 따라서, 순열은 코딩 순서(104)를 따라 동일하게 증가하거나 동일하게 감소하도록 NN 파라미터(32)를 정렬할 수 있다.
도 5는 예를 들어 픽쳐 및/또는 비디오 분석 애플리케이션에 있어서의 단일 출력 채널 컨벌루션 계층에 대한 예를 도시한다. 컬러 이미지는 다수의 채널을 가지고 있고, 일반적으로 각각의 컬러 채널에 대해 적, 녹, 청과 같은 하나의 컬러 이미지를 갖는다. 데이터 관점에서 이는 모델에 대한 입력으로서 제공된 단일 이미지가 실제로 3개의 이미지임을 의미한다.
텐서(30a)는 입력 데이터(12)에 적용될 수 있고 일정한 단계 크기를 갖는 윈도우와 같은 입력을 통해 스캔한다. 텐서(30a)는 필터로서 이해될 수 있다. 텐서(30a)는 입력 데이터(12)를 가로질러 왼쪽에서 오른쪽으로 이동할 수 있고 각 패스 후에 다음 하위 행으로 점프할 수 있다. 선택적인 소위 패딩은 텐서(30a)가 입력 행렬의 에지에 히트할 때 어떻게 행동해야 하는지를 결정한다. 텐서(30a)는 그 시야의 각 포인트에 대해 NN 파라미터(32), 예를 들어 고정 가중값을 갖고, 예를 들어 현재 시야의 픽셀 값과 이러한 가중값으로부터 결과 행렬을 계산한다. 이 결과 행렬의 크기는 텐서(30a)의 크기(커널 크기), 패딩, 특히 단계 크기에 따라 다르다. 입력 이미지는 3개의 채널(예를 들어, 깊이 3)을 갖고, 그 이미지에 적용된 텐서(30a)는 예를 들어 3개의 채널(예를 들어, 깊이 3)을 갖는다. 입력(12)의 깊이와 텐서(30a)의 깊이에 관계없이, 텐서(30a)는 단일 값을 초래하는 내적 연산을 사용하여 입력(12)에 적용된다.
기본적으로, DeepCABAC는 주어진 텐서(30a)를 각각의 행렬(30b) 형식으로 변환하고 NN 파라미터(32)를 행 우선 순서(1041), 즉, 도 5에 도시된 바와 같이 왼쪽에서 오른쪽으로, 위에서 아래로 데이터 스트림(45)으로 인코딩한다. 그러나, 도 7과 관련하여 설명되는 바와 같이, 다른 코딩 순서(104/106)가 높은 압축을 달성하는 데 유리할 수 있다.
도 6은 완전 연결 계층의 예를 도시한다. 완전 연결 계층 또는 고밀도 계층은 모든 뉴런이 모든 입력(12), 즉 선행 노드 및 모든 출력(16'), 즉 후속 노드에 연결되는 일반 뉴럴 네트워크 구조이다. 텐서(30)는 대응하는 NN 계층을 나타내고 텐서(30)는 NN 파라미터(32)를 포함한다. NN 파라미터(32)는 코딩 순서(104)에 따라 데이터 스트림으로 인코딩된다. 도 7과 관련하여 설명되는 바와 같이, 특정 코딩 순서(104/106)는 높은 압축을 달성하는 데 유리할 수 있다.
이제 설명은 NN 파라미터(32)의 직렬화에 대한 일반적인 설명을 가능하게 하는 도 4로 돌아간다. 도 4와 관련하여 설명된 개념은 단일 출력 채널 컨볼루션 계층(도 5 참조)과 완전 연결 계층(도 6 참조) 모두에 적용할 수 있다.
도 4에 도시된 바와 같이, 본 출원의 실시형태 A1은 인코딩된 뉴럴 네트워크(NN)의 표현을 갖는 데이터 스트림(45)(DS)에 관한 것이다. 데이터 스트림은 뉴럴 네트워크의 뉴런 상호접속을 정의하는 NN 파라미터(32)가 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 포함한다.
실시형태 ZA1에 따르면, 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치는 뉴럴 네트워크의 뉴런 상호접속을 정의하는 NN 파라미터(32)가 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 데이터 스트림(45)에 제공하도록 구성된다.
실시형태 XA1에 따르면, DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치는 뉴럴 네트워크의 뉴런 상호접속을 정의하는 NN 파라미터(32)가 예를 들어, 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 데이터 스트림(45)으로부터 디코딩하도록 그리고 코딩 순서(104)를 사용하여 DS(45)로부터 직렬로 디코딩된 NN 파라미터(32)를 뉴런 상호 연결에 할당하도록 구성된다.
도 4는 NN 계층과 연관된 NN 파라미터(32)를 갖는 NN 계층의 상이한 표현을 도시한다. 실시형태에 따르면, 2차원 텐서(301) 즉, 행렬 또는 3차원 텐서(302)는 해당 NN 계층을 나타낼 수 있다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZA1에 따른 장치 또는 실시형태 XA1에 따른 장치의 특징 및/또는 기능일 수 있다.
실시형태 A2에 따르면, 이전 실시형태 A1의 DS(45)에서, NN 파라미터(32)는 컨텍스트 적응 산술 코딩(600)을 사용하여 DS(45)로 코딩된다(예를 들어, 도 1 및 도 8 참조). 따라서, 실시형태 ZA1에 따른 장치는 컨텍스트 적응적 산술 코딩(600)을 사용하여 NN 파라미터(32)를 인코딩하도록 구성될 수 있고, 실시형태 XA1에 따른 장치는 컨텍스트 적응적 산술 디코딩을 사용하여 NN 파라미터(32)를 디코딩하도록 구성될 수 있다.
실시형태 A3에 따르면, 실시형태 A1 또는 A2의 DS(45)에서, 데이터 스트림(45)은 도 8 또는 이하의 도면 중 하나에 도시된 바와 같이 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 계층(210)을 나타내고, 여기서 직렬화 파라미터(102)는 사전 결정된 NN 계층(210) 내에서 뉴럴 네트워크의 뉴런 상호연결을 정의하는 NN 파라미터(32)가 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 나타낸다.
실시형태 A4에 따르면, 이전 실시형태 A1 내지 A3 중 어느 하나의 DS(45)에서, 직렬화 파라미터(102)는 예를 들어, 도 7에 도시된 바와 같이 n개의 코딩 순서의 세트(108) 중 코딩 순서(104)를 표시하는 n진 파라미터이다.
실시형태 A4a에 따르면, 실시형태 A4의 DS(45)에서, n개의 코딩 순서의 세트(108)는,
사전 결정된 코딩 순서(104)가 차원, 예를 들어, NN의 사전 결정된 NN 계층을 기술하는 텐서(30)의 x-차원, y-차원 및/또는 z-차원을 횡단하는 순서가 다른 제 1 사전 결정된 코딩 순서(1061); 및/또는
사전 결정된 코딩 순서(104)가 NN의 스케일러블 코딩을 위해 NN의 사전 결정된 NN 계층을 횡단하는 횟수(107)가 다른 제 2 사전 결정된 코딩 순서(1062); 및/또는
사전 결정된 코딩 순서(104)가 NN의 NN 계층(210)을 횡단하는 순서가 다른 제 3 사전 결정된 코딩 순서(1063); 및/또는
NN의 NN 계층의 뉴런(20)이 횡단하는 순서가 다른 제 4 사전 결정된 코딩 순서(1064)
를 포함한다.
제 1 사전 결정된 코딩 순서(1061)는 예를 들어 NN 파라미터(32)의 인코딩에서 텐서(30)의 개별 차원이 횡단하는 방식에서 서로 다르다. 코딩 순서(1041)는 예를 들어, 코딩 순서(1042)와 다르며 즉, 사전 결정된 코딩 순서(1041)는 행 우선 순서로 텐서(30)를 횡단하며, 즉, 행은 왼쪽에서 오른쪽으로, 행 다음 행은 위에서 아래로, 사전 결정된 코딩 순서(1042)는 열 우선 순서로 텐서(30)를 횡단하고, 즉, 열은 위에서 아래로, 열 다음 열은 왼쪽에서 오른쪽으로 횡단한다. 마찬가지로, 제 1 사전 결정된 코딩 순서(1061)는 사전 결정된 코딩 순서(104)가 3차원 텐서(30)의 차원을 횡단하는 순서에서 다를 수 있다.
제 2 사전 결정된 코딩 순서(1062)는 예를 들어 텐서/행렬(30)에 의해 표현되는 NN 계층이 얼마나 자주 횡단되는지가 다르다. 예를 들어, NN 계층은 사전 결정된 코딩 순서(104)로 2회 횡단될 수 있고, 이에 의해 NN 계층의 기준 부분 및 고급 부분은 데이터 스트림(45)으로/데이터 스트림(45)으로부터 인코딩/디코딩될 수 있다. NN 계층이 사전 결정된 코딩 순서에 의해 횡단되는 횟수(107)는 데이터 스트림으로 인코딩된 NN 계층의 버전 수를 정의한다. 따라서, 직렬화 파라미터(102)가 NN 계층을 적어도 2회 횡단하는 코딩 순서를 나타내는 경우에, 디코더는 자신의 처리 능력에 기초하여 NN 계층의 어느 버전이 디코딩될 수 있는지를 결정하도록 그리고 선택한 NN 계층 버전에 대응하는 NN 파라미터(32)를 디코딩하도록 구성될 수 있다.
제 3 사전 결정된 코딩 순서(1063)는 NN(10)의 서로 다른 NN 계층(2101 및 2102)와 연관된 파라미터가 NN(10)의 하나 이상의 다른 NN 계층(210)와는 다른 사전 결정된 코딩 순서 또는 동일한 코딩 순서를 사용하여 데이터 스트림(45)으로 인코딩되는지 여부를 정의한다.
제 4 사전 결정된 코딩 순서(1064)는 대응하는 NN 레이어를 나타내는 텐서/행렬(30)을 왼쪽 상단 NN 파라미터(321)에서 오른쪽 하단 NN 파라미터(3212)까지 대각선으로 횡단하는 사전 결정된 코딩 순서(1043)를 포함할 수 있다.
실시형태 A4a에 따르면, 이전 실시형태 A1 내지 A4a 중 어느 하나의 DS(45)에서, 직렬화 파라미터(102)는 코딩 순서(104)가 디폴트 순서에 대해 NN 계층의 뉴런을 순열시키는 데 사용하는 순열을 나타낸다. 다시 말해서, 직렬화 파라미터(102)는 순열을 나타내고 순열의 사용시 코딩 순서(104)는 디폴트 순서에 대해 NN 계층의 뉴런을 순열시킨다. 제 4 사전 결정된 코딩 순서(1064)에 대해 도 7에 도시된 바와 같이, 데이터 스트림(450)에 대해 예시된 바와 같이 행 우선 순위는 디폴트 순서를 나타낼 수 있다. 다른 데이터 스트림(45)은 디폴트 순서에 대한 순열을 사용하여 인코딩된 NN 파라미터를 포함한다.
실시형태 A4b에 따르면, 실시형태 A4a의 DS(45)에서, 순열은 NN 파라미터(32)가 코딩 순서(104)를 따라 단조 증가하거나 코딩 순서(104)를 따라 단조 감소하도록 하는 방식으로 NN 계층(210)의 뉴런을 정렬한다.
실시형태 A4c에 따르면, 실시형태 A4a의 DS(45)에서, 순열은 직렬화 파라미터(102)에 의해 시그널링 가능한 사전 결정된 코딩 순서(104) 중에서 NN 파라미터(32)를 데이터 스트림(45)으로 코딩하기 위한 비트레이트가 직렬화 파라미터(102)에 의해 표시된 순열에 대해 가장 낮도록 하는 방식으로 NN 계층(210)의 뉴런을 정렬한다.
실시형태 A5에 따르면, 이전 실시형태 A1 내지 A4c 중 어느 하나의 DS(45)에서, NN 파라미터(32)는 가중값 및 편향값을 포함한다.
실시형태 A6에 따르면, 이전 실시형태 A1 내지 A5 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 개별적으로 액세스 가능한 하위 부분(43/44) - 각각의 하위 부분(43/44)은 뉴럴 네트워크(10)의 대응하는 NN 부분, 예를 들어 NN 계층(210)의 부분을 나타냄 - 으로 구조화되어, 각각의 하위 부분(43/44)은 후속 하위 부분(43/44)이 코딩 순서(104)에 의해 횡단되기 전에 코딩 순서(104)에 의해 완전히 횡단된다. NN 계층을 나타내는 텐서(30)의 행, 열 또는 채널은 개별적으로 액세스 가능한 하위 부분(43/44)으로 인코딩될 수 있다. 동일한 NN 계층과 연관된 개별적으로 액세스 가능한 상이한 하위 부분(43/44)은 동일한 NN 계층과 연관된 상이한 뉴런(14/18/20) 또는 뉴런 상호접속(22/24)를 포함할 수 있다. 개별적으로 액세스 가능한 하위 부분(43/44)은 텐서(30)의 행, 열 또는 채널을 나타낼 수 있다. 개별적으로 액세스 가능한 하위 부분(43/44)은 예를 들어 도 3에 도시되어 있다. 대안적으로, 도 21 내지 23에 도시된 바와 같이, 개별적으로 액세스 가능한 하위 부분(43/44)은 NN 계층의 기준 섹션 및 NN 계층의 고급 섹션과 같은 NN 계층의 상이한 버전을 나타낼 수 있다.
실시형태 A7에 따르면, 실시형태 A3 및 A6 중 어느 하나의 DS(45)에서, NN 파라미터(32)는 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43/44)의 시작(202)에서 컨텍스트 적응 산술 코딩(600)을 사용하고 컨텍스트 초기화를 사용하여 DS(45)로 코딩되며, 예를 들어 도 8을 참조한다.
실시형태 A8에 따르면, 실시형태 A3 및 A6 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(240)이 시작하는 시작 코드(242), 및/또는 각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(240)의 시작을 가리키는 포인터(220/244), 및/또는 도 11 내지 도 14에 도시된 바와 같이 DS(45)를 파싱할 때 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(240)을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(240)의 포인터 데이터 스트림 길이, 즉, 각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(240)의 데이터 스트림 길이(246)를 나타내는 파라미터를 포함한다.
다른 실시형태는 비트스트림, 즉 데이터 스트림(45)의 디코딩된 파라미터(32')의 비트 크기 및 수치 표현을 식별한다. 예를 들어, 실시형태는 디코딩된 파라미터(32')가 8비트 부호의 고정 소수점 형식으로 표현될 수 있음을 지정할 수 있다. 이 사양은 예를 들어 8비트 고정 소수점 표현으로 활성화 값을 표현하는 것이 가능한 애플리케이션에서 매우 유용할 수 있으며, 그 이유는 추론이 고정 소수점 산술로 인해 더 효율적으로 수행될 수 있기 때문이다.
실시형태 A9에 따르면, 이전 실시형태 A1 내지 A8 중 어느 하나의 DS(45)에서, 추론을 위해 NN을 사용할 때 NN 파라미터(32)가 표현될 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 더 포함하며, 예를 들어 도 9를 참조한다.
도 9는 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 실시형태 B1을 도시하며, 데이터 스트림(45)은 예를 들어 DS(45)로 인코딩된 NN의 NN 파라미터(32)가 추론을 위해 NN을 사용할 때 표현되는 부동 소수점, 고정 소수점 표현 및 비트 크기 중에서 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 포함한다.
대응하는 실시형태 ZB1은 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치에 관한 것이며, 여기서 장치는 데이터 스트림(45)에 예를 들어 DS(45)로 인코딩된 NN의 NN 파라미터(32)가 추론을 위해 NN을 사용할 때 표현되는 부동 소수점, 고정 소수점 표현 및 비트 크기 중에서 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 제공하도록 구성된다.
대응하는 실시형태 XB1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것이며, 여기서 장치는 데이터 스트림(45)으로부터, 예를 들어 DS(45)로 인코딩된 NN의 NN 파라미터(32)가 추론을 위해 NN을 사용할 때 표현되는 부동 소수점, 고정 소수점 표현 및 비트 크기 중에서 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 디코딩하도록 그리고 DS(45)로부터 디코딩된 파라미터(32)를 표현하기 위해 수치 표현과 비트 크기를 선택적으로 사용하도록 구성된다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZB1에 따른 장치 또는 실시형태 XB1에 따른 장치의 특징 및/또는 기능일 수 있다.
추가 실시형태는 계층 내의 파라미터 유형을 표시한다. 대부분의 경우, 계층은 가중값과 편향값의 두 가지 유형의 파라미터(32)로 구성된다. 이러한 두 가지 유형의 파라미터 사이의 구별은 예를 들어 인코딩하는 동안 서로 다른 유형의 의존도가 각각에 대해 사용되었거나 병렬 디코딩이 필요한 경우 등 디코딩 이전에 유용할 수 있다.
실시형태 A10에 따르면, 이전 실시형태 A1 내지 B1 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 개별적으로 액세스 가능한 하위 부분(43/44) - 각각의 하위 부분(43/44)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어, NN 계층의 일부를 나타냄 - 으로 구조화되어, 후속 하위 부분(43/44)이 코딩 순서(104)에 의해 횡단되기 전에 각각의 하위 부분(43/44)이 코딩 순서(104)에 의해 완전히 횡단되며, 여기서 데이터 스트림(45)은 사전 결정된 하위 부분에 대해 사전 결정된 하위 부분으로 인코딩된 NN 파라미터(32)의 파라미터 유형을 표시하는 유형 파라미터를 포함한다.
실시형태 A10a에 따르면, 실시형태 A10의 DS에서, 유형 파라미터는 적어도 NN 가중값과 NN 편향값 사이를 구별한다.
마지막으로, 추가 실시형태는 NN 파라미터(32)가 예를 들어 컨볼루션 또는 완전히 연결되는 계층(210)의 유형을 표시한다. 이 정보는 예를 들어 파라미터 텐서(30)의 차원의 의미를 이해하는 데 유용할 수 있다. 예를 들어, 2d 컨볼루션 계층의 가중값 파라미터는 4d 텐서(30)로서 표현될 수 있으며, 여기서 제 1 차원은 필터의 수를 특정하고, 제 2 차원은 채널의 수를 특정하고, 나머지는 필터의 2d 공간 차원을 특정한다. 더욱이, (예를 들어, 컨텍스트 모델의 상이한 세트 또는 모드를 사용함으로써) 데이터의 의존성을 더 잘 포착하고 더 높은 코딩 효율을 유도하기 위해 디코더가 디코딩하기 전에 아는 것이 중요할 수 있는 정보를 인코딩하는 동안 상이한 계층(210)이 상이하게 처리될 수 있다.
실시형태 A11에 따르면, 이전 실시형태 A1 내지 A10a 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 부분(200)은 뉴럴 네트워크(10)의 대응하는 NN 계층(210)을 나타내며, 여기서 데이터 스트림(45)은 사전 결정된 NN 계층에 대해 NN의 사전 결정된 NN 계층의 NN 계층 유형을 표시하는 NN 계층 유형 파라미터(130)를 더 포함한다(예를 들어, 도 10 참조).
도 10은 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 실시형태 C1을 도시하며, 여기서 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 부분은 뉴럴 네트워크의 대응하는 NN 계층(210)을 나타내며, 여기서 데이터 스트림(45)은 사전 결정된 NN 계층에 대해 NN의 사전 결정된 NN 계층의 NN 계층 유형을 표시하는 NN 계층 유형 파라미터(130)를 더 포함한다.
대응하는 실시형태 ZC1은 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되도록 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치에 관한 것으로, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 계층(210)을 나타내며, 여기서 장치는 사전 결정된 NN 계층(210)에 대해 NN의 사전 결정된 NN 계층(210)의 NN 계층 유형을 표시하는 NN 계층 유형 파라미터(130)를 데이터 스트림(45)에 제공하도록 구성된다.
대응하는 실시형태 XC1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것으로, 여기서 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 계층(210)을 나타내며, 여기서 장치는 데이터 스트림(45)으로부터 사전 결정된 NN 계층(210)에 대해 NN의 사전 결정된 NN 계층(210)의 NN 계층 유형을 표시하는 NN 계층 유형 파라미터를 디코딩하도록 구성되어 있다.
실시형태 A12에 따르면, 실시형태 A11 및 C1 중 어느 하나의 DS(45)에서, NN 계층 유형 파라미터(130)는 적어도 완전-연결된 계층 유형(NN 계층(2101) 참조)과 컨볼루션 계층 유형(NN 계층(210N) 참조) 사이를 구별한다. 따라서, 실시형태 ZC1에 따른 장치는 NN 계층 유형 파라미터(130)를 인코딩하여 2개의 계층 유형을 구별할 수 있고 장치는 실시형태 XB1에 따른 장치는 NN 계층 유형 파라미터(130)를 디코딩하여 2개의 계층 유형을 구별할 수 있다.
2
비트스트림 랜덤 액세스
2.1
계층 비트스트림 랜덤 액세스
예를 들어 계층 처리를 병렬화하거나 비트스트림을 각각의 컨테이너 형식으로 패키징하기 위해 비트스트림의 서브세트에 액세스하는 것은 많은 애플리케이션에서 매우 중요하다. 예를 들어, 이러한 액세스를 허용하기 위한 최신 기술의 한 가지 방법은 각각의 계층(210)의 파라미터 텐서(30) 이후에 코딩 의존도를 깨고 각각의 계층 비트스트림, 예를 들어 개별적으로 액세스 가능한 부분(200) 이전에 모델 비트스트림, 즉 데이터 스트림(45)에 시작 코드를 삽입하는 것이다. 특히, 모델 비트스트림의 시작 코드는 시작 코드의 감지가 잠재적으로 매우 많은 수의 시작 코드에 대해 처음부터 전체 모델 비트스트림을 통해 파싱하는 것을 필요로 하기 때문에 계층 비트스트림을 분리하는 적절한 방법이 아니다.
본 발명의 이러한 양태는 NN의 병렬 또는 부분 디코딩 및 실행이 필요한 애플리케이션을 용이하게 하기 위해 최신 기술보다 더 나은 방식으로 파라미터 텐서(30)의 코딩된 모델 비트스트림을 구조화하고 비트스트림 부분, 예를 들어 계층 비트스트림에 보다 쉽고 빠르고 보다 적절하게 액세스할 수 있는 추가 기술에 관한 것이다.
본 발명의 일 실시형태에서, 모델 비트스트림, 즉 데이터 스트림(45) 내의 개별 계층 비트스트림, 예를 들어 개별적으로 액세스 가능한 부분(200)이 모델의 범위를 갖는 비트스트림의 파라미터 세트/헤더 부분(47)에서 바이트 단위의 비트스트림 위치 또는 오프셋(예를 들어, 코딩 유닛의 시작에 대한 바이트 오프셋)를 통해 표시된다. 도 11 및 12는 실시형태를 도시한다. 도 12는 포인터(220)에 의해 표시된 비트스트림 위치 또는 오프셋을 통한 계층 액세스를 도시한다. 추가로, 각각의 개별적으로 액세스 가능한 부분(200)은 선택적으로 계층 파라미터 세트(110)를 포함하고, 계층 파라미터 세트(110)는 전술한 파라미터 중 하나 이상이 인코딩 및 디코딩될 수 있다.
실시형태 A13에 따르면, 이전 실시형태 A1 내지 A12 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타내며, 여기서 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 예를 들어, 개별적으로 액세스 가능한 부분이 대응하는 NN 계층을 나타내는 경우(도 11 또는 도 12 참조) 및 개별적으로 액세스 가능한 부분이 사전 결정된 NN 계층의 일부, 예를 들어 개별적으로 액세스 가능한 하위 부분(240)을 나타내는 경우(도 13 내지 도 15 참조), 각각의 개별적으로 액세스 가능한 부분(200)의 시작을 가리키는 포인터(220)를 포함한다. 이하에서, 포인터(220)는 참조 부호(244)로 또한 표시될 수 있다.
각각의 NN 계층에 대해, 각각의 NN 계층과 연관된 개별적으로 액세스 가능한 부분(200)은 각각의 NN 계층의 대응하는 NN 부분을 나타낼 수 있다. 이 경우, 여기 및 이하의 설명에서, 이러한 개별적으로 액세스 가능한 부분(200)은 개별적으로 액세스 가능한 하위 부분(240)으로 또한 이해될 수 있다.
도 11은 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 보다 일반적인 실시형태 D1을 도시하며, 여기서 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어, 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타내며, 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 시작을 가리키는 포인터(220)를 포함한다.
실시형태에 따르면, 포인터(220)는 제 1 개별적으로 액세스 가능한 부분(2001)의 시작 부분에 대한 오프셋을 나타낸다. 제 1 개별적으로 액세스 가능한 부분(2001)을 가리키는 제 1 포인터(2201)는 오프셋이 없음을 나타낼 수 있다. 따라서 제 1 포인터(2201)를 생략할 수 있다. 대안적으로, 포인터(220)는, 예를 들어, 포인터(220)가 인코딩된 파라미터 세트의 끝부분에 대한 오프셋을 나타낸다.
대응하는 실시형태 ZD1은 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되도록 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치에 관한 것이고, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어, 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타내고, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 시작을 가리키는 포인터(220)를 데이터 스트림(45)에 제공하도록 구성된다.
대응하는 실시형태 XD1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것으로, 여기서 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타내며, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 데이터 스트림(45)으로부터, 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)을 가리키는 포인터(220)를 디코딩하도록 그리고 예를 들어 DS(45)에 액세스하기 위해 하나 이상의 포인터(220)를 사용하도록 구성된다.
실시형태 A14에 따르면, 이전 실시형태 A13 및 D1 중 어느 하나의 DS(45)에서, 각각의 개별적으로 액세스 가능한 부분(200)은,
뉴럴 네트워크의 대응하는 NN 계층(210) 또는
NN의 NN 계층(210)의 NN 부분(예를 들어, 도 3 또는 도 21 내지 23 중 하나 참조)
을 나타낸다.
2.2
하위 계층 비트스트림 랜덤 액세스
섹션 1에서 언급한 바와 같이, 계층(210) 내의 파라미터 텐서(30)를 부분적으로 또는 병렬로 디코딩/처리/추론하는 것이 유리할 수 있으므로 특정 구성 가능한 방식으로 계층(210) 내의 파라미터 텐서(30)를 그룹화하는 것을 기반으로 할 수 있는 애플리케이션이 있다. 따라서, 계층 비트스트림, 예를 들어 개별적으로 액세스 가능한 부분(200)에 대한 하위 계층 방식 액세스는 원하는 데이터에 병렬로 액세스하거나 불필요한 데이터 부분을 생략하는 데 도움이 될 수 있다.
일 실시형태에서, 계층 비트스트림 내에서의 코딩 의존성은 하위 계층 입도에서 재설정되며, 즉 DeepCABAC 확률 상태를 재설정한다.
본 발명의 다른 실시형태에서, 계층 비트스트림, 즉 개별적으로 액세스 가능한 부분(200) 내의 개별 하위 계층 비트스트림, 즉 개별적으로 액세스 가능한 하위 부분(240)은 계층 또는 모델의 범위를 갖는 비트스트림, 즉 데이터 스트림(45)의 파라미터 세트 부분(110)에서 비트스트림 위치, 예를 들어, 포인터(244), 또는 오프셋, 예를 들어, 바이트 단위의 포인터(244)를 통해 표시된다. 도 13, 도 14a 및 도 15는 실시형태를 예시한다. 도 14a는 상대적인 비트스트림 위치 또는 오프셋을 통한 하위 계층 액세스, 즉 개별적으로 액세스 가능한 하위 부분(240)에 대한 액세스를 예시한다. 또한, 예를 들어 개별적으로 액세스 가능한 부분(200)은 계층 레벨의 포인터(220)에 의해 액세스될 수도 있다. 예를 들어, 계층 레벨의 포인터(220)는 DS(45)의 모델 파라미터 세트(47), 즉 헤더로 인코딩된다. 포인터(220)는 NN의 NN 계층을 포함하는 대응하는 NN 부분을 나타내는 개별적으로 액세스 가능한 부분(200)을 가리킨다. 예를 들어, 하위 계층 레벨의 포인터(244)는 NN의 NN 계층을 포함하는 대응하는 NN 부분을 나타내는 개별적으로 액세스 가능한 부분(200)의 계층 파라미터 세트(110)로 인코딩된다. 포인터(244)는 NN의 NN 계층의 부분을 포함하는 대응하는 NN 부분을 나타내는 개별적으로 액세스 가능한 하위 부분(240)의 시작을 가리킨다.
실시형태에 따르면, 계층 레벨의 포인터(220)는 제 1 개별적으로 액세스 가능한 부분(2001)의 시작 부분에 대한 오프셋을 나타낸다. 하위 계층 레벨의 포인터(244)는 특정 개별적으로 액세스 가능한 부분(200)의 제 1 개별적으로 액세스 가능한 하위 부분(2401)의 시작에 대한 특정 개별적으로 액세스 가능한 부분(200)의 개별적으로 액세스 가능한 하위 부분(240)의 오프셋을 나타낸다.
실시형태에 따르면, 포인터(220/244)는 다수의 유닛을 포함하는 집계 유닛에 대한 바이트 오프셋을 나타낸다. 포인터(220/244)는 집계 유닛의 시작부터 집계 유닛의 페이로드에 있는 유닛의 시작까지의 바이트 오프셋을 나타낼 수 있다.
본 발명의 다른 실시형태에서, 계층 비트스트림, 즉 개별적으로 액세스 가능한 부분(200) 내의 개별 하위 계층 비트스트림, 즉 개별적으로 액세스 가능한 하위 부분(240)은 계층당 데이터 양이 전체 모델 비트스트림, 즉 데이터 스트림(45) 내에서 시작 코드(242)에 의해 계층이 검출되는 경우보다 일반적으로 적기에 충분할 수 있는 비트스트림, 즉 데이터 스트림(45)에 검출 가능한 시작 코드(242)를 통해 표시된다. 도 13 및 도 14b는 실시형태를 예시한다. 도 14b는 하위 계층 레벨, 즉 각각의 개별적으로 액세스 가능한 하위 부분(240)에 대한 시작 코드(242)의 사용 및 계층 레벨, 즉 각각의 개별적으로 액세스 가능한 부분(200)에 대한 비트스트림 위치, 즉 포인터(220)의 사용을 예시한다.
다른 실시형태에서, (하위) 계층 비트스트림 부분, 개별적으로 액세스 가능한 하위 부분(240)의 실행 길이, 즉 데이터 스트림 길이(246)는 비트스트림(45)의 파라미터 세트/헤더 부분(47) 또는 개별적으로 액세스 가능한 부분(200)의 파라미터 세트 부분(110)을 적절한 컨테이너에 패키징할 목적으로 상기 부분, 즉 개별적으로 액세스 가능한 하위 부분(240)으로부터의 커트를 용이하게 하기 위해서 비트스트림(45)의 파라미터 세트/헤더 부분(47) 또는 개별적으로 액세스 가능한 부분(200)의 파라미터 세트 부분(110)에 표시된다. 도 13에 예시된 바와 같이, 개별적으로 액세스 가능한 하위 부분(240)의 데이터 스트림 길이(246)는 데이터 스트림 길이 파라미터에 의해 표시될 수 있다.
도 13은 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 실시형태 E1을 도시하며, 여기서 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 계층을 나타내며, 데이터 스트림(45)은 사전 결정된 부분, 예를 들어 개별적으로 액세스 가능한 부분(200) 내에서 개별적으로 액세스 가능한 하위 부분(240)으로 더 구성되고, 각각의 하위 부분(240)은 뉴럴 네트워크의 각각의 NN 계층의 대응하는 NN 부분을 나타내고, 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240) 각각에 대해,
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)의 시작을 가리키는 포인터(244), 및/또는
DS(45)를 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 포함한다.
본 명세서에 설명된 개별적으로 액세스 가능한 하위 부분(240)은 개별적인 액세스 가능한 하위 부분(43/44)과 관련하여 설명된 것과 동일하거나 유사한 특징 및/또는 기능을 가질 수 있다.
동일한 사전 결정된 부분 내의 개별적으로 액세스 가능한 하위 부분(240)은 모두 동일한 데이터 스트림 길이(246)를 가질 수 있으며, 이에 의해 데이터 스트림 길이 파라미터는 하나의 데이터 스트림 길이(246)를 나타낼 수 있으며, 이 데이터 스트림 길이(246)는 동일한 사전 결정된 부분 내의 하위 부분(240) 내에서 개별적으로 액세스 가능한 각각에 대해 적용 가능하다. 데이터 스트림 길이 파라미터는 전체 데이터 스트림(45)의 모든 개별적으로 액세스 가능한 하위 부분(240)의 데이터 스트림 길이(246)를 나타낼 수 있거나 데이터 스트림 길이 파라미터는 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 개별적으로 액세스 가능한 부분(200)의 모든 개별적으로 액세스 가능한 하위 부분(240)의 데이터 스트림 길이(246)를 나타낼 수 있다. 하나 이상의 데이터 스트림 길이 파라미터는 데이터 스트림(45)의 헤더 부분(47)에 또는 개별적으로 액세스 가능한 부분(200)의 파라미터 세트 부분(110)에 인코딩될 수 있다.
대응하는 실시형태 ZE1은 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분(200)은 대응하는 NN 계층을 나타냄 - 으로 구조화되도록 그리고 데이터 스트림(45)이 사전 결정된 부분, 예를 들어 개별적으로 액세스 가능한 부분(200) 내에서 개별적으로 액세스 가능한 하위 부분(240) - 각각의 하위 부분(240)은 뉴럴 네트워크의 각각의 NN 계층의 대응하는 NN 부분을 나타냄 - 으로 추가로 구조화되도록 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치에 관한 것이며, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240) 각각에 대해,
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)의 시작을 가리키는 포인터(244), 및/또는
DS(45)를 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 갖는 데이터 스트림(45)을 제공하도록 구성된다.
다른 대응하는 실시형태 XE1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것으로, 여기서 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 계층을 나타냄 - 으로 구조화되고, 데이터 스트림(45)은 사전 결정된 부분, 예를 들어 개별적으로 액세스 가능한 부분(200) 내에서 개별적으로 액세스 가능한 하위 부분(240) - 각각의 하위 부분(240)은 뉴럴 네트워크의 각각의 NN 계층의 대응하는 NN 부분을 나타냄 - 으로 더 구조화되며, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240) 각각에 대해 데이터 스트림(45)으로부터,
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)의 시작을 가리키는 포인터(244), 및/또는
DS(45)를 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 디코딩하고, 그리고
예를 들어, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(240)에 대해 이 정보, 예를 들어, DS(45)에 액세스하기 위한 시작 코드(242), 포인터(244) 및/또는 데이터 스트림 길이 파라미터를 사용하도록 구성된다.
실시형태 E2에 따르면, 실시형태 E1의 DS(45)에서, 데이터 스트림(45)은 각각의 개별적으로 액세스 가능한 부분(200) 및 각각의 개별적으로 액세스 가능한 하위 부분(240)의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩된 뉴럴 네트워크의 표현을 갖는다(예를 들어, 도 8 참조).
실시형태 E3에 따르면, 실시형태 E1 또는 실시형태 E2의 데이터 스트림(45)은 본 명세서의 다른 실시형태에 따른 것이다. 그리고 ZE1 및 XE1 실시형태의 장치가 본 명세서에 설명된 임의의 다른 특징 및/또는 기능에 의해 완성될 수도 있다는 것이 분명하다.
2.3
비트스트림 랜덤 액세스 유형
도 3에 도시된 선택된 직렬화 유형, 예를 들어 직렬화 유형(1001 및 1002)으로 인한 (하위) 계층(240)의 유형에 따라, 클라이언트가 (하위) 계층 비트스트림(240)에 액세스하는지 여부 및 액세스하는 방법을 또한 결정하는 다양한 처리 옵션이 이용 가능하다. 예를 들어, 선택된 직렬화(1001)로 인해 하위 계층(240)이 이미지 컬러 채널에 특정되고 디코딩/추론의 데이터 채널별 병렬화를 가능하게 하는 경우, 이는 클라이언트에게 비트스트림(45)에 표시되어야 한다. 다른 예는 도 20 내지 도 23과 관련하여 설명된 바와 같이 특정 계층/모델의 고급 NN 서브세트와 독립적으로 디코딩/추론될 수 있는 기준 NN 서브세트로부터 예비 결과를 도출하는 것이다.
일 실시형태에서, 하나 또는 다수의 계층에 있어 전체 모델의 범위를 갖는 비트스트림(45)의 파라미터 세트/헤더(47)는 클라이언트의 적절한 의사 결정을 허용하기 위해 (하위) 계층 랜덤 액세스의 유형을 표시한다. 도 15는 직렬화에 의해 결정된 2가지 유형의 랜덤 액세스(2521 및 2522)를 도시한다. 예시된 유형의 랜덤 액세스(2521 및 2522)는 대응하는 NN 계층을 나타내는 개별적으로 액세스 가능한 부분(200)에 대한 가능한 처리 옵션을 나타낼 수 있다. 제 1 처리 옵션(2521)은 개별적으로 액세스 가능한 부분(200) 내의 NN 파라미터에 대한 데이터 채널 방식 액세스를 나타낼 수 있고 제 2 처리 옵션(2522)은 개별적으로 액세스 가능한 부분(200) 내에서 NN 파라미터에 대한 샘플 방식 액세스를 나타낼 수 있다.
도 16은 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 일반적인 실시형태 F1을 도시하며, 여기서 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타냄 - 으로 구조화되고, 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 추론을 위해 NN을 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 나타내는 처리 옵션 파라미터(250)를 포함한다.
대응하는 실시형태 ZF1은 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200)으로 구조화되도록 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치에 관한 것으로, 각각의 개별적으로 액세스 가능한 부분(200)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타냄 - 으로 구조화되고, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 추론을 위해 NN을 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 나타내는 처리 옵션 파라미터(250)를 데이터 스트림(45)에 제공하도록 구성된다.
다른 대응하는 실시형태 XF1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것으로, 여기서 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 계층 또는 NN 계층의 부분을 나타냄 - 으로 구조화되고, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 추론을 위해 NN을 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 나타내는 처리 옵션 파라미터(250)를 데이터 스트림(45)으로부터 디코딩하도록 예를 들어, 액세스, 스킵 및/또는 디코딩할 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분에 대한 후자에 기초하여 디코딩하도록 구성된다. 하나 이상의 처리 옵션(252)에 기초하여, 장치는 어떻게 및/또는 어떤 개별적으로 액세스 가능한 부분 또는 개별적으로 액세스 가능한 하위 부분이 액세스, 스킵 및/또는 디코딩될 수 있는지를 결정하도록 구성될 수 있다.
실시형태 F2에 따르면, 실시형태 F1의 DS(45)에서, 처리 옵션 파라미터(250)는,
각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 샘플 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 채널 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 분류 카테고리 방식 병렬 처리 능력; 및/또는
도 20 내지 도 23에 도시된 바와 같이 동일한 NN 부분과 관련되지만 계층화된 방식으로 DS에 인코딩된 NN 버전의 다른 버전에 속하는 DS의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 NN 부분, 예를 들어 NN 계층의 의존도
를 포함하는 사전 결정된 처리 옵션 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 나타낸다.
실시형태 ZF1에 따른 장치는 처리 옵션 파라미터(250)가 사전 결정된 처리 옵션의 세트 중 하나 이상의 처리 옵션을 가리키도록 처리 옵션 파라미터(250)를 인코딩하도록 구성될 수 있고 실시형태 XF1에 따른 장치는 사전 결정된 처리 옵션의 세트 중 하나 이상의 처리 옵션을 나타내는 처리 옵션 파라미터(250)를 디코딩하도록 구성될 수 있다.
3
양자화 파라미터의 시그널링
계층 페이로드, 예를 들어 개별 액세스 가능한 부분(200)으로 인코딩된 NN 파라미터(32) 또는 하위 계층 페이로드, 예를 들어 개별 액세스 가능한 하위 부분(240)으로 인코딩된 NN 파라미터(32)는 가중값, 편향값 등과 같은 유리수를 나타내는 다양한 유형의 파라미터(32)를 포함할 수 있다.
도 18에 도시된 바람직한 실시형태에서, 이러한 유형의 파라미터 중 하나는 재구성된 값, 즉 재구성된 NN 파라미터(32')가 재구성 파라미터를 포함하는 이들 값, 즉 양자화 인덱스(32")에 재구성 규칙(270)을 적용하여 유도되도록 비트스트림에서 정수 값으로 시그널링된다. 예를 들어, 이러한 재구성 규칙(270)은 각각의 정수 값, 즉 양자화 인덱스(32")를 연관된 양자화 단계 크기(263)와 곱하는 것으로 구성될 수 있다. 양자화 단계 크기(263)는 이 경우에 재구성 파라미터이다.
바람직한 실시형태에서, 재구성 파라미터는 모델 파라미터 세트(47), 계층 파라미터 세트(110), 또는 하위 계층 헤더(300)에서 시그널링된다.
다른 바람직한 실시형태에서, 제 1 재구성 파라미터 세트가 모델 파라미터 세트에서 시그널링되고, 선택적으로, 제 2 재구성 파라미터 세트가 계층 파라미터 세트에서 시그널링되고, 선택적으로, 제 3 재구성 파라미터 세트가 하위 계층 헤더에서 시그널링된다. 존재하는 경우, 제 2 재구성 파라미터 세트는 제 1 재구성 파라미터 세트에 의존한다. 존재한다면, 제 3 재구성 파라미터 세트는 제 1 및/또는 제 2 재구성 파라미터 세트에 의존할 수 있다. 이 실시형태는 도 17과 관련하여 더 상세히 설명된다.
예를 들어 유리수(s), 즉 사전 결정된 베이시스는 제 1 재구성 파라미터 세트에서 시그널링되고, 제 1 정수(
), 즉 제 1 지수 값은 제 2 재구성 파라미터 세트에서 시그널링되고, 제 2 정수(
), 즉 제 2 지수 값은 제 3 재구성 파라미터 세트에서 시그널링된다. 비트스트림에서 정수 값(
)으로 인코딩된 계층 또는 하위 계층 페이로드의 관련 파라미터는 이하의 재구성 규칙을 사용하여 재구성된다. 각 정수 값(
)은 
로서 계산되는 양자화 단계 크기(△)가 곱해진다.
바람직한 실시형태에서, 
이다.
유리수(s)는 예를 들어, 부동 소수점 값으로 인코딩될 수 있다. 제 1 및 제 2 정수(
및 
)는 전체 시그널링 비용을 최소화하기 위해 고정 또는 가변 비트 수를 사용하여 시그널링될 수 있다. 예를 들어, 계층의 하위 계층의 양자화 단계 크기가 유사하면, 관련 값(
)은 다소 작은 정수이며 적은 비트만으로 그들을 시그널링하는 것이 효율적일 수 있다.
바람직한 실시형태에서, 도 18에 도시된 바와 같이, 재구성 파라미터는 코드북, 즉 정수를 유리수에 매핑하는 리스트인 양자화 인덱스 대 재구성 레벨 매핑으로 구성될 수 있다. 비트스트림(45)에서 정수 값(
)으로서 인코딩된 계층 또는 하위 계층 페이로드의 관련 파라미터는 이하의 재구성 규칙(270)을 사용하여 재구성된다. 각 정수 값(
)은 코드북에서 조회된다. 관련 정수(
)가 일치하는 하나의 매핑이 선택되고 관련 유리수는 재구성된 값, 즉 재구성된 NN 파라미터(32')이다.
다른 바람직한 실시형태에서, 제 1 및/또는 제 2 및/또는 제 3 재구성 파라미터 세트 각각은 이전의 바람직한 실시형태에 따른 코드북으로 구성된다. 그러나, 재구성 규칙을 적용하기 위해, 제 1 및/또는 제 2 및/또는 제 3 재구성 파라미터 세트의 코드북 매핑의 세트 유니온을 생성함으로써 하나의 조인트 코드북이 도출된다. 동일한 정수를 가진 매핑이 있는 경우, 제 3 재구성 파라미터 세트의 코드북 매핑이 제 2 재구성 파라미터 세트의 코드북 매핑보다 우선하고 제 2 재구성 파라미터 세트의 코드북 매핑은 제 1 재구성 파라미터 세트의 코드북 매핑보다 우선한다.
도 17은 뉴럴 네트워크(10)를 나타내는 NN 파라미터(32)가 인코딩된 데이터 스트림(45)의 실시형태 G1을 도시하며, 여기서 NN 파라미터(32)는 양자화 지수로 양자화된(260) 방식으로 DS(45)로 인코딩되고, NN 파라미터(32)는 NN(10)의 상이한 NN 부분에 있는 NN 파라미터(32)가 상이하게 양자화되도록(260) DS(45)로 인코딩되고, DS(45)는 NN 부분 각각에 대해 각각의 NN 부분과 관련된 NN 파라미터를 역양자화하기 위한 재구성 규칙(270)을 표시한다.
예를 들어, NN의 각각의 NN 부분은 NN의 노드 사이의 상호 연결을 포함할 수 있고 상이한 NN 부분은 NN의 노드 사이의 상이한 상호 연결을 포함할 수 있다.
실시형태에 따르면, NN 부분은 NN(10)의 NN 계층(210) 및/또는 NN의 사전 결정된 NN 계층이 세분화되는 층 하위 부분(43)을 포함한다. 도 17에 도시된 바와 같이, NN의 하나의 계층(210) 내의 모든 NN 파라미터(32)는 NN의 NN 부분을 나타낼 수 있으며, 여기서 NN의 제 1 계층(2101) 내의 NN 파라미터(32)는 NN(10)의 NN 파라미터(32)는 NN의 제 2 계층(2102) 내의 NN 파라미터(32)와는 상이하게 양자화된다(260). NN 계층(2101) 내의 NN 파라미터(32)가 상이한 계층 하위 부분(43), 즉 개별적으로 액세스 가능한 하위 부분으로 그룹화되며, 여기서 각각의 그룹은 NN 부분을 나타낼 수 있다. 따라서 NN 계층(2101)의 상이한 계층 하위 부분(43)은 상이하게 양자화(260)될 수 있다.
대응하는 실시형태 ZG1은 NN 파라미터(32)가 양자화 지수에 양자화(260)되는 방식으로 DS(45)로 인코딩되도록 뉴럴 네트워크(10)를 나타내는 NN 파라미터(32)를 DS(45)로 인코딩하기 위한 장치에 관한 것이며, NN 파라미터(32)는 NN(10)의 상이한 NN 부분에 있는 NN 파라미터(32)가 상이하게 양자화(260)되도록 DS(45)로 인코딩되며, 여기서 장치는 NN 부분의 각각에 대해 각각의 NN 부분에 관한 NN 파라미터(32)를 역양자화하는 재구성 규칙을 나타내는 DS(45)를 제공하도록 구성된다. 선택적으로, 장치는 양자화(260)를 수행할 수도 있다.
다른 대응하는 실시형태 XG1은 DS(45)로부터 뉴럴 네트워크(10)를 나타내는 NN 파라미터(32)를 디코딩하기 위한 장치에 관한 것으로, 여기서 NN 파라미터(32)는 양자화 인덱스에 양자화(260)되는 방식으로 DS(45)로 인코딩되고, NN 파라미터(32)는 NN(10)의 상이한 NN 부분의 NN 파라미터(32)가 상이하게 양자화(260)되도록 DS(45)로 인코딩되며, 여기서 장치는 NN 부분 각각에 대해 각각의 NN 부분에 관한 NN 파라미터(32)를 역양자화하기 위한 재구성 규칙(270)을 데이터 스트림(45)으로부터 디코딩하도록 구성된다. 선택적으로, 장치는 재구성 규칙(270), 즉 현재 역양자화된 NN 파라미터(32)가 속하는 NN 부분에 관련된 재구성 규칙을 사용하여 역양자화를 또한 수행할 수 있다. 장치는 NN 부분 각각에 대해 각각의 NN 부분에 관한 디코딩된 재구성 규칙(270)을 사용하여 각각의 NN 부분의 NN 파라미터를 역양자화하도록 구성될 수 있다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZG1에 따른 장치 또는 실시형태 XG1에 따른 장치의 특징 및/또는 기능일 수 있다.
이미 위에서 언급한 바와 같이, 실시형태 G2에 따르면, 실시형태 G1의 DS(45)에서, NN 부분은 NN(10)의 NN 계층(210) 및/또는 NN(10)의 사전 결정된 NN 계층(210)이 세분화되는 계층 부분을 포함한다.
실시형태 G3에 따르면, 실시형태 G1 또는 G2의 DS(45)에서, DS(45)는 제 2 NN 부분에 관한 NN 파라미터(32)를 역양자화(260)하기 위한 제 2 재구성 규칙(2702)에 대해 델타 코딩된 방식으로 인코딩된 제 1 NN 부분에 관한 NN 파라미터(32)를 역양자화하기 위한 제 1 재구성 규칙(2701)을 갖는다. 대안적으로, 도 17에 도시된 바와 같이, 제 1 NN 부분, 즉 계층 하위 부분(431)에 관한 NN 파라미터(32)를 역양자화하기 위한 제 1 재구성 규칙(270a1)은 제 2 NN 부분, 즉 계층 하위 부분(432)에 관한 NN 파라미터(32)를 역양자화하기 위한 제 2 재구성 규칙(270a2)에 대해 델타 코딩된 방식으로 DS(45)로 인코딩된다. 제 1 NN 부분, 즉 계층 하위 부분(431)에 관한 NN 파라미터(32)를 역양자화하기 위한 제 1 재구성 규칙(270a1)은 제 2 NN 부분, 즉 NN 계층(2102)에 관한 NN 파라미터(32)를 역양자화하기 위한 제 2 재구성 규칙(2702)에 대해 델타 코딩된 방식으로 DS(45)로 인코딩되는 것이 또한 가능하다.
이하의 실시형태에서, 실시형태를 모호하게 하는 것을 피하기 위해 제 1 재구성 규칙은 2701으로 표시될 것이고 제 2 재구성 규칙은 2702으로 표시될 것이지만, 이하의 실시형태에서도 제 1 재구성 규칙 및/또는 제 2 재구성 규칙은 위에서 설명된 바와 같이 NN 계층(210)의 계층 하위 부분(43)을 나타내는 NN 부분에 대응할 수 있음이 분명하다.
실시형태 G4에 따르면, 실시형태 G3의 DS(45)에서,
DS(45)는 제 1 재구성 규칙(2701)을 나타내기 위한 제 1 지수 값 및 제 2 재구성 규칙(2702)을 나타내기 위한 제 2 지수 값을 포함하고,
제 1 재구성 규칙(2701)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 1 양자화 단계 크기 및 제 1 지수 값에 의해 정의된 제 1 지수에 의해 정의되고,
제 2 재구성 규칙(2702)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 2 양자화 단계 크기 및 제 1 및 제 2 지수 값에 대한 합에 의해 정의되는 제 2 지수에 의해 정의된다.
실시형태 G4a에 따르면, 실시형태 G4의 DS에서, DS(45)는 사전 결정된 베이시스를 추가로 표시한다.
실시형태 G4'에 따르면, 이전 실시형태 G1 내지 G3 중 어느 하나의 DS에서,
DS(45)는 제 1 NN 부분에 관한 NN 파라미터(32)를 역양자화하기 위한 제 1 재구성 규칙(2701)을 나타내기 위한 제 1 지수 값 및 제 2 NN 부분에 관한 NN 파라미터(32)를 역양자화하기 위한 제 2 재구성 규칙(2702)을 나타내기 위한 제 1 지수 값을 포함하고,
제 1 재구성 규칙(2701)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 1 양자화 단계 크기 및 제 1 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 1 지수에 의해 정의되고,
제 2 재구성 규칙은 사전 결정된 베이시스의 지수화에 의해 정의된 제 2 양자화 단계 크기 및 제 2 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 2 지수에 의해 정의된다.
실시형태 G4'a에 따르면, 실시형태 G4'의 DS에서, DS는 사전 결정된 베이시스를 추가로 표시한다.
실시형태 G4'b에 따르면, 실시형태 G4'a의 DS에서, DS는 NN 범위에서, 즉 전체 NN에 관한 사전 결정된 베이시스를 표시한다.
실시형태 G4'c에 따르면, 이전 실시형태 G4' 내지 G4'b 중 어느 하나의 DS에서, DS(45)는 사전 결정된 지수 값을 추가로 표시한다.
실시형태 G4'd에 따르면, 실시형태 G4'c의 DS(45)에서, DS(45)는 NN 계층 범위에서, 즉 제 1 NN 부분(431) 및 제 2 NN 부분(432)이 그의 일부인 사전 결정된 NN 계층(210)에 대해 사전 결정된 지수 값을 표시한다.
실시형태 G4'e에 따르면, 이전 실시형태 G4'c 및 G4'd의 DS에서, DS(45)는 사전 결정된 베이시스를 추가로 나타내고 DS(45)는 사전 결정된 베이시스가 DS(45)에 의해 표시되는 범위보다 더 미세한 범위로 사전 결정된 지수 값을 표시한다.
실시형태 G4'f에 따르면, 이전 실시형태 G4 내지 G4a 또는 G4' 내지 G4'e 중 어느 하나의 DS(45)에서, DS(45)는 비정수 형식, 예를 들어 부동 소수점 또는 유리수 또는 고정 소수점 번호로 인코딩된 사전 결정된 베이시스와, 정수 형식, 예를 들어 부호 있는 정수의 제 1 및 제 2 지수 값을 갖는다. 선택적으로, 사전 결정된 지수 값은 정수 형식으로 DS(45)로 인코딩될 수도 있다.
실시형태 G5에 따르면, 실시형태 G3 내지 G4f 중 어느 하나의 DS에서, DS(45)는 제 1 재구성 규칙(2701)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑을 정의하는 제 1 파라미터 세트와, 제 2 재구성 규칙(2702)을 나타내기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑을 정의하는 제 2 파라미터 세트를 포함하고, 여기서
제 1 재구성 규칙(2701)은 제 1 양자화 인덱스 대 재구성 레벨 매핑에 의해 정의되며,
제 2 재구성 규칙(2702)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑만큼의 제 1 양자화 인덱스 대 재구성 레벨 매핑의 확장에 의해 정의된다.
실시형태 G5'에 따르면, 실시형태 G3 내지 G5 중 어느 하나의 DS(45)에서, DS(45)는 제 1 재구성 규칙(2701)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑을 정의하는 제 1 파라미터 세트와, 제 2 재구성 규칙(2702)을 나타내기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑을 정의하는 제 2 파라미터 세트를 포함하고, 여기서
제 1 재구성 규칙(2701)은 사전 결정된 방식으로 제 1 양자화 인덱스 대 재구성 레벨 매핑만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑의 확장에 의해 정의되며,
제 2 재구성 규칙(2702)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑의 확장에 의해 정의된다.
실시형태 G5'a에 따르면, 실시형태 G5'의 DS(45)에서, DS(45)는 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑을 추가로 표시한다.
실시형태 G5'b에 따르면, 실시형태 G5'a의 DS(45)에서, DS(45)는 전체 NN에 관한 NN 범위에서, 또는 NN 계층 범위에서, 즉 제 1 NN 부분(431) 및 제 2 NN 부분(432)이 그의 일부인 사전 결정된 NN 계층(210)에 대해 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑을 표시한다. 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑은 NN 부분이 NN 계층을 나타내는 경우 NN 범위에서 표시될 수 있으며, 예를 들어 NN 부분 각각에 대해 각각의 NN 부분은 대응하는 NN 계층을 나타내며, 예를 들어, 제 1 NN 부분은 제 2 NN 부분과는 상이한 NN 계층을 나타낸다. 그러나, 계층 하위 부분(43)을 나타내는 NN 부분의 적어도 일부의 경우 NN 범위에서 사전 결정된 양자화 인덱스 대 재구성 수준 매핑을 표시하는 것도 가능하다. 추가적으로 또는 대안적으로, 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑은 NN 부분이 계층 하위 부분(43)을 나타내는 경우에 NN 계층 범위에서 표시될 수 있다.
실시형태 G5'c에 따르면, 이전 실시형태 G5 또는 G5' 내지 G5'b 중 어느 하나의 DS(45)에서, 사전 결정된 방식에 따라,
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 제 1 재구성 레벨로의 각각의 인덱스 값, 즉 양자화 인덱스(32'')의 매핑은 존재한다면, 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라, 제 2 재구성 레벨로의 각각의 인덱스 값의 매핑에 의해 대체되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값에 대해, 각각의 인덱스 값으로부터 대응하는 재구성 레벨로의 매핑이 채택되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값에 대해, 각각의 인덱스 값으로부터 대응하는 재구성 레벨로의 매핑이 채택된다.
도 18에 도시된 실시형태 G6에 따르면, 이전 실시형태 G1 내지 G5c 중 어느 하나의 DS(45)에서, DS(45)는 사전 결정된 NN 부분의 재구성 규칙(270)을 표시하기 위해, 예를 들어 NN 계층을 나타내거나 NN 계층의 하위 부분을 포함하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262) 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 포함하며,
여기서, 사전 결정된 NN 부분의 재구성 규칙(270)은,
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)
에 의해 정의된다.
도 18은 뉴럴 네트워크를 나타내는 NN 파라미터(32)가 인코딩된 데이터 스트림(45)의 실시형태 H1을 도시하며,
여기서, NN 파라미터(32)는 양자화 인덱스(32'')로 양자화된(260) 방식으로 DS(45)로 인코딩되고,
DS(45)는 NN 파라미터, 즉 양자화 인덱스(32'')를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262), 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 포함하고,
여기서 사전 결정된 NN 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)
에 의해 정의된다.
대응하는 실시형태 ZH1은 NN 파라미터(32)가 양자화 지수(32'')로 양자화(260)되는 방식으로 DS(45)로 인코딩되도록 뉴럴 네트워크를 나타내는 NN 파라미터(32)를 DS(45)로 인코딩하기 위한 장치에 관한 것으로, 여기서 장치는 NN 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하기 위해 DS(45)에
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262), 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 제공하도록 구성되고,
여기서, 사전 결정된 NN 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)
에 의해 정의된다.
대응하는 다른 실시형태 XH1은 DS(45)로부터 뉴럴 네트워크를 나타내는 NN 파라미터(32)를 디코딩하기 위한 장치에 관한 것으로, 여기서 NN 파라미터(32)는 양자화 인덱스(32'')로 양자화된 방식으로 DS(45)로 인코딩되며, 여기서 장치는 DS(45)로부터
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262), 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 디코딩함으로써 NN 파라미터, 즉 양자화 지수(32'')를 역양자화(280)하기 위한 재구성 규칙(270)을 DS(45)로부터 유도하도록 구성되며,
여기서, 사전 결정된 NN 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)
에 의해 정의된다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZH1에 따른 장치 또는 실시형태 XH1에 따른 장치의 특징 및/또는 기능일 수 있다.
실시형태 G7에 따르면, 이전 실시형태 G6 또는 H1 중 어느 하나의 DS(45)에서, 사전 결정된 인덱스 간격(268)은 0을 포함한다.
실시형태 G8에 따르면, 실시형태 G7의 DS(45)에서, 사전 결정된 인덱스 간격(268)은 사전 결정된 크기 임계값 y까지 확장되고, 사전 결정된 크기 임계값 y를 초과하는 양자화 인덱스(32'')는 양자화 인덱스 대 재구성 레벨 매핑(265)은 역양자화(280)에 사용된다는 것을 표시하는 이스케이프 코드를 나타낸다.
실시형태 G9에 따르면, 이전 실시형태 G6 내지 G8 중 어느 하나의 DS(45)에서, 파라미터 세트(264)는 사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32')와 연관된 재구성 레벨의 리스트에 의해 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의한다.
실시형태 G10에 따르면, 이전 실시형태 G1 내지 G9 중 어느 하나의 DS(45)에서, NN 부분은 NN의 NN 계층의 하나 이상의 하위 부분 및/또는 NN의 하나 이상의 NN 계층을 포함한다. 도 18은 NN의 하나의 NN 계층을 포함하는 NN 부분에 대한 예를 도시한다. NN 파라미터(32)를 포함하는 NN 파라미터 텐서(30)는 대응하는 NN 계층을 나타낼 수 있다.
실시형태 G11에 따르면, 이전 실시형태 G1 내지 G10 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 개별적으로 액세스 가능한 부분으로 구성되며, 각각의 개별적으로 액세스 가능한 부분은 내부에 인코딩된 대응하는 NN 부분에 대한 NN 파라미터(32)를 갖는다(예를 들어, 도 8 또는 도 10 내지 도 17 중 하나 참조).
실시형태 G12에 따르면, 실시형태 G11의 DS(45)에서, 개별적으로 액세스 가능한 부분은 예를 들어, 도 8에 도시된 바와 같이, 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩된다.
실시형태 G13에 따르면, 이전 실시형태 G11 또는 G12의 DS(45)에서, 데이터 스트림(45)은, 예를 들어 도 11 내지 15 중 하나에 도시된 바와 같이, 각각의 개별적으로 액세스 가능한 부분에 대해,
개별적으로 액세스 가능한 부분이 시작되는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220/244), 및/또는
DS(45)를 파싱할 때 개별적으로 액세스 가능한 부분을 스킵하기 위한 개별적으로 액세스 가능한 부분의 데이터 스트림 길이를 표시하는 데이터 스트림 길이 파라미터(246)
를 포함한다.
실시형태 G14에 따르면, 이전 실시형태 G11 내지 G13 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 각각의 NN 부분에 대해
전체적으로 NN과 관련된 DS(45)의 메인 헤더 부분(47),
각각의 NN 부분이 그의 일부인 NN 계층(210)과 관련된 DS(45)의 NN 계층 관련 헤더 부분(110), 또는
NN 계층(210)의 계층 하위 부분, 즉 개별적으로 액세스 가능한 하위 부분(43/44/240)을 나타내는 경우, 각각의 NN 부분이 그의 일부인 NN 계층(210)과 관련된 DS(45)의 NN 부분 특정 헤더 부분(300)
에서 각각의 NN 부분에 관한 NN 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 나타낸다.
실시형태 G15에 따르면, 이전 실시형태 G11 내지 G14 중 어느 하나의 DS(45)에서, DS(45)는 이전 실시형태 A1 내지 F2에 따른 것이다.
4
파라미터 해시에 따른 식별자
많은 클라이언트가 네트워크를 개별적으로 추가로 트레이닝하고 상대적 NN 업데이트를 중앙 엔티티로 다시 전송하는 분산 학습과 같은 시나리오에서는, 버전 관리 체계를 통해 네트워크를 식별하는 것이 중요하다. 따라서, 중앙 엔티티는 NN 업데이트가 구축된 NN을 식별할 수 있다.
확장 가능한 NN과 같은 다른 사용 사례에서는 전체 결과를 수신하도록 전체 또는 향상된 NN을 수행하기 전에 예비 결과를 생성하기 위해 NN의 기준 부분을 실행할 수 있다. 향상된 NN이 예를 들어, 업데이트된 파라미터 텐서를 갖는 기준 NN의 약간 다른 버전을 사용하는 경우일 수 있다. 이러한 업데이트된 파라미터 텐서가 차등적으로 즉 이전에 코딩된 파라미터 텐서의 업데이트로서 코딩될 때, 예를 들어 도 19에 도시된 식별 파라미터(310)를 사용하여 차등적으로 코딩된 업데이트가 구축되는 파라미터 텐서를 식별하는 것이 필요하다.
또한, NN의 무결성이 가장 중요한 즉, 파라미터 텐서의 전송 오류 또는 비자발적 변경을 쉽게 인식할 수 있는 사용 사례가 존재한다. 식별자, 즉 식별 파라미터(310)는 NN 특성에 기초하여 검증될 수 있을 때 연산을 오류에 보다 강력해질 수 있다.
그러나, 최신 버전 관리는 전체 컨테이너 데이터 형식의 체크섬 또는 해시를 통해 수행되며 다른 컨테이너에서 동등한 NN을 일치시키는 것은 쉽지 않다. 그러나, 관련된 클라이언트는 다른 프레임워크/컨테이너를 사용할 수 있다. 또한, NN을 완전히 재구성하지 않고는 NN 서브세트(계층, 하위 계층)만 식별/검증할 수 없다.
따라서, 본 발명의 일부로서, 일 실시형태에서, 식별자, 즉 식별 파라미터(310)는 각각의 엔티티가
·
식별을 확인하고, 및/또는
·
참조하거나 또는 참조되도록 하고, 및/또는
·
무결성을 확인
하도록 하기 위해 각각의 엔티티, 즉 모델, 계층, 하위 계층과 함께 수행된다.
다른 실시형태에서, 식별자는 MD5 또는 SHA5와 같은 해시 알고리즘, 또는 CRC 또는 체크섬과 같은 오류 검출 코드를 사용하여 파라미터 텐서로부터 유도된다.
또 다른 실시형태에서, 특정 엔티티의 이러한 식별자 중 하나는 하위 레벨 엔티티의 식별자를 사용하여 유도되며, 예를 들어, 계층 식별자는 구성하는 하위 계층의 식별자로부터 유도되고, 모델 식별자는 구성하는 계층의 식별자로부터 유도된다.
도 19는 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 실시형태 I1을 도시하며, 여기서 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 또는 NN 계층의 부분을 나타내고, 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)을 식별하기 위한 식별 파라미터(310)를 포함한다.
대응하는 실시형태 ZI1은 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200)으로 구조화되도록 뉴럴 네트워크의 표현을 DS(45)로 인코딩하기 위한 장치에 관한 것으로, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어, 하나 이상의 NN 계층 또는 NN 계층의 일부를 포함하고, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 개별적으로 액세스 가능한 부분(200)을 식별하기 위한 식별 파라미터(310)를 데이터 스트림(45)에 제공하도록 구성된다.
다른 대응하는 실시형태 XI1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것으로, 여기서 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분, 예를 들어 하나 이상의 NN 계층 또는 NN 계층의 부분을 포함하고, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 각각에 대해 사전 결정된 개별적으로 액세스 가능한 각각을 식별하기 위한 식별 파라미터(310)를 데이터 스트림(45)으로부터 디코딩하도록 구성된다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZI1에 따른 장치 또는 실시형태 XI1에 따른 장치의 특징 및/또는 기능일 수 있다.
실시형태 I2에 따르면, 실시형태 I1의 DS(45)에서, 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)과 관련된다.
실시형태 I3에 따르면, 이전 실시형태 I1 및 I2 중 어느 하나의 DS(45)에서, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 컬렉션을 식별하기 위한 상위 레벨 식별 파라미터를 더 포함한다.
실시형태 I4에 따르면, 실시형태 I3의 DS(45)에서, 상위 레벨 식별 파라미터는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)의 식별 파라미터(310)와 관련된다.
실시형태 I5에 따르면, 이전 실시형태 I1 내지 I4 중 어느 하나의 DS(45)에서, 개별적으로 액세스 가능한 부분(200)은 예를 들어 도 8에 도시된 바와 같이, 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 코딩된다.
실시형태 I6에 따르면, 이전 실시형태 I1 내지 I5 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은, 예를 들어, 도 11 내지 15 중 하나에 도시된 바와 같이 개별적으로 액세스 가능한 부분(200)에 대해,
개별적으로 액세스 가능한 부분(200)이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분(200)의 시작을 가리키는 포인터(220/244), 및/또는
DS(45)를 파싱할 때 개별적으로 액세스 가능한 부분(200)을 스킵하기 위한 개별적으로 액세스 가능한 부분(200)의 데이터 스트림 길이를 표시하는 데이터 스트림 길이 파라미터(246)
를 포함한다.
실시형태 I7에 따르면, 이전 실시형태 I1 내지 I6 중 어느 하나의 DS(45)에서, NN 부분은 NN의 NN 계층의 하나 이상의 하위 부분 및/또는 NN의 하나 이상의 NN 계층을 포함한다.
실시형태 I8에 따르면, 이전 실시형태 I1 내지 I7 중 어느 하나의 DS(45)에서, DS(45)는 이전 실시형태 A1 내지 G15 중 어느 하나에 따른 것이다.
5
확장 가능한 NN 비트스트림
이전에 언급된 바와 같이, 일부 애플리케이션은 클라이언트가 처리 능력을 일치시키거나 더 복잡한 고급 NN을 처리하기 전에 먼저 기준에 대한 추론을 수행할 수 있도록 예를 들어 도 20 내지 23에 도시된 바와 같이 계층(210) 또는 그 그룹, 즉 하위 계층(43/44/240)을 기준, 예를 들어 NN(10)의 제 2 버전(3301)과 고급 섹션(3302), 예를 들어, NN(10)의 제 1 버전(3302)으로 분할하는 추가 구조화 NN(10)에 의존한다. 이러한 경우, 섹션 1에서 4에 설명된 바와 같이, 정보에 입각한 방식으로 NN 계층의 각각의 하위 섹션의 파라미터 텐서(30)를 독립적으로 정렬, 코딩 및 액세스할 수 있는 것이 좋다.
또한, 일부 경우에 NN(10)은
·
계층의 뉴런 수를 감소시킴으로써, 예를 들어, 도 22에 도시된 바와 같이 필요로 하는 연산을 더 적게 하고, 및/또는
·
가중값의 보다 개략적인 양자화에 의해, 예를 들어 도 21에 도시된 바와 같이 재구성을 보다 빠르게 하고, 및/또는
·
다른 트레이닝에 의해, 예를 들어 도 23에 도시된 바와 같이 일반 기준 NN 대 개인화된 고급 NN에 의해,
·
및 기타 등등에 의해
기준과 고급 변형으로 나눌 수 있다.
도 21은 NN 및 차동 델타 신호(342)의 변형을 도시한다. 기준 버전, 예를 들어, NN의 제 2 버전(3301)과, 고급 버전, 예를 들어 NN의 제 1 버전(3302)이 예시된다. 도 21은 각각의 델타 신호(342)의 2개의 양자화 설정 및 생성을 갖는 오리지널 NN의 단일 계층, 예를 들어 대응하는 계층을 나타내는 파라미터 텐서(30)로부터 2개의 계층 변형을 생성하는 위의 경우 중 하나를 예시한다. 기준 버전(3301)은 대략적인 양자화와 연관되어 있고 고급 버전(3302)은 미세 양자화와 연관되어 있다. 고급 버전(3302)은 기준 버전(3301)에 대해 델타 코딩될 수 있다.
도 22는 오리지널 NN 분리의 추가 변형을 도시한다. 도 22에서, NN 분리의 추가 변형이 예를 들어 좌측에 도시되며, 계층, 예를 들어, 대응하는 계층을 나타내는 파라미터 텐서(30)를 기준 부분(30a) 및 고급 부분(30b)으로 분리하는 것이 표시되고, 즉, 고급 부분(30b)은 기준 부분(30a)을 확장한다. 고급 부분(30b)의 추론을 위해, 기준 부분(30a)에 대한 추론을 행할 필요가 있다. 도 22의 우측에서, 고급 부분(30b)의 중앙 부분은 도 21에 예시된 바와 같이 델타 코딩될 수도 있는 기준 부분(30a)의 업데이트로 구성되는 것이 도시되어 있다.
이러한 경우에, NN의 기준 버전(3301)과 NN의 고급 버전(3302)의 NN 파라미터(32), 예를 들어 가중값은 명확한 의존도를 가지며 및/또는 NN의 기준 버전(3301)은 NN의 고급 버전(3302)의 일부 형태이다.
따라서 고급 NN 부분, 즉 NN의 제 1 버전(3302)의 파라미터 텐서(30b)를 NN 스케일 또는 계층 스케일 또는 하위 계층 스케일에서 기준 NN 버전, 즉 NN의 제 2 버전(3301)의 파라미터 텐서(30b)에 대한 델타로서 코딩하는 것이 코딩 효율성, 처리 오버헤드, 병렬화 등의 측면에서 유리할 수 있다.
추가 변형이 도 23에 도시되며, 여기서 손실 압축 기준 NN 변형이 있는 상태에서 트레이닝함으로써 오리지널 NN에 대한 압축 영향을 보상하기 위해 NN의 고급 버전이 생성된다. 고급 NN은 기준 NN과 병렬로 추론되며 NN 파라미터, 예를 들어, 가중값은 기준 NN과 동일한 뉴런에 연결된다. 도 23은 예를 들어 손실 코딩된 기준 NN 변형에 기초한 증강 NN의 트레이닝을 도시한다.
일 실시형태에서, (하위) 계층 비트스트림, 즉 개별적으로 액세스 가능한 부분(200) 또는 개별적으로 액세스 가능한 하위 부분(34/44/220)은 제 1 (하위) 계층 비트스트림은 (하위) 계층의 기준 버전(3301)을 나타내고 제 2 (하위) 계층 비트스트림은 (하위) 계층의 고급 버전(3302)을 나타내는 등의 2개 이상의 (하위) 계층 비트스트림으로 분할되며, 여기서 기준 버전(3301)은 비트스트림 순서에서 고급 버전(3302)보다 선행한다.
다른 실시형태에서, (하위) 계층 비트스트림은 비트스트림 내의 다른 (하위) 계층의 파라미터 텐서(30)의 증분 업데이트, 예를 들어 델타 파라미터 텐서, 즉 델타 신호(342) 및/또는 파라미터 텐서를 포함하는 증분 업데이트로서 표시된다.
또 다른 실시형태에서, (하위) 계층 비트스트림은 파라미터 텐서(30)의 증분 업데이트를 포함하는 매칭 식별자와 함께 (하위) 계층 비트스트림을 참조하는 참조 식별자를 반송하고 있다.
도 20은 NN(10)의 상이한 버전(330)이 데이터 스트림(45)으로 인코딩되도록 계층화된 방식으로 인코딩된 뉴럴 네트워크(10)의 표현을 갖는 데이터 스트림(45)의 실시형태 J1을 도시하며, 여기서 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 부분(200)은 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련되며, 여기서 데이터 스트림(45)은
제 2 부분(2001)으로 인코딩된 NN(10)의 제 2 버전(3301)에 대해 델타 코딩된 340, 및/또는
각각은 NN(10)의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 NN 부분(332)의 형태로,
제 2 부분(2001)으로 인코딩된 NN(10)의 제 2 버전(3301)의 대응하는 NN 부분(334)의 실행에 더해서 실행되고,
여기서, 각각의 보상 NN 부분(332) 및 대응하는 NN 부분(334)의 출력(336)은 합산(338)되는,
제 1 부분(2002)으로 인코딩된 NN(10)의 제 1 버전(3302)을 갖는다.
실시형태에 따르면, 보상 NN 부분(332)은 도 21에 도시된 바와 같은 델타 신호(342), 또는 도 22에 도시된 바와 같은 추가 텐서 및 델타 신호, 또는 예를 들어 도 23에 도시된 바와 같은 대응하는 NN 부분(334) 내의 NN 파라미터와 다르게 트레이닝된 NN 파라미터를 포함할 수 있다.
도 23에 도시된 실시형태에 따르면, 보상 NN 부분(332)은 제 2 뉴럴 네트워크의 NN 부분의 양자화된 NN 파라미터를 포함하고, 여기서 제 2 뉴럴 네트워크의 NN 부분은 NN(10), 즉 제 1 NN의 대응하는 NN 부분(334)과 연관된다. 제 2 뉴럴 네트워크는 보상 NN 부분(332)이 제 1 NN의 대응하는 NN 부분(334)에 대한 압축 영향, 예를 들어 양자화 오류를 보상하는 데 사용될 수 있도록 트레이닝될 수 있다. 각각의 보상 NN 부분(332) 및 대응하는 NN 부분(334)의 출력은 NN(10)의 제 1 버전(3302)에 대응하는 NN 파라미터를 재구성하여 NN(10)의 제 1 버전(3302)에 기초한 추론을 가능하게 하도록 합산된다.
위에서 논의된 실시형태는 하나의 데이터 스트림에서 NN(10)의 상이한 버전(330)을 제공하는 데 주로 초점을 맞추고 있지만, 상이한 데이터 스트림에서 상이한 버전(330)을 제공하는 것도 가능하다. 예를 들어, 상이한 버전(330)은 상이한 데이터 스트림으로 더 단순한 버전에 대해 델타 코딩된다. 따라서, 별도의 데이터 스트림(DS)이 사용될 수 있다. 예를 들어, 초기 NN 데이터가 포함된 DS가 먼저 전송되고 업데이트된 NN 데이터가 포함된 DS가 나중에 전송된다.
대응하는 실시형태 ZJ1은 NN(10)의 상이한 버전(330)이 데이터 스트림(45)으로 인코딩되도록 그리고 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분(200)은 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련됨 - 으로 구조화되도록 계층화된 방식으로 뉴럴 네트워크의 표현을 인코딩하기 위한 장치에 관한 것이며, 장치는
제 2 부분(2001)로 인코딩된 NN(10)의 제 2 버전(3301)에 대한 델타 코딩되고, 및/또는
NN(10)의 제 1 버전(3302)에 기초하여 추론을 수행하기 위해 각각이
제 2 부분(2001)으로 인코딩된 NN(10)의 제 2 버전(3301)의 대응하는 NN 부분(334)의 실행에 더해서 실행되는
하나 이상의 보상 NN 부분(332)의 형태로
제 1 부분(2002)으로 인코딩된 NN(10)의 제 1 버전(3302)을 인코딩하도록 구성되며,
여기서, 각각의 보상 NN 부분(332) 및 대응하는 NN 부분(334)의 출력(336)은 합산(338)된다.
다른 대응하는 실시형태 XJ1은 NN(10)의 상이한 버전(330)이 데이터 스트림(45)으로 인코딩되도록 그리고 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분(200)은 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련됨 - 으로 구조화되도록 계층화된 방식으로 DS(45)로부터 뉴럴 네트워크(10)의 표현을 디코딩하기 위한 장치에 관한 것이며, 장치는
제 2 부분(2001)에 인코딩된 NN(10)의 제 2 버전(3301)에 대해 델타 디코딩(340)을 사용함으로써, 및/또는
NN(10)의 제 1 버전(3302)에 기초하여 추론을 수행하기 위해 각각이
NN(10)의 제 1 버전(3302)으로 인코딩된 NN(10)의 제 2 버전(3301)의 대응하는 NN 부분(334)의 실행에 더해서 실행되는
하나 이상의 보상 NN 부분(332)을 DS(45)로부터 디코딩함으로써,
제 1 부분(2002)로부터 인코딩된 NN(10)의 제 1 버전(3302)을 디코딩하도록 구성되며,
여기서, 각각의 보상 NN 부분(332) 및 대응하는 NN 부분(334)의 출력(336)은 합산(338)된다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZJ1에 따른 장치 또는 실시형태 XJ1에 따른 장치의 특징 및/또는 기능일 수 있다.
실시형태 J2에 따르면, 실시형태 J1의 데이터 스트림(45)에서, 데이터 스트림(45)은
가중값 및/또는 편향값 차이, 즉 예를 들어, 도 21에 도시된 바와 같은 NN(10)의 제 1 버전(3301)과 연관된 NN 파라미터와 NN(10)의 제 2 버전(3302)과 관련된 NN 파라미터 사이의 차이의 측면에서, 및/또는
예를 들어, 도 22에 도시된 바와 같은 추가 뉴런 또는 뉴런 상호 연결의 측면에서
제 2 부분(2002)으로 인코딩된 NN(10)의 제 2 버전(3302)에 대해 델타 코딩(340)된 제 1 부분(2001)으로 인코딩된 NN(10)의 제 1 버전(3301)을 갖는다.
실시형태 J3에 따르면, 이전 실시형태 J1 및 J2의 DS에서, 개별적으로 액세스 가능한 부분(200)은, 예를 들어, 도 8에 도시된 바와 같이, 각각의 개별적으로 액세스 가능한 부분(200)의 시작에서 컨텍스트 적응 산술 코딩을 사용하고 컨텍스트 초기화를 사용하여 인코딩된다.
실시형태 J4에 따르면, 이전 실시형태 J1 내지 J3의 DS에서, 데이터 스트림(45)은 예를 들어 도 11 내지 도 15 중 하나에 도시된 바와 같이 개별적으로 액세스 가능한 부분(200) 각각에 대해,
개별적으로 액세스 가능한 부분(200)이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분(200)의 시작을 가리키는 포인터(220/244), 및/또는
DS(45)를 파싱할 때 개별적으로 액세스 가능한 부분(200)을 스킵하기 위한 개별적으로 액세스 가능한 부분(200)의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 포함한다.
실시형태 J5에 따르면, 이전 실시형태 J1 내지 J4 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 예를 들어, 도 19에 도시된 바와 같이 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)을 식별하기 위한 식별 파라미터(310)를 포함한다.
실시형태 J6에 따르면, 이전 실시형태 J1 내지 J5 중 어느 하나의 DS(45)에서, DS(45)는 이전 실시형태 A1 내지 I8 중 어느 하나에 따른 것이다.
6
증강 데이터
도 24a 및 도 24b에 도시된 바와 같이, 파라미터 텐서(30)가 추가적인 증강(또는 보조/보충) 데이터(350)를 수반하는 애플리케이션 시나리오가 존재한다. 이 증강 데이터(350)는 일반적으로 NN의 디코딩/재구성/추론에 필요하지 않지만 애플리케이션 관점에서 필수적일 수 있다. 예는 예를 들어, 각 파라미터(32)의 관련성(Sebastian Lapuschkin, 2019)에 관한 정보 또는 섭동에 대한 각각의 파라미터(32)의 견고성을 시그널링하는 간격 또는 분산과 같은 파라미터(32)의 충분한 통계(Christos Louizos, 2017)에 관한 정보일 수 있다.
이러한 증강 정보, 즉 보충 데이터(350)는 NN의 파라미터 텐서(30)와 관련하여 상당한 양의 데이터를 도입할 수 있으므로 DeepCABAC와 같은 방식을 사용하여 증강 데이터(350)를 인코딩하는 것이 바람직하다. 그러나, 증가를 필요로 하지 않은 클라이언트가 데이터의 이 부분을 스킵할 수 있도록 이 데이터를 단독 추론의 목적으로 NN 디코딩과 관련이 없는 것으로 표시하는 것이 중요하다.
일 실시형태에서, 증강 데이터(350)는 (하위) 계층 비트스트림 데이터에 의존하지 않고, 예를 들어, 개별적으로 액세스 가능한 부분(200) 및/또는 개별적으로 액세스 가능한 하위 부분(240)에 의존하지 않고 코딩되는 추가적인 (하위) 계층 증강 비트스트림 즉, 추가로 개별적으로 액세스 가능한 부분(352)으로 반송되지만, 모델 비트스트림, 즉 데이터 스트림(45)을 형성하기 위해 각각의 (서브) 계층 비트스트림과 산재되어 있다. 도 24a 및 도 24b는 실시형태를 도시한다. 도 24b는 증대 비트스트림(352)을 예시한다.
도 24a 및 도 24b는 인코딩된 뉴럴 네트워크의 표현을 갖는 데이터 스트림(45)의 실시형태 K1을 도시하며, 여기서 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분을 나타내고, 여기서 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 NN의 표현을 보충하기 위한 보충 데이터(350)를 포함하며 대안적으로 도 24b에 도시된 바와 같이 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 NN의 표현을 보충하기 위한 보충 데이터(350)를 포함한다.
대응하는 실시형태 ZK1은 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200) - 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크의 표현을 DS(45)로 인코딩하는 장치에 관한 것이며, 여기서 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 NN의 표현을 보충하기 위한 보충 데이터(350)를 데이터 스트림(45)에 제공하도록 구성된다. 대안적으로, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 NN의 표현을 보충하기 위한 보충 데이터(350)를 데이터 스트림(45)에 제공하도록 구성된다.
대응하는 다른 실시형태 XK1은 DS(45)로부터 뉴럴 네트워크의 표현을 디코딩하기 위한 장치에 관한 것으로, 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 부분(200)은 뉴럴 네트워크의 대응하는 NN 부분을 나타내고, 여기서 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 데이터 스트림(45)으로부터 NN의 표현을 보충하기 위한 보충 데이터(350)를 디코딩하도록 구성된다. 대안적으로, 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 NN의 표현을 보충하기 위한 보충 데이터(350)를 데이터 스트림(45)으로부터 디코딩하도록 구성된다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZK1에 따른 장치 또는 실시형태 XK1에 따른 장치의 특징 및/또는 기능일 수 있다.
실시형태 K2에 따르면, 실시형태 K1의 데이터 스트림(45)에서, DS(45)는 NN에 기초한 추론을 위해 불필요한 것으로서 보충 데이터(350)를 표시한다.
실시형태 K3에 따르면, 이전 실시형태 K1 및 K2의 데이터 스트림(45)에서, 데이터 스트림(45)은 DS(45)가 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해, 예를 들어 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분(200)이 대응하는 NN 부분에 관한 대응하는 추가의 사전 결정된 개별적으로 액세스 가능한 부분(352)을 포함하도록, 도 24b에 도시된 바와 같이, 추가의 개별적으로 액세스 가능한 부분(352)으로 코딩된 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 NN의 표현을 보충하기 위한 보충 데이터(350)를 갖는다.
실시형태 K4에 따르면, 이전 실시형태 K1 내지 K3 중 어느 하나의 DS(45)에서, NN 부분은 NN의 하나 이상의 NN 계층 및/또는 NN의 사전 결정된 NN 계층이 세분화되는 계층 부분을 포함한다. 도 24b에 따르면, 예를 들어 개별적으로 액세스 가능한 부분(2002) 및 대응하는 추가의 사전 결정된 개별적으로 액세스 가능한 부분(352)은 하나 이상의 NN 계층을 포함하는 NN 부분에 관한 것이다.
실시형태 K5에 따르면, 이전 실시형태 K1 내지 K4 중 어느 하나의 DS(45)에서, 개별적으로 액세스 가능한 부분(200)은 예를 들어, 도 8에 도시된 바와 같이 각각의 개별적으로 액세스 가능한 부분(200)의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩된다.
실시형태 K6에 따르면, 이전 실시형태 K1 내지 K5 중 어느 하나의 DS(45)에서, 데이터 스트림(45)은 예를 들어 도 11 내지 도 15 중 하나에 도시된 바와 같이 개별적으로 액세스 가능한 부분(200) 각각에 대해,
개별적으로 액세스 가능한 부분(200)이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분(200)의 시작을 가리키는 포인터(220/244), 및/또는
DS(45)를 파싱할 때 개별적으로 액세스 가능한 부분(200)을 스킵하기 위한 개별적으로 액세스 가능한 부분(200)의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 포함한다.
실시형태 K7에 따르면, 이전 실시형태 K1 내지 K6 중 어느 하나의 DS(45)에서, 보충 데이터(350)는
NN 파라미터의 관련성 스코어 및/또는
NN 파라미터의 섭동 견고성
에 관한 것이다.
실시형태 K8에 따르면, 이전 실시형태 K1 내지 K7 중 어느 하나의 DS(45)에서, DS(45)는 이전 실시형태 A1 내지 J6 중 어느 하나에 따른 것이다.
7
확장된 제어 데이터
상이한 액세스 기능의 설명된 기능 외에도, 확장된 계층적 제어 데이터 구조, 즉 제어 데이터 부분(420)의 시퀀스(410)가 상이한 애플리케이션 및 사용 시나리오에 필요할 수 있다. 한편으로, 압축된 NN 표현(또는 비트스트림)은 TensorFlow 또는 Pytorch와 같은 특정 프레임워크 내부에서 사용될 수 있으며, 이 경우에는 예를 들어 deepCABAC 인코딩된 파라미터 텐서를 디코딩하기 위해 최소 제어 데이터(400)만 필요하다. 반면에, 특정 유형의 프레임워크는 디코더에 알려지지 않을 수 있으며, 이 경우 추가 제어 데이터(400)가 필요하다. 따라서 사용 사례와 환경에 대한 지식에 따라, 도 25에 도시된 바와 같이, 상이한 레벨의 제어 데이터(400)가 필요할 수 있다.
도 25는 압축된 뉴럴 네트워크에 대한 계층적 제어 데이터(CD) 구조, 즉 제어 데이터 부분(420)의 시퀀스(410)를 도시하며, 여기서 상이한 CD 레벨, 즉 제어 데이터 부분(420), 예를 들어 점선 상자가 사용 환경에 따라 존재하거나 부재한다. 도 25에서, 예를 들어 뉴럴 네트워크의 표현(500)을 포함하는 압축된 비트스트림은 예를 들어 하위 비트스트림으로의 세분화가 있거나 없는 네트워크의 모든 압축 데이터를 포함하는 상기 모델 비트스트림 유형 중 임의의 것일 수 있다.
따라서, 디코더 및 인코더에 알려진 유형 및 아키텍처를 가진 특정 네트워크(예를 들어, TensorFlow, Pytorch, Keras 등)에 압축 NN 기술이 포함된 경우, 압축 NN 비트스트림만 필요하다. 그러나, 디코더가 인코더 설정을 인식하지 못하는 경우, 전체 네트워크 재구성을 허용하기 위해 제어 데이터의 전체 세트, 즉 제어 데이터 부분(420)의 전체 시퀀스(410)가 필요하다.
상이한 계층적 제어 데이터 계층, 즉 제어 데이터 부분(420)의 예는 다음과 같다:
·
CD 레벨 1:
압축 데이터 디코더 제어 정보
·
CD 레벨 2:
각각의 프레임워크로부터의 특정 구문 요소(Tensor Flow, Pytorch, Keras)
·
CD 레벨 3:
상이한 프레임워크에서 사용하기 위한 ONNX(ONNX = Open Neural Network Exchange)와 같은 인터 프레임워크 포맷 요소
·
CD 레벨 4:
네트워크 토폴로지에 관한 정보
·
CD 레벨 5:
(네트워크 토포로지에 관한 어떠한 지식도 없는 전체 재구성을 위한) 전체 네트워크 파라미터 정보
따라서, 이 실시형태는 N 레벨의 계층적 제어 데이터 구조, 즉 N 제어 데이터 부분(420)을 설명할 것이며, 여기서 0 ~ N 레벨은 특정 압축 전용 코어 데이터 사용에서 완전한 자체 포함 네트워크 재구성에 이르는 상이한 사용 모드를 허용하기 위해 존재할 수 있다. 레벨, 즉 제어 데이터 부분(420)은 기존 네트워크 아키텍처 및 프레임워크로부터의 구문을 포함할 수도 있다.
다른 실시형태에서, 상이한 레벨, 즉 제어 데이터 부분(420)은 상이한 입도에서 뉴럴 네트워크에 대한 정보를 수반할 수 있다. 예를 들어, 레벨 구조는 이하의 방식으로 구성될 수 있다:
·
CD 레벨 1:
네트워크의 파라미터에 관한 정보를 수반
예를 들어, 유형, 차원 등
·
CD 레벨 2:
네트워크 계층에 대한 정보를 수반
예를 들어, 유형, ID 등
·
CD 레벨 3:
네트워크 토폴로지에 대한 정보를 수반
예를 들어, 계층 간의 연결
·
CD 레벨 4:
뉴럴 네트워크 모델에 대한 정보를 수반
예를 들어, 버전, 트레이닝 파라미터, 성능 등
·
CD 레벨 5:
트레이닝되고 검증된 데이터 세트에 관한 정보를 수반
예를 들어 1000개의 레이블의 카테고리를 갖는 227×227 분해능 입력 내추럴 이미지 등
도 25는 인코딩된 뉴럴 네트워크의 표현(500)을 갖는 데이터 스트림(45)의 실시형태 L1을 도시하며, 여기서 데이터 스트림(45)은 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 포함하고, 여기서 제어 데이터 부분(420)은 제어 데이터 부분(420)의 시퀀스(410)를 따라 증가하는 세부 사항에서 NN에 대한 정보를 제공한다. 제 2 제어 데이터 부분(4202)의 제 2 계층적 제어 데이터(4002)는 제 1 제어 데이터 부분(4201)의 제 1 계층적 제어 데이터(4001)보다 더 자세한 정보를 포함할 수 있다.
실시형태에 따르면, 제어 데이터 부분(420)은 추가적인 토폴로지 정보를 포함할 수 있는 상이한 유닛을 나타낼 수 있다.
대응하는 실시형태 ZL1은 뉴럴 네트워크의 표현(500)을 DS(45)로 인코딩하기 위한 장치에 관한 것이며, 장치는 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 데이터 스트림(45)에 제공하도록 구성되고, 여기서 제어 데이터 부분(420)은 제어 데이터 부분(420)의 시퀀스(410)를 따라 증가하는 세부 사항에서 NN에 대한 정보를 제공한다.
다른 대응하는 실시형태 XL1은 DS(45)로부터 뉴럴 네트워크의 표현(500)을 디코딩하기 위한 장치에 관한 것으로, 여기서 장치는 데이터 스트림(45)으로부터 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 디코딩하도록 구성되고, 여기서, 제어 데이터 부분(420)은 제어 데이터 부분(420)의 시퀀스(410)를 따라 증가하는 세부 사항에서 NN에 대한 정보를 제공한다.
이하에서, 상이한 특징 및/또는 기능이 데이터 스트림(45)의 맥락에서 설명되지만, 특징 및/또는 기능은 또한 동일한 방식으로 또는 유사한 방식으로 실시형태 ZL1에 따른 장치 또는 실시형태 XL1에 따른 장치의 특징 및/또는 기능일 수 있다.
실시형태 L2에 따르면, 실시형태 L1의 데이터 스트림(45)에서, 제어 데이터 부분(420)의 적어도 일부는 부분적으로 중복되는 NN에 대한 정보를 제공한다.
실시형태 L3에 따르면, 실시형태 L1 또는 L2의 데이터 스트림(45)에서, 제 1 제어 데이터 부분(4201)은 디폴트 설정을 암시하는 디폴트 NN 유형을 표시함으로써 NN에 대한 정보를 제공하고, 제 2 제어 데이터 부분(4202)은 디폴트 설정 각각을 나타내는 파라미터를 포함한다.
실시형태 L4에 따르면, 이전 실시형태 L1 내지 L3 중 어느 하나의 DS(45)에서, DS(45)는 이전 실시형태 A1 내지 K8 중 어느 하나에 따른 것이다.
실시형태 X1은 예를 들어, 상기 실시예 XA1 내지 XL1 중 어느 하나에 따라 데이터 스트림(45)으로부터 NN(10)을 유도하도록 구성된, 예를 들어, DS(45)가 이전 실시형태 중 어느 하나를 따르도록 인코딩/디코딩하도록 추가적으로 구성된, 이전 실시형태에 따른 데이터 스트림(45)을 디코딩하기 위한 장치에 관한 것이다.
이 장치는 예를 들어,
시작 코드(242)를 서치하고, 및/또는
데이터 스트림(45) 길이 파라미터를 사용하여 개별적으로 액세스 가능한 부분(200)을 스킵하고, 및/또는
포인터(220/244)를 사용하여 개별적으로 액세스 가능한 부분(200)의 시작 부분에서 데이터 스트림(45)의 파싱을 재개하고, 및/또는
디코딩된 NN 파라미터(32')를 코딩 순서(104)에 따라 뉴런(14, 18, 20) 또는 뉴런 상호연결(22/24)에 연결하고, 및/또는
컨텍스트 적응적 산술 디코딩 및 컨텍스트 초기화를 수행하고, 및/또는
역양자화/값 재구성(280)을 수행하고, 및/또는
지수의 합산을 수행하여 양자화 단계 크기(263)를 계산하고, 및/또는
이스케이프 코드를 가정하는 것과 같이 사전 결정된 인덱스 간격(268)을 벗어나는 양자화 인덱스(32")에 응답하여 양자화 인덱스 대 재구성 레벨 매핑(265)에서 조회를 수행하고, 및/또는
특정 개별적으로 액세스 가능한 부분(200)에 대해 해싱을 수행하거나 오류 검출/정정 코드를 적용하고 그 결과를 대응하는 식별 파라미터(310)와 비교하여 개별적으로 액세스 가능한 부분(200)의 정확성을 확인하고, 및/또는
기본 NN 버전(330)에 가중값 및/또는 편향값 차이를 추가하고 및/또는 기본 NN 버전(330)에 추가 뉴런(14, 18, 20) 또는 뉴런 상호 연결(22/24)을 추가함으로써, 또는 하나 이상의 보상 NN 부분 및 대응하는 NN 부분의 공동 실행을 그 출력의 합산을 수행하는 것과 함께 수행함으로써, NN(10)의 특정 버전(330)을 재구성하고, 및/또는
현재 판독된 제어 데이터 부분(420)이 장치에 알려진 파라미터 상태를 가정하는 즉시 판독을 중지하고 또한 사전 결정된 세부 사항에 부합하기에 충분한 세부 사항에서 정보, 즉 계층적 제어 데이터(400)를 제공하면서 제어 데이터 부분(420)을 순차적으로 판독한다.
실시형태 Y1은 데이터 스트림(45)으로부터 NN(10)을 도출하기 위해 실시형태 X1에 따른 데이터 스트림(45)을 디코딩하는 장치와, NN(10)에 기초하여 추론을 수행하도록 구성된 프로세서를 포함하는, NN(10)를 이용하여 추론을 수행하는 장치에 관한 것이다.
실시형태 Z1은 이전 실시형태에 따라, 예를 들어, 상기 실시형태 ZA1 내지 ZL1 중 어느 하나에 따른, 예를 들어, DS(45)가 이전 실시형태 중 어느 하나에 따르도록 인코딩/디코딩하도록 추가로 구성된, 데이터 스트림(45)을 인코딩하기 위한 장치에 관한 것이다.
예를 들어, 이 장치는 최적의 압축 효율을 위한 최적의 것을 찾기 위한 코딩 순서(104)를 선택한다.
실시형태 U는 실시형태 XA1 내지 XL1 또는 ZA1 내지 ZL1 중 어느 하나의 장치에 의해 수행되는 방법에 관한 것이다.
실시형태 W는 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 실시형태 U의 방법을 수행하게 하는 컴퓨터 프로그램에 관한 것이다.
구현 대안:
일부 양태는 장치의 맥락에서 설명되었지만, 이러한 양태는 또한 대응하는 방법의 설명을 나타내며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 맥락에서 설명된 양태는 대응하는 블록 또는 대응하는 장치의 항목 또는 특징의 설명을 또한 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해 (또는 사용하여) 실행될 수 있다. 일부 실시형태에서, 가장 중요한 방법 단계 중 하나 이상이 이러한 장치에 의해 실행될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시형태는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는 (또는 협력할 수 있는) 전자적으로 판독 가능한 제어 신호가 저장된 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능하다.
본 발명에 따른 일부 실시형태는 본 명세서에 설명된 방법 중 하나가 수행되도록, 프로그래밍 가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시형태는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법 중 하나를 수행하기 위해 동작한다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시형태는 기계 판독 가능 캐리어에 저장된, 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 실시형태는 따라서 컴퓨터 프로그램이 컴퓨터에서 실행될 때 본 명세서에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는, 기록되어 있는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 다른 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 데이터 통신 연결을 통해 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터, 또는 프로그램 가능 논리 디바이스를 포함한다.
추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시형태에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본 명세서에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시형태에서, 필드 프로그램 가능 게이트 어레이는 본 명세서에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 설명된 장치 또는 본 명세서에 기재된 장치의 임의의 컴포넌트는 하드웨어 및/또는 소프트웨어로 적어도 부분적으로 구현될 수 있다.
본 명세서에 설명된 방법은 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법 또는 본 명세서에 설명된 장치의 임의의 컴포넌트는 하드웨어 및/또는 소프트웨어에 의해 적어도 부분적으로 수행될 수 있다.
위에서 설명된 실시형태는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 설명된 배열 및 세부 사항의 수정 및 변형이 당업자에게 명백할 것임을 이해해야 한다. 따라서, 본 명세서의 실시형태의 기술 및 설명을 통해 제공된 특정 세부 사항이 아니라 특허 청구범위의 범위에 의해서만 제한된다.
8
참고문헌
Andrew Kerr, D. M. (2017, 5). https://devblogs.nvidia.com/cutlass-linear-algebra-cuda/로부터 검색
Chollet, F. (2016). Xception: Deep Learning with Depthwise Separable Convolutions. https://arxiv.org/abs/1610.02357로부터 검색
Christos Louizos, K. U. (2017). Bayesian Compression for Deep Learning. NIPS.
Sebastian Lapuschkin, S. W.-R. (2019). Unmasking Clever Hans predictors and assessing what machines really learn. Nature Comminications.
Tao, K. C. (2018). Once for All: A Two-Flow Convolutional Neural Network for Visual Tracking. IEEE Transactions on Circuits and Systems for Video Technology, 3377-3386.
Claims (278)
- 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림은 뉴럴 네트워크(10)의 뉴런 상호접속(22, 24)을 정의하는 뉴럴 네트워크 파라미터(32)가 상기 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 포함하는,
데이터 스트림(45). - 제 1 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 컨텍스트 적응 산술 코딩(600)을 사용하여 데이터 스트림(45)으로 코딩되는,
데이터 스트림(45). - 제 1 항 또는 제 2 항에 있어서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 개별적으로 액세스 가능한 부분(200)은 상기 뉴럴 네트워크(10)의 대응하는 뉴럴 네트워크 계층(210)을 나타내고, 여기서 상기 직렬화 파라미터(102)는 사전 결정된 뉴럴 네트워크 계층(210, 30) 내에서 상기 뉴럴 네트워크의 뉴런 상호연결을 정의하는 뉴럴 네트워크 파라미터가 상기 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는,
데이터 스트림(45). - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 직렬화 파라미터(102)는 n개의 코딩 순서의 세트(108) 중 코딩 순서(104)를 표시하는 n진 파라미터인,
데이터 스트림(45). - 제 4 항에 있어서,
상기 n개의 코딩 순서의 세트(108)는
상기 사전 결정된 코딩 순서(104)가 상기 뉴럴 네트워크(10)의 사전 결정된 뉴럴 네트워크 계층(210, 30)을 기술하는 텐서(30)의 차원(30)을 횡단하는 순서가 다른 제 1 사전 결정된 코딩 순서(1061); 및/또는
상기 사전 결정된 코딩 순서(104)가 상기 뉴럴 네트워크의 스케일러블 코딩을 위해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층(210, 30)을 횡단하는 횟수(107)가 다른 제 2 사전 결정된 코딩 순서(1062); 및/또는
상기 사전 결정된 코딩 순서(104)가 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)을 횡단하는 순서가 다른 제 3 사전 결정된 코딩 순서(1063); 및/또는
상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)이 횡단하는 순서가 다른 제 4 사전 결정된 코딩 순서(1064)를 포함하는,
데이터 스트림(45). - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 직렬화 파라미터(102)는 코딩 순서(104)가 디폴트 순서에 대해 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 순열시키는 데 사용하는 순열을 표시하는,
데이터 스트림(45). - 제 6 항에 있어서,
상기 순열은 상기 뉴럴 네트워크 파라미터(32)가 상기 코딩 순서(104)를 따라 단조 증가하거나 상기 코딩 순서(104)를 따라 단조 감소하도록 하는 방식으로 상기 뉴럴 네트워크 계층(210, 30)의 뉴런을 정렬하는,
데이터 스트림(45). - 제 6 항에 있어서,
상기 순열은 상기 직렬화 파라미터(102)에 의해 시그널링 가능한 사전 결정된 코딩 순서(104) 중에서 상기 뉴럴 네트워크 파라미터(32)를 상기 데이터 스트림(45)으로 코딩하기 위한 비트레이트가 상기 직렬화 파라미터(102)에 의해 표시된 순열에 대해 가장 낮도록 하는 방식으로 상기 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 정렬하는,
데이터 스트림(45). - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 가중값 및 편향값을 포함하는,
데이터 스트림(45). - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은, 후속 하위 부분이 코딩 순서(104)에 의해 횡단되기 전에 각각의 하위 부분(43, 44, 240)이 코딩 순서(104)에 의해 완전히 횡단되도록, 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 뉴럴 네트워크(10)의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되는,
데이터 스트림(45). - 제 3 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43, 44, 240)의 시작에서 컨텍스트 적응 산술 코딩(600)을 사용하고 컨텍스트 초기화를 사용하여 데이터 스트림(45)으로 코딩되는,
데이터 스트림(45). - 제 3 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43, 44, 240)이 시작하는 시작 코드(242), 및/또는 각각의 개별적으로 액세스 가능한 부분 또는 하위 부분의 시작을 가리키는 포인터(220, 244), 및/또는 데이터 스트림(45)을 파싱할 때 개별적으로 액세스 가능한 부분 또는 하위 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분 또는 하위 부분의 포인터 데이터 스트림 길이(246)를 포함하는,
데이터 스트림(45). - 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
추론을 위해 뉴럴 네트워크(10)를 사용할 때 상기 뉴럴 네트워크 파라미터(32)가 표현될 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 더 포함하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 상기 데이터 스트림으로 인코딩된 뉴럴 네트워크의 뉴럴 네트워크 파라미터(32)가 추론을 위해 뉴럴 네트워크를 사용할 때 표현되는 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 포함하는,
데이터 스트림(45). - 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
후속의 개별적으로 액세스 가능한 하위 부분이 코딩 순서(104)에 의해 횡단되기 전에 각각의 개별적으로 액세스 가능한 하위 부분이 코딩 순서(104)에 의해 완전히 횡단되도록, 상기 데이터 스트림(45)은 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 개별적으로 액세스 가능한 하위 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 여기서 상기 데이터 스트림(45)은 사전 결정된 개별적으로 액세스 가능한 하위 부분에 대해 사전 결정된 개별적으로 액세스 가능한 하위 부분으로 인코딩된 뉴럴 네트워크 파라미터(32)의 파라미터 유형을 표시하는 유형 파라미터를 포함하는,
데이터 스트림(45). - 제 15 항에 있어서,
상기 유형 파라미터는 적어도 뉴럴 네트워크 가중값과 뉴럴 네트워크 편향값 사이를 구별하는,
데이터 스트림(45). - 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 여기서 상기 데이터 스트림(45)은 사전 결정된 뉴럴 네트워크 계층에 대해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터(130)를 더 포함하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 여기서 상기 데이터 스트림(45)은 사전 결정된 뉴럴 네트워크 계층에 대해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터(130)를 더 포함하는,
데이터 스트림(45). - 제 17 항 또는 제 18 항에 있어서,
상기 뉴럴 네트워크 계층 유형 파라미터(130)는 적어도 완전-연결된 계층 유형과 컨볼루션 계층 유형 사이를 구별하는,
데이터 스트림(45). - 제 1 항 내지 제 19 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 여기서 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 240)를 포함하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244)를 포함하는,
데이터 스트림(45). - 제 20 항 또는 제 21 항에 있어서,
각각의 개별적으로 액세스 가능한 부분(200)은
상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210) 또는
상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210)의 뉴럴 네트워크 부분(43, 44, 240)을 나타내는,
데이터 스트림(45). - 제 1 항 내지 제 22 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 여기서 상기 데이터 스트림(45)은 사전 결정된 부분 내에서 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 상기 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층(210, 30)의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 더 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(43, 44, 240) 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터(244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터를 포함하는,
데이터 스트림(45). - 제 23 항에 있어서,
상기 데이터 스트림(45)은 각각의 개별적으로 액세스 가능한 부분 및 각각의 개별적으로 액세스 가능한 하위 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩된 뉴럴 네트워크의 표현을 갖는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분(210, 30)을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 사전 결정된 부분 내에서 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 상기 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층(210, 30)의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 더 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(43, 44, 240) 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터(244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터를 포함하는,
데이터 스트림(45). - 제 25 항에 있어서,
상기 데이터 스트림(45)은 각각의 개별적으로 액세스 가능한 부분 및 각각의 개별적으로 액세스 가능한 하위 부분의 시작에서 컨텍스트 적응 산술 코딩(600) 및 컨텍스트 초기화를 사용하여 인코딩된 뉴럴 네트워크의 표현을 갖는,
데이터 스트림(45). - 제 1 항 내지 제 26 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 표시하는 처리 옵션 파라미터(250)를 포함하는,
데이터 스트림(45). - 제 27 항에 있어서,
상기 처리 옵션 파라미터(250)는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 샘플 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 채널 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 분류 카테고리 방식 병렬 처리 능력; 및/또는
동일한 뉴럴 네트워크 부분에 관한 것이지만 계층화된 방식으로 상기 데이터 스트림(45)에 인코딩된 뉴럴 네트워크 버전(300)의 다른 버전에 속하는 상기 데이터 스트림(45)의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 뉴럴 네트워크 부분의 의존도
를 포함하는 사전 결정된 처리 옵션(252) 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 표시하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 표시하는 처리 옵션 파라미터(250)를 포함하는,
데이터 스트림(45). - 제 29 항에 있어서,
상기 처리 옵션 파라미터(250)는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 샘플 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 채널 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 분류 카테고리 방식 병렬 처리 능력; 및/또는
동일한 뉴럴 네트워크 부분에 관한 것이지만 계층화된 방식으로 상기 데이터 스트림(45)에 인코딩된 뉴럴 네트워크 버전(300)의 다른 버전에 속하는 상기 데이터 스트림(45)의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 뉴럴 네트워크 부분의 의존도
를 포함하는 사전 결정된 처리 옵션(252) 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 표시하는,
데이터 스트림(45). - 제 1 항 내지 제 30 항 중 어느 한 항에 있어서,
뉴럴 네트워크를 나타내는 인코딩된 뉴럴 네트워크 파라미터(32)를 갖고,
상기 뉴럴 네트워크 파라미터(32)는 양자화 지수(32")로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되며,
상기 뉴럴 네트워크 파라미터(32)는 상기 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터(32)가 상이하게 양자화(260)되도록 상기 데이터 스트림(45)으로 인코딩되고, 상기 데이터 스트림(45)은, 상기 뉴럴 네트워크 부분의 각각에 대해, 상기 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화하기 위한 재구성 규칙(270)을 표시하는,
데이터 스트림(45). - 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)가 인코딩된 데이터 스트림(45)으로서,
상기 뉴럴 네트워크 파라미터(32)는 양자화 지수(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되고,
상기 뉴럴 네트워크 파라미터(32)는 상기 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터(32)가 상이하게 양자화(260)되도록 상기 데이터 스트림(45)으로 인코딩되고, 상기 데이터 스트림(45)은, 상기 뉴럴 네트워크 부분의 각각에 대해, 상기 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화하기 위한 재구성 규칙(270)을 표시하는,
데이터 스트림(45). - 제 31 항 또는 제 32 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30) 및/또는 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층(210, 30)이 세분화되는 계층 부분을 포함하는,
데이터 스트림(45). - 제 31 항 내지 제 33 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 제 2 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화하기 위한 제 2 재구성 규칙(2702, 270a2)에 대해 델타 코딩된 방식으로 인코딩된 제 1 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화하기 위한 제 1 재구성 규칙(2701, 270a1)을 갖는
데이터 스트림(45). - 제 34 항에 있어서,
상기 데이터 스트림(45)은 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한 제 1 지수 값 및 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한 제 2 지수 값을 포함하고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 베이시스의 지수에 의해 정의된 제 1 양자화 단계 크기 및 상기 제 1 지수 값에 의해 정의된 제 1 지수에 의해 정의되고,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 베이시스의 지수에 의해 정의된 제 2 양자화 단계 크기와 제 1 및 제 2 지수 값에 대한 합에 의해 정의된 제 2 지수에 의해 정의되는,
데이터 스트림(45). - 제 35 항에 있어서,
상기 데이터 스트림(45)은 사전 결정된 베이시스를 추가로 표시하는,
데이터 스트림(45). - 제 31 항 내지 제 34 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 제 1 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화하기 위한 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한 제 1 지수 값 및 제 2 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화하기 위한 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한 제 2 지수 값을 포함하고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 1 양자화 단계 크기 및 상기 제 1 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 1 지수에 의해 정의되고,
제 2 재구성 규칙(2702, 270a2)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 2 양자화 단계 크기 및 상기 제 2 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 2 지수에 의해 정의되는,
데이터 스트림(45). - 제 37 항에 있어서,
상기 데이터 스트림(45)은 사전 결정된 베이시스를 추가로 표시하는,
데이터 스트림(45). - 제 38 항에 있어서,
상기 데이터 스트림(45)은 뉴럴 네트워크 범위에서 상기 사전 결정된 베이시스를 표시하는,
데이터 스트림(45). - 제 37 항 내지 제 39 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 사전 결정된 지수 값을 추가로 표시하는,
데이터 스트림(45). - 제 40 항에 있어서,
상기 데이터 스트림(45)은 뉴럴 네트워크 계층(210, 30) 범위에서 상기 사전 결정된 지수 값을 표시하는,
데이터 스트림(45). - 제 40 항 또는 제 41 항에 있어서,
상기 데이터 스트림(45)은 상기 사전 결정된 베이시스를 추가로 표시하고 상기 데이터 스트림(45)은 상기 사전 결정된 베이시스가 상기 데이터 스트림(45)에 의해 표시되는 범위보다 더 미세한 범위로 상기 사전 결정된 지수 값을 표시하는,
데이터 스트림(45). - 제 35 항 내지 제 42 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 비정수 형식의 인코딩된 사전 결정된 베이시스와, 정수 형식의 제 1 및 제 2 지수 값을 갖는,
데이터 스트림(45). - 제 34 항 내지 제 43 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 1 파라미터 세트(264)와, 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 2 파라미터 세트(264)를 포함하고,
상기 제 1 재구성 규칙(2701, 270a1)은 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)만큼의 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되는,
데이터 스트림(45). - 제 34 항 내지 제 44 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 1 파라미터 세트(264)와, 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 2 파라미터 세트(264)를 포함하고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 방식으로 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑(365)만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되는,
데이터 스트림(45). - 제 45 항에 있어서,
상기 데이터 스트림(45)은 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)을 추가로 표시하는,
데이터 스트림(45). - 제 46 항에 있어서,
상기 데이터 스트림(45)은 뉴럴 네트워크 범위에서 또는 뉴럴 네트워크 계층(210, 30) 범위에서 상기 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)을 표시하는,
데이터 스트림(45). - 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
사전 결정된 방식에 따라,
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 제 1 재구성 레벨로의 각각의 인덱스 값(32'')의 매핑은 존재한다면, 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라, 제 2 재구성 레벨로의 각각의 인덱스 값(32'')의 매핑에 의해 대체되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값(32'')이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값(32'')에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값(32'')에 대해, 각각의 인덱스 값(32'')으로부터 대응하는 재구성 레벨로의 매핑이 채택되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값(32'')에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값(32'')에 대해, 각각의 인덱스 값(32'')으로부터 대응하는 재구성 레벨로의 매핑이 채택되는,
데이터 스트림(45). - 제 31 항 내지 제 48 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)을 표시하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262) 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 포함하며,
여기서, 상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)
에 의해 정의되는,
데이터 스트림(45). - 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)가 인코딩된 데이터 스트림(45)으로서,
상기 뉴럴 네트워크 파라미터(32)는 양자화 인덱스(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되고,
상기 데이터 스트림(45)은 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262), 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 포함하고,
여기서, 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)
에 의해 정의되는,
데이터 스트림(45). - 제 49 항 또는 제 50 항에 있어서,
상기 사전 결정된 인덱스 간격(268)은 0을 포함하는,
데이터 스트림(45). - 제 51 항에 있어서,
상기 사전 결정된 인덱스 간격(268)은 사전 결정된 크기 임계값까지 확장되고, 상기 사전 결정된 크기 임계값을 초과하는 양자화 인덱스(32'')는 양자화 인덱스 대 재구성 레벨 매핑(265)이 역양자화(280)에 사용된다는 것을 표시하는 이스케이프 코드를 나타내는,
데이터 스트림(45). - 제 49 항 내지 제 52 항 중 어느 한 항에 있어서,
상기 파라미터 세트(264)는 사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32')와 연관된 재구성 레벨의 리스트에 의해 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는,
데이터 스트림(45). - 제 31 항 내지 제 53 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 하나 이상의 하위 부분 및/또는 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층을 포함하는,
데이터 스트림(45). - 제 31 항 내지 제 54 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되며, 각각의 개별적으로 액세스 가능한 부분은 내부에 인코딩된 대응하는 뉴럴 네트워크 부분에 대한 뉴럴 네트워크 파라미터(32)를 갖는,
데이터 스트림(45). - 제 55 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)은 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩되는,
데이터 스트림(45). - 제 55 항 또는 제 56 항에 있어서,
상기 데이터 스트림(45)은, 각각의 개별적으로 액세스 가능한 부분에 대해,
개별적으로 액세스 가능한 부분이 시작되는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 상기 개별적으로 액세스 가능한 부분을 스킵하기 위한 개별적으로 액세스 가능한 부분의 데이터 스트림 길이를 표시하는 데이터 스트림 길이 파라미터(246)
를 포함하는,
데이터 스트림(45). - 제 55 항 내지 제 57 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 각각의 뉴럴 네트워크 부분에 대해
전체적으로 뉴럴 네트워크와 관련된 데이터 스트림(45)의 메인 헤더 부분(47),
각각의 뉴럴 네트워크 부분이 그의 일부인 뉴럴 네트워크 계층(210)과 관련된 데이터 스트림(45)의 뉴럴 네트워크 계층(210, 30) 관련 헤더 부분(110), 또는
각각의 뉴럴 네트워크 부분이 그의 일부인 뉴럴 네트워크 계층(210)과 관련된 데이터 스트림(45)의 뉴럴 네트워크 부분 특정 헤더 부분에서
각각의 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하는,
데이터 스트림(45). - 제 1 항 내지 제 58 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분(200)은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 포함하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 포함하는,
데이터 스트림(45). - 제 59 항 또는 제 60 항에 있어서,
상기 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 상기 각각의 사전 결정된 개별적으로 액세스 가능한 부분과 관련되는,
데이터 스트림(45). - 제 59 항 내지 제 61 항 중 어느 한 항에 있어서,
상기 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분의 컬렉션을 식별하기 위한 상위 레벨 식별 파라미터(310)를 더 포함하는,
데이터 스트림(45). - 제 62 항에 있어서,
상기 상위 레벨 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 상기 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분의 식별 파라미터(310)와 관련되는,
데이터 스트림(45). - 제 59 항 내지 제 63 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)은 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩(600) 및 컨텍스트 초기화를 사용하여 코딩되는,
데이터 스트림(45). - 제 59 항 내지 제 64 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터를 포함하는,
데이터 스트림(45). - 제 59 항 내지 제 65 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 하나 이상의 하위 부분 및/또는 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층을 포함하는,
데이터 스트림(45). - 제 1 항 내지 제 66 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크의 상이한 버전(330)이 상기 데이터 스트림(45)으로 인코딩되도록 계층화된 방식으로 인코딩된 뉴럴 네트워크의 표현을 가지며, 여기서 상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련됨 - 으로 구조화되고, 상기 데이터 스트림(45)은
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 코딩된, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분(332)의 형태로,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)의 대응하는 뉴럴 네트워크 부분(334)의 실행에 더해서 실행되는,
여기서 각각의 보상 뉴럴 네트워크 부분(332) 및 대응하는 뉴럴 네트워크 부분(334)의 출력(336)은 합산(338)되는,
제 1 부분으로 인코딩된 뉴럴 네트워크의 제 1 버전(3302)을 갖는,
데이터 스트림(45). - 뉴럴 네트워크의 상이한 버전(330)이 데이터 스트림(45)으로 인코딩되도록 계층화된 방식으로 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 버전과 관련됨 - 으로 구조화되고, 상기 데이터 스트림(45)은
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 코딩된, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분(332)의 형태로,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)의 대응하는 뉴럴 네트워크 부분(334)의 실행에 더해서 실행되는,
여기서 각각의 보상 뉴럴 네트워크 부분(332) 및 대응하는 뉴럴 네트워크 부분(334)의 출력(336)은 합산(338)되는,
제 1 부분으로 인코딩된 뉴럴 네트워크의 제 1 버전(3302)을 갖는,
데이터 스트림(45). - 제 67 항 또는 제 68 항에 있어서,
상기 데이터 스트림(45)은
가중값 및/또는 편향값 차이의 측면에서, 및/또는
추가 뉴런(14, 18, 20) 또는 뉴런 상호 연결(22, 24)의 측면에서
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 코딩된 제 1 부분으로 인코딩된 뉴럴 네트워크의 제 1 버전(3302)을 갖는,
데이터 스트림(45). - 제 67 항 내지 제 69 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)은 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩되는,
데이터 스트림(45). - 제 67 항 내지 제 70 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분 각각에 대해,
개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터를 포함하는,
데이터 스트림(45). - 제 67 항 내지 제 71 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 포함하는,
데이터 스트림(45). - 제 1 항 내지 제 72 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 포함하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 포함하는,
데이터 스트림(45). - 제 73 항 또는 제 74 항에 있어서,
상기 데이터 스트림(45)은 상기 보충 데이터(350)를 상기 뉴럴 네트워크에 기초한 추론을 위해 불필요한 것으로서 표시하는,
데이터 스트림(45). - 제 73 항 내지 제 75 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 데이터 스트림(45)가 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분이 대응하는 뉴럴 네트워크 부분에 관한 대응하는 추가의 사전 결정된 개별적으로 액세스 가능한 부분을 포함하도록, 추가의 개별적으로 액세스 가능한 부분(200)으로 코딩된 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 갖는,
데이터 스트림(45). - 제 73 항 내지 제 76 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층(210, 30) 및/또는 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층이 세분화되는 계층 부분을 포함하는,
데이터 스트림(45). - 제 73 항 내지 제 77 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)은 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩되는,
데이터 스트림(45). - 제 73 항 내지 제 78 항 중 어느 한 항에 있어서,
데이터 스트림(45)은 개별적으로 액세스 가능한 부분 각각에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 상기 각각의 개별적으로 액세스 가능한 부분(200)을 스킵하기 위한 상기 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터를 포함하는,
데이터 스트림(45). - 제 73 항 내지 제 79 항 중 어느 한 항에 있어서,
상기 보충 데이터(350)는
뉴럴 네트워크 파라미터(32)의 관련성 스코어 및/또는
뉴럴 네트워크 파라미터(32)의 섭동 견고성에 관한 것인,
데이터 스트림(45). - 제 1 항 내지 제 80 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 포함하고, 여기서 상기 제어 데이터 부분(420)은 상기 제어 데이터 부분(420)의 시퀀스(410)를 따라 증가하는 세부 사항에서 상기 뉴럴 네트워크에 대한 정보를 제공하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현이 인코딩된 데이터 스트림(45)으로서,
상기 데이터 스트림(45)은 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 포함하고, 여기서 상기 제어 데이터 부분(420)은 상기 제어 데이터 부분(420)의 시퀀스를 따라 증가하는 세부 사항에서 상기 뉴럴 네트워크에 대한 정보를 제공하는,
데이터 스트림(45). - 제 81 항 또는 제 82 항에 있어서,
상기 제어 데이터 부분(420)의 적어도 일부는 부분적으로 중복되는 뉴럴 네트워크에 대한 정보를 제공하는,
데이터 스트림(45). - 제 81 항 내지 제 83 항 중 어느 한 항에 있어서,
제 1 제어 데이터 부분은 디폴트 설정을 암시하는 디폴트 뉴럴 네트워크 유형을 표시함으로써 뉴럴 네트워크에 대한 정보를 제공하고, 제 2 제어 데이터 부분은 디폴트 설정 각각을 표시하는 파라미터를 포함하는,
데이터 스트림(45). - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
상기 뉴럴 네트워크의 뉴런 상호접속(22, 24)을 정의하는 뉴럴 네트워크 파라미터(32)가 상기 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 85 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)를 컨텍스트 적응 산술 코딩을 사용하여 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 제 85 항 또는 제 86 항에 있어서,
상기 데이터 스트림(45)을 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화하도록, 그리고 상기 직렬화 파라미터(102)에 의해 표시되는 코딩 순서(104)에 따라, 사전 결정된 뉴럴 네트워크 계층(210, 30) 내에서 상기 뉴럴 네트워크의 뉴런 상호연결(22, 24)을 정의하는 뉴럴 네트워크 파라미터를 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 제 85 항 내지 제 87 항 중 어느 한 항에 있어서,
상기 직렬화 파라미터(102)는 n개의 코딩 순서(104)의 세트(108) 중 코딩 순서(104)를 표시하는 n진 파라미터인,
장치. - 제 88 항에 있어서,
상기 n개의 코딩 순서(104)의 세트(108)는
상기 사전 결정된 코딩 순서가 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층(210, 30)을 기술하는 텐서(30)의 차원(30)을 횡단하는 순서가 다른 제 1 사전 결정된 코딩 순서(1061); 및/또는
상기 사전 결정된 코딩 순서가 상기 뉴럴 네트워크의 스케일러블 코딩을 위해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층을 횡단하는 횟수(107)가 다른 제 2 사전 결정된 코딩 순서(1062); 및/또는
상기 사전 결정된 코딩 순서가 상기 뉴럴 네트워크의 뉴럴 네트워크 계층을 횡단하는 순서가 다른 제 3 사전 결정된 코딩 순서(1063); 및/또는
상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)이 횡단하는 순서가 다른 제 4 사전 결정된 코딩 순서(1064)를 포함하는,
장치. - 제 85 항 내지 제 89 항 중 어느 한 항에 있어서,
상기 직렬화 파라미터(102)는 코딩 순서(104)가 디폴트 순서에 대해 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 순열시키는 데 사용하는 순열을 표시하는,
장치. - 제 90 항에 있어서,
상기 순열은 상기 뉴럴 네트워크 파라미터(32)가 상기 코딩 순서(104)를 따라 단조 증가하거나 상기 코딩 순서(104)를 따라 단조 감소하도록 하는 방식으로 상기 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 정렬하는,
장치. - 제 90 항에 있어서,
상기 순열은 상기 직렬화 파라미터(102)에 의해 시그널링 가능한 사전 결정된 코딩 순서 중에서 상기 뉴럴 네트워크 파라미터(32)를 상기 데이터 스트림(45)으로 코딩하기 위한 비트레이트가 상기 직렬화 파라미터(102)에 의해 표시된 순열에 대해 가장 낮도록 하는 방식으로 상기 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 정렬하는,
장치. - 제 85 항 내지 제 92 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 가중값 및 편향값을 포함하는,
장치. - 제 85 항 내지 제 93 항 중 어느 한 항에 있어서,
후속 하위 부분이 상기 코딩 순서(104)에 의해 횡단되기 전에 각각의 하위 부분(43, 44, 240)이 코딩 순서(104)에 의해 완전히 횡단되도록, 상기 데이터 스트림을 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화하도록 구성되는,
장치. - 제 87 항 내지 제 94 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43, 44, 240)의 시작에서 컨텍스트 적응 산술 코딩(600)을 사용하고 컨텍스트 초기화를 사용하여 데이터 스트림(45)으로 인코딩되는,
장치. - 제 87 항 내지 제 95 항 중 어느 한 항에 있어서,
각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43, 44, 240)이 시작하는 시작 코드(242), 및/또는 각각의 개별적으로 액세스 가능한 부분 또는 하위 부분의 시작을 가리키는 포인터(220, 244), 및/또는 데이터 스트림을 파싱할 때 개별적으로 액세스 가능한 부분 또는 하위 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분 또는 하위 부분의 포인터 데이터 스트림 길이(246)를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 85 항 내지 제 96 항 중 어느 한 항에 있어서,
추론을 위해 뉴럴 네트워크(10)를 사용할 때 상기 뉴럴 네트워크 파라미터(32)가 표현될 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
상기 데이터 스트림으로 인코딩된 뉴럴 네트워크의 뉴럴 네트워크 파라미터(32)가 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 표현되는 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 85 항 내지 제 98 항 중 어느 한 항에 있어서,
후속의 개별적으로 액세스 가능한 하위 부분이 코딩 순서(104)에 의해 횡단되기 전에 각각의 개별적으로 액세스 가능한 하위 부분이 코딩 순서(104)에 의해 완전히 횡단되도록, 상기 데이터 스트림(45)을 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 개별적으로 액세스 가능한 하위 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화하도록 구성되고, 상기 장치는 사전 결정된 개별적으로 액세스 가능한 하위 부분에 대해 상기 뉴럴 네트워크 파라미터 및 사전 결정된 개별적으로 액세스 가능한 하위 부분으로 인코딩된 뉴럴 네트워크 파라미터(32)의 파라미터 유형을 표시하는 유형 파라미터를 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 제 99 항에 있어서,
상기 유형 파라미터는 적어도 뉴럴 네트워크 가중값과 뉴럴 네트워크 편향값 사이를 구별하는,
장치. - 제 85 항 내지 제 100 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)을 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 그리고
사전 결정된 뉴럴 네트워크 계층에 대해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터(130)를 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되도록, 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
사전 결정된 뉴럴 네트워크 계층에 대해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터(130)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 101 항 또는 제 102 항에 있어서,
상기 뉴럴 네트워크 계층 유형 파라미터(130)는 적어도 완전-연결된 계층 유형과 컨볼루션 계층 유형 사이를 구별하는,
장치. - 제 85 항 내지 제 103 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)을 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 그리고
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 240)를 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되도록, 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 104 항 또는 제 105 항에 있어서,
각각의 개별적으로 액세스 가능한 부분은
상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210) 또는
상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210)의 뉴럴 네트워크 부분(43, 44, 240)을 나타내는,
장치. - 제 85 항 내지 제 106 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 그리고
상기 데이터 스트림(45)이 사전 결정된 부분 내에서 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 상기 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 더 구조화되도록 뉴럴 네트워크(10)의 표현을 상기 데이터 스트림(45)으로 인코딩하도록 구성되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(43, 44, 240) 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터(244), 및/또는
상기 데이터 스트림을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 107 항에 있어서,
각각의 개별적으로 액세스 가능한 부분 및 각각의 개별적으로 액세스 가능한 하위 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 뉴럴 네트워크의 표현을 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되, 그리고 상기 데이터 스트림(45)이 사전 결정된 부분 내에서 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 상기 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 더 구조화되도록 뉴럴 네트워크(10)의 표현을 상기 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(43, 44, 240) 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터(244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 109 항에 있어서,
각각의 개별적으로 액세스 가능한 부분 및 각각의 개별적으로 액세스 가능한 하위 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 뉴럴 네트워크의 표현을 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 제 85 항 내지 제 110 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크(10)의 표현을 데이터 스트림으로 인코딩하도록 구성되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 표시하는 처리 옵션 파라미터(250)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 111 항에 있어서,
상기 처리 옵션 파라미터(250)는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 샘플 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 채널 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 분류 카테고리 방식 병렬 처리 능력; 및/또는
동일한 뉴럴 네트워크 부분에 관한 것이지만 계층화된 방식으로 상기 데이터 스트림(45)에 인코딩된 뉴럴 네트워크 버전(300)의 다른 버전에 속하는 상기 데이터 스트림(45)의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 뉴럴 네트워크 부분의 의존도
를 포함하는 사전 결정된 처리 옵션(252) 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 표시하는,
장치. - 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 표시하는 처리 옵션 파라미터(250)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 113 항에 있어서,
상기 처리 옵션 파라미터(250)는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 샘플 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 채널 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 분류 카테고리 방식 병렬 처리 능력; 및/또는
동일한 뉴럴 네트워크 부분에 관한 것이지만 계층화된 방식으로 상기 데이터 스트림(45)에 인코딩된 뉴럴 네트워크 버전(300)의 다른 버전에 속하는 상기 데이터 스트림(45)의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 뉴럴 네트워크 부분의 의존도
를 포함하는 사전 결정된 처리 옵션(252) 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 표시하는,
장치. - 제 85 항 내지 제 114 항 중 어느 한 항에 있어서,
뉴럴 네트워크 파라미터(32)는 양자화 지수(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되도록 뉴럴 네트워크를 나타내는 인코딩된 뉴럴 네트워크 파라미터(32)를 데이터 스트림(45)으로 인코딩하도록 구성되고, 상기 뉴럴 네트워크 파라미터(32)는 상기 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터(32)가 상이하게 양자화(260)되도록 상기 데이터 스트림(45)으로 인코딩되고, 상기 장치는 상기 뉴럴 네트워크 부분의 각각에 대해 상기 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하는 데이터 스트림(45)을 제공하도록 구성하는,
장치. - 뉴럴 네트워크 파라미터(32)가 양자화 지수(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되도록, 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)를 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
상기 뉴럴 네트워크 파라미터(32)는 상기 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터(32)가 상이하게 양자화(260)되도록 상기 데이터 스트림(45)으로 인코딩되고, 상기 장치는 상기 뉴럴 네트워크 부분의 각각에 대해, 상기 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하는 데이터 스트림(45)을 제공하도록 구성되는,
장치. - 제 115 항 또는 제 116 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30) 및/또는 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층이 세분화되는 계층 부분을 포함하는,
장치. - 제 115 항 내지 제 117 항 중 어느 한 항에 있어서,
제 2 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 2 재구성 규칙(2702, 270a2)에 대해 델타 코딩된 방식으로 제 1 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 1 재구성 규칙(2701, 270a1)을 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 제 118 항에 있어서,
상기 장치는 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한 제 1 지수 값 및 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한 제 2 지수 값을 상기 데이터 스트림(45)으로 인코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 베이시스의 지수에 의해 정의된 제 1 양자화 단계 크기(263) 및 상기 제 1 지수 값에 의해 정의된 제 1 지수에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 베이시스의 지수에 의해 정의된 제 2 양자화 단계 크기(263)와 제 1 및 제 2 지수 값에 대한 합에 의해 정의된 제 2 지수에 의해 정의되는,
장치. - 제 119 항에 있어서,
상기 데이터 스트림은 사전 결정된 베이시스를 추가로 표시하는,
장치. - 제 115 항 내지 제 118 항 중 어느 한 항에 있어서,
상기 장치는 제 1 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한 제 1 지수 값 및 제 2 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한 제 2 지수 값을 데이터 스트림으로 인코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 1 양자화 단계 크기(263) 및 상기 제 1 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 1 지수에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 2 양자화 단계 크기(263) 및 상기 제 2 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 2 지수에 의해 정의되는,
장치. - 제 121 항에 있어서,
상기 데이터 스트림은 사전 결정된 베이시스를 추가로 표시하는,
장치. - 제 122 항에 있어서,
상기 데이터 스트림은 뉴럴 네트워크 범위에서 상기 사전 결정된 베이시스를 표시하는,
장치. - 제 121 항 내지 제 123 항 중 어느 한 항에 있어서,
상기 데이터 스트림은 사전 결정된 지수 값을 추가로 표시하는,
장치. - 제 125 항에 있어서,
상기 데이터 스트림은 뉴럴 네트워크 계층(210, 30) 범위에서 상기 사전 결정된 지수 값을 표시하는,
장치. - 제 124 항 또는 제 125 항에 있어서,
상기 데이터 스트림은 상기 사전 결정된 베이시스를 추가로 표시하고 상기 데이터 스트림은 상기 사전 결정된 베이시스가 상기 데이터 스트림에 의해 표시되는 범위보다 더 미세한 범위로 상기 사전 결정된 지수 값을 표시하는,
장치. - 제 119 항 내지 제 126 항 중 어느 한 항에 있어서,
비정수 형식의 인코딩된 사전 결정된 베이시스와, 정수 형식의 제 1 및 제 2 지수 값을 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 118 항 내지 제 127 항 중 어느 한 항에 있어서,
상기 장치는 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 1 파라미터 세트(264)와, 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 2 파라미터 세트(264)를 상기 데이터 스트림으로 인코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)만큼의 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되는,
장치. - 제 118 항 내지 제 128 항 중 어느 한 항에 있어서,
상기 장치는 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 1 파라미터 세트(264)와, 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 2 파라미터 세트(264)를 상기 데이터 스트림으로 인코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 방식으로 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑(365)만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되는,
장치. - 제 129 항에 있어서,
상기 데이터 스트림은 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)을 추가로 표시하는,
장치. - 제 130 항에 있어서,
상기 데이터 스트림은 뉴럴 네트워크 범위에서 또는 뉴럴 네트워크 계층(210, 30) 범위에서 상기 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)을 표시하는,
장치. - 제 128 항 내지 제 131 항 중 어느 한 항에 있어서,
사전 결정된 방식에 따라,
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 제 1 재구성 레벨로의 각각의 인덱스 값(32'')의 매핑은 존재한다면, 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라, 제 2 재구성 레벨로의 각각의 인덱스 값(32'')의 매핑에 의해 대체되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값(32'')이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값(32'')에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값(32'')에 대해, 각각의 인덱스 값(32'')으로부터 대응하는 재구성 레벨로의 매핑이 채택되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값(32'')이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값(32'')에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값(32'')에 대해, 각각의 인덱스 값(32'')으로부터 대응하는 재구성 레벨로의 매핑이 채택되는,
장치. - 제 115 항 내지 제 132 항 중 어느 한 항에 있어서,
사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)을 표시하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262) 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 상기 데이터 스트림(45)으로 인코딩하도록 구성되며,
여기서, 상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되는,
장치. - 뉴럴 네트워크 파라미터(32)는 양자화 인덱스(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되도록 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)를 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
상기 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 표시하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262), 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 상기 데이터 스트림(45)에 제공하도록 구성되고,
여기서, 상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되는,
장치. - 제 133 항 또는 제 134 항에 있어서,
상기 사전 결정된 인덱스 간격(268)은 0을 포함하는,
장치. - 제 135 항에 있어서,
상기 사전 결정된 인덱스 간격(268)은 사전 결정된 크기 임계값까지 확장되고, 상기 사전 결정된 크기 임계값을 초과하는 양자화 인덱스(32'')는 양자화 인덱스 대 재구성 레벨 매핑(265)이 역양자화(280)에 사용된다는 것을 표시하는 이스케이프 코드를 나타내는,
장치. - 제 133 항 내지 제 136 항 중 어느 한 항에 있어서,
상기 파라미터 세트(264)는 사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32')와 연관된 재구성 레벨의 리스트에 의해 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는,
장치. - 제 115 항 내지 제 137 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 하나 이상의 하위 부분 및/또는 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층을 포함하는,
장치. - 제 115 항 내지 제 138 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)을 개별적으로 액세스 가능한 부분(200)으로 구조화하도록 그리고 대응하는 뉴럴 네트워크 부분에 대한 뉴럴 네트워크 파라미터(32)를 각각의 개별적으로 액세스 가능한 부분으로 인코딩하도록 구성되는,
장치. - 제 139 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 139 항 또는 제 140 항에 있어서,
각각의 개별적으로 액세스 가능한 부분에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작되는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 상기 개별적으로 액세스 가능한 부분을 스킵하기 위한 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 139 항 내지 제 141 항 중 어느 한 항에 있어서,
각각의 뉴럴 네트워크 부분에 대해
전체적으로 뉴럴 네트워크와 관련된 데이터 스트림(45)의 메인 헤더 부분(47),
각각의 뉴럴 네트워크 부분이 그의 일부인 뉴럴 네트워크 계층(210)과 관련된 데이터 스트림의 뉴럴 네트워크 계층(210, 30) 관련 헤더 부분(110), 또는
각각의 뉴럴 네트워크 부분이 그의 일부인 뉴럴 네트워크 계층과 관련된 데이터 스트림의 뉴럴 네트워크 부분 특정 헤더 부분
에서, 각각의 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)의 표시를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 85 항 내지 제 142 항 중 어느 한 항에 있어서,
상기 데이터 스트림이 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하도록 구성되고, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록, 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 143 항 또는 제 144 항에 있어서,
상기 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 상기 각각의 사전 결정된 개별적으로 액세스 가능한 부분과 관련되는,
장치. - 제 143 항 내지 제 145 항 중 어느 한 항에 있어서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분의 컬렉션을 식별하기 위한 상위 레벨 식별 파라미터(310)를 상기 데이터 스트림(45)으로 인코딩하도록 구성되는,
장치. - 제 146 항에 있어서,
상기 상위 레벨 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 상기 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분의 식별 파라미터(310)와 관련되는,
장치. - 제 143 항 내지 제 147 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩(600) 및 컨텍스트 초기화를 사용하여 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 143 항 내지 제 148 항 중 어느 한 항에 있어서,
각각의 개별적으로 액세스 가능한 부분에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 143 항 내지 제 149 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 하나 이상의 하위 부분 및/또는 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층(210, 30)을 포함하는,
장치. - 제 85 항 내지 제 150 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크의 상이한 버전(330)이 상기 데이터 스트림(45)으로 인코딩되도록 그리고 상기 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련됨 - 으로 구조화되도록 계층화된 방식으로 뉴럴 네트워크의 표현을 데이터 스트림(45)으로 인코딩하도록 구성되며, 상기 장치는,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 코딩되고, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분(332)의 형태로,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)의 대응하는 뉴럴 네트워크 부분(334)의 실행에 더해서 실행되고,
여기서, 각각의 보상 뉴럴 네트워크 부분(332) 및 대응하는 뉴럴 네트워크 부분(334)의 출력(336)은 합산(338)되는,
제 1 부분으로 인코딩된 뉴럴 네트워크의 제 1 버전(3302)을 인코딩하도록 구성되는,
장치. - 뉴럴 네트워크의 상이한 버전(330)이 데이터 스트림(45)으로 인코딩되도록 그리고 상기 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 버전과 관련됨 - 으로 구조화되도록 계층화된 방식으로 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 코딩되고, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분(332)의 형태로,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)의 대응하는 뉴럴 네트워크 부분(334)의 실행에 더해서 실행되고,
여기서, 각각의 보상 뉴럴 네트워크 부분(332) 및 대응하는 뉴럴 네트워크 부분(334)의 출력(336)은 합산(338)되는,
제 1 부분으로 뉴럴 네트워크의 제 1 버전(3302)을 인코딩하도록 구성되는,
장치. - 제 151 항 또는 제 152 항에 있어서,
상기 뉴럴 네트워크의 제 2 버전(3301)을 상기 데이터 스트림의 제 2 부분으로 인코딩하도록 구성되고,
가중값 및/또는 편향값 차이, 및/또는
추가 뉴런(14, 18, 20) 또는 뉴런 상호 연결(22, 24)
의 측면에서 제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 코딩된 뉴럴 네트워크의 제 1 버전(3302)을 상기 데이터 스트림의 제 1 부분으로 인코딩하도록 구성되는,
장치. - 제 151 항 내지 제 153 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 151 항 내지 제 154 항 중 어느 한 항에 있어서,
개별적으로 액세스 가능한 부분 각각에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 151 항 내지 제 155 항 중 어느 한 항에 있어서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 85 항 내지 제 156 항 중 어느 한 항에 있어서,
데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하도록 구성되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 데이터 스트림(45)이 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 상기 데이터 스트림(45)에 제공하도록 구성되는,
장치. - 제 157 항 또는 제 158 항에 있어서,
상기 데이터 스트림(45)은 상기 보충 데이터(350)를 상기 뉴럴 네트워크에 기초한 추론을 위해 불필요한 것으로서 표시하는,
장치. - 제 157 항 내지 제 159 항 중 어느 한 항에 있어서,
데이터 스트림이 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분이 대응하는 뉴럴 네트워크 부분에 관한 대응하는 추가의 사전 결정된 개별적으로 액세스 가능한 부분을 포함하도록, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 추가의 개별적으로 액세스 가능한 부분(200)으로 인코딩하도록 구성되는,
장치. - 제 157 항 내지 제 160 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30) 및/또는 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층(210, 30)이 세분화되는 계층 부분을 포함하는,
장치. - 제 157 항 내지 제 161 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 인코딩하도록 구성되는,
장치. - 제 157 항 내지 제 162 항 중 어느 한 항에 있어서,
개별적으로 액세스 가능한 부분 각각에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 상기 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 상기 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림으로 인코딩하도록 구성되는,
장치. - 제 157 항 내지 제 163 항 중 어느 한 항에 있어서,
상기 보충 데이터(350)는
뉴럴 네트워크 파라미터(32)의 관련성 스코어 및/또는
뉴럴 네트워크 파라미터(32)의 섭동 견고성에 관한 것인,
장치. - 제 85 항 내지 제 164 항 중 어느 한 항에 있어서,
뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 것이며, 상기 장치는 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 상기 데이터 스트림(45)에 제공하도록 구성되고, 여기서 상기 제어 데이터 부분은 상기 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 상기 뉴럴 네트워크에 대한 정보를 제공하는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로 인코딩하기 위한 장치로서,
제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 상기 데이터 스트림(45)에 제공하도록 구성되고, 여기서 상기 제어 데이터 부분은 상기 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 상기 뉴럴 네트워크에 대한 정보를 제공하는,
장치. - 제 165 항 또는 제 166 항에 있어서,
상기 제어 데이터 부분(420)의 적어도 일부는 부분적으로 중복되는 뉴럴 네트워크에 대한 정보를 제공하는,
장치. - 제 165 항 내지 제 167 항 중 어느 한 항에 있어서,
제 1 제어 데이터 부분은 디폴트 설정을 암시하는 디폴트 뉴럴 네트워크 유형을 표시함으로써 뉴럴 네트워크에 대한 정보를 제공하고, 제 2 제어 데이터 부분은 디폴트 설정 각각을 표시하는 파라미터를 포함하는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 뉴럴 네트워크의 뉴런 상호접속(22, 24)을 정의하는 뉴럴 네트워크 파라미터(32)가 상기 데이터 스트림(45)으로 인코딩되는 코딩 순서(104)를 표시하는 직렬화 파라미터(102)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 169 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)를 컨텍스트 적응 산술 코딩을 사용하여 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 169 항 또는 제 170 항에 있어서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고,
사전 결정된 뉴럴 네트워크 계층 내에서 상기 뉴럴 네트워크의 뉴런 상호연결(22, 24)을 정의하는 뉴럴 네트워크 파라미터를 상기 데이터 스트림(45)으로부터 직렬로 디코딩하고, 그리고 상기 코딩 순서(104)를 사용하여 상기 데이터 스트림(45)으로부터 직렬로 디코딩된 뉴럴 네트워크 파라미터를 뉴런 상호연결(22, 24)에 할당하도록 구성되는,
장치. - 제 169 항 내지 제 171 항 중 어느 한 항에 있어서,
상기 직렬화 파라미터(102)는 n개의 코딩 순서(104)의 세트(108) 중 코딩 순서(104)를 표시하는 n진 파라미터인,
장치. - 제 172 항에 있어서,
상기 n개의 코딩 순서(104)의 세트(108)는
상기 사전 결정된 코딩 순서가 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층(210, 30)을 기술하는 텐서(30)의 차원(30)을 횡단하는 순서가 다른 제 1 사전 결정된 코딩 순서(1061); 및/또는
상기 사전 결정된 코딩 순서가 상기 뉴럴 네트워크의 스케일러블 코딩을 위해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층(210, 30)을 횡단하는 횟수(107)가 다른 제 2 사전 결정된 코딩 순서(1062); 및/또는
상기 사전 결정된 코딩 순서가 상기 뉴럴 네트워크의 뉴럴 네트워크 계층을 횡단하는 순서가 다른 제 3 사전 결정된 코딩 순서(1063); 및/또는
상기 뉴럴 네트워크의 뉴럴 네트워크 계층의 뉴런(14, 18, 20)이 횡단하는 순서가 다른 제 4 사전 결정된 코딩 순서(1064)를 포함하는,
장치. - 제 169 항 내지 제 173 항 중 어느 한 항에 있어서,
상기 직렬화 파라미터(102)는 코딩 순서(104)가 디폴트 순서에 대해 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 순열시키는 데 사용하는 순열을 표시하는,
장치. - 제 174 항에 있어서,
상기 순열은 상기 뉴럴 네트워크 파라미터(32)가 상기 코딩 순서(104)를 따라 단조 증가하거나 상기 코딩 순서(104)를 따라 단조 감소하도록 하는 방식으로 상기 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 정렬하는,
장치. - 제 174 항에 있어서,
상기 순열은 상기 직렬화 파라미터(102)에 의해 시그널링 가능한 사전 결정된 코딩 순서 중에서 상기 뉴럴 네트워크 파라미터(32)를 상기 데이터 스트림(45)으로 코딩하기 위한 비트레이트가 상기 직렬화 파라미터(102)에 의해 표시된 순열에 대해 가장 낮도록 하는 방식으로 상기 뉴럴 네트워크 계층(210, 30)의 뉴런(14, 18, 20)을 정렬하는,
장치. - 제 169 항 내지 제 176 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 가중값 및 편향값을 포함하는,
장치. - 제 169 항 내지 제 177 항 중 어느 한 항에 있어서,
후속 하위 부분이 상기 코딩 순서(104)에 의해 횡단되기 전에 각각의 하위 부분(43, 44, 240)이 코딩 순서(104)에 의해 완전히 횡단되도록, 상기 데이터 스트림이 구조화되는 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 을 데이터 스트림으로부터 디코딩하도록 구성되는,
장치. - 제 171 항 내지 제 178 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 파라미터(32)는 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43, 44, 240)의 시작에서 컨텍스트 적응 산술 코딩(600)을 사용하고 컨텍스트 초기화를 사용하여 상기 데이터 스트림으로부터 디코딩되는,
장치. - 제 171 항 내지 제 179 항 중 어느 한 항에 있어서,
각각의 개별적으로 액세스 가능한 부분(200) 또는 하위 부분(43, 44, 240)이 시작하는 시작 코드(242), 및/또는 각각의 개별적으로 액세스 가능한 부분 또는 하위 부분의 시작을 가리키는 포인터(220, 244), 및/또는 데이터 스트림을 파싱할 때 개별적으로 액세스 가능한 부분 또는 하위 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분 또는 하위 부분의 포인터 데이터 스트림 길이(246)를 상기 데이터 스트림으로부터 디코딩하도록 구성되는,
장치. - 제 169 항 내지 제 180 항 중 어느 한 항에 있어서,
추론을 위해 뉴럴 네트워크(10)를 사용할 때 상기 뉴럴 네트워크 파라미터(32)가 표현될 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 상기 데이터 스트림으로부터 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림으로 인코딩된 뉴럴 네트워크의 뉴럴 네트워크 파라미터(32)가 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 표현되는 비트 크기 및 수치 표현을 표시하는 수치 계산 표현 파라미터(120)를 상기 데이터 스트림(45)으로부터 디코딩하도록 그리고 상기 데이터 스트림(45)으로부터 디코딩된 뉴럴 네트워크 파라미터(32)를 표시하기 위한 수치 계산 표현 및 비트 크기를 사용하도록 구성되는,
장치. - 제 169 항 내지 제 182 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 후속의 개별적으로 액세스 가능한 하위 부분이 코딩 순서(104)에 의해 횡단되기 전에 각각의 개별적으로 액세스 가능한 하위 부분이 코딩 순서(104)에 의해 완전히 횡단되도록, 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 개별적으로 액세스 가능한 하위 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 사전 결정된 개별적으로 액세스 가능한 하위 부분에 대해 상기 뉴럴 네트워크 파라미터 및 사전 결정된 개별적으로 액세스 가능한 하위 부분으로부터 디코딩된 뉴럴 네트워크 파라미터의 파라미터 유형을 표시하는 유형 파라미터를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 183 항에 있어서,
상기 유형 파라미터는 적어도 뉴럴 네트워크 가중값과 뉴럴 네트워크 편향값 사이를 구별하는,
장치. - 제 169 항 내지 제 184 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 상기 장치는 사전 결정된 뉴럴 네트워크 계층에 대해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터(130)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 상기 장치는 사전 결정된 뉴럴 네트워크 계층(210, 30)에 대해 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터(130)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 185 항 또는 제 186 항에 있어서,
상기 뉴럴 네트워크 계층 유형 파라미터(130)는 적어도 완전-연결된 계층 유형과 컨볼루션 계층 유형 사이를 구별하는,
장치. - 제 169 항 내지 제 187 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 240)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 188 항 또는 제 189 항에 있어서,
각각의 개별적으로 액세스 가능한 부분은
상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210) 또는
상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210)의 뉴럴 네트워크 부분(43, 44, 240)을 나타내는,
장치. - 제 169 항 내지 제 190 항 중 어느 한 항에 있어서,
뉴럴 네트워크(10)의 표현을 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 사전 결정된 부분 내에서 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 상기 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층(210, 30)의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 더 구조화되고, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(43, 44, 240) 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터(244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 191 항에 있어서,
각각의 개별적으로 액세스 가능한 부분 및 각각의 개별적으로 액세스 가능한 하위 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 뉴럴 네트워크의 표현을 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림(45)은 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층(210, 30)을 나타냄 - 으로 구조화되고, 상기 데이터 스트림(45)은 사전 결정된 부분 내에서 개별적으로 액세스 가능한 하위 부분(43, 44, 240) - 각각의 하위 부분(43, 44, 240)은 상기 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 더 구조화되고, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분(43, 44, 240) 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드(242), 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터(244), 및/또는
상기 데이터 스트림(45)을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 193 항에 있어서,
각각의 개별적으로 액세스 가능한 부분 및 각각의 개별적으로 액세스 가능한 하위 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 뉴럴 네트워크의 표현을 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 169 항 내지 제 194 항 중 어느 한 항에 있어서,
뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 표시하는 처리 옵션 파라미터(250)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 195 항에 있어서,
상기 처리 옵션 파라미터(250)는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 샘플 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 채널 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 분류 카테고리 방식 병렬 처리 능력; 및/또는
동일한 뉴럴 네트워크 부분에 관한 것이지만 계층화된 방식으로 상기 데이터 스트림(45)에 인코딩된 뉴럴 네트워크 버전(300)의 다른 버전에 속하는 상기 데이터 스트림(45)의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 뉴럴 네트워크 부분의 의존도
를 포함하는 사전 결정된 처리 옵션(252) 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 표시하는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 추론을 위해 상기 뉴럴 네트워크(10)를 사용할 때 사용되거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션(252)을 표시하는 처리 옵션 파라미터(250)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 197 항에 있어서,
상기 처리 옵션 파라미터(250)는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 병렬 처리 능력; 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 샘플 방식 병렬 처리 능력(2522); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 채널 방식 병렬 처리 능력(2521); 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 부분의 분류 카테고리 방식 병렬 처리 능력; 및/또는
동일한 뉴럴 네트워크 부분에 관한 것이지만 계층화된 방식으로 상기 데이터 스트림(45)에 인코딩된 뉴럴 네트워크 버전(300)의 다른 버전에 속하는 상기 데이터 스트림(45)의 다른 개별적으로 액세스 가능한 부분으로부터 얻은 계산 결과에 대한 각각의 사전 결정된 개별적으로 액세스 가능한 부분으로 표시되는 뉴럴 네트워크 부분의 의존도
를 포함하는 사전 결정된 처리 옵션(252) 세트 중 하나 이상의 사용 가능한 처리 옵션(252)을 표시하는,
장치. - 제 169 항 내지 제 198 항 중 어느 한 항에 있어서,
뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)를 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 상기 뉴럴 네트워크 파라미터(32)는 양자화 지수(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되고, 상기 뉴럴 네트워크 파라미터(32)는 상기 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터(32)가 상이하게 양자화(260)되도록 상기 데이터 스트림(45)으로 인코딩되고, 상기 장치는 상기 뉴럴 네트워크 부분의 각각에 대해 상기 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 데이터 스트림(45)으로부터 디코딩하도록 구성하는,
장치. - 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)를 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 뉴럴 네트워크 파라미터(32)는 양자화 지수(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되고, 상기 뉴럴 네트워크 파라미터(32)는 상기 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터(32)가 상이하게 양자화(260)되도록 상기 데이터 스트림(45)으로 인코딩되고, 상기 장치는 상기 뉴럴 네트워크 부분의 각각에 대해, 상기 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 199 항 또는 제 200 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30) 및/또는 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층이 세분화되는 계층 부분을 포함하는,
장치. - 제 199 항 내지 제 201 항 중 어느 한 항에 있어서,
제 2 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 2 재구성 규칙(2702, 270a2)에 대해 델타 코딩된 방식으로 제 1 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 1 재구성 규칙(2701, 270a1)을 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 202 항에 있어서,
제 1 재구성 규칙(2701, 270a1)을 표시하기 위한 제 1 지수 값 및 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한 제 2 지수 값을 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 베이시스의 지수에 의해 정의된 제 1 양자화 단계 크기(263) 및 상기 제 1 지수 값에 의해 정의된 제 1 지수에 의해 정의되고,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 베이시스의 지수에 의해 정의된 제 2 양자화 단계 크기(263)와 제 1 및 제 2 지수 값에 대한 합에 의해 정의된 제 2 지수에 의해 정의되는,
장치. - 제 203 항에 있어서,
상기 데이터 스트림은 사전 결정된 베이시스를 추가로 표시하는,
장치. - 제 199 항 내지 제 202 항 중 어느 한 항에 있어서,
제 1 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 1 재구성 규칙(2701, 270a1)을 표시하기 위한 제 1 지수 값 및 제 2 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한 제 2 지수 값을 데이터 스트림(45)으로부터 디코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 1 양자화 단계 크기(263) 및 상기 제 1 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 1 지수에 의해 정의되고,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 베이시스의 지수화에 의해 정의된 제 2 양자화 단계 크기(263) 및 상기 제 2 지수 값과 사전 결정된 지수 값에 대한 합에 의해 정의되는 제 2 지수에 의해 정의되는,
장치. - 제 205 항에 있어서,
상기 데이터 스트림은 사전 결정된 베이시스를 추가로 표시하는,
장치. - 제 206 항에 있어서,
상기 데이터 스트림은 뉴럴 네트워크 범위에서 상기 사전 결정된 베이시스를 표시하는,
장치. - 제 205 항 내지 제 207 항 중 어느 한 항에 있어서,
상기 데이터 스트림은 사전 결정된 지수 값을 추가로 표시하는,
장치. - 제 208 항에 있어서,
상기 데이터 스트림은 뉴럴 네트워크 계층(210, 30) 범위에서 상기 사전 결정된 지수 값을 표시하는,
장치. - 제 208 항 또는 제 209 항에 있어서,
상기 데이터 스트림은 상기 사전 결정된 베이시스를 추가로 표시하고 상기 데이터 스트림은 상기 사전 결정된 베이시스가 상기 데이터 스트림에 의해 표시되는 범위보다 더 미세한 범위로 상기 사전 결정된 지수 값을 표시하는,
장치. - 제 203 항 내지 제 210 항 중 어느 한 항에 있어서,
비정수 형식의 인코딩된 사전 결정된 베이시스와, 정수 형식의 제 1 및 제 2 지수 값을 상기 데이터 스트림으로부터 디코딩하도록 구성되는,
장치. - 제 202 항 내지 제 211 항 중 어느 한 항에 있어서,
제 1 재구성 규칙(2701, 270a1)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 1 파라미터 세트(264)와, 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 2 파라미터 세트(264)를 상기 데이터 스트림으로부터 디코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)만큼의 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되는,
장치. - 제 202 항 내지 제 212 항 중 어느 한 항에 있어서,
제 1 재구성 규칙(2701, 270a1)을 표시하기 위한, 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 1 파라미터 세트(264)와, 제 2 재구성 규칙(2702, 270a2)을 표시하기 위한, 제 2 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 제 2 파라미터 세트(264)를 상기 데이터 스트림으로부터 디코딩하도록 구성되고,
상기 제 1 재구성 규칙(2701, 270a1)은 사전 결정된 방식으로 제 1 양자화 인덱스 대 재구성 레벨 매핑(265)만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되며,
상기 제 2 재구성 규칙(2702, 270a2)은 사전 결정된 방식으로 제 2 양자화 인덱스 대 재구성 레벨 매핑(365)만큼의 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)의 확장에 의해 정의되는,
장치. - 제 213 항에 있어서,
상기 데이터 스트림은 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)을 추가로 표시하는,
장치. - 제 214 항에 있어서,
상기 데이터 스트림은 뉴럴 네트워크 범위에서 또는 뉴럴 네트워크 계층(210, 30) 범위에서 상기 사전 결정된 양자화 인덱스 대 재구성 레벨 매핑(265)을 표시하는,
장치. - 제 212 항 내지 제 215 항 중 어느 한 항에 있어서,
사전 결정된 방식에 따라,
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 제 1 재구성 레벨로의 각각의 인덱스 값(32'')의 매핑은 존재한다면, 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라, 제 2 재구성 레벨로의 각각의 인덱스 값(32'')의 매핑에 의해 대체되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값(32'')이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값(32'')에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값(32'')에 대해, 각각의 인덱스 값(32'')으로부터 대응하는 재구성 레벨로의 매핑이 채택되고, 및/또는
확장될 양자화 인덱스 대 재구성 레벨 매핑을 확장하는 양자화 인덱스 대 재구성 레벨 매핑에 따라 각각의 인덱스 값(32'')이 매핑되어야 하는 재구성 레벨이 정의되지 않은 인덱스 값(32'')에 대해 그리고 확장될 양자화 인덱스 대 재구성 레벨 매핑에 따라 대응하는 재구성 레벨로 매핑되는 인덱스 값(32'')에 대해, 각각의 인덱스 값(32'')으로부터 대응하는 재구성 레벨로의 매핑이 채택되는,
장치. - 제 199 항 내지 제 216 항 중 어느 한 항에 있어서,
사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)을 표시하기 위해,
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262) 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 상기 데이터 스트림으로부터 디코딩하도록 구성되며,
여기서, 상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되는,
장치. - 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터(32)를 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 뉴럴 네트워크 파라미터(32)는 양자화 인덱스(32'')로 양자화(260)된 방식으로 데이터 스트림(45)으로 인코딩되고, 상기 장치는
양자화 단계 크기(263)를 표시하는 양자화 단계 크기 파라미터(262), 및
양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는 파라미터 세트(264)
를 상기 데이터 스트림(45)으로부터 디코딩함으로써 상기 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)을 상기 데이터 스트림(32)으로부터 도출하도록 구성되고,
여기서, 상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙(270)은
사전 결정된 인덱스 간격(268) 내에 있는 양자화 인덱스(32'')에 대한 양자화 단계 크기(263), 및
사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32'')에 대한 양자화 인덱스 대 재구성 레벨 매핑(265)에 의해 정의되는,
장치. - 제 217 항 또는 제 218 항에 있어서,
상기 사전 결정된 인덱스 간격(268)은 0을 포함하는,
장치. - 제 219 항에 있어서,
상기 사전 결정된 인덱스 간격(268)은 사전 결정된 크기 임계값까지 확장되고, 상기 사전 결정된 크기 임계값을 초과하는 양자화 인덱스(32'')는 양자화 인덱스 대 재구성 레벨 매핑(265)이 역양자화(280)에 사용된다는 것을 표시하는 이스케이프 코드를 나타내는,
장치. - 제 217 항 내지 제 220 항 중 어느 한 항에 있어서,
상기 파라미터 세트(264)는 사전 결정된 인덱스 간격(268) 외부에 있는 양자화 인덱스(32')와 연관된 재구성 레벨의 리스트에 의해 양자화 인덱스 대 재구성 레벨 매핑(265)을 정의하는,
장치. - 제 199 항 내지 제 221 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 하나 이상의 하위 부분 및/또는 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층을 포함하는,
장치. - 제 119 항 내지 제 222 항 중 어느 한 항에 있어서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200)으로 구조화되고, 상기 장치는 대응하는 뉴럴 네트워크 부분에 대한 뉴럴 네트워크 파라미터(32)를 각각의 개별적으로 액세스 가능한 부분으로부터 디코딩하도록 구성되는,
장치. - 제 223 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 223 항 또는 제 224 항에 있어서,
각각의 개별적으로 액세스 가능한 부분에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작되는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 상기 개별적으로 액세스 가능한 부분을 스킵하기 위한 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림(45)으로부터 판독하도록 구성되는,
장치. - 제 223 항 내지 제 225 항 중 어느 한 항에 있어서,
각각의 뉴럴 네트워크 부분에 대해
전체적으로 뉴럴 네트워크와 관련된 데이터 스트림(45)의 메인 헤더 부분(47),
각각의 뉴럴 네트워크 부분이 그의 일부인 뉴럴 네트워크 계층(210)과 관련된 데이터 스트림(45)의 뉴럴 네트워크 계층(210, 30) 관련 헤더 부분(110), 또는
각각의 뉴럴 네트워크 부분이 그의 일부인 뉴럴 네트워크 계층과 관련된 데이터 스트림(45)의 뉴럴 네트워크 부분 특정 헤더 부분
에서 각각의 뉴럴 네트워크 부분에 관한 뉴럴 네트워크 파라미터(32)를 역양자화(280)하기 위한 재구성 규칙(270)의 표시를 상기 데이터 스트림(45)으로부터 판독하도록 구성되는,
장치. - 제 169 항 내지 제 226 항 중 어느 한 항에 있어서,
뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 227 항 또는 제 228 항에 있어서,
상기 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 상기 각각의 사전 결정된 개별적으로 액세스 가능한 부분과 관련되는,
장치. - 제 227 항 내지 제 229 항 중 어느 한 항에 있어서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분의 컬렉션을 식별하기 위한 상위 레벨 식별 파라미터(310)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 230 항에 있어서,
상기 상위 레벨 식별 파라미터(310)는 해시 함수 또는 오류 검출 코드 또는 오류 정정 코드를 통해 상기 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분의 식별 파라미터(310)와 관련되는,
장치. - 제 227 항 내지 제 231 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 227 항 내지 제 232 항 중 어느 한 항에 있어서,
각각의 개별적으로 액세스 가능한 부분에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림으로부터 판독하도록 구성되는,
장치. - 제 227 항 내지 제 233 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30)의 하나 이상의 하위 부분 및/또는 상기 뉴럴 네트워크의 하나 이상의 뉴럴 네트워크 계층을 포함하는,
장치. - 제 169 항 내지 제 234 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크의 상이한 버전(330)이 상기 데이터 스트림(45)으로 인코딩되도록 그리고 상기 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련됨 - 으로 구조화되도록 계층화된 방식으로 인코딩된 뉴럴 네트워크의 표현을 데이터 스트림(45)으로부터 디코딩하도록 구성되며,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대한 델타 디코딩을 이용함으로써, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분(332)을 상기 데이터 스트림(45)으로부터 디코딩함으로써,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)의 대응하는 뉴럴 네트워크 부분(334)의 실행에 더해서 실행되고,
여기서 각각의 보상 뉴럴 네트워크 부분(332) 및 대응하는 뉴럴 네트워크 부분(334)의 출력(336)은 합산되는,
제 1 부분으로부터 인코딩된 뉴럴 네트워크의 제 1 버전(3302)을 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크의 상이한 버전(330)이 데이터 스트림(45)으로 인코딩되도록 그리고 상기 데이터 스트림(45)이 하나 이상의 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 상기 뉴럴 네트워크(10)의 대응하는 버전(330)과 관련됨 - 으로 구조화되도록 계층화된 방식으로 인코딩된 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대한 델타 디코딩을 이용함으로써, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전(3302)에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분(332)을 상기 데이터 스트림(45)으로부터 디코딩함으로써,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)의 대응하는 뉴럴 네트워크 부분(334)의 실행에 더해서 실행되고,
여기서 각각의 보상 뉴럴 네트워크 부분(332) 및 대응하는 뉴럴 네트워크 부분(334)의 출력(336)은 합산되는,
제 1 부분으로부터 뉴럴 네트워크의 제 1 버전(3302)을 디코딩하도록 구성되는,
장치. - 제 235 항 또는 제 236 항에 있어서,
상기 뉴럴 네트워크의 제 2 버전(3301)을 데이터 스트림(45)의 제 2 부분으로 인코딩하도록 구성되고,
가중값 및/또는 편향값 차이, 및/또는
추가 뉴런(14, 18, 20) 또는 뉴런 상호 연결(22, 24)
의 측면에서 제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전(3301)에 대해 델타 디코딩된 뉴럴 네트워크의 제 1 버전(3302)을 상기 데이터 스트림의 제 1 부분으로부터 디코딩하도록 구성되는,
장치. - 제 235 항 내지 제 237 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 235 항 내지 제 238 항 중 어느 한 항에 있어서,
개별적으로 액세스 가능한 부분 각각에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 235 항 내지 제 239 항 중 어느 한 항에 있어서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터(310)를 상기 데이터 스트림으로부터 디코딩하도록 구성되는,
장치. - 제 169 항 내지 제 240 항 중 어느 한 항에 있어서,
뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
상기 데이터 스트림(45)은 개별적으로 액세스 가능한 부분(200) - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 장치는 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200) 각각에 대해 상기 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되는,
장치. - 제 241 항 또는 제 242 항에 있어서,
상기 데이터 스트림(45)은 상기 보충 데이터(350)를 상기 뉴럴 네트워크에 기초한 추론을 위해 불필요한 것으로서 표시하는,
장치. - 제 241 항 내지 제 243 항 중 어느 한 항에 있어서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분(200)에 대해 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터(350)를 추가의 개별적으로 액세스 가능한 부분으로부터 디코딩하도록 구성되고, 상기 데이터 스트림(45)은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 각각의 사전 결정된 개별적으로 액세스 가능한 부분이 대응하는 뉴럴 네트워크에 관련된 대응하는 추가의 사전 결정된 개별적으로 액세스 가능한 부분을 포함하는,
장치. - 제 241 항 내지 제 244 항 중 어느 한 항에 있어서,
상기 뉴럴 네트워크 부분은 상기 뉴럴 네트워크의 뉴럴 네트워크 계층(210, 30) 및/또는 상기 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층이 세분화되는 계층 부분을 포함하는,
장치. - 제 241 항 내지 제 245 항 중 어느 한 항에 있어서,
상기 개별적으로 액세스 가능한 부분(200)을 각각의 개별적으로 액세스 가능한 부분의 시작에서 컨텍스트 적응 산술 코딩 및 컨텍스트 초기화를 사용하여 디코딩하도록 구성되는,
장치. - 제 241 항 내지 제 246 항 중 어느 한 항에 있어서,
개별적으로 액세스 가능한 부분 각각에 대해,
각각의 개별적으로 액세스 가능한 부분이 시작하는 시작 코드(242), 및/또는
각각의 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터(220, 244), 및/또는
상기 데이터 스트림을 파싱할 때 상기 각각의 개별적으로 액세스 가능한 부분을 스킵하기 위한 상기 각각의 개별적으로 액세스 가능한 부분의 데이터 스트림 길이(246)를 표시하는 데이터 스트림 길이 파라미터
를 상기 데이터 스트림으로부터 판독하도록 구성되는,
장치. - 제 241 항 내지 제 247 항 중 어느 한 항에 있어서,
상기 보충 데이터(350)는
뉴럴 네트워크 파라미터(32)의 관련성 스코어 및/또는
뉴럴 네트워크 파라미터(32)의 섭동 견고성에 관한 것인,
장치. - 제 169 항 내지 제 248 항 중 어느 한 항에 있어서,
뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 것이며, 상기 장치는 제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 여기서 상기 제어 데이터 부분은 상기 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 상기 뉴럴 네트워크에 대한 정보를 제공하는,
장치. - 뉴럴 네트워크(10)의 표현을 데이터 스트림(45)으로부터 디코딩하기 위한 장치로서,
제어 데이터 부분(420)의 시퀀스(410)로 구조화된 계층적 제어 데이터(400)를 상기 데이터 스트림(45)으로부터 디코딩하도록 구성되고, 여기서 상기 제어 데이터 부분은 상기 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 상기 뉴럴 네트워크에 대한 정보를 제공하는,
장치. - 제 249 항 또는 제 250 항에 있어서,
상기 제어 데이터 부분(420)의 적어도 일부는 부분적으로 중복되는 뉴럴 네트워크에 대한 정보를 제공하는,
장치. - 제 249 항 내지 제 251 항 중 어느 한 항에 있어서,
제 1 제어 데이터 부분은 디폴트 설정을 암시하는 디폴트 뉴럴 네트워크 유형을 표시함으로써 뉴럴 네트워크에 대한 정보를 제공하고, 제 2 제어 데이터 부분은 디폴트 설정 각각을 표시하는 파라미터를 포함하는,
장치. - 뉴럴 네트워크를 이용하여 추론을 수행하는 장치로서,
데이터 스트림(45)으로부터 뉴럴 네트워크를 도출하기 위해 제 169 항 내지 제 252 항 중 어느 한 항에 따른 데이터 스트림(45)을 디코딩하는 장치, 및
상기 뉴럴 네트워크에 기초하여 추론을 수행하도록 구성된 프로세서
를 포함하는, 장치. - 뉴럴 네트워크의 표현을 데이터 스트림(45)으로 인코딩하는 방법으로서,
뉴럴 네트워크의 뉴런 상호 연결을 정의하는 뉴럴 네트워크 파라미터가 데이터 스트림으로 인코딩되는 코딩 순서를 표시하는 직렬화 파라미터를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
데이터 스트림으로 인코딩된 뉴럴 네트워크의 뉴럴 네트워크 파라미터가 추론을 위해 뉴럴 네트워크를 사용할 때 표현될 수치 표현 및 비트 크기를 표시하는 수치 계산 표현 파라미터를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 데이터 스트림이 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되도록 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
사전 결정된 뉴럴 네트워크 계층에 대해, 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 데이터 스트림이 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되도록 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 데이터 스트림이 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되고, 그리고 데이터 스트림이 사전 결정된 부분 내에서, 개별적으로 액세스 가능한 하위 부분 - 각각의 하위 부분은 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 추가로 구조화되도록 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드, 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터, 및/또는
상기 데이터 스트림을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이를 표시하는 데이터 스트림 길이 파라미터
를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 데이터 스트림이 개별적으로 액세스 가능한 부분 - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되도록 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 추론을 위해 뉴럴 네트워크를 사용할 때 사용해야 하거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션을 표시하는 처리 옵션 파라미터를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 뉴럴 네트워크 파라미터가 양자화 지수로 양자화하는 방식으로 데이터 스트림으로 인코딩되도록 그리고 뉴럴 네트워크 파라미터가 데이터 스트림으로 인코딩되어 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터가 상이하게 양자화되도록, 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터를 데이터 스트림으로 인코딩하는 방법으로서,
뉴럴 네트워크 부분 각각에 대해 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터를 역양자화하기 위한 재구성 규칙을 표시하는 데이터 스트림을 제공하는 단계
를 포함하는, 방법. - 뉴럴 네트워크 파라미터가 양자화 인덱스로 양자화된 방식으로 데이터 스트림으로 인코딩되도록 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터를 데이터 스트림으로 인코딩하는 방법으로서,
뉴럴 네트워크 파라미터를 역양자화하기 위한 재구성 규칙을 표시하기 위해,
양자화 단계 크기를 표시하는 양자화 단계 크기 파라미터, 및
양자화 인덱스 대 재구성 레벨 매핑을 정의하는 파라미터 세트
를 상기 데이터 스트림에 제공하는 단계를 포함하고,
상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙은
사전 결정된 인덱스 간격 내에 있는 양자화 인덱스에 대한 양자화 단계 크기, 및
사전 결정된 인덱스 간격 외부에 있는 양자화 인덱스에 대한 양자화 인덱스 대 재구성 레벨 매핑
에 의해 정의되는, 방법. - 데이터 스트림이 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터를 데이터 스트림에 제공하는 단계
를 포함하는, 방법. - 뉴럴 네트워크의 상이한 버전이 데이터 스트림으로 인코딩되도록 그리고 데이터 스트림이 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 버전에 관련됨 - 으로 구조화되도록, 계층화된 방식으로 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전에 대해 델타 코딩되고, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분의 형태로,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전의 대응하는 뉴럴 네트워크 부분의 실행에 더해서 실행되고,
여기서 각각의 보상 뉴럴 네트워크 부분 및 대응하는 뉴럴 네트워크 부분의 출력은 합산되는,
제 1 부분으로 뉴럴 네트워크의 제 1 버전을 인코딩하는 단계를 포함하는,
방법, - 데이터 스트림이 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되도록 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터를 데이터 스트림에 제공하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로 인코딩하는 방법으로서,
제어 데이터 부분의 시퀀스로 구조화된 계층적 제어 데이터를 데이터 스트림에 제공하는 단계를 포함하고, 상기 제어 데이터 부분은 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 뉴럴 네트워크에 대한 정보를 제공하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
뉴럴 네트워크의 뉴럴 네트워크 상호연결을 정의하는 뉴럴 네트워크 파라미터가 데이터 스트림으로 인코딩되는 코딩 순서를 표시하는 직렬화 파라미터를 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 방법은 데이터 스트림으로 인코딩된 뉴럴 네트워크의 뉴럴 네트워크 파라미터가 추론을 위해 뉴럴 네트워크를 사용할 때 표현될 수치 표현 및 비트 크기를 표시하는 수치 계산 표현 파라미터를 데이터 스트림으로부터 디코딩하는 단계 및 상기 데이터 스트림으로부터 디코딩된 뉴럴 네트워크 파라미터(32)를 표시하기 위한 수치 계산 표현 및 비트 크기를 사용하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되고, 상기 방법은 사전 결정된 뉴럴 네트워크 계층에 대해, 뉴럴 네트워크의 사전 결정된 뉴럴 네트워크 계층의 뉴럴 네트워크 계층 유형을 표시하는 뉴럴 네트워크 계층 유형 파라미터를 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되고,
하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분의 시작을 가리키는 포인터를 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 데이터 스트림은 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되고, 상기 데이터 스트림은 사전 결정된 부분 내에서, 개별적으로 액세스 가능한 하위 부분 - 각각의 하위 부분은 뉴럴 네트워크의 각각의 뉴럴 네트워크 계층의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 추가로 구조화되고, 하나 이상의 사전 결정된 개별적으로 액세스 가능한 하위 부분 각각에 대해
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분이 시작하는 시작 코드, 및/또는
각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 시작을 가리키는 포인터, 및/또는
상기 데이터 스트림을 파싱할 때 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분을 스킵하기 위한 각각의 사전 결정된 개별적으로 액세스 가능한 하위 부분의 데이터 스트림 길이를 표시하는 데이터 스트림 길이 파라미터
를 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 데이터 스트림은 개별적으로 액세스 가능한 부분 - 각각의 개별적으로 액세스 가능한 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 계층을 나타냄 - 으로 구조화되고, 상기 방법은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 추론을 위해 뉴럴 네트워크를 사용할 때 사용해야 하거나 선택적으로 사용될 수 있는 하나 이상의 처리 옵션을 표시하는 처리 옵션 파라미터를 데이터 스트림으로부터 디코딩하는 단계를 포함하는
방법. - 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터를 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 뉴럴 네트워크 파라미터는 양자화 지수로 양자화하는 방식으로 데이터 스트림으로 인코딩되고 상기 뉴럴 네트워크 파라미터는 뉴럴 네트워크의 상이한 뉴럴 네트워크 부분의 뉴럴 네트워크 파라미터가 상이하게 양자화되도록 데이터 스트림으로 인코딩되고, 상기 방법은 뉴럴 네트워크 부분 각각에 대해 각각의 뉴럴 네트워크 부분과 관련된 뉴럴 네트워크 파라미터를 역양자화하기 위한 재구성 규칙을 표시하는 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크를 나타내는 뉴럴 네트워크 파라미터를 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 뉴럴 네트워크 파라미터는 양자화 인덱스로 양자화된 방식으로 데이터 스트림으로 인코딩되고,
양자화 단계 크기를 표시하는 양자화 단계 크기 파라미터, 및
양자화 인덱스 대 재구성 레벨 매핑을 정의하는 파라미터 세트를
상기 데이터 스트림으로부터 디코딩함으로써 뉴럴 네트워크 파라미터를 역양자화하기 위한 재구성 규칙을 상기 데이터 스트림으로부터 도출하는 단계를 포함하고,
상기 사전 결정된 뉴럴 네트워크 부분의 재구성 규칙은
사전 결정된 인덱스 간격 내에 있는 양자화 인덱스에 대한 양자화 단계 크기, 및
사전 결정된 인덱스 간격 외부에 있는 양자화 인덱스에 대한 양자화 인덱스 대 재구성 레벨 매핑에 의해 정의되는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 데이터 스트림은 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 방법은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해, 각각의 사전 결정된 개별적으로 액세스 가능한 부분을 식별하기 위한 식별 파라미터를 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 상이한 버전이 데이터 스트림으로 인코딩되도록 그리고 데이터 스트림이 하나 이상의 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 버전에 관련됨 - 으로 구조화되도록, 계층화된 방식으로 인코딩되는 데이터 스트림으로부터 뉴럴 네트워크의 표현을 디코딩하는 방법으로서,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전에 대해 델타 디코딩을 사용함으로써, 및/또는
각각은 상기 뉴럴 네트워크의 제 1 버전에 기초하여 추론을 수행하기 위한 것인 하나 이상의 보상 뉴럴 네트워크 부분을 상기 데이터 스트림으로부터 디코딩함으로써,
제 2 부분으로 인코딩된 뉴럴 네트워크의 제 2 버전의 대응하는 뉴럴 네트워크 부분의 실행에 더해서 실행되고,
여기서 각각의 보상 뉴럴 네트워크 부분 및 대응하는 뉴럴 네트워크 부분의 출력은 합산되는,
제 1 부분으로부터 뉴럴 네트워크의 제 1 버전을 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
상기 데이터 스트림은 개별적으로 액세스 가능한 부분 - 각각의 부분은 뉴럴 네트워크의 대응하는 뉴럴 네트워크 부분을 나타냄 - 으로 구조화되고, 상기 방법은 하나 이상의 사전 결정된 개별적으로 액세스 가능한 부분 각각에 대해 뉴럴 네트워크의 표현을 보충하기 위한 보충 데이터를 데이터 스트림으로부터 디코딩하는 단계를 포함하는,
방법. - 뉴럴 네트워크의 표현을 데이터 스트림으로부터 디코딩하는 방법으로서,
제어 데이터 부분의 시퀀스로 구조화된 계층적 제어 데이터를 데이터 스트림으로부터 디코딩하는 단계를 포함하고, 상기 제어 데이터 부분은 제어 데이터 부분의 시퀀스를 따라 증가하는 세부 사항에서 뉴럴 네트워크에 대한 정보를 제공하는,
방법. - 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 제 254 항 내지 제 277 항 중 어느 한 항의 방법을 수행하게 하는 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19200928.0 | 2019-10-01 | ||
| EP19200928 | 2019-10-01 | ||
| PCT/EP2020/077352 WO2021064013A2 (en) | 2019-10-01 | 2020-09-30 | Neural network representation formats |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220075407A true KR20220075407A (ko) | 2022-06-08 |
Family
ID=72709374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227014848A KR20220075407A (ko) | 2019-10-01 | 2020-09-30 | 뉴럴 네트워크 표현 형식 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220222541A1 (ko) |
| EP (1) | EP4038551A2 (ko) |
| JP (2) | JP2022551266A (ko) |
| KR (1) | KR20220075407A (ko) |
| CN (1) | CN114761970A (ko) |
| TW (2) | TW202134958A (ko) |
| WO (1) | WO2021064013A2 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022007503A (ja) * | 2020-06-26 | 2022-01-13 | 富士通株式会社 | 受信装置及び復号化方法 |
| US11729080B2 (en) * | 2021-05-12 | 2023-08-15 | Vmware, Inc. | Agentless method to automatically detect low latency groups in containerized infrastructures |
| US11728826B2 (en) * | 2021-05-24 | 2023-08-15 | Google Llc | Compression and decompression in hardware for data processing |
| JP2023103544A (ja) * | 2022-01-14 | 2023-07-27 | シャープ株式会社 | 動画像復号装置 |
| WO2024009967A1 (ja) * | 2022-07-05 | 2024-01-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置、復号方法、および符号化方法 |
-
2020
- 2020-09-30 WO PCT/EP2020/077352 patent/WO2021064013A2/en unknown
- 2020-09-30 TW TW109134251A patent/TW202134958A/zh unknown
- 2020-09-30 CN CN202080083494.8A patent/CN114761970A/zh active Pending
- 2020-09-30 EP EP20785494.4A patent/EP4038551A2/en active Pending
- 2020-09-30 TW TW112113584A patent/TW202331600A/zh unknown
- 2020-09-30 JP JP2022520429A patent/JP2022551266A/ja active Pending
- 2020-09-30 KR KR1020227014848A patent/KR20220075407A/ko active Search and Examination
-
2022
- 2022-04-01 US US17/711,569 patent/US20220222541A1/en active Pending
-
2023
- 2023-10-10 JP JP2023175417A patent/JP2023179645A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023179645A (ja) | 2023-12-19 |
| EP4038551A2 (en) | 2022-08-10 |
| WO2021064013A3 (en) | 2021-06-17 |
| TW202134958A (zh) | 2021-09-16 |
| US20220222541A1 (en) | 2022-07-14 |
| WO2021064013A2 (en) | 2021-04-08 |
| TW202331600A (zh) | 2023-08-01 |
| CN114761970A (zh) | 2022-07-15 |
| JP2022551266A (ja) | 2022-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220075407A (ko) | 뉴럴 네트워크 표현 형식 | |
| US20190251418A1 (en) | Autoencoder, data processing system, data processing method and non-transitory computer readable medium | |
| JP7267985B2 (ja) | 直接型ニューラルネットワーク構造を用いてアイテムを推奨するシステム、方法、及びコンピュータプログラム | |
| US11869221B2 (en) | Data compression using integer neural networks | |
| WO2020014590A1 (en) | Generating a compressed representation of a neural network with proficient inference speed and power consumption | |
| CN113055017A (zh) | 数据压缩方法及计算设备 | |
| US11177823B2 (en) | Data compression by local entropy encoding | |
| CN113132723B (zh) | 一种图像压缩方法及装置 | |
| CN112149797B (zh) | 神经网络结构优化方法和装置、电子设备 | |
| US12008731B2 (en) | Progressive data compression using artificial neural networks | |
| CN113422950A (zh) | 图像数据处理模型的训练方法和训练装置 | |
| EP4282076A1 (en) | Progressive data compression using artificial neural networks | |
| CN110442489A (zh) | 数据处理的方法和存储介质 | |
| US11615286B2 (en) | Computing system and compressing method for neural network parameters | |
| Fraihat et al. | A novel lossy image compression algorithm using multi-models stacked AutoEncoders | |
| CN116600119A (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| US20220400253A1 (en) | Lossless image compression using block based prediction and optimized context adaptive entropy coding | |
| US20220392117A1 (en) | Data compression and decompression system and method thereof | |
| CN113554719B (zh) | 一种图像编码方法、解码方法、存储介质及终端设备 | |
| CN113473146A (zh) | 一种用于转码的计算系统及转码方法 | |
| CN111143641A (zh) | 深度学习模型的训练方法、装置及电子设备 | |
| Barman et al. | A deep learning based multi-image compression technique | |
| CN117576118B (zh) | 多尺度多感知的实时图像分割方法、系统、终端及介质 | |
| Adate et al. | Analysing image compression using generative adversarial networks | |
| US20240185572A1 (en) | Systems and methods for joint optimization training and encoder side downsampling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |