KR20210018180A - 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체 - Google Patents
딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체 Download PDFInfo
- Publication number
- KR20210018180A KR20210018180A KR1020207013708A KR20207013708A KR20210018180A KR 20210018180 A KR20210018180 A KR 20210018180A KR 1020207013708 A KR1020207013708 A KR 1020207013708A KR 20207013708 A KR20207013708 A KR 20207013708A KR 20210018180 A KR20210018180 A KR 20210018180A
- Authority
- KR
- South Korea
- Prior art keywords
- dimension
- sample
- average value
- variance
- feature map
- Prior art date
Links
- 238000010606 normalization Methods 0.000 title claims abstract description 245
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Databases & Information Systems (AREA)
Abstract
본 발명의 실시예는 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체를 개시하는 것으로, 상기 방법은 하나 이상의 입력 데이터를 포함하는 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하는 단계와, 상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 하나 이상의 차원의 분산 및 하나 이상의 차원의 평균값을 얻는 단계; 상기 하나 이상의 차원의 분산 및 상기 하나 이상의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 단계를 포함하는 것으로, 본 발명의 상기 실시예에 의하면 하나 이상의 차원을 따라 정규화함으로써, 정규화 동작에 의한 각 차원의 통계 정보를 포함하고, 배치 사이즈에 과도하게 의존하지 않음과 함께 각 차원의 통계에 대한 높은 로버스트성을 갖는 것이 보증되는 것이다.
Description
본 발명은 2018년 6월 13일에 중국 특허국에 제출된 출원번호 201810609601.0, 출원의 명칭 「딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체」의 중국 특허출원의 우선권을 주장하고, 그 개시 전체가 참조에 의해 본 발명에 포함된다.
본 발명은 컴퓨터 비전 기술에 관한 것으로, 특히 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체에 관한 것이다.
뉴럴 네트워크의 훈련 과정에서는 일반적으로 입력된 샘플 특징을 정규화 처리하여 데이터를 평균값이 0, 표준 편차가 1인 분포 또는 범위가 0∼1인 분포로 한다. 데이터를 정규화하지 않으면 샘플 특징의 분포가 흩어지기 때문에, 뉴럴 네트워크의 학습 속도의 저하, 학습 곤란까지 일으킬 수 있다.
본 발명의 실시예는 딥 뉴럴 네트워크에서의 정규화 기술을 제공한다.
본 발명의 실시예의 일 측면에 의하면,
적어도 하나의 입력 데이터를 포함하는 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하는 단계와,
상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는 단계 - 여기서, 상기 특징 맵 세트는 적어도 하나의 특징 맵을 포함하고 적어도 하나의 채널에 대응하며, 각 채널은 각각 적어도 하나의 상기 특징 맵에 대응함,
상기 적어도 하나의 차원의 분산 및 상기 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 단계를 포함하는 딥 뉴럴 네트워크의 정규화 방법이 제공된다.
임의 선택적으로, 상기 차원은,
공간 차원, 채널 차원 및 배치 좌표 차원 중 적어도 하나를 포함한다.
임의 선택적으로, 뉴럴 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는 단계는,
상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계, 및/또는
상기 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계, 및/또는
상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계를 포함한다.
임의 선택적으로, 상기 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계는,
상기 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 적어도 하나의 특징 맵을 기초로 상기 채널 차원의 평균값을 얻는 단계와,
상기 채널 차원의 평균값 및 상기 적어도 하나의 특징 맵을 기초로, 상기 채널 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계는,
상기 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 적어도 하나의 특징 맵을 기초로 상기 배치 좌표 차원의 평균값을 얻는 단계와,
상기 배치 좌표 차원의 평균값 및 상기 적어도 하나의 특징 맵을 기초로 상기 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는 단계는,
상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계와,
상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계와,
상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계를 포함한다.
임의 선택적으로, 상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계는,
상기 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값 및 너비값을 변수로 사용하여, 상기 적어도 하나의 특징 맵을 기초로 상기 공간 차원의 평균값을 얻는 단계와,
상기 공간 차원의 평균값 및 상기 적어도 하나의 특징 맵을 기초로, 상기 공간 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계는,
상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 공간 차원의 평균값을 기초로 상기 채널 차원의 평균값을 얻는 단계와,
상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 채널 차원의 평균값을 기초로 상기 채널 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계는,
상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원의 평균값을 얻는 단계와,
상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 배치 좌표 차원의 평균값을 기초로 상기 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 적어도 하나의 차원의 분산 및 상기 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 단계는,
상기 적어도 하나의 차원의 분산을 가중 평균하여 정규화 분산을 얻고, 상기 적어도 하나의 차원의 평균값을 가중 평균하여 정규화 평균값을 얻는 단계와,
상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는 단계를 포함한다.
임의 선택적으로, 상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는 단계는,
상기 정규화 분산, 상기 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 특징 맵 세트를 처리하고, 상기 목표 특징 맵 세트를 얻는 단계를 포함한다.
임의 선택적으로, 상기 목표 특징 맵 세트를 기초로 상기 입력 데이터 세트가 적어도 하나의 데이터 결과에 대응하는 것을 특정하는 단계를 추가로 포함한다.
임의 선택적으로, 상기 입력 데이터는 마크 정보를 갖는 샘플 데이터이고,
상기 방법은 적어도 하나의 샘플 데이터를 포함하는 상기 샘플 데이터 세트를 기초로 상기 딥 뉴럴 네트워크를 훈련하는 단계를 추가로 포함한다.
임의 선택적으로, 상기 딥 뉴럴 네트워크는 적어도 하나의 네트워크층 및 적어도 하나의 정규화층을 포함하고,
상기 샘플 데이터 세트를 기초로 상기 딥 뉴럴 네트워크를 훈련하는 단계는,
상기 샘플 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 상기 네트워크층에 의해 적어도 하나의 샘플 특징 맵을 포함하는 샘플의 특징 맵 세트를 출력하는 단계와,
상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻는 단계와,
상기 샘플의 적어도 하나의 차원의 분산 및 상기 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계와,
상기 예측 특징 맵 세트를 기초로 상기 샘플 데이터에 대응하는 예측 결과를 특정하는 단계와,
상기 예측 결과 및 상기 마크 정보을 기초로 상기 적어도 하나의 네트워크층의 파라미터 및 상기 적어도 하나의 정규화층의 파라미터를 조정하는 단계를 포함한다.
임의 선택적으로, 상기 정규화층의 파라미터는 차원에 대응하는 가중치, 스케일 파라미터 및 시프트 파라미터 중 적어도 하나를 포함한다.
임의 선택적으로, 상기 가중치는 공간 차원 가중치, 채널 차원 가중치 및 배치 좌표 차원 가중치 중 적어도 하나를 포함한다.
임의 선택적으로, 상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻는 단계는,
상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계,
상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계,
상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계,
중 적어도 하나를 포함한다.
임의 선택적으로, 상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계는,
상기 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 채널 차원의 평균값을 얻는 단계와,
상기 샘플의 채널 차원의 평균값 및 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 채널 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계는,
상기 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 배치 좌표 차원의 평균값을 얻는 단계와,
상기 샘플의 배치 좌표 차원의 평균값 및 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻는 단계는,
상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계와,
상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계와,
상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계를 포함한다.
임의 선택적으로, 상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계는,
상기 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 공간 차원의 평균값을 얻는 단계와,
상기 샘플의 공간 차원의 평균값 및 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 공간 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계는,
상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 채널 차원의 평균값을 얻는 단계와,
상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 채널 차원의 평균값을 기초로 상기 샘플의 채널 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계는,
상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 평균값을 얻는 단계와,
상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 배치 좌표 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 상기 샘플의 적어도 하나의 차원의 분산 및 상기 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계는,
상기 샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 상기 샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻는 단계와,
상기 샘플 정규화 분산, 상기 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 샘플의 특징 맵 세트를 처리하고, 상기 예측 특징 맵 세트를 얻는 단계를 포함한다.
본 발명의 실시예의 다른 일 측면에 의하면,
적어도 하나의 입력 데이터를 포함하는 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하기 위한 입력 유닛과,
상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는 차원 정규화 유닛 - 여기서, 상기 특징 맵 세트는 적어도 하나의 특징 맵을 포함하고 적어도 하나의 채널에 대응하며, 각 채널은 각각 적어도 하나의 상기 특징 맵에 대응함 - 과,
상기 적어도 하나의 차원의 분산 및 상기 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하기 위한 배치 정규화 유닛을 포함하는 딥 뉴럴 네트워크의 정규화 장치가 제공된다.
임의 선택적으로, 상기 차원은 공간 차원, 채널 차원 및 배치 좌표 차원 중 적어도 하나를 포함한다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻기 위해, 및/또는
상기 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻기 위해, 및/또는
상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 경우, 구체적으로, 상기 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 적어도 하나의 특징 맵을 기초로 상기 채널 차원의 평균값을 얻고, 상기 채널 차원의 평균값 및 상기 적어도 하나의 특징 맵을 기초로, 상기 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 경우, 구체적으로, 상기 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 적어도 하나의 특징 맵을 기초로 상기 배치 좌표 차원의 평균값을 얻고, 상기 배치 좌표 차원의 평균값 및 상기 적어도 하나의 특징 맵을 기초로 상기 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻고, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻고, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 경우, 상기 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값 및 너비값을 변수로 사용하여, 상기 적어도 하나의 특징 맵을 기초로 상기 공간 차원의 평균값을 얻고, 상기 공간 차원의 평균값 및 상기 적어도 하나의 특징 맵을 기초로, 상기 공간 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 경우, 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 공간 차원의 평균값을 기초로 상기 채널 차원의 평균값을 얻고, 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 채널 차원의 평균값을 기초로 상기 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 경우, 상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원의 평균값을 얻고, 상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 배치 좌표 차원의 평균값을 기초로 상기 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 배치 정규화 유닛은 상기 적어도 하나의 차원의 분산 및 상기 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 경우, 상기 적어도 하나의 차원의 분산을 가중 평균하여 정규화 분산을 얻고, 상기 적어도 하나의 차원의 평균값을 가중 평균하여 정규화 평균값을 얻고, 상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하기 위해 사용된다.
임의 선택적으로, 상기 배치 정규화 유닛은 상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는 경우, 상기 정규화 분산, 상기 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 특징 맵 세트를 처리하고, 상기 목표 특징 맵 세트를 얻기 위해 사용된다.
임의 선택적으로, 상기 목표 특징 맵 세트를 기초로 상기 입력 데이터 세트가 적어도 하나의 데이터 결과에 대응하는 것을 특정하기 위한 결과 특정 유닛을 추가로 포함한다.
임의 선택적으로, 상기 입력 데이터는 마크 정보를 갖는 샘플 데이터이고,
상기 장치는 적어도 하나의 샘플 데이터를 포함하는 상기 샘플 데이터 세트를 기초로 상기 딥 뉴럴 네트워크를 훈련하기 위한 훈련 유닛을 추가로 포함한다.
임의 선택적으로, 상기 딥 뉴럴 네트워크는 적어도 하나의 네트워크층 및 적어도 하나의 정규화층을 포함하고,
상기 입력 유닛은 추가로 상기 샘플 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 상기 네트워크층에 의해 적어도 하나의 샘플 특징 맵을 포함하는 샘플의 특징 맵 세트를 출력하기 위해 사용되고,
상기 차원 정규화 유닛은 추가로 상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻기 위해 사용되고,
상기 배치 정규화 유닛은 추가로 상기 샘플의 적어도 하나의 차원의 분산 및 상기 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하기 위해 사용되고,
상기 결과 특정 유닛은 추가로 상기 예측 특징 맵 세트를 기초로 상기 샘플 데이터에 대응하는 예측 결과를 특정하기 위해 사용되고,
상기 훈련 유닛은 상기 예측 결과 및 상기 마크 정보을 기초로 상기 적어도 하나의 네트워크층의 파라미터 및 상기 적어도 하나의 정규화층의 파라미터를 조정하기 위해 사용된다.
임의 선택적으로, 상기 정규화층의 파라미터는 차원에 대응하는 가중치, 스케일 파라미터 및 시프트 파라미터 중 적어도 하나를 포함한다.
임의 선택적으로, 상기 가중치는 공간 차원 가중치, 채널 차원 가중치 및 배치 좌표 차원 가중치 중 적어도 하나를 포함한다.
임의 선택적으로, 상기 차원 정규화 유닛은 구체적으로, 상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻기 위해, 및/또는
상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻기 위해, 및/또는
상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 채널 차원의 평균값을 얻고, 상기 샘플의 채널 차원의 평균값 및 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 배치 좌표 차원의 평균값을 얻고, 상기 샘플의 배치 좌표 차원의 평균값 및 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻고, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻고, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 공간 차원의 평균값을 얻고, 상기 샘플의 공간 차원의 평균값 및 상기 적어도 하나의 샘플 특징 맵을 기초로, 상기 샘플의 공간 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 채널 차원의 평균값을 얻고, 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 채널 차원의 평균값을 기초로 상기 샘플의 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 차원 정규화 유닛은 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 경우, 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 평균값을 얻고, 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 배치 좌표 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 상기 배치 정규화 유닛은 상기 샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 상기 샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균을 얻고, 상기 샘플 정규화 분산, 상기 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 샘플의 특징 맵 세트를 처리하고, 상기 예측 특징 맵 세트를 얻기 위해 사용된다.
본 발명의 실시예의 다른 측면에 의하면, 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 장치를 포함하는 프로세서를 구비하는 전자 기기가 제공된다.
본 발명의 실시예의 추가적인 다른 측면에 의하면, 실행 가능 명령을 기억하기 위한 메모리, 및
상기 메모리와 통신하여 상기 실행 가능 명령을 실행함으로써 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 방법의 동작을 행하기 위한 프로세서를 포함하는 전자 기기가 제공된다.
본 발명의 실시예의 추가적인 다른 측면에 의하면, 컴퓨터 판독 가능한 명령을 기억하기 위한 컴퓨터 판독 가능 기억 매체로서, 상기 명령이 실행될 때 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 방법의 동작을 실행하는 컴퓨터 판독 가능 기억 매체가 제공된다.
본 발명의 실시예의 추가적인 다른 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 기록한 매체로서, 상기 컴퓨터 판독 가능 코드가 기기에서 실행될 때, 상기 기기 내의 프로세서가 상기 딥 뉴럴 네트워크의 정규화 방법들 중 어느 하나를 실현하기 위한 명령을 포함하는 컴퓨터 프로그램을 기록한 기록매체가 제공된다.
본 발명의 상기 실시예에서 제공하는 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체에 의하면, 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻고, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정한다. 이와 같이, 적어도 하나의 차원을 따라 정규화함으로써, 정규화 동작에 의한 각 차원의 통계 정보를 포함하고, 배치 사이즈에 과도하게 의존하지 않음과 함께 각 차원의 통계에 대한 높은 로버스트성을 갖는 것이 보증된다.
이하에 도면 및 실시예에 의해, 본 발명의 기술적 해결 수단을 추가로 상세하게 설명한다.
명세서의 일부가 되는 도면은 본 발명의 실시예를 설명하는 것으로서, 또한 그 설명과 함께 본 발명의 원리를 해석하기 위한 것이다.
본 발명은 도면을 동반하는 이하의 상세한 설명에 의해, 보다 명확하게 이해될 수 있다.
도 1은 본 발명의 딥 뉴럴 네트워크의 정규화 방법 중 하나의 실시예의 흐름도이다.
도 2는 본 발명의 실시예의 딥 뉴럴 네트워크의 정규화 방법의 일례의 예시도이다.
도 3은 본 발명의 딥 뉴럴 네트워크의 정규화 방법에서의 딥 뉴럴 네트워크의 일례의 구성 모식도이다.
도 4는 본 발명의 딥 뉴럴 네트워크의 정규화 장치 중 하나의 실시예의 구성 모식도이다.
도 5는 본 발명의 실시예의 단말 기기 또는 서버의 실현에 적합한 전자 기기의 구성 모식도이다.
본 발명은 도면을 동반하는 이하의 상세한 설명에 의해, 보다 명확하게 이해될 수 있다.
도 1은 본 발명의 딥 뉴럴 네트워크의 정규화 방법 중 하나의 실시예의 흐름도이다.
도 2는 본 발명의 실시예의 딥 뉴럴 네트워크의 정규화 방법의 일례의 예시도이다.
도 3은 본 발명의 딥 뉴럴 네트워크의 정규화 방법에서의 딥 뉴럴 네트워크의 일례의 구성 모식도이다.
도 4는 본 발명의 딥 뉴럴 네트워크의 정규화 장치 중 하나의 실시예의 구성 모식도이다.
도 5는 본 발명의 실시예의 단말 기기 또는 서버의 실현에 적합한 전자 기기의 구성 모식도이다.
여기서, 도면을 참조하면서 본 발명의 각종 예시적인 실시예를 상세하게 설명한다. 또한, 특별히 언급하지 않는 한, 이들 실시예에서 기술한 부재 및 단계의 상대적인 배치, 수식 및 수치는 본 발명의 범위를 한정하는 것이 아님에 주의해야 한다.
동시에, 설명의 편의상, 도면에 나타낸 각 부분의 치수는 실제 비례 관계를 따라 그린 것은 아님을 이해해야 한다.
이하의 적어도 하나의 실시 예에 대한 설명은 실질적으로 설명하기 위한 것에 지나지 않고, 본 발명 및 그 적용 또는 사용을 전혀 한정하는 것은 아니다.
관련 분야의 당업자에게 이미 알려진 기술, 방법 및 기기에 대해서는 상세히 설명하지 않는 경우가 있지만, 경우에 따라서, 상기 기술, 방법 및 기기는 명세서의 일부로서의 원용으로 간주해야 한다.
또한, 이하의 도면에서 유사한 부호 및 영문자는 유사 항목을 나타내고, 어느 항목이 있는 도면에서 정의되면, 이후의 도면에서 그것을 추가로 설명할 필요가 없음에 주의해야 한다.
도 1은 본 발명의 딥 뉴럴 네트워크의 정규화 방법 중 하나의 실시예의 흐름도이다. 도 1에 나타내는 바와 같이, 상기 실시예의 방법은 이하의 단계를 포함한다.
단계(110)에서 입력 데이터 세트를 딥 뉴럴 네트워크에 입력한다.
여기에서 입력 데이터 세트는 적어도 하나의 입력 데이터를 포함하고, 상기 딥 뉴럴 네트워크는 합성곱 뉴럴 네트워크(CNN), 리커런트 뉴럴 네트워크(RNN) 또는 장기 단기 기억 네트워크(LSTM) 또는 이미지 분류(ImageNet), 목표 검출 및 분할(COCO), 영상 인식(Kinetics), 이미지 스타일화 및 필적 생성 등을 포함하는 각종 비전 태스크를 실현하는 뉴럴 네트워크를 포함할 수 있지만, 이에 한정되지 않는다.
단계(120)에서 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는다.
여기에서 특징 맵 세트는 적어도 하나의 특징 맵을 포함하고, 또한 적어도 하나의 채널에 대응하고, 각 채널은 각각 적어도 하나의 특징 맵에 대응한다. 예를 들면, 네트워크층이 합성곱층인 경우, 생성되는 특징 맵 세트가 대응하는 채널수는 합성곱 커널의 수와 동일하게 되고, 합성곱층이 두 개의 합성곱 커널을 가지면, 두 개의 채널에 대응하는 특징 맵 세트가 생성된다. 임의 선택적으로, 차원은 공간 차원, 채널 차원 및 배치 좌표 차원 중 적어도 하나를 포함할 수 있지만, 이들에 한정되지 않는다.
단계(130)에서 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정한다.
본 발명의 상기 실시예가 제공하는 딥 뉴럴 네트워크의 정규화 방법에 의하면, 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻고, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정한다. 이와 같이, 적어도 하나의 차원을 따라 정규화함으로써, 정규화 동작에 의한 각 차원의 통계 정보를 포함하고, 배치 사이즈에 과도하게 의존하지 않음과 함께 각 차원의 통계에 대한 높은 로버스트성을 가지는 것이 보증된다.
임의 선택적인 하나 이상의 실시예에서는 단계(120)는,
특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계,
특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계,
특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계,
중 적어도 하나를 포함해도 된다.
본 실시예에서는 특징 맵의 상이한 축선(배치 좌표축, 채널축, 공간축)을 따라 세 개의 차원의 통계량을 포함하여 산술 평균을 계산하고, 이에 의해 정규화 동작의 통계 계산의 차원을 보다 다양하게 하고, 배치 사이즈에 과도하게 민감하지 않도록 함과 함께 배치 통계에 대한 로버스트성을 유지시킨다. 한편, 상이한 차원의 통계량의 가중치 계수를 학습하여, 단일 정규화층에 대해서는 차원마다 통계량의 가중치를 자주적으로 선택해도 되고, 수동 설계를 필요로 하지 않고 조합에 의해 성능이 가장 높은 정규화 동작 방식을 알아낸다.
각 차원의 평균값
및 분산
의 계산 방법은 식 (1)에 나타낸다.
여기서, 
는 평균값을 나타내고, 
는 분산을 나타내고, 
는 임의의 4차원(N, H, W, C)의 특징 맵이고, 정규화층의 입력으로 되고, 그 중 N은 1배치의 데이터의 양을 나타내고, H 및 W는 각각 특징 맵의 높이값 및 너비값을 나타내고, C는 특징 맵 세트가 대응하는 채널수(즉, 단계(120)에서의 네트워크층에 대응하는 채널수)를 나타내고, k∈Ω, Ω＝{BN, IN, LN}, 그 중, BN, IN, LN은 각각 배치축(N), 공간축(H×W), 채널축(C)을 따라 통계량을 계산하는 배치 정규화, 인스턴스 정규화, 층 정규화이다. 세 개의 차원의 계산 방법은 유사하지만, 통계량의 화소 범위는 상이하고, 
는 각 차원의 통계 계산의 화소 범위이고, 
는 
내의 점이다.
임의 선택적으로, 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계는,
특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 공간 차원의 평균값을 얻는 단계와,
공간 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 공간 차원의 분산을 얻는 단계를 포함한다.
공간축을 따라 변화하는 공간 차원에 대응하는 화소 범위는 
으로 나타내고, 
, 또한 i 및 j는 전부 정의 정수이고, 공간 차원의 분산 및 공간 차원의 평균값을 계산하는 프로세스에서 변화량이 i 및 j, 즉 특징 맵의 높이값 및 너비값인 것을 나타낸다.
임의 선택적으로, 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계는,
특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 특징 맵 세트가 대응하는 채널수를 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 채널 차원의 평균값을 얻는 단계와,
채널 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 채널 차원의 분산을 얻는 단계를 포함한다.
채널 축을 따라 변화하는 채널 차원에 대응하는 화소 범위는 
으로 나타내고, 
, 또한 c는 정의 정수이고, 채널 차원의 분산 및 채널 차원의 평균값을 계산하는 프로세스에서 변화량이 i, j 및 c, 즉 특징 맵의 높이값 및 너비값 및 채널수인 것을 나타낸다.
임의 선택적으로, 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계는,
특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 배치 좌표 차원의 평균값을 얻는 단계와,
배치 좌표 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
배치 좌표축을 따라 변화하는 배치 좌표 차원에 대응하는 화소 범위는 
으로 나타내고, 
, 또한 n은 정의 정수이고, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 계산하는 프로세스에서 변화량이 i, j 및 n, 즉 특징 맵의 높이값 및 너비값 및 입력 데이터 세트의 데이터수인 것을 나타낸다.
임의 선택적인 하나 이상의 실시예에서는 단계(120)는
특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계와,
공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계와,
공간 차원의 분산 및 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계를 포함해도 된다.
식 (1) 그대로를 따라 평균값(
)및 분산(
)을 계산하면 매우 방대하고 불필요한 계산량이 발생한다. 세 개의 차원의 통계량은 서로 의존하는 관계가 존재하기 때문에, 본 실시예에서 차원의 관계에 의해 먼저 공간 차원의 분산 및 공간 차원의 평균값을 계산하고, 추가로 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원 및 배치 좌표 차원에서의 평균값 및 분산을 계산하도록 통계량을 계산함으로써, 불필요한 계산량을 저감시킨다.
임의 선택적으로, 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계는,
특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 공간 차원의 평균값을 얻는 단계와,
공간 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 공간 차원의 분산을 얻는 단계를 포함한다.
공간 차원의 분산 및 공간 차원의 평균값의 계산은 상기 다른 실시예와 동일하게, 특징 맵의 높이값 및 너비값을 변수로 사용하여, 식 (1)에 대입하여 식 (2)를 얻는다.
여기서, 
은 공간 차원의 평균값을 나타내고, 
은 공간 차원의 분산을 나타낸다.
식 (2)에 의해 공간 차원의 분산 및 공간 차원의 평균값을 계산하여 얻는다.
임의 선택적으로, 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계는,
특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 공간 차원의 평균값을 기초로 채널 차원의 평균값을 얻는 단계와,
특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 공간 차원의 평균값, 공간 차원의 분산 및 채널 차원의 평균값을 기초로 채널 차원의 분산을 얻는 단계를 포함한다.
공간 차원의 분산 및 공간 차원의 평균값이 이미 알려진 경우, 식 (3)을 기초로 채널 차원의 분산 및 채널 차원의 평균값을 계산할 수 있다.
여기서, 
은 채널 차원의 평균값을 나타내고, 
은 채널 차원의 분산을 나타낸다.
식 (3) 중, 변수는 채널수 뿐이고, 계산량이 저감되어, 처리 속도가 향상된다.
임의 선택적으로, 공간 차원의 분산 및 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계는,
입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 공간 차원의 평균값을 기초로 배치 좌표 차원의 평균값을 얻는 단계와,
입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 공간 차원의 평균값, 공간 차원의 분산 및 배치 좌표 차원의 평균값을 기초로 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
공간 차원의 분산 및 공간 차원의 평균값이 이미 알려진 경우, 식 (4)을 기초로 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 계산할 수 있다.
여기서, 
은 배치 좌표 차원의 평균값을 나타내고, 
은 배치 좌표 차원의 분산을 나타낸다.
식 (4) 중, 변수는 입력 데이터 세트에 대응하는 입력 데이터수 뿐이고, 계산량이 저감되어, 처리 속도가 향상된다.
공간 차원의 분산 및 공간 차원의 평균값을 얻고 나서 먼저 채널 차원의 분산 및 채널 차원의 평균값을 계산해도 되고, 또는 우선 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 계산해도 되고, 전후 순서를 한정하지 않아도 된다.
임의 선택적인 하나 이상의 실시예에서는 단계(130)는
적어도 하나의 차원의 분산을 가중 평균하여 정규화 분산을 얻고, 적어도 하나의 차원의 평균값을 가중 평균하여 정규화 평균값을 얻는 단계와,
정규화 분산 및 정규화 평균값을 기초로 목표 특징 맵 세트를 특정하는 단계를 포함해도 된다.
본 실시예에서는 정규화 분산 및 정규화 평균값에 의해 특징 맵 세트를 처리하고, 목표 특징 맵 세트를 얻을 수 있다. 임의 선택적으로, 특징 맵 세트 내의 각 특징 맵과 정규화 평균값의 차를 계산하고, 차를 정규화 분산으로 나눗셈함으로써, 목표 특징 맵을 얻고, 나아가서는 목표 특징 세트를 얻는다.
임의 선택적으로, 정규화 분산 및 정규화 평균값을 기초로 목표 특징 맵 세트를 특정하는 단계는,
정규화 분산, 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 특징 맵 세트를 처리하고, 목표 특징 맵 세트를 얻는 단계를 포함한다.
본 실시예에서는 자기 적응 정규화식은 식 (5)에 나타낸 바와 같다.
임의의 4차원(N, H, W, C)의 특징 맵
를 입력으로 하고, 그 각 화소점에 대한 자기 적응 정규화를 행하고, 동일한 차원의 특징 맵
를 출력한다. 여기서, n∈[1, N], N은 하나의 소배치의 샘플 수를 나타내고, c∈[1, N], C는 특징 맵의 채널수이고, i∈[1, H] 또한 j∈[1, W], H 및 W는 각각 각 채널 공간 차원에서의 높이값 및 너비값이다. 자기 적응 정규화 방법에 의한 계산은 식 (5)를 참조하면 된다. γ 및 β는 각각 일반적인 줌 및 시프트 파라미터이고, ε은 수치의 불안정을 예방하기 위한 매우 작은 정수이다. 각 화소점에 대해, 정규화의 평균값 
이고, 분산
이고, 
는 상이한 차원의 평균값 및 분산에 대응하는 차원 가중치를 나타낸다. 평균값 및 분산의 연산은 3개의 차원(공간 차원, 채널 차원 및 배치 좌표 차원)의 평균값 및 분산에 의해 결정되고, 즉 Ω＝{BN, IN, LN}이고, 여기서, BN, IN, LN은 각각 배치축(N), 공간축(H×W), 채널축(C)을 따라 통계량을 계산하는 배치 정규화, 인스턴스 정규화, 층 정규화이고, 도 2에 나타낸 바와 같다. 도 2는 본 발명의 실시예의 딥 뉴럴 네트워크의 정규화 방법의 일례의 예시도이다.
임의 선택적인 하나 이상의 실시예에서는 추가로
목표 특징 맵 세트를 기초로 입력 데이터 세트가 적어도 하나의 데이터 결과에 대응하는 것을 특정하는 단계를 포함해도 된다.
정규화 동작은 네트워크층이 출력한 특징 맵을 기초로 행해지기 때문에, 딥 뉴럴 네트워크가 얻은 특징 맵 세트를 정규화하고 나서, 계속 처리하면, 데이터 결과를 얻는다. 상이한 태스크에 의한 딥 뉴럴 네트워크에 대해 상이한 데이터 결과(예를 들면, 분류 결과, 분할 결과, 인식 결과 등)를 출력할 수 있다.
임의 선택적인 하나 이상의 실시예에서는 입력 데이터는 마크 정보를 갖는 샘플 데이터이고,
본 발명의 실시예의 방법은 추가로
샘플 데이터 세트를 기초로 딥 뉴럴 네트워크를 훈련하는 단계를포함해도 된다.
여기서, 샘플 데이터 세트는 적어도 하나의 샘플 데이터를 포함하고, 적어도 하나의 차원으로 정규화가 행해진다. 보다 높은 정규화 효과의 특징 맵을 얻기 위해 딥 뉴럴 네트워크의 정규화층에서의 파라미터를 훈련할 필요가 있다. 딥 뉴럴 네트워크에 정규화층을 추가하여 훈련함으로써, 훈련을 보다 고속으로 수렴시켜, 보다 높은 훈련 효과를 달성할 수 있다.
임의 선택적으로, 딥 뉴럴 네트워크는 적어도 하나의 네트워크층 및 적어도 하나의 정규화층을 포함한다.
본 발명의 실시예는 네트워크의 각 정규화층에 대해 각각의 정규화 동작 방식을 선택한다. 본 발명의 실시예가 제공하는 정규화 방법을 전체 딥 뉴럴 네트워크의 모든 정규화층에 사용함으로써, 네트워크의 각 정규화층을 학습에 의해 각각의 특징 표현에 도움이 되는 정규화 통계량을 보다 민감하게 선택 가능하게 할 수 있고, 네트워크의 상이한 깊이에서 시각 표현이 상이하기 때문에, 상이한 정규화 동작 방식을 선택하는 것이 확인된다.
샘플 데이터 세트를 기초로 딥 뉴럴 네트워크를 훈련하는 것은,
샘플 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 네트워크층에 의해 적어도 하나의 샘플 특징 맵을 포함하는 샘플의 특징 맵 세트를 출력하는 단계와,
정규화층에 의해 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻는 단계와,
샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계와,
예측 특징 맵 세트를 기초로 샘플 데이터에 대응하는 예측 결과를 특정하는 단계와,
예측 결과 및 마크 정보을 기초로, 적어도 하나의 네트워크층의 파라미터 및 적어도 하나의 정규화층의 파라미터를 조정하는 단계를 포함한다.
임의 선택적으로, 정규화층은 네트워크층 뒤에 설치되고, 도 3은 본 발명의 딥 뉴럴 네트워크의 정규화 방법에서의 딥 뉴럴 네트워크의 일례의 구성 모식도이다. 도 3에 나타내는 바와 같이, 소배치의 샘플 데이터를 입력으로 하고, 다층 뉴럴 네트워크에 의해, 상기 배치의 샘플 데이터의 예측 결과를 출력한다. 정규화층을 각 뉴럴 네트워크층 뒤에 추가하고, 특징 맵의 자기 적응 정규화를 층마다 행하고, 이에 의해 네트워크의 훈련의 수렴 속도를 향상시켜, 모델 정밀도를 향상시킨다.
임의 선택적으로, 정규화 방법을 각종 딥 뉴럴 네트워크 모델(ResNet50, VGG16, LSTM)에 적용하여, 각종 비전 태스크(이미지 분류, 목표 검출 및 분할, 이미지 스타일화, 필적 생성)에 사용해도 된다. 종래의 정규화 방법에 비해 본 발명의 실시예가 제공하는 정규화 방법은 보다 높은 범용성을 갖고, 상이한 비전 태스크에서 보다 유효한 결과를 얻을 수 있다.
임의 선택적으로, 정규화층의 파라미터는 차원에 대응하는 가중치, 스케일 파라미터 및 시프트 파라미터 중 적어도 하나를 포함할 수 있지만, 이들에 한정되지 않는다.
임의 선택적으로, 가중치는 공간 차원 가중치, 채널 차원 가중치 및 배치 좌표 차원 가중치 중 적어도 하나를 포함한다.
그 중, 차원에 대응하는 가중치는 각 차원을 각각 하나의 가중치에 대응시켜, 세 개의 차원의 통계량의 각각에 대해 세 개의 가중치 계수를 갖게 해도 되고, 평균값 및 분산마다 상이한 6개의 계수를 갖게 하도록 확장시켜도 된다. 한편, 앞서 설명한 자기 적응 정규화 방법은 모든 채널에서 가중 계수를 공유하지만, 채널을 그룹으로 나누고, 각 그룹 내에서 채널에 계수를 공유시키도록 해도 되고, 각 채널에 서브 세트의 가중 계수를 학습시키도록 해도 된다. 요약하면, 자기 적응 정규화 방법은 확장 가능하고, 상이한 차원의 통계량을 상이한 가중치로 조합함으로써, 종래의 임의의 수동 설계에 의한 정규화 방법을 대체할 수 있다.
임의 선택적으로, 정규화층에 의해 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻는 단계는,
샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계, 및/또는
샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계, 및/또는
샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계를 포함한다.
본 실시예는 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 종래의 배치 정규화 방법에 있어서 배치 차원에서 통계량을 계산하기 때문에, 배치 사이즈 또는 다른 차원에 과도하게 의존한다는 문제를 극복하고, 동시에 종래의 배치 정규화 방법은 모델이나 태스크에 의해 효과가 제한된다는 문제를 극복할 수 있다. 본 실시예는 적어도 하나의 공간 좌표축을 따라 세 개의 차원의 통계량의 산술 평균을 계산함으로써, 정규화 동작에 의한 각 차원의 통계 정보를 포함하고, 종래 기술에 비해 배치 사이즈에 과도하게 의존하지 않음과 함께 각 차원에서의 통계에 대한 높은 로버스트성을 갖는다.
임의 선택적으로, 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계는,
샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 평균값을 얻는 단계와,
샘플의 공간 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계는,
샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 샘플의 특징 맵 세트가 대응하는 채널수를 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 채널 차원의 평균값을 얻는 단계와,
샘플의 채널 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 채널 차원의 분산을 얻는 단계를 포함한다.
임의 선택적으로, 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계는,
샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 배치 좌표 차원의 평균값을 얻는 단계와,
샘플의 배치 좌표 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 배치 좌표 차원의 분산을 얻는 단계를 포함한다.
본 실시예에서는 공간 차원, 채널 차원 및 배치 좌표 차원의 분산 및 평균값은 계산 방법이 예측 프로세스와 동일하게, 상기 식 (1)을 기초로 계산하여 얻을 수 있고, 상이한 차원의 평균값 및 분산을 계산하고, 계산하여 얻어진 평균값 및 분산을 기초로 가중 평균하고, 샘플의 특징 맵 세트에 대응하는 평균값 및 분산을 얻고, 그것을 식 (5)에 대입하여 예측 특징 맵 세트를 얻을 수 있다. 임의 선택적으로, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계는 샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻는 단계와, 샘플 정규화 분산, 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 샘플의 특징 맵 세트를 처리하여, 예측 특징 맵 세트를 얻는 단계를 포함한다.
임의 선택적인 하나 이상의 실시예에서는 상기 정규화층에 의해 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻는 단계는,
샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계와,
임의 선택적으로, 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 평균값을 얻는 단계와,
샘플의 공간 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 분산을 얻는 단계를 포함한다.
샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 기초로 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻고,
임의 선택적으로, 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 샘플의 공간 차원의 평균값을 기초로 샘플의 채널 차원의 평균값을 얻고,
샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 샘플의 공간 차원의 평균값, 샘플의 공간 차원의 분산 및 샘플의 채널 차원의 평균값을 기초로 샘플의 채널 차원의 분산을 얻는다.
샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는다.
임의 선택적으로, 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 평균값을 얻고,
상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 배치 좌표 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 분산을 얻는다.
식 (1) 그대로를 따라 평균값(
) 및 분산(
)을 계산하면 매우 방대하고 불필요한 계산량이 발생한다. 세 개의 차원의 통계량은 서로 의존하는 관계가 존재하기 때문에, 본 실시예는 차원의 관계에 의해 먼저 공간 차원의 분산 및 공간 차원의 평균값을 계산하고, 추가로 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원 및 배치 좌표 차원에서의 평균값 및 분산을 계산하도록 통계량을 계산함으로써, 불필요한 계산량을 저감시킨다.
임의 선택적인 하나 이상의 실시예에서는 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계는,
샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻는 단계와,
샘플 정규화 분산, 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 샘플의 특징 맵 세트를 처리하고, 예측 특징 맵 세트를 얻는 단계를 포함한다.
임의 선택적으로, 가중 평균 가중치, 스케일 파라미터 및 시프트 파라미터는 모두 본 발명의 실시예에서의 정규화층의 조정에 필요한 파라미터이고, 훈련에 의해 상이한 차원의 통계량의 가중치 계수를 학습하고, 단일 정규화층에 대해서는 각 차원의 통계량의 가중치를 자주적으로 선택해도 되며, 수동 설계를 필요로 하지 않고 조합에 의해 성능이 가장 높은 정규화 동작 방식을 알아낸다.
임의 선택적으로, 샘플의 적어도 하나의 차원의 분산은 샘플의 공간 차원의 분산, 샘플의 채널 차원의 분산 및 샘플의 배치 좌표 차원의 분산을 포함하고,
샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻는 단계는,
샘플의 공간 차원의 분산과 공간 차원 가중치의 곱, 샘플의 채널 차원의 분산과 채널 차원 가중치의 곱, 및 샘플의 배치 좌표 차원의 분산과 배치 좌표 차원 가중치의 곱을 가산하고, 구한 합을 기초로 샘플 정규화 분산을 얻는 단계를 포함한다.
임의 선택적으로, 샘플의 적어도 하나의 차원의 평균값은 샘플의 공간 차원의 평균값, 샘플의 채널 차원의 평균값 및 샘플의 배치 좌표 차원의 평균값을 포함하고,
샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻는 단계는,
샘플의 공간 차원의 평균값과 공간 차원 가다같이 2주 격리닻ㅎ중치의 곱, 샘플의 채널 차원의 평균값과 채널 차원 가중치의 곱, 및 샘플의 배치 좌표 차원의 평균값과 배치 좌표 차원 가중치의 곱을 가산하고, 구한 합을 기초로 샘플 정규화 평균값을 얻는 단계를 포함한다.
임의 선택적으로, 각 차원의 통계량(평균값 및 분산)의 차원 가중치는 식 (6)에 의해 계산하여 얻어도 된다.
여기서, 
는 상이한 차원의 평균값 및 분산에 대응하는 차원 가중치를 나타내고, 
는 세 개의 차원의 통계량에 대응하는 네트워크 파라미터이고, 상기 파라미터는 역전반시에 최적화 학습을 행하고, 
를 최적화함으로써 차원 가중치 
의 최적화를 실현하고, 
는 z의 값이 
, 
및 
인 경우의, 대응하는 
의 합을 계산하는 것을 나타낸다. Softmax 함수에 의해 최적화 파라미터를 정규화하여, 통계량의 최종적인 가중치 계수(차원 가중치)를 계산할 수 있다. 또한, 모든 가중치 계수
의 합은 1이고, 각 가중치 계수
의 값은 0 내지 1의 범위에 있다.
본 실시예에서는 각 차원의 통계량의 데이터 평균값을 계산함으로써, 샘플 정규화 평균값 및 샘플 정규화 분산을 얻는다. 임의 선택적으로, 차원에 대응하는 가중치는 각 차원을 각각 하나의 가중치에 대응시켜, 세 개의 차원의 통계량의 각각에 대해 세 개의 가중치 계수를 갖게 해도 되고, 각 평균값 및 분산마다 여섯개의 상이한 계수를 갖게 하도록 확장해도 된다. 한편, 앞서 설명한 자기 적응 정규화 방법은 모든 채널에서 가중 계수를 공유하지만, 채널을 그룹으로 나누고, 각 그룹 내에서 채널에 계수를 공유시키도록 해도 되고, 각 채널에 서브 세트의 가중 계수를 학습시키도록 해도 된다. 요약하면, 자기 적응 정규화 방법은 확장 가능하고, 상이한 차원의 통계량을 상이한 가중치로 조합함으로써, 종래의 임의의 수동 설계에 의한 정규화 방법을 대체할 수 있다.
자기 적응 정규화 방법은 뉴럴 네트워크가 복수의 차원을 시각적으로 표현하는 통계량 정보를 계산할 수 있고, 상이한 가중 계수에서의 조합에 의해, 종래의 임의의 면밀한 수동 설계에 의한 정규화 방법을 대체할 수 있다. 한편, 자기 적응 정규화 방법은 상이한 차원의 통계량에 대해 상이한 가중치 계수를 학습하고, 그에 의해 다수의 실현하기 쉬운 정규화 기술을 얻을 수 있다.
본 발명의 실시예가 제공하는 정규화 방법은 네트워크 모델에서의 정규화 방식의 자기 적응 선택을 실현하고, 모델의 고속 수렴을 촉진하고, 제품 모델의 효과를 개선한다. 추가로, 범용성이 높다는 이점을 갖고, 각종 상이한 네트워크 모델 및 비전 태스크에 적합할 수 있고, 합성곱 뉴럴 네트워크(CNN), 리커런트 뉴럴 네트워크(RNN) 또는 장기 단기 기억 네트워크(LSTM)에 간단하며 효과적으로 사용할 수 있고, 이미지 분류(ImageNet), 목표 검출 및 분할(COCO), 영상 인식(Kinetics), 이미지 스타일화 및 필적 생성 등을 포함하는 각종 비전 태스크에서 우수한 효과를 달성할 수 있고, 후속으로 적대적 생성 네트워크(GAN)에서의 고해상도 이미지의 합성에 사용된다.
본 발명의 실시예가 제공하는 정규화 방법은 네트워크 훈련을 최적화하는 데 정규화층에 의한 보조가 필요한 모든 제품 모델 및 이미지 인식, 목표 검출, 목표 분할, 이미지 스타일화 등의 기술이 필요한 모든 응용 장면에 사용할 수 있다.
당업자라면 상기 방법의 실시예를 실현하는 전부 또는 일부 단계는 프로그램에 의해 관련 하드웨어에 명령을 내려 완료시킬 수 있음을 이해해야 하고, 상기 프로그램은 ROM, RAM, 자기 디스크 또는 광디스크 등 프로그램 코드를 기억 가능한 각종 매체를 포함하는 컴퓨터 판독 가능 기억 매체에 기억 가능하고, 당해 프로그램은 실행될 때, 상기 방법의 실시예의 단계를 실행한다.
도 4는 본 발명의 딥 뉴럴 네트워크의 정규화 장치 중 하나의 실시예의 구성 모식도이다. 상기 실시예의 장치는 본 발명의 상기 각 방법의 실시예를 실현하기 위해 사용할 수 있다. 도 4에 나타내는 바와 같이, 상기 실시예의 장치는 입력 유닛(41), 차원 정규화 유닛(42) 및 배치 정규화 유닛(43)을 포함한다.
입력 유닛(41)은 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하기 위해 사용된다.
여기에서, 입력 데이터 세트는 적어도 하나의 입력 데이터를 포함하고, 상기 딥 뉴럴 네트워크는 합성곱 뉴럴 네트워크(CNN), 리커런트 뉴럴 네트워크(RNN) 또는 장기 단기 기억 네트워크(LSTM) 또는 이미지 분류(ImageNet), 목표 검출 및 분할(COCO), 영상 인식(Kinetics), 이미지 스타일화 및 필적 생성 등을 포함하는 각종 비전 태스크를 실현하는 뉴럴 네트워크를 포함할 수 있지만, 이들에 한정되지 않는다.
차원 정규화 유닛(42)은 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻기 위해 사용된다.
특징 맵 세트는 적어도 하나의 특징 맵을 포함하고, 또한 적어도 하나의 채널에 대응하고, 각 채널은 각각 적어도 하나의 특징 맵에 대응한다. 임의 선택적으로, 차원은 공간 차원, 채널 차원 및 배치 좌표 차원 중 적어도 하나를 포함할 수 있지만, 이들에 한정되지 않는다.
배치 정규화 유닛(43)은 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하기 위해 사용된다.
본 발명의 상기 실시예가 제공하는 딥 뉴럴 네트워크의 정규화 장치에 의하면, 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻고, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정한다. 이와 같이, 적어도 하나의 차원을 따라 정규화함으로써, 정규화 동작에 의한 각 차원의 통계 정보를 포함하고, 배치 사이즈에 과도하게 의존하지 않음과 함께 각 차원의 통계에 대한 높은 로버스트성을 갖는 것이 보증된다.
임의 선택적인 하나 이상의 실시예에서는 차원 정규화 유닛(42)은 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻기 위해, 및/또는,
특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻기 위해, 및/또는
특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
본 실시예에서는 특징 맵의 상이한 축선(배치 좌표축, 채널축, 공간축)을 따라 세 개의 차원의 통계를 포함하여 산술 평균을 계산하고, 이에 의해 정규화 동작의 통계 계산의 차원을 보다 다양하게 하고, 배치 사이즈에 과도하게 민감하지 않도록 함과 함께 배치 통계에 대한 로버스트성을 유지시킨다. 한편, 상이한 차원의 통계량의 가중치 계수를 학습하고, 단일 정규화층에 대해서는 각 차원의 통계량의 가중치를 자주적으로 선택해도 되고, 수동 설계를 필요로 하지 않고 조합에 의해 성능이 가장 높은 정규화 동작 방식을 알아낸다. 각 차원의 평균값(
) 및 분산(
)은 상기 식 (1)에 의해 계산하여 얻을 수 있다.
임의 선택적으로, 차원 정규화 유닛(42)은 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 경우, 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 공간 차원의 평균값을 얻고, 공간 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 공간 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 경우, 구체적으로 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 채널 차원의 평균값을 얻고 채널 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 경우, 구체적으로 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값, 너비값 및 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 배치 좌표 차원의 평균값을 얻고, 배치 좌표 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적인 하나 이상의 실시예에서는 차원 정규화 유닛(42)은 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻고, 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻고, 공간 차원의 분산 및 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
식 (1) 그대로를 따라 평균값(
)및 분산(
)을 계산하면 매우 방대하고 불필요한 계산량이 발생한다. 세 개의 차원의 통계량은 서로 의존하는 관계가 존재하기 때문에, 본 실시예에서 차원의 관계을 기초로, 먼저 공간 차원의 분산 및 공간 차원의 평균값을 계산하고, 추가로 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원 및 배치 좌표 차원에서의 평균값 및 분산을 계산하도록 통계량을 계산함으로써, 불필요한 계산량을 저감시킨다.
임의 선택적으로, 차원 정규화 유닛(42)은 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 경우, 특징 맵 세트 내의 적어도 하나의 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 특징 맵을 기초로, 공간 차원의 평균값을 얻고, 공간 차원의 평균값 및 적어도 하나의 특징 맵을 기초로, 공간 차원의 분산을 얻기 위해 사용된다 .
임의 선택적으로, 차원 정규화 유닛(42)은 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 경우, 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 공간 차원의 평균값을 기초로 채널 차원의 평균값을 얻고, 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 공간 차원의 평균값, 공간 차원의 분산 및 채널 차원의 평균값을 기초로 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 공간 차원의 분산 및 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 경우, 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 공간 차원의 평균값을 기초로 배치 좌표 차원의 평균값을 얻고, 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 공간 차원의 평균값, 공간 차원의 분산 및 배치 좌표 차원의 평균값을 기초로 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적인 하나 이상의 실시예에서는 배치 정규화 유닛(43)은 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 경우, 적어도 하나의 차원의 분산을 가중 평균하여 정규화 분산을 얻고, 적어도 하나의 차원의 평균값을 가중 평균하여 정규화 평균값을 얻고, 정규화 분산 및 정규화 평균값을 기초로 목표 특징 맵 세트를 특정하기 위해 사용된다.
본 실시예에서는 정규화 분산 및 정규화 평균값만으로 특징 맵 세트를 처리하고, 목표 특징 맵 세트를 얻는다. 임의 선택적으로, 특징 맵 세트 내의 적어도 하나의 특징 맵과 정규화 평균값의 차를 계산하고, 차를 정규화 분산으로 나눗셈하고, 목표 특징 맵을 얻고, 나아가서는 목표 특징 세트를 얻는다.
임의 선택적으로, 배치 정규화 유닛(43)은 정규화 분산 및 정규화 평균값을 기초로 목표 특징 맵 세트를 특정하는 경우, 정규화 분산, 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 특징 맵 세트를 처리하고, 목표 특징 맵 세트를 얻기 위해 사용되어도 된다.
본 실시예에서는 종래 기술에서의 배치 정규화의 계산식을 조정하고, 상기 식 (5)에 나타낸 바와 같은 자기 적응 정규화 식을 얻고, 식 (5)을 기초로 계산하여 목표 특징 맵 세트를 얻는다.
임의 선택적인 하나 이상의 실시예에서는 추가로 목표 특징 맵 세트를 기초로 입력 데이터 세트가 적어도 하나의 데이터 결과에 대응하는 것을 특정하기 위한 결과 특정 유닛을 포함해도 된다.
정규화 동작은 네트워크층이 출력한 특징 맵을 기초로 행해지기 때문에, 딥 뉴럴 네트워크가 얻은 특징 맵 세트를 정규화하고 나서, 계속 처리하면, 데이터 결과를 얻는다. 상이한 태스크에 의한 딥 뉴럴 네트워크에 대해 상이한 데이터 결과(예를 들면, 분류 결과, 분할 결과, 인식 결과 등)를 출력할 수 있다.
임의 선택적인 하나 이상의 실시예에서는 입력 데이터는 마크 정보를 갖는 샘플 데이터이고, 본 발명의 실시예의 장치는 추가로 샘플 데이터 세트를 기초로 딥 뉴럴 네트워크를 훈련하기 위한 훈련 유닛을 포함한다.
샘플 데이터 세트는 적어도 하나의 샘플 데이터를 포함하고, 적어도 하나의 차원으로 정규화가 행해진다. 보다 높은 정규화 효과의 특징 맵을 얻기 위해 딥 뉴럴 네트워크의 정규화층에서의 파라미터를 훈련할 필요가 있다. 딥 뉴럴 네트워크에 정규화층을 추가하여 훈련함으로써, 훈련을 보다 고속으로 수렴시켜, 보다 높은 훈련 효과를 달성할 수 있다.
임의 선택적으로, 딥 뉴럴 네트워크는 적어도 하나의 네트워크층 및 적어도 하나의 정규화층을 포함하고,
입력 유닛(41)은 추가로 샘플 데이터 세트를 딥 뉴럴 네트워크에 입력하고, 네트워크층에 의해 적어도 하나의 샘플 특징 맵을 포함하는 샘플의 특징 맵 세트를 출력하기 위해 사용되고,
차원 정규화 유닛(42)은 추가로 정규화층에 의해 샘플의 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 얻기 위해 사용되고,
배치 정규화 유닛(43)은 추가로 샘플의 적어도 하나의 차원의 분산 및 샘플의 적어도 하나의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하기 위해 사용되고,
결과 특정 유닛은 추가로 예측 특징 맵 세트를 기초로 샘플 데이터에 대응하는 예측 결과를 특정하기 위해 사용되고,
훈련 유닛은 추가로 예측 결과 및 마크 정보을 기초로 적어도 하나의 네트워크층의 파라미터 및 적어도 하나의 정규화층의 파라미터를 조정하기 위해 사용된다.
임의 선택적으로, 정규화층의 파라미터는 차원에 대응하는 가중치, 스케일 파라미터 및 시프트 파라미터 중 적어도 하나를 포함할 수 있지만, 이들에 한정되지 않는다.
임의 선택적으로, 가중치는 공간 차원 가중치, 채널 차원 가중치 및 배치 좌표 차원 가중치 중 적어도 하나를 포함할 수 있지만, 이들에 한정되지 않는다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻기 위해, 및/또는
샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻기 위해, 및/또는
샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 경우, 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 평균값을 얻고 샘플의 공간 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 경우, 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 채널 차원의 평균값을 얻고, 샘플의 채널 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 경우, 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값, 너비값 및 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 배치 좌표 차원의 평균값을 얻고, 샘플의 배치 좌표 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적인 하나 이상의 실시예에서는 차원 정규화 유닛(42)은 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻고, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 기초로 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻고, 샘플의 공간 차원의 분산 및 샘플 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻기 위해 사용된다.
식 (1) 그대로를 따라 평균값(
) 및 분산(
)를 계산하면 매우 방대하고 불필요한 계산량이 발생한다. 세 개의 차원의 통계량은 서로 의존하는 관계가 존재하기 때문에, 본 실시예에서 차원의 관계에 의해 우선 공간 차원의 분산 및 공간 차원의 평균값을 계산하고, 추가로 공간 차원의 분산 및 공간 차원의 평균값을 기초로 채널 차원 및 배치 좌표 차원에서의 평균값 및 분산을 계산하도록 통계량을 계산함으로써, 불필요한 계산량을 저감시킨다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 경우, 샘플의 특징 맵 세트 내의 적어도 하나의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 평균값을 얻고, 샘플의 공간 차원의 평균값 및 적어도 하나의 샘플 특징 맵을 기초로, 샘플의 공간 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 기초로 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 경우, 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 샘플의 공간 차원의 평균값을 기초로 샘플의 채널 차원의 평균값을 얻고, 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 샘플의 공간 차원의 평균값, 샘플의 공간 차원의 분산 및 샘플의 채널 차원의 평균값을 기초로 샘플의 채널 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 차원 정규화 유닛(42)은 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 기초로 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 경우, 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 샘플의 공간 차원의 평균값을 기초로 샘플의 배치 좌표 차원의 평균값을 얻고, 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 샘플의 공간 차원의 평균값, 샘플의 공간 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 기초로 샘플의 배치 좌표 차원의 분산을 얻기 위해 사용된다.
임의 선택적으로, 배치 정규화 유닛(43)은 샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻고, 샘플 정규화 분산, 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 샘플의 특징 맵 세트를 처리하고, 예측 특징 맵 세트를 얻기 위해 사용된다.
임의 선택적으로, 샘플의 적어도 하나의 차원의 분산은 샘플의 공간 차원의 분산, 샘플의 채널 차원의 분산 및 샘플의 배치 좌표 차원의 분산을 포함하고,
배치 정규화 유닛(43)은 샘플의 적어도 하나의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻는 경우, 샘플의 공간 차원의 분산과 공간 차원 가중치의 곱, 샘플의 채널 차원의 분산과 채널 차원 가중치의 곱 및 샘플의 배치 좌표 차원의 분산과 배치 좌표 차원 가중치의 곱을 가산하고, 구한 합을 기초로 샘플 정규화 분산을 얻기 위해 사용된다.
임의 선택적으로, 샘플의 적어도 하나의 차원의 평균값은 샘플의 공간 차원의 평균값, 샘플의 채널 차원의 평균값 및 샘플의 배치 좌표 차원의 평균값을 포함하고,
배치 정규화 유닛(43)은 샘플의 적어도 하나의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻는 경우, 샘플의 공간 차원의 평균값과 공간 차원 가중치의 곱, 샘플의 채널 차원의 평균값과 채널 차원 가중치의 곱, 및 샘플의 배치 좌표 차원의 평균값과 배치 좌표 차원 가중치의 곱을 가산하고, 구한 합을 기초로 샘플 정규화 평균값을 얻기 위해 사용된다.
본 발명의 실시예의 다른 측면에 의하면, 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 장치를 포함하는 프로세서를 구비하는 전자 기기가 제공된다.
본 발명의 실시예의 추가적인 다른 측면에 의하면, 실행 가능 명령을 기억하기 위한 메모리, 및 상기 메모리와 통신하여 상기 실행 가능 명령을 실행함으로써 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 방법의 동작을 행하기 위한 프로세서를 포함하는 전자 기기가 제공된다.
본 발명의 실시예는 예를 들면, 이동 단말, 퍼스널 컴퓨터(PC), 태블릿, 서버 등과 같은 전자 기기를 추가로 제공한다. 본 발명의 실시예에서의 단말 기기 또는 서버의 실현에 적합한 전자 기기(500)의 구성을 모식적으로 나타내는 도 5를 참고하기 바란다. 도 5에 나타내는 바와 같이 전자 기기(500)는 하나 이상의 프로세서, 통신부 등을 포함한다. 상기 하나 이상의 프로세서는 예를 들면, 하나 이상의 중앙 처리 장치(CPU)(501) 및/또는 하나 이상의 화상 처리 장치(GPU)(513) 등이다. 프로세서는 판독 전용 메모리(ROM)(502)에 기억되어 있는 실행 가능 명령 또는 기억 부분(508)에서 랜덤 액세스 메모리(RAM)(503)에 로딩된 실행 가능 명령을 기초로, 각종 적당한 동작 및 처리를 실행할 수 있다. 통신부(512)는 네트워크 카드를 포함해도 되지만, 이에 한정되지 않고, 상기 네트워크 카드는 IB(Infiniband) 네트워크 카드를 포함해도 되지만, 이에 한정되지 않는다.
프로세서는 실행 가능 명령을 실행하도록 판독 전용 메모리(502) 및/또는 랜덤 액세스 메모리(503)와 통신하고, 버스(504)를 통해 통신부(512)와 접속하고, 다시 통신부(512)에 의해 다른 목표 기기와 통신하여, 본 발명의 실시예가 제공하는 방법 중 어느 것에 대응하는 동작을 완료해도 된다. 예를 들면, 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하는 단계와, 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는 단계와, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 얻는 경우가 있다.
또한, 재 RAM(503)에는 장치의 동작에 필요한 각종 프로그램 및 데이터가 기억되어도 된다. CPU(501), ROM(502) 및 RAM(503)은 버스(504)를 통해 서로 접속된다. RAM(503)이 있는 경우, ROM(502)은 임의 선택적인 모듈이 된다. RAM(503)은 중앙 처리 장치(501)에 상기 통신 방법에 대응하는 동작을 실행시키는 실행 가능 명령을 기억하거나, 또는 동작시에 ROM(502)에 당해 실행 가능 명령을 기록한다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 접속된다. 통신부(512)는 집적적으로 설치되어도 되고, 복수의 서브 모듈(예를 들면, 복수의 IB 네트워크 카드)을 갖고, 또한 버스를 통해 링크되도록 설치되어도 된다.
키보드, 마우스 등을 포함하는 입력 부분(506), 예를 들면, 음극선관(CRT), 액정 디스플레이(LCD) 등 및 스피커 등을 포함하는 출력 부분(507), 하드 디스크 등을 포함하는 기억 부분(508) 및 예를 들면, LAN 카드, 모뎀 등의 네트워크 인터페이스 카드를 포함하는 통신 부분(509)이 I/O 인터페이스(505)에 접속된다. 통신 부분(509)은 인터넷 등의 네트워크를 통해 통신 처리를 실행한다. 드라이버(510)도 필요에 따라 I/O 인터페이스(505)에 접속된다. 탈착 가능한 매체(511), 예를 들면, 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등은 필요에 따라 드라이버(510)에 장착되어, 거기에서 판독된 컴퓨터 프로그램이 필요에 따라 기억 부분(508)에 인스톨된다.
설명해야 할 것은 도 5에 나타내는 아키텍처는 임의 선택적인 하나의 실현 방식에 불과하다. 구체적인 실천 과정에서는 실제적인 필요에 따라 상기 도 5의 부품수 및 타입의 선택, 삭감, 증가 또는 치환을 행해도 된다. 상이한 기능 부품의 설치에 대해, 개별 또는 집적적인 설치 등의 실현 방식을 채용해도 되고, 예를 들면, GPU(513)와 CPU(501)는 개별적으로 설치되어도 되거나, 또는 GPU(513)를 CPU(501)에 집적시켜도 된다. 통신부는 개별적으로 설치되어도 되고, CPU(501) 또는 GPU(513)에 집적적으로 설치되어도 된다. 이들 대체적인 실시형태는 전부 본 발명의 보호 범위에 속한다.
특히, 본 발명의 실시예에 의하면, 상기에서 흐름도를 참조하면서 설명된 프로세스는 컴퓨터 소프트웨어 프로그램으로서 실현되어도 된다. 예를 들면, 본 발명의 실시예는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램 제품은 기계 판독 가능 매체에 유형으로 구체화되고, 흐름도에 나타내는 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램을 포함하고, 프로그램 코드는 본 발명의 실시예에 의해 제공되는 방법을 실행하는 단계에 대응하는 명령을 포함해도 된다. 예를 들면, 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하는 단계와, 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 적어도 하나의 차원으로 정규화하여, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 얻는 단계와, 적어도 하나의 차원의 분산 및 적어도 하나의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 경우가 있다. 이러한 실시예에서는 상기 컴퓨터 프로그램은 통신 부분(509)에 의해 네트워크에서 다운로드, 인스톨되거나, 및/또는 탈착 가능한 매체(511)에서 인스톨되어도 된다. 상기 컴퓨터 프로그램에서의 중앙 처리 장치(CPU)(501)에 실행되는 경우, 본 발명의 방법에 한정된 상기 기능을 실행한다.
본 발명의 실시예의 추가로 다른 측면에 의하면, 컴퓨터 판독 가능한 명령을 기억하기 위한 컴퓨터 판독 가능 기억 매체로서, 상기 명령은 실행될 때 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 방법의 동작을 실행하는 컴퓨터 판독 가능 기억 매체가 제공된다.
본 발명의 실시예의 추가로 다른 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 판독 가능 코드가 기기에서 운용될 때, 상기 기기 내의 프로세서는 상기 중 어느 한 항에 기재된 딥 뉴럴 네트워크의 정규화 방법을 실현하기 위한 명령을 실행하는 컴퓨터 프로그램 제품이 제공된다.
본 발명의 방법 및 장치는 각종 방식으로 실현할 수 있다. 예를 들면, 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 본 발명의 방법 및 장치를 실현할 수 있다. 상기 방법의 단계의 상기 순서는 단순히 설명하기 위한 것에 불과하고, 본 발명의 방법의 단계는 특별히 언급하지 않는 한, 이상에 구체적으로 기술한 순서에 한정되지 않는다. 또한, 일부 실시예에서는 본 발명을 기록 매체에 기록된 프로그램으로서 실시해도 되고, 이들 프로그램은 본 발명에 따른 방법을 실현하기 위한 기계 가독 지령을 포함한다. 따라서, 본 발명은 본 발명에 따른 방법을 실행하기 위한 프로그램을 기억하는 기록 매체도 포함한다.
본 발명의 기술은 예시 및 설명을 위한 것으로, 빠짐 없이 또는 개시한 형식으로 본 발명을 한정하는 것은 아니다. 각종 수정 및 변경은 당업자에게 자명하다. 선택 및 기술한 실시예는 본 발명의 원리 및 실제 적용을 보다 효과적으로 설명하고, 또한 당업자에게 본 발명을 이해시켜, 특정 용도에 적합한 각종 수정이 부가된 각종 실시예를 설계하기 위한 것이다.
Claims (50)
- 하나 이상의 입력 데이터를 포함하는 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하는 단계;
상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 하나 이상의 차원의 분산 및 하나 이상의 차원의 평균값을 얻는 단계 - 여기서, 상기 특징 맵 세트는 하나 이상의 특징 맵을 포함하고 하나 이상의 채널에 대응하며, 각 채널은 각각 상기 하나 이상의 특징 맵에 대응함;
상기 하나 이상의 차원의 분산 및 상기 하나 이상의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 1 항에 있어서,
상기 차원은 공간 차원, 채널 차원 및 배치(batch) 좌표 차원 중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 2 항에 있어서,
뉴럴 네트워크층이 출력한 특징 맵 세트를 하나 이상의 차원으로 정규화하여 하나 이상의 차원의 분산 및 하나 이상의 차원의 평균값을 얻는 단계는:
상기 특징 맵 세트를 공간 차원을 기초로 정규화하여 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계;
상기 특징 맵 세트를 채널 차원을 기초로 정규화하여 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계; 및
상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계;
중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 3 항에 있어서,
상기 특징 맵 세트를 채널 차원을 기초로 정규화하여 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계는:
상기 특징 맵 세트 내의 하나 이상의 특징 맵의 높이값, 너비값 및 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 하나 이상의 특징 맵을 기초로 상기 채널 차원의 평균값을 얻는 단계; 및
상기 채널 차원의 평균값 및 상기 하나 이상의 특징 맵을 기초로 상기 채널 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 3 항 또는 제 4 항에 있어서,
상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계는:
상기 특징 맵 세트 내의 상기 하나 이상의 특징 맵의 높이값, 너비값 및 상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여 상기 하나 이상의 특징 맵을 기초로 상기 배치 좌표 차원의 평균값을 얻는 단계; 및
상기 배치 좌표 차원의 평균값 및 상기 하나 이상의 특징 맵을 기초로 상기 배치 좌표 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 2 항에 있어서,
상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 하나 이상의 차원으로 정규화하여 하나 이상의 차원의 분산 및 하나 이상의 차원의 평균값을 얻는 단계는:
상기 특징 맵 세트를 공간 차원을 기초로 정규화하여 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계;
상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계; 및
상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 특징 맵 세트를 공간 차원을 기초로 정규화하여 공간 차원의 분산 및 공간 차원의 평균값을 얻는 단계는:
상기 특징 맵 세트 내의 하나 이상의 특징 맵의 높이값 및 너비값을 변수로 사용하여 상기 하나 이상의 특징 맵을 기초로 상기 공간 차원의 평균값을 얻는 단계; 및
상기 공간 차원의 평균값 및 상기 하나 이상의 특징 맵을 기초로 상기 공간 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 6 항 또는 제 7 항에 있어서,
상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 단계는:
상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 공간 차원의 평균값을 기초로 상기 채널 차원의 평균값을 얻는 단계; 및
상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 채널 차원의 평균값을 기초로 상기 채널 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로, 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 단계는:
상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원의 평균값을 얻는 단계; 및
상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여, 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 배치 좌표 차원의 평균값을 기초로 상기 배치 좌표 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 하나 이상의 차원의 분산 및 상기 하나 이상의 차원의 평균값을 기초로, 정규화 후의 목표 특징 맵 세트를 특정하는 단계는;
상기 하나 이상의 차원의 분산을 가중 평균하여 정규화 분산을 얻고, 상기 하나 이상의 차원의 평균값을 가중 평균하여 정규화 평균값을 얻는 단계; 및
상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 10 항에 있어서,
상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는 단계는:
상기 정규화 분산, 상기 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 특징 맵 세트를 처리하여, 상기 목표 특징 맵 세트를 얻는 단계를 포함하는, 방법. - 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 목표 특징 맵 세트를 기초로 상기 입력 데이터 세트가 하나 이상의 데이터 결과에 대응하는 것을 특정하는 단계를 추가로 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 입력 데이터는 마크 정보를 갖는 샘플 데이터이고,
하나 이상의 샘플 데이터를 포함하는 상기 샘플 데이터 세트를 기초로 상기 딥 뉴럴 네트워크를 훈련하는 단계를 추가로 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 13 항에 있어서,
상기 딥 뉴럴 네트워크는 하나 이상의 네트워크층 및 하나 이상의 정규화층을 포함하고,
상기 샘플 데이터 세트를 기초로 상기 딥 뉴럴 네트워크를 훈련하는 단계는:
상기 샘플 데이터 세트를 상기 딥 뉴럴 네트워크에 입력하고, 상기 네트워크층에 의해 하나 이상의 샘플 특징 맵을 포함하는 샘플의 특징 맵 세트를 출력하는 단계;
상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 하나 이상의 샘플 차원의 분산 및 하나 이상의 샘플 차원의 평균값을 얻는 단계;
상기 하나 이상의 샘플 차원의 분산 및 상기 하나 이상의 샘플 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계;
상기 예측 특징 맵 세트를 기초로 상기 샘플 데이터에 대응하는 예측 결과를 특정하는 단계; 및
상기 예측 결과 및 상기 마크 정보를 기초로 상기 하나 이상의 네트워크층의 파라미터 및 상기 하나 이상의 정규화층의 파라미터를 조정하는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 14 항에 있어서,
상기 정규화층의 파라미터는 차원에 대응하는 가중치, 스케일 파라미터 및 시프트 파라미터 중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 15 항에 있어서,
상기 가중치는 공간 차원 가중치, 채널 차원 가중치 및 배치 좌표 차원 가중치 중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 14 항 내지 제 16 항 중 어느 한 항에 있어서,
상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 하나 이상의 샘플 차원의 분산 및 하나 이상의 샘플 차원의 평균값을 얻는 단계는:
상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계;
상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계; 및
상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계;
중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 17 항에 있어서,
상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여, 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계는:
상기 샘플의 특징 맵 세트 내의 하나 이상의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플의 채널 차원의 평균값을 얻는 단계; 및
상기 샘플의 채널 차원의 평균값 및 상기 하나 이상의 샘플 특징 맵을 기초로, 상기 샘플의 채널 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 17 항 또는 제 18 항에 있어서,
상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계는:
상기 샘플의 특징 맵 세트 내의 하나 이상의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플의 배치 좌표 차원의 평균값을 얻는 단계; 및
상기 샘플의 배치 좌표 차원의 평균값 및 상기 하나 이상의 샘플 특징 맵을 기초로, 상기 샘플의 배치 좌표 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 14 항 내지 제 16 항 중 어느 한 항에 있어서,
상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 샘플의 하나 이상의 차원의 분산 및 샘플의 하나 이상의 차원의 평균값을 얻는 단계는:
상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계;
상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계; 및
상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로, 상기 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 17 항 내지 제 20 항 중 어느 한 항에 있어서,
상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여, 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 단계는:
상기 샘플의 특징 맵 세트 내의 하나 이상의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여, 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플의 공간 차원의 평균값을 얻는 단계; 및
상기 샘플의 공간 차원의 평균값 및 상기 하나 이상의 샘플 특징 맵을 기초로, 상기 샘플의 공간 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 20 항 또는 제 21 항에 있어서,
상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로, 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻는 단계는:
상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 채널 차원의 평균값을 얻는 단계; 및
상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 채널 차원의 평균값을 기초로 상기 샘플의 채널 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 20 항 내지 제 22 항 중 어느 한 항에 있어서,
상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로, 상기 배치 좌표 차원에 대응하는 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 단계는:
상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 평균값을 얻는 단계; 및
상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 배치 좌표 차원의 평균값을 기초로 상기 샘플의 배치 좌표 차원의 분산을 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 제 14 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 샘플의 하나 이상의 차원의 분산 및 상기 샘플의 하나 이상의 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하는 단계는:
상기 샘플의 하나 이상의 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 상기 샘플의 하나 이상의 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻는 단계; 및
상기 샘플 정규화 분산, 상기 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 샘플의 특징 맵 세트를 처리하여, 상기 예측 특징 맵 세트를 얻는 단계;
를 포함하는, 딥 뉴럴 네트워크의 정규화 방법. - 하나 이상의 입력 데이터를 포함하는 입력 데이터 세트를 딥 뉴럴 네트워크에 입력하기 위한 입력 유닛;
상기 딥 뉴럴 네트워크에서의 네트워크층이 출력한 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 하나 이상의 차원의 분산 및 하나 이상의 차원의 평균값을 얻는 유닛 - 여기서, 상기 특징 맵 세트는 하나 이상의 특징 맵을 포함하고 하나 이상의 채널에 대응하며, 각 채널은 각각 상기 하나 이상의 특징 맵에 대응함; 및
상기 하나 이상의 차원의 분산 및 상기 하나 이상의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하기 위한 배치 정규화 유닛;
을 포함하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 25 항에 있어서,
상기 차원은 공간 차원, 채널 차원 및 배치 좌표 차원 중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 26 항에 있어서,
상기 차원 정규화 유닛은:
상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 기능;
상기 특징 맵 세트를 채널 차원을 기초로 정규화하여, 채널 차원의 분산 및 채널 차원의 평균값을 얻는 기능; 및
상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여, 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 기능;
중 하나 이상을 수행하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 27 항에 있어서,
상기 차원 정규화 유닛은, 상기 특징 맵 세트를 채널 차원을 기초로 정규화하여 채널 차원의 분산 및 채널 차원의 평균값을 얻는 경우, 상기 특징 맵 세트 내의 하나 이상의 특징 맵의 높이값, 너비값 및 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 하나 이상의 특징 맵을 기초로 상기 채널 차원의 평균값을 얻고, 상기 채널 차원의 평균값 및 상기 하나 이상의 특징 맵을 기초로 상기 채널 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 27 항 또는 제 28 항에 있어서,
상기 차원 정규화 유닛은, 상기 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 경우, 상기 특징 맵 세트 내의 상기 하나 이상의 특징 맵의 높이값, 너비값 및 상기 입력 데이터 세트에 대응하는 입력 데이터수를 변수로 사용하여 상기 하나 이상의 특징 맵을 기초로 상기 배치 좌표 차원의 평균값을 얻고, 상기 배치 좌표 차원의 평균값 및 상기 하나 이상의 특징 맵을 기초로 상기 배치 좌표 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 26 항에 있어서,
상기 차원 정규화 유닛은, 상기 특징 맵 세트를 공간 차원을 기초로 정규화하여 공간 차원의 분산 및 공간 차원의 평균값을 얻고, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻고, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 27 항 내지 제 30 항 중 어느 한 항에 있어서,
상기 차원 정규화 유닛은 상기 특징 맵 세트를 공간 차원을 기초로 정규화하여, 공간 차원의 분산 및 공간 차원의 평균값을 얻는 경우, 상기 특징 맵 세트 내의 하나 이상의 특징 맵의 높이값 및 너비값을 변수로 사용하여 상기 하나 이상의 특징 맵을 기초로 상기 공간 차원의 평균값을 얻고, 상기 공간 차원의 평균값 및 상기 하나 이상의 특징 맵을 기초로, 상기 공간 차원의 분산을 얻기 위해 사용되는, 딥 뉴럴 네트워크의 정규화 장치. - 제 30 항 또는 제 31 항에 있어서,
상기 차원 정규화 유닛은, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 채널 차원의 분산 및 채널 차원의 평균값을 얻는 경우, 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 공간 차원의 평균값을 기초로 상기 채널 차원의 평균값을 얻고, 상기 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 채널 차원의 평균값을 기초로 상기 채널 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 30 항 내지 제 32 항 중 어느 한 항에 있어서,
상기 차원 정규화 유닛은, 상기 공간 차원의 분산 및 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 배치 좌표 차원의 분산 및 배치 좌표 차원의 평균값을 얻는 경우, 상기 입력 데이터 세트에 대응하는 입력 데이터 수를 변수로 사용하여 상기 공간 차원의 평균값을 기초로 상기 배치 좌표 차원의 평균값을 얻고, 상기 입력 데이터 세트에 대응하는 입력 데이터 수를 변수로 사용하여 상기 공간 차원의 평균값, 상기 공간 차원의 분산 및 상기 배치 좌표 차원의 평균값을 기초로 상기 배치 좌표 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 25 항 내지 제 33 항 중 어느 한 항에 있어서,
상기 배치 정규화 유닛은, 상기 하나 이상의 차원의 분산 및 상기 하나 이상의 차원의 평균값을 기초로 정규화 후의 목표 특징 맵 세트를 특정하는 경우, 상기 하나 이상의 차원의 분산을 가중 평균하여 정규화 분산을 얻고, 상기 하나 이상의 차원의 평균값을 가중 평균하여 정규화 평균값을 얻고, 상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 34 항에 있어서,
상기 배치 정규화 유닛은, 상기 정규화 분산 및 상기 정규화 평균값을 기초로 상기 목표 특징 맵 세트를 특정하는 경우, 상기 정규화 분산, 상기 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 특징 맵 세트를 처리하여, 상기 목표 특징 맵 세트를 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 25 항 내지 제 35 항 중 어느 한 항에 있어서,
상기 목표 특징 맵 세트를 기초로 상기 입력 데이터 세트에 대응하는 하나 이상의 데이터 결과를 특정하기 위한 결과 특정 유닛을 추가로 포함하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 25 항 내지 제 36 항 중 어느 한 항에 있어서,
상기 입력 데이터는 마크 정보를 갖는 샘플 데이터이고,
하나 이상의 샘플 데이터를 포함하는 상기 샘플 데이터 세트를 기초로 상기 딥 뉴럴 네트워크를 훈련하기 위한 훈련 유닛을 추가로 포함하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 37 항에 있어서,
상기 딥 뉴럴 네트워크는 하나 이상의 네트워크층 및 하나 이상의 정규화층을 포함하고,
상기 입력 유닛은 추가로 상기 샘플 데이터 세트를 상기 딥 뉴럴 네트워크에 입력하고, 상기 네트워크층에 의해 하나 이상의 샘플 특징 맵을 포함하는 샘플의 특징 맵 세트를 출력하며,
상기 차원 정규화 유닛은 추가로 상기 정규화층에 의해 상기 샘플의 특징 맵 세트를 하나 이상의 차원으로 정규화하여, 하나 이상의 샘플 차원의 분산 및 하나 이상의 샘플 차원의 평균값을 얻고,
상기 배치 정규화 유닛은 추가로 상기 하나 이상의 샘플 차원의 분산 및 상기 하나 이상의 샘플 차원의 평균값을 기초로 정규화 후의 예측 특징 맵 세트를 특정하고,
상기 결과 특정 유닛은 추가로 상기 예측 특징 맵 세트를 기초로 상기 샘플 데이터에 대응하는 예측 결과를 특정하고,
상기 훈련 유닛은 상기 예측 결과 및 상기 마크 정보을 기초로 상기 하나 이상의 네트워크층의 파라미터 및 상기 하나 이상의 정규화층의 파라미터를 조정하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 38 항에 있어서,
상기 정규화층의 파라미터는 차원에 대응하는 가중치, 스케일 파라미터 및 시프트 파라미터 중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 39 항에 있어서,
상기 가중치는 공간 차원 가중치, 채널 차원 가중치 및 배치 좌표 차원 가중치 중 하나 이상을 포함하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 38 항 내지 제 40 항 중 어느 한 항에 있어서,
상기 차원 정규화 유닛은:
상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 기능;
상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여 샘플 채널 차원의 분산 및 샘플 채널 차원의 평균값을 얻는 기능;
상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여 샘플 배치 좌표 차원의 분산 및 샘플 배치 좌표 차원의 평균값을 얻는 기능;
중 하나 이상을 수행하는, 딥 뉴럴 네트워크의 정규화 장치. - 제 41 항에 있어서,
상기 차원 정규화 유닛은, 상기 샘플의 특징 맵 세트를 채널 차원을 기초로 정규화하여 샘플 채널 차원의 분산 및 샘플 채널 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트 내의 하나 이상의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여, 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플 채널 차원의 평균값을 얻고, 상기 샘플 채널 차원의 평균값 및 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플 채널 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 41 항 또는 제 42 항에 있어서,
상기 차원 정규화 유닛은, 상기 샘플의 특징 맵 세트를 배치 좌표 차원을 기초로 정규화하여 샘플의 배치 좌표 차원의 분산 및 샘플의 배치 좌표 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트 내의 하나 이상의 샘플 특징 맵의 높이값, 너비값 및 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여, 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플의 배치 좌표 차원의 평균값을 얻고, 상기 샘플의 배치 좌표 차원의 평균값 및 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플의 배치 좌표 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 41 항 내지 제 43 항 중 어느 한 항에 있어서,
상기 차원 정규화 유닛은, 상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻고, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플의 채널 차원의 분산 및 샘플의 채널 차원의 평균값을 얻고, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 샘플 배치 좌표 차원의 분산 및 샘플 배치 좌표 차원의 평균값을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 41 항 내지 제 44 항 중 어느 한 항에 있어서,
상기 차원 정규화 유닛은, 상기 샘플의 특징 맵 세트를 공간 차원을 기초로 정규화하여 샘플의 공간 차원의 분산 및 샘플의 공간 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트 내의 하나 이상의 샘플 특징 맵의 높이값 및 너비값을 변수로 사용하여 상기 하나 이상의 샘플 특징 맵을 기초로, 상기 샘플의 공간 차원의 평균값을 얻고, 상기 샘플의 공간 차원의 평균값 및 상기 하나 이상의 샘플 특징 맵을 기초로 상기 샘플의 공간 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 44 항 또는 제 45 항에 있어서,
상기 차원 정규화 유닛은, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 채널 차원에 대응하는 샘플 채널 차원의 분산 및 샘플 채널 차원의 평균값을 얻는 경우, 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플 채널 차원의 평균값을 얻고, 상기 샘플의 특징 맵 세트에 대응하는 채널수를 변수로 사용하여 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플 채널 차원의 평균값을 기초로 상기 샘플 채널 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 44 항 내지 제 46 항 중 어느 한 항에 있어서,
상기 차원 정규화 유닛은, 상기 샘플의 공간 차원의 분산 및 상기 샘플의 공간 차원의 평균값을 기초로 상기 배치 좌표 차원에 대응하는 샘플 배치 좌표 차원의 분산 및 샘플 배치 좌표 차원의 평균값을 얻는 경우, 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여 상기 샘플의 공간 차원의 평균값을 기초로 상기 샘플 배치 좌표 차원의 평균값을 얻고, 상기 샘플 데이터 세트에 대응하는 샘플 데이터수를 변수로 사용하여 상기 샘플의 공간 차원의 평균값, 상기 샘플의 공간 차원의 분산 및 상기 샘플 배치 좌표 차원의 평균값을 기초로 상기 샘플 배치 좌표 차원의 분산을 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 제 38 항 내지 제 47 항 중 어느 한 항에 있어서,
상기 배치 정규화 유닛은 상기 하나 이상의 샘플 차원의 분산을 가중 평균하여 샘플 정규화 분산을 얻고, 상기 하나 이상의 샘플 차원의 평균값을 가중 평균하여 샘플 정규화 평균값을 얻고, 상기 샘플 정규화 분산, 상기 샘플 정규화 평균값, 스케일 파라미터 및 시프트 파라미터를 기초로 상기 샘플의 특징 맵 세트를 처리하여, 상기 예측 특징 맵 세트를 얻는, 딥 뉴럴 네트워크의 정규화 장치. - 실행 가능 명령을 기억하는 메모리; 및
상기 메모리와 통신하여 상기 실행 가능 명령을 실행함으로써 제 1 항 내지 제 24 항 중 어느 한 항에 의한 딥 뉴럴 네트워크의 정규화 방법의 단계를 수행하기 위한 프로세서;
를 포함하는, 전자 기기. - 컴퓨터로 읽을 수 있는 명령을 기억하기 위한 컴퓨터로 읽을 수 있는 기억매체로서,
상기 명령이 실행되는 경우 제 1 항 내지 제 24 항 중 어느 한 항에 의한 딥 뉴럴 네트워크의 정규화 방법의 단계를 실행하는, 컴퓨터로 읽을 수 있는 기억매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810609601.0 | 2018-06-13 | ||
| CN201810609601.0A CN108921283A (zh) | 2018-06-13 | 2018-06-13 | 深度神经网络的归一化方法和装置、设备、存储介质 |
| PCT/CN2019/090964 WO2019238072A1 (zh) | 2018-06-13 | 2019-06-12 | 深度神经网络的归一化方法和装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210018180A true KR20210018180A (ko) | 2021-02-17 |
Family
ID=64419572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207013708A KR20210018180A (ko) | 2018-06-13 | 2019-06-12 | 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200257979A1 (ko) |
| JP (1) | JP7009614B2 (ko) |
| KR (1) | KR20210018180A (ko) |
| CN (1) | CN108921283A (ko) |
| WO (1) | WO2019238072A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096933B (zh) * | 2018-01-30 | 2023-07-18 | 华为技术有限公司 | 目标检测的方法、装置及系统 |
| US20190279043A1 (en) | 2018-03-06 | 2019-09-12 | Tazi AI Systems, Inc. | Online machine learning system that continuously learns from data and human input |
| CN108921283A (zh) * | 2018-06-13 | 2018-11-30 | 深圳市商汤科技有限公司 | 深度神经网络的归一化方法和装置、设备、存储介质 |
| US20200242771A1 (en) * | 2019-01-25 | 2020-07-30 | Nvidia Corporation | Semantic image synthesis for generating substantially photorealistic images using neural networks |
| CN109784420B (zh) * | 2019-01-29 | 2021-12-28 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、计算机设备和存储介质 |
| CN109886392B (zh) * | 2019-02-25 | 2021-04-27 | 深圳市商汤科技有限公司 | 数据处理方法和装置、电子设备和存储介质 |
| CN110753264B (zh) * | 2019-10-23 | 2022-06-07 | 支付宝(杭州)信息技术有限公司 | 视频生成方法、装置及设备 |
| CN111325222A (zh) * | 2020-02-27 | 2020-06-23 | 深圳市商汤科技有限公司 | 图像归一化处理方法及装置、存储介质 |
| CN111508038B (zh) * | 2020-04-17 | 2024-09-24 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111985613B (zh) * | 2020-07-22 | 2024-06-21 | 东南大学 | 基于l1范数组归一化的卷积神经网络电路的归一化方法 |
| US20230274132A1 (en) * | 2020-08-26 | 2023-08-31 | Intel Corporation | Methods and apparatus to dynamically normalize data in neural networks |
| EP4193304A4 (en) * | 2020-09-08 | 2023-07-26 | Huawei Technologies Co., Ltd. | NORMALIZATION IN DEEP CONVOLUTIONAL NEURAL NETWORKS |
| CN113515992A (zh) * | 2020-11-06 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 目标识别方法、设备及存储介质 |
| CN112926646B (zh) * | 2021-02-22 | 2023-07-04 | 上海壁仞智能科技有限公司 | 数据批量标准化方法、计算设备和计算机可读存储介质 |
| CN113191446B (zh) * | 2021-05-17 | 2022-04-08 | 电子科技大学 | 一种基于深度归一化网络的多旋翼无人机目标识别方法 |
| CN115936094B (zh) * | 2022-12-27 | 2024-07-02 | 北京百度网讯科技有限公司 | 文本处理模型的训练方法、装置、电子设备和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102055355B1 (ko) * | 2015-01-28 | 2019-12-12 | 구글 엘엘씨 | 배치 정규화 레이어들 |
| US10282663B2 (en) * | 2015-08-15 | 2019-05-07 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
| CN106203624B (zh) * | 2016-06-23 | 2019-06-21 | 上海交通大学 | 基于深度神经网络的矢量量化系统及方法 |
| US9836853B1 (en) * | 2016-09-06 | 2017-12-05 | Gopro, Inc. | Three-dimensional convolutional neural networks for video highlight detection |
| JP6961011B2 (ja) * | 2016-12-09 | 2021-11-05 | ベイジン ホライズン インフォメーション テクノロジー カンパニー リミテッド | データ管理のためのシステム及び方法 |
| CN106780466A (zh) * | 2016-12-21 | 2017-05-31 | 广西师范大学 | 一种基于卷积神经网络的宫颈细胞图像识别方法 |
| US10867255B2 (en) * | 2017-03-03 | 2020-12-15 | Hong Kong Applied Science and Technology Research Institute Company Limited | Efficient annotation of large sample group |
| CN107169956B (zh) * | 2017-04-28 | 2020-02-14 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
| CN107798356A (zh) * | 2017-11-24 | 2018-03-13 | 郑州大学西亚斯国际学院 | 基于深度卷积神经网络的作物叶片病害识别方法 |
| CN108921283A (zh) * | 2018-06-13 | 2018-11-30 | 深圳市商汤科技有限公司 | 深度神经网络的归一化方法和装置、设备、存储介质 |
-
2018
- 2018-06-13 CN CN201810609601.0A patent/CN108921283A/zh active Pending
-
2019
- 2019-06-12 WO PCT/CN2019/090964 patent/WO2019238072A1/zh active Application Filing
- 2019-06-12 JP JP2020510104A patent/JP7009614B2/ja active Active
- 2019-06-12 KR KR1020207013708A patent/KR20210018180A/ko not_active Application Discontinuation
-
2020
- 2020-04-29 US US16/862,304 patent/US20200257979A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020537204A (ja) | 2020-12-17 |
| CN108921283A (zh) | 2018-11-30 |
| JP7009614B2 (ja) | 2022-01-25 |
| US20200257979A1 (en) | 2020-08-13 |
| WO2019238072A1 (zh) | 2019-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210018180A (ko) | 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체 | |
| US11170210B2 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
| US20200134375A1 (en) | Semantic segmentation model training methods and apparatuses, electronic devices, and storage media | |
| JP6963695B2 (ja) | 単眼画像深度推定方法及び装置、機器、プログラム及び記憶媒体 | |
| US11348246B2 (en) | Segmenting objects in vector graphics images | |
| TWI721510B (zh) | 雙目圖像的深度估計方法、設備及儲存介質 | |
| CN109190720B (zh) | 智能体强化学习方法、装置、设备及介质 | |
| CN108122234A (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
| CN109583509B (zh) | 数据生成方法、装置及电子设备 | |
| WO2013088665A1 (ja) | 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム | |
| CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN108875931A (zh) | 神经网络训练及图像处理方法、装置、系统 | |
| KR20200102409A (ko) | 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체 | |
| CN110598717A (zh) | 图像特征的提取方法、装置及电子设备 | |
| CN108229650B (zh) | 卷积处理方法、装置及电子设备 | |
| CN113837965B (zh) | 图像清晰度识别方法、装置、电子设备及存储介质 | |
| CN113688737B (zh) | 人脸图像处理方法、装置、电子设备、存储介质及程序 | |
| CN114066814A (zh) | 一种ar设备的手势3d关键点检测方法、电子设备 | |
| CN110442719B (zh) | 一种文本处理方法、装置、设备及存储介质 | |
| CN115311403B (zh) | 深度学习网络的训练方法、虚拟形象生成方法及装置 | |
| CN109993694B (zh) | 一种生成超分辨率图像的方法及装置 | |
| CN116167912A (zh) | 对抗样本生成方法、抗攻击检测方法、装置及电子设备 | |
| CN115952834A (zh) | 应用于Transformer的批量层归一化方法及装置 | |
| CN112927200B (zh) | 本征图像分解方法、装置、可读存储介质及电子设备 | |
| US11200708B1 (en) | Real-time color vector preview generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITB | Written withdrawal of application |