KR20220122671A - 뉴럴 네트워크 모델 및 그 학습 방법 - Google Patents
뉴럴 네트워크 모델 및 그 학습 방법 Download PDFInfo
- Publication number
- KR20220122671A KR20220122671A KR1020227024868A KR20227024868A KR20220122671A KR 20220122671 A KR20220122671 A KR 20220122671A KR 1020227024868 A KR1020227024868 A KR 1020227024868A KR 20227024868 A KR20227024868 A KR 20227024868A KR 20220122671 A KR20220122671 A KR 20220122671A
- Authority
- KR
- South Korea
- Prior art keywords
- layer
- neural network
- data
- feature map
- input
- Prior art date
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 title claims description 4
- 238000013528 artificial neural network Methods 0.000 claims abstract description 338
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 580
- 230000006870 function Effects 0.000 description 99
- 238000006243 chemical reaction Methods 0.000 description 60
- 238000003384 imaging method Methods 0.000 description 55
- 238000012545 processing Methods 0.000 description 44
- 238000003860 storage Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 29
- 230000010365 information processing Effects 0.000 description 29
- 239000010408 film Substances 0.000 description 28
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 16
- 239000003990 capacitor Substances 0.000 description 16
- 229910052710 silicon Inorganic materials 0.000 description 16
- 239000010703 silicon Substances 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 229910052751 metal Inorganic materials 0.000 description 13
- 239000002184 metal Substances 0.000 description 13
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 12
- 239000000463 material Substances 0.000 description 12
- 229910052711 selenium Inorganic materials 0.000 description 12
- 239000011669 selenium Substances 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 239000000758 substrate Substances 0.000 description 10
- 108010080865 Factor XII Proteins 0.000 description 9
- 102000000429 Factor XII Human genes 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 8
- 108010074864 Factor XI Proteins 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 238000002955 isolation Methods 0.000 description 6
- 229910052782 aluminium Inorganic materials 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 229910052802 copper Inorganic materials 0.000 description 5
- 239000010949 copper Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 239000011229 interlayer Substances 0.000 description 5
- 229910052721 tungsten Inorganic materials 0.000 description 5
- 239000011787 zinc oxide Substances 0.000 description 5
- 229910052581 Si3N4 Inorganic materials 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 239000010931 gold Substances 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 4
- 229910052814 silicon oxide Inorganic materials 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 229910052738 indium Inorganic materials 0.000 description 3
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 3
- 229910052709 silver Inorganic materials 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 3
- 239000010937 tungsten Substances 0.000 description 3
- 229910052688 Gadolinium Inorganic materials 0.000 description 2
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 229910045601 alloy Inorganic materials 0.000 description 2
- 239000000956 alloy Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- AJNVQOSZGJRYEI-UHFFFAOYSA-N digallium;oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Ga+3].[Ga+3] AJNVQOSZGJRYEI-UHFFFAOYSA-N 0.000 description 2
- 229910001195 gallium oxide Inorganic materials 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000005525 hole transport Effects 0.000 description 2
- 229910003437 indium oxide Inorganic materials 0.000 description 2
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 239000011810 insulating material Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 229910052697 platinum Inorganic materials 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 229920001721 polyimide Polymers 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 238000004544 sputter deposition Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 229910052715 tantalum Inorganic materials 0.000 description 2
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 2
- XOLBLPGZBRYERU-UHFFFAOYSA-N tin dioxide Chemical compound O=[Sn]=O XOLBLPGZBRYERU-UHFFFAOYSA-N 0.000 description 2
- 229910001887 tin oxide Inorganic materials 0.000 description 2
- 229910052719 titanium Inorganic materials 0.000 description 2
- 239000010936 titanium Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 229920000178 Acrylic resin Polymers 0.000 description 1
- 239000004925 Acrylic resin Substances 0.000 description 1
- 229910016036 BaF 2 Inorganic materials 0.000 description 1
- XMWRBQBLMFGWIX-UHFFFAOYSA-N C60 fullerene Chemical class C12=C3C(C4=C56)=C7C8=C5C5=C9C%10=C6C6=C4C1=C1C4=C6C6=C%10C%10=C9C9=C%11C5=C8C5=C8C7=C3C3=C7C2=C1C1=C2C4=C6C4=C%10C6=C9C9=C%11C5=C5C8=C3C3=C7C1=C1C2=C4C6=C2C9=C5C3=C12 XMWRBQBLMFGWIX-UHFFFAOYSA-N 0.000 description 1
- 229910004261 CaF 2 Inorganic materials 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910020156 CeF Inorganic materials 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 229910052777 Praseodymium Inorganic materials 0.000 description 1
- KJTLSVCANCCWHF-UHFFFAOYSA-N Ruthenium Chemical compound [Ru] KJTLSVCANCCWHF-UHFFFAOYSA-N 0.000 description 1
- 229910052771 Terbium Inorganic materials 0.000 description 1
- NRTOMJZYCJJWKI-UHFFFAOYSA-N Titanium nitride Chemical compound [Ti]#N NRTOMJZYCJJWKI-UHFFFAOYSA-N 0.000 description 1
- QCWXUUIWCKQGHC-UHFFFAOYSA-N Zirconium Chemical compound [Zr] QCWXUUIWCKQGHC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- -1 acryl Chemical group 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000003064 anti-oxidating effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 229910052790 beryllium Inorganic materials 0.000 description 1
- ATBAMAFKBVZNFJ-UHFFFAOYSA-N beryllium atom Chemical compound [Be] ATBAMAFKBVZNFJ-UHFFFAOYSA-N 0.000 description 1
- XQPRBTXUXXVTKB-UHFFFAOYSA-M caesium iodide Inorganic materials [I-].[Cs+] XQPRBTXUXXVTKB-UHFFFAOYSA-M 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 229910021419 crystalline silicon Inorganic materials 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 229910003472 fullerene Inorganic materials 0.000 description 1
- 229910052733 gallium Inorganic materials 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 229910052735 hafnium Inorganic materials 0.000 description 1
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 229910052741 iridium Inorganic materials 0.000 description 1
- GKOZUEZYRPOHIO-UHFFFAOYSA-N iridium atom Chemical compound [Ir] GKOZUEZYRPOHIO-UHFFFAOYSA-N 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 229910052746 lanthanum Inorganic materials 0.000 description 1
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- WPBNNNQJVZRUHP-UHFFFAOYSA-L manganese(2+);methyl n-[[2-(methoxycarbonylcarbamothioylamino)phenyl]carbamothioyl]carbamate;n-[2-(sulfidocarbothioylamino)ethyl]carbamodithioate Chemical compound [Mn+2].[S-]C(=S)NCCNC([S-])=S.COC(=O)NC(=S)NC1=CC=CC=C1NC(=S)NC(=O)OC WPBNNNQJVZRUHP-UHFFFAOYSA-L 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910021424 microcrystalline silicon Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 229910000476 molybdenum oxide Inorganic materials 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 229910052758 niobium Inorganic materials 0.000 description 1
- 239000010955 niobium Substances 0.000 description 1
- GUCVJGMIXFAOAE-UHFFFAOYSA-N niobium atom Chemical compound [Nb] GUCVJGMIXFAOAE-UHFFFAOYSA-N 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 1
- PQQKPALAQIIWST-UHFFFAOYSA-N oxomolybdenum Chemical compound [Mo]=O PQQKPALAQIIWST-UHFFFAOYSA-N 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 238000007517 polishing process Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 239000009719 polyimide resin Substances 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 229910052707 ruthenium Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010944 silver (metal) Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- FVAUCKIRQBBSSJ-UHFFFAOYSA-M sodium iodide Inorganic materials [Na+].[I-] FVAUCKIRQBBSSJ-UHFFFAOYSA-M 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 229910052712 strontium Inorganic materials 0.000 description 1
- CIOAGBVUUVVLOB-UHFFFAOYSA-N strontium atom Chemical compound [Sr] CIOAGBVUUVVLOB-UHFFFAOYSA-N 0.000 description 1
- 229910052718 tin Inorganic materials 0.000 description 1
- 238000001771 vacuum deposition Methods 0.000 description 1
- 229910052720 vanadium Inorganic materials 0.000 description 1
- GPPXJZIENCGNKB-UHFFFAOYSA-N vanadium Chemical compound [V]#[V] GPPXJZIENCGNKB-UHFFFAOYSA-N 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
- 229910052726 zirconium Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Filters That Use Time-Delay Elements (AREA)
Abstract
입력 데이터에 대하여 높은 정밀도로 처리를 할 수 있는 뉴럴 네트워크 모델을 제공한다. 제 1 뉴럴 네트워크 및 제 2 뉴럴 네트워크를 가지고, 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층을 가진다. 제 1 층으로부터 출력되는 특징 맵은 제 2 층과, 제 2 뉴럴 네트워크에 입력되고, 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 제 3 층에 입력된다. 여기서, 제 1 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 제 1 데이터에 노이즈를 부가한 제 2 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하면, 제 2 뉴럴 네트워크는 학습 특징 맵을 입력한 경우에 출력되는 특징 맵이 정답 특징 맵과 일치하도록 학습된 것이다.
Description
본 발명의 일 형태는 뉴럴 네트워크 모델에 관한 것이다. 또한, 본 발명의 일 형태는 뉴럴 네트워크 모델의 학습 방법에 관한 것이다.
AI(Artificial Intelligence)를 사용하여 화상 처리를 수행하는 기술이 주목받고 있다. 예를 들어 특허문헌 1에는 화상에 포함되는 물체의 종류와 상기 물체의 영역을 뉴럴 네트워크를 사용하여 검출하는 세그먼테이션의 기술이 개시(開示)되어 있다. 또한, AI를 사용하여 흑백 화상의 컬러화나 심도 추정 등을 수행하는 기술도 개발되고 있다.
또한, 스킵 연결된 층을 가지는 뉴럴 네트워크가 개발되고 있다. 여기서 스킵 연결이란, 뉴럴 네트워크가 가지는 층으로부터 출력되는 특징 맵이 다음 층뿐만 아니라 출력층에 더 가까운 다른 층에도 입력되는 구성을 나타낸다. 비특허문헌 1에는 스킵 연결을 가지는 뉴럴 네트워크로서 U-Net가 개시되어 있다. U-Net를 사용하면, 스킵 연결에 의하여 예를 들어 뉴럴 네트워크에 입력되는 화상 데이터가 가지는 정보를 출력층에 가까운 층으로부터 출력되는 특징 맵에 반영시키기 쉬워진다. 이에 의하여, 정밀도가 높은 화상 처리를 수행할 수 있다. 예를 들어 U-Net를 사용하면 뉴럴 네트워크에 입력되는 화상 데이터가 가지는 물체의 위치, 윤곽 등의 정보를 출력층에 가까운 층으로부터 출력되는 특징 맵에 반영시키기 쉬워지기 때문에, 세그먼테이션을 높은 정밀도로 수행할 수 있다.
Olaf Ronneberger,Philipp Fischer, and Thomas Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation", Medical Image Computing and Computer-Assisted Intervention, 234-241(2015).
스킵 연결된 층을 가지는 뉴럴 네트워크에서는, 상기 뉴럴 네트워크에 입력되는 데이터(입력 데이터)에 노이즈가 포함되는 경우, 상기 노이즈가 출력층에 가까운 층까지 전달되기 쉽다. 이에 의하여, 상기 데이터에 대한 처리를 높은 정밀도로 수행할 수 없어질 가능성이 있다.
본 발명의 일 형태는 입력 데이터에 포함되는 노이즈를 제거할 수 있는 뉴럴 네트워크 모델을 제공하는 것을 과제 중 하나로 한다. 또는, 입력 데이터에 대하여 높은 정밀도로 처리를 수행할 수 있는 뉴럴 네트워크 모델을 제공하는 것을 과제 중 하나로 한다. 또는, 신규 뉴럴 네트워크 모델을 제공하는 것을 과제 중 하나로 한다.
본 발명의 일 형태는 입력 데이터에 포함되는 노이즈를 제거할 수 있는 뉴럴 네트워크 모델의 학습 방법을 제공하는 것을 과제 중 하나로 한다. 또는, 입력 데이터에 대하여 높은 정밀도로 처리를 수행할 수 있는 뉴럴 네트워크 모델의 학습 방법을 제공하는 것을 과제 중 하나로 한다. 또는, 신규 뉴럴 네트워크 모델의 학습 방법을 제공하는 것을 과제 중 하나로 한다.
또한 이들 과제의 기재는 다른 과제의 존재를 방해하는 것은 아니다. 또한 본 발명의 일 형태는 이들 과제 모두를 해결할 필요는 없다. 또한, 이들 외의 과제는 명세서, 도면, 청구항 등의 기재로부터 저절로 명백해지는 것이며 명세서, 도면, 청구항 등의 기재로부터 이들 외의 과제를 추출할 수 있다.
본 발명의 일 형태는 제 1 뉴럴 네트워크와, 제 2 뉴럴 네트워크를 가지고, 제 1 뉴럴 네트워크는 제 2 뉴럴 네트워크를 통하여 스킵 연결된 층을 가지는 뉴럴 네트워크 모델 및 그 학습 방법이다. 제 2 뉴럴 네트워크는 입력된 특징 맵에 대하여 노이즈 제거를 수행하는 기능을 가진다. 이에 의하여, 제 1 뉴럴 네트워크에 입력되는 데이터에 노이즈가 포함되어도, 상기 노이즈가 제 1 뉴럴 네트워크의 출력층에 가까운 층까지 전달되는 것을 억제할 수 있다.
본 발명의 일 형태의 뉴럴 네트워크 모델의 학습을 수행할 때에는, 우선 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득한다. 다음으로 제 1 학습을 수행하여 제 2 뉴럴 네트워크의 가중 계수를 취득한다. 그 후 제 2 학습을 수행하여 제 1 뉴럴 네트워크의 가중 계수를 취득한다. 제 1 학습과 제 2 학습을 수행한 후에 본 발명의 일 형태의 뉴럴 네트워크 모델의 추론 정밀도를 평가한다. 추론 정밀도가 규정값 이상이 될 때까지 제 1 학습과 제 2 학습을 수행한다.
본 발명의 일 형태는 제 1 뉴럴 네트워크와, 제 2 뉴럴 네트워크를 가지고, 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층을 가지고, 제 1 층으로부터 출력되는 특징 맵은 제 2 층과, 제 2 뉴럴 네트워크에 입력되고, 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 제 3 층에 입력되고, 제 2 뉴럴 네트워크는 제 1 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 제 1 데이터에 노이즈를 부가한 제 2 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하고, 제 2 뉴럴 네트워크에 학습 특징 맵을 입력한 경우에 제 2 뉴럴 네트워크로부터 출력되는 특징 맵이 정답 특징 맵과 일치하도록 제 1 학습에 의하여 학습된 것인 뉴럴 네트워크 모델이다.
또는, 상기 형태에 있어서 제 2 뉴럴 네트워크의 가중 계수는 초깃값 취득용 데이터를 제 1 뉴럴 네트워크에 입력하여 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득한 후에 제 1 학습에 의하여 취득된 것이어도 좋다.
또는, 상기 형태에서 제 1 뉴럴 네트워크의 가중 계수는, 제 2 뉴럴 네트워크의 가중 계수를 취득한 후에 제 2 데이터를 제 1 뉴럴 네트워크에 입력함으로써 수행되는 제 2 학습에 의하여 취득된 것이어도 좋다.
또는, 상기 형태에서 제 1 뉴럴 네트워크는 제 4 층과, 제 5 층과, 제 6 층을 가지고, 제 4 층으로부터 출력되는 특징 맵은 제 5 층과, 제 4 층에 스킵 연결된 제 6 층에 입력되고, 제 4 층은 제 1 층보다 제 1 뉴럴 네트워크의 출력층에 가까워도 좋고, 제 3 층은 제 6 층보다 제 1 뉴럴 네트워크의 출력층에 가까워도 좋다.
또는, 본 발명의 일 형태는 제 1 뉴럴 네트워크와, 제 2 뉴럴 네트워크를 가지고, 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층과, 제 4 층을 가지고, 제 4 층, 제 3 층, 제 2 층, 제 1 층의 순서로 제 1 뉴럴 네트워크의 출력층에 가깝고, 제 1 층으로부터 출력되는 특징 맵은 제 2 층과, 제 2 뉴럴 네트워크에 입력되고, 제 3 층으로부터 출력되는 특징 맵 및 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 제 4 층에 입력되고, 제 2 뉴럴 네트워크는 제 1 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 제 1 데이터에 노이즈를 부가한 제 2 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하고, 제 2 뉴럴 네트워크에 학습 특징 맵을 입력한 경우에 제 2 뉴럴 네트워크로부터 출력되는 특징 맵이 정답 특징 맵과 일치하도록 제 1 학습에 의하여 학습된 것인, 뉴럴 네트워크 모델이다.
또는, 상기 형태에 있어서 제 2 뉴럴 네트워크의 가중 계수는 초깃값 취득용 데이터를 제 1 뉴럴 네트워크에 입력하여 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득한 후에 제 1 학습에 의하여 취득된 것이어도 좋다.
또는, 상기 형태에서 제 1 뉴럴 네트워크의 가중 계수는, 제 2 뉴럴 네트워크의 가중 계수를 취득한 후에 제 2 데이터를 제 1 뉴럴 네트워크에 입력함으로써 수행되는 제 2 학습에 의하여 취득된 것이어도 좋다.
또는, 상기 형태에서 제 1 뉴럴 네트워크 모델은 제 5 층과, 제 6 층과, 제 7 층을 가지고, 제 5 층으로부터 출력되는 특징 맵은 제 6 층과, 제 5 층에 스킵 연결된 제 7 층에 입력되고, 제 5 층은 제 1 층보다 제 1 뉴럴 네트워크의 출력층에 가까워도 좋고, 제 4 층은 제 7 층보다 제 1 뉴럴 네트워크의 출력층에 가까워도 좋다.
또는, 본 발명의 일 형태는 제 1 뉴럴 네트워크와 제 2 뉴럴 네트워크를 가지고, 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층을 가지고, 제 1 층으로부터 출력되는 특징 맵은 제 2 층과, 제 2 뉴럴 네트워크에 입력되고, 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 제 3 층에 입력되는 뉴럴 네트워크 모델의 학습 방법이고, 초깃값 취득용 데이터를 제 1 뉴럴 네트워크에 입력함으로써 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득하는 제 1 단계와, 제 1 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 제 1 데이터에 노이즈를 부가한 제 2 데이터를 제 1 뉴럴 네트워크에 입력한 경우에 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하고, 제 2 뉴럴 네트워크에 학습 특징 맵을 입력한 경우에 제 2 뉴럴 네트워크로부터 출력되는 특징 맵이 정답 특징 맵과 일치하도록 제 1 학습을 수행함으로써, 제 2 뉴럴 네트워크의 가중 계수를 취득하는 제 2 단계와, 제 2 데이터를 제 1 뉴럴 네트워크에 입력하여 제 2 학습을 수행함으로써 제 1 뉴럴 네트워크의 가중 계수를 취득하는 제 3 단계와, 제 1 뉴럴 네트워크에 테스트 데이터를 입력하고, 제 1 뉴럴 네트워크로부터 출력되는 출력 데이터에 기초하여 뉴럴 네트워크 모델의 추론 정밀도를 평가하는 제 4 단계를 가지고, 추론 정밀도가 규정값 이상이 될 때까지 제 2 단계 내지 제 4 단계를 수행하는 뉴럴 네트워크 모델의 학습 방법이다.
또는, 상기 형태에서 제 1 뉴럴 네트워크는 제 4 층과, 제 5 층과, 제 6 층을 가지고, 제 4 층으로부터 출력되는 특징 맵은 제 5 층과, 제 4 층에 스킵 연결된 제 6 층에 입력되고, 제 4 층은 제 1 층보다 제 1 뉴럴 네트워크의 출력층에 가까워도 좋고, 제 3 층은 제 6 층보다 제 1 뉴럴 네트워크의 출력층에 가까워도 좋다.
본 발명의 일 형태에 의하여, 입력 데이터에 포함되는 노이즈를 제거할 수 있는 뉴럴 네트워크 모델을 제공할 수 있다. 또는, 입력 데이터에 대하여 높은 정밀도로 처리를 수행할 수 있는 뉴럴 네트워크 모델을 제공할 수 있다. 또는, 신규 뉴럴 네트워크 모델을 제공할 수 있다.
본 발명의 일 형태에 의하여, 입력 데이터에 포함되는 노이즈를 제거할 수 있는 뉴럴 네트워크 모델의 학습 방법을 제공할 수 있다. 또는, 입력 데이터에 대하여 높은 정밀도로 처리를 수행할 수 있는 뉴럴 네트워크 모델의 학습 방법을 제공할 수 있다. 또는, 신규 뉴럴 네트워크 모델의 학습 방법을 제공할 수 있다.
또한 본 발명의 일 형태의 효과는 위에서 열거한 효과에 한정되지 않는다. 위에서 열거한 효과는 다른 효과의 존재를 방해하는 것이 아니다. 또한 다른 효과는 이하에 기재되고 본 항목에서는 언급되지 않은 효과이다. 본 항목에서 언급되지 않은 효과는 통상의 기술자라면 명세서, 도면 등의 기재에서 도출할 수 있는 것이고, 이들 기재에서 적절히 추출할 수 있다. 또한 본 발명의 일 형태는 위에서 열거한 효과 및/또는 다른 효과 중 적어도 하나의 효과를 가진다. 따라서 본 발명의 일 형태는 경우에 따라서는 위에서 열거한 효과를 가지지 않는 경우도 있다.
도 1의 (A) 및 (B)는 뉴럴 네트워크 모델의 구성예를 나타낸 도면이다.
도 2는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 흐름도이다.
도 3의 (A) 및 (B)는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 4의 (A), (B1) 및 (B2), 그리고 (C)는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 5는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 6은 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 7은 뉴럴 네트워크 모델의 구성예를 나타낸 도면이다.
도 8의 (A) 및 (B)는 연산 처리 시스템의 구성예를 나타낸 블록도이다.
도 9는 촬상부의 구성예를 나타낸 블록도이다.
도 10은 화소 블록(200) 및 회로(201)의 구성예를 나타낸 도면이다.
도 11은 화소의 구성예를 나타낸 도면이다.
도 12의 (A) 내지 (C)는 필터를 나타낸 도면이다.
도 13의 (A)는 화소의 구성예를 나타낸 도면이다. 도 13의 (B) 내지 (D)는 광전 변환 디바이스의 구성예를 나타낸 도면이다.
도 14는 촬상 장치의 구성예를 나타낸 단면도이다.
도 15의 (A) 내지 (C)는 트랜지스터의 구성예를 나타낸 단면도이다.
도 16은 촬상 장치의 구성예를 나타낸 단면도이다.
도 17은 촬상 장치의 구성예를 나타낸 단면도이다.
도 2는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 흐름도이다.
도 3의 (A) 및 (B)는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 4의 (A), (B1) 및 (B2), 그리고 (C)는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 5는 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 6은 뉴럴 네트워크 모델의 학습 방법의 일례를 나타낸 도면이다.
도 7은 뉴럴 네트워크 모델의 구성예를 나타낸 도면이다.
도 8의 (A) 및 (B)는 연산 처리 시스템의 구성예를 나타낸 블록도이다.
도 9는 촬상부의 구성예를 나타낸 블록도이다.
도 10은 화소 블록(200) 및 회로(201)의 구성예를 나타낸 도면이다.
도 11은 화소의 구성예를 나타낸 도면이다.
도 12의 (A) 내지 (C)는 필터를 나타낸 도면이다.
도 13의 (A)는 화소의 구성예를 나타낸 도면이다. 도 13의 (B) 내지 (D)는 광전 변환 디바이스의 구성예를 나타낸 도면이다.
도 14는 촬상 장치의 구성예를 나타낸 단면도이다.
도 15의 (A) 내지 (C)는 트랜지스터의 구성예를 나타낸 단면도이다.
도 16은 촬상 장치의 구성예를 나타낸 단면도이다.
도 17은 촬상 장치의 구성예를 나타낸 단면도이다.
실시형태에 대하여 도면을 사용하여 자세히 설명한다. 다만 본 발명은 이하의 설명에 한정되지 않고, 본 발명의 취지 및 그 범위에서 벗어남이 없이 그 형태 및 자세한 사항을 다양하게 변경할 수 있다는 것은 통상의 기술자라면 용이하게 이해할 수 있다. 따라서 본 발명은 아래에 기재된 실시형태의 내용에 한정하여 해석되는 것은 아니다. 또한 아래에서 설명하는 발명의 구성에서 동일 부분 또는 같은 기능을 가지는 부분에는 동일한 부호를 다른 도면 간에서 공통적으로 사용하고, 그 반복 설명은 생략하는 경우가 있다. 또한 도면을 구성하는 같은 요소의 해칭을 다른 도면 간에서 적절히 생략 또는 변경하는 경우도 있다.
또한 본 명세서 등에서 사용하는 "제 1", "제 2", "제 3"이라는 서수사는 구성 요소의 혼동을 피하기 위하여 붙인 것이고, 수적으로 한정하는 것이 아니다.
또한 회로도 상에서는 단일 요소로서 도시된 경우에도 기능적으로 문제가 없으면 상기 요소가 복수로 구성되어도 좋다. 예를 들어 스위치로서 동작하는 트랜지스터는 복수가 직렬 또는 병렬로 접속되어도 좋은 경우가 있다. 또한 커패시터를 분할하여 복수의 위치에 배치하는 경우도 있다.
또한 하나의 도전체가 배선, 전극, 및 단자 등의 복수의 기능을 겸비하는 경우가 있고, 본 명세서에서는 동일 요소에 대하여 복수의 호칭을 사용하는 경우가 있다. 또한 회로도상에서 요소 간이 직접 접속되는 것처럼 도시되어 있는 경우에도, 실제로는 상기 요소 간이 복수의 도전체를 통하여 접속되어 있는 경우가 있고, 본 명세서에서는 이와 같은 구성도 직접 접속의 범주에 포함된다.
(실시형태)
본 실시형태에서는 본 발명의 일 형태의 뉴럴 네트워크 모델, 및 상기 뉴럴 네트워크 모델의 학습 방법의 일례 등에 대하여 설명한다.
<뉴럴 네트워크 모델_1>
도 1의 (A)는 본 발명의 일 형태의 뉴럴 네트워크 모델인 뉴럴 네트워크 모델(10)의 구성예를 나타낸 도면이다. 뉴럴 네트워크 모델(10)은 뉴럴 네트워크(NN1)와, 뉴럴 네트워크(NN2)를 가진다.
뉴럴 네트워크(NN1)는 뉴런으로 구성된 층을 복수로 가지고, 각 층에 제공된 뉴런끼리가 결합되어 있다. 따라서, 뉴럴 네트워크(NN1)는 계층형 뉴럴 네트워크라고 할 수 있다. 뉴런으로 구성된 각 층은 상기 층에 입력된 데이터로부터 특징량을 추출하고, 상기 특징량을 나타낸 데이터를 특징 맵으로서 출력하는 기능을 가진다. 또한, 뉴럴 네트워크(NN2)도 계층형 뉴럴 네트워크로 할 수 있다.
도 1의 (A)에서는 뉴럴 네트워크(NN1)가 가지는 층 중 층(L_1), 층(L_2), 및 층(L_3)을 나타내었다. 또한, 층 사이의 데이터의 흐름을 화살표로 나타내었다.
본 명세서 등에서 복수의 요소에 같은 부호를 사용하는 경우, 특히 이들을 구별할 필요가 있을 때에는 부호에 "_1", "[1]" 등의 식별용 부호를 붙여 기재하는 경우가 있다. 예를 들어 도 1의 (A) 등에서는 3개의 층(L)을 각각 층(L_1), 층(L_2), 및 층(L_3)이라고 기재하여 구별하였다.
뉴럴 네트워크는 입력층 및 출력층을 가지고, 입력층과 출력층 사이에 중간층이 제공된다. 중간층은 하나의 뉴럴 네트워크당 복수로 제공할 수 있다. 도 1의 (A)에 나타낸 층(L_1), 층(L_2), 및 층(L_3)은 중간층으로 할 수 있다. 또한, 층(L_1)은 입력층으로 하여도 좋고, 층(L_3)은 출력층으로 하여도 좋다.
본 명세서 등에서 뉴럴 네트워크의 입력층에 데이터를 입력하는 것을 뉴럴 네트워크에 데이터를 입력한다고 하는 경우가 있다. 또한, 뉴럴 네트워크의 출력층으로부터 데이터가 출력되는 것을 뉴럴 네트워크로부터 데이터가 출력된다고 하는 경우가 있다.
층(L_1)으로부터 출력되는 특징 맵은 층(L_2)에 입력되고, 층(L_2)으로부터 출력되는 특징 맵은 층(L_3)에 입력된다. 즉, 층(L_1), 층(L_2), 층(L_3)의 순서로 데이터가 전달된다. 따라서, 층(L_1)의 다음 층은 층(L_2)이고, 층(L_2)의 다음 층은 층(L_3)이라고 할 수 있다.
또한, 층(L_1)으로부터 출력되는 특징 맵은 뉴럴 네트워크(NN2)에도 입력된다. 구체적으로는, 뉴럴 네트워크(NN2)가 입력층과, 중간층과, 출력층을 가지는 계층형 뉴럴 네트워크인 경우, 뉴럴 네트워크(NN2)의 입력층에 층(L_1)으로부터 출력되는 특징 맵이 입력된다. 그리고, 뉴럴 네트워크(NN2)로부터 출력되는 특징 맵은 층(L_3)에 입력된다.
여기서, 뉴럴 네트워크(NN2)는 뉴럴 네트워크(NN2)에 입력된 특징 맵에 포함되는 노이즈를 제거하는 기능을 가진다. 따라서, 층(L_3)에는, 층(L_1)으로부터 뉴럴 네트워크(NN2)에 입력되고 뉴럴 네트워크(NN2)에 의하여 노이즈가 제거된 특징 맵이 입력된다고 할 수 있다. 이상에 의하여, 층(L_3)에는, 층(L_1)으로부터 출력되는 특징 맵이 뉴럴 네트워크(NN2)를 통하여 입력된다고 할 수 있다.
상술한 바와 같이, 층(L_1)의 다음 층은 층(L_2)이다. 한편, 층(L_1)으로부터 출력되고 뉴럴 네트워크(NN2)에 입력되는 특징 맵은 뉴럴 네트워크(NN2)를 통하여 층(L_3)에 입력된다. 즉, 층(L_1)으로부터 출력되고 뉴럴 네트워크(NN2)에 입력되는 특징 맵은 층(L_1)의 다음 층인 층(L_2)을 건너뛰어 층(L_3)에 입력된다. 따라서, 층(L_1)과 층(L_3)은 뉴럴 네트워크(NN2)를 통하여 스킵 연결되어 있다고 할 수 있다. 또한, 층(L_3)은 층(L_1)으로부터 출력되는 특징 맵과, 층(L_2)으로부터 출력되는 특징 맵을 결합하는 결합층이라고 할 수 있다.
본 명세서 등에서 스킵 연결되어 있는 층끼리를 일점쇄선으로 접속하여 나타내었다. 예를 들어 도 1의 (A)에서는 층(L_1)과 층(L_3)이 뉴럴 네트워크(NN2)를 통하여 스킵 연결되어 있다는 것을, 층(L_1)과 뉴럴 네트워크(NN2), 및 뉴럴 네트워크(NN2)와 층(L_3)을 각각 일점쇄선으로 접속하여 나타내었다.
뉴럴 네트워크(NN1)는 입력층에 입력된 데이터에 대한 소정의 추론 결과를 특징 맵으로서 출력층으로부터 출력하는 기능을 가진다. 예를 들어 뉴럴 네트워크(NN1)의 입력층에 화상 데이터를 입력하는 경우, 뉴럴 네트워크(NN1)는 상기 화상 데이터에 대하여 세그먼테이션, 또는 심도 추정을 수행하는 기능을 가진다. 또는 뉴럴 네트워크(NN1)의 입력층에 흑백 또는 그레이 스케일의 화상 데이터를 입력하는 경우, 뉴럴 네트워크(NN1)는 상기 화상 데이터에 대하여 컬러화를 수행하는 기능을 가진다.
본 명세서 등에서 출력층으로부터 출력되는 특징 맵을 상기 출력층을 가지는 뉴럴 네트워크로부터 출력되는 출력 데이터라고 하는 경우가 있다.
스킵 연결된 층을 가지는 뉴럴 네트워크에서는, 상기 뉴럴 네트워크에 입력되는 데이터에 노이즈가 포함되면 상기 노이즈가 출력층에 가까운 층까지 전달되기 쉽다. 이에 의하여, 상기 데이터에 대한 추론을 높은 정밀도로 수행할 수 없어질 가능성이 있다. 한편, 뉴럴 네트워크 모델(10)이 가지는 뉴럴 네트워크(NN1)는 노이즈를 제거하는 기능을 가지는 뉴럴 네트워크(NN2)를 통하여 스킵 연결된 층을 가진다. 이에 의하여, 뉴럴 네트워크(NN1)에 입력한 데이터에 노이즈가 포함되는 경우에도 상기 노이즈가 출력층에 가까운 층까지 전달되는 것을 억제할 수 있다. 이에 의하여, 상기 데이터에 대한 추론을 높은 정밀도로 수행할 수 있다.
도 1의 (A)에 나타낸 뉴럴 네트워크 모델(10)에서는, 뉴럴 네트워크(NN2)를 통하여 스킵 연결되어 있는 층(L)인 층(L_1)과 층(L_3) 사이에 제공되는 층(L)을 한층으로 하였지만, 본 발명은 이에 한정되지 않는다. 도 1의 (B)에 나타낸 바와 같이, 층(L_1)과 층(L_3) 사이에 m층(m은 2 이상의 정수)의 층(L_2)을 제공하여도 좋다. 도 1의 (B)에서는 m층의 층(L_2)을, 뉴럴 네트워크(NN1)의 입력층에 가까운 층으로부터 순차적으로 층(L_2[1]) 내지 층(L_2[m])이라고 기재하여 구별하였다.
도 1의 (B)에 나타낸 뉴럴 네트워크 모델(10)에서는 층(L_1)으로부터 출력되는 특징 맵은 층(L_2[1])과 뉴럴 네트워크(NN2)에 입력된다. 또한 층(L_3)에는 층(L_2[m])으로부터 출력되는 특징 맵과, 뉴럴 네트워크(NN2)로부터 출력되는 특징 맵이 입력된다.
뉴럴 네트워크 모델(10)이 가지는 뉴럴 네트워크(NN1)는 예를 들어 합성곱 뉴럴 네트워크(CNN: Convolutional Neural Network)로 할 수 있다. 뉴럴 네트워크(NN1)가 도 1의 (B)에 나타낸 구성을 가지며, 또한 CNN인 경우, 층(L_1) 및 층 (L_2[m])은 예를 들어 풀링층으로 할 수 있다.
뉴럴 네트워크(NN2)는 예를 들어 오토인코더로 할 수 있다. 예를 들어 적대적 생성 네트워크(GAN: Generative Adversarial Networks)로 할 수 있다. 뉴럴 네트워크(NN2)를 GAN으로 하는 경우, 예를 들어 Conditional GAN으로 할 수 있다. 뉴럴 네트워크(NN2)를 GAN으로 하면, 뉴럴 네트워크(NN2)에 의한 추론, 예를 들어 뉴럴 네트워크(NN2)에 입력된 특징 맵에 대한 노이즈 제거를 높은 정밀도로 수행할 수 있어 바람직하다.
<학습 방법>
다음으로, 도 2 내지 도 6을 사용하여 뉴럴 네트워크 모델(10)의 학습 방법의 일례에 대하여 설명한다. 도 2는 뉴럴 네트워크 모델(10)의 학습 방법의 일례를 나타낸 흐름도이다. 도 3 내지 도 6은 도 2에 나타낸 각 단계에서의 처리의 일례를 나타낸 모식도이다. 또한, 도 3 내지 도 6에서는 뉴럴 네트워크 모델(10)이 도 1의 (A)에 나타낸 구성을 가지는 것으로 하였다. 또한, 도 3 내지 도 6에서는 일례로서, 뉴럴 네트워크(NN1)에 화상 데이터를 입력한 경우에, 뉴럴 네트워크(NN1)에 상기 화상 데이터에 대하여 세그먼테이션을 수행하는 기능을 가지게 하기 위한, 뉴럴 네트워크 모델(10)의 학습 방법의 일례를 나타내었다.
[단계 S1]
우선, 뉴럴 네트워크(NN1)에 초깃값 취득용 데이터를 입력하여, 뉴럴 네트워크(NN1)의 가중 계수 11의 초깃값인 가중 계수 11_1을 취득한다(단계 S1). 도 3의 (A) 및 (B)는 단계 S1에 있어서의 처리의 일례를 나타낸 모식도이다. 구체적으로는, 도 3의 (A)는 단계 S1_1에 있어서의 처리의 일례를 나타낸 모식도이고, 도 3의 (B)는 단계 S1_2에 있어서의 처리의 일례를 나타낸 모식도이다.
도 3의 (A)에 나타낸 바와 같이, 단계 S1_1에 있어서 데이터(21)를 준비한다. 데이터(21)는 예를 들어 행렬로 나타낼 수 있다. 여기서, 행렬의 요소는 예를 들어 데이터(21)를 촬상에 의하여 얻은 화상 데이터로 하는 경우, 촬상 장치가 가지는 화소에 조사된 광의 조도를 나타내는 계조값으로 할 수 있다. 또한, 데이터(21)에 대응하는 화상을 표시하는 표시 장치가 가지는 화소로부터 사출되는 광의 휘도를 나타내는 계조값으로 할 수 있다. 즉, 데이터(21)를 나타내는 행렬의 행수 및 열수는, 예를 들어 데이터(21)에 대응하는 화상의 해상도와 같은 수로 할 수 있다. 또한, 데이터(21) 이외의 데이터도 행렬로 나타낼 수 있는 경우가 있다. 예를 들어 데이터(21)와 같은 행수 및 같은 열수의 행렬로 나타낼 수 있는 경우가 있다. 또는 데이터(21)보다 적은 행수 또한 데이터(21)보다 적은 열수의 행렬로 나타낼 수 있는 경우가 있다.
데이터(21)에 노이즈를 상정한 데이터를 부가하여 데이터(22)를 취득한다. 예를 들어, 뉴럴 네트워크(NN1)에 입력되는 데이터로서, 카메라에 의한 촬상으로 취득된 화상 데이터를 상정하는 경우, 상기 노이즈는 예를 들어 카메라의 렌즈의 흠집, 또는 카메라에 부착된 수적을 상정한 것으로 할 수 있다. 또는, 어두운 곳에서 촬상할 때에 발생하는 숏 노이즈를 상정한 것으로 할 수 있다. 또한, 뉴럴 네트워크(NN1)에 입력되는 데이터로서 표시 장치에 표시되는 화상을 촬상함으로써 취득된 화상 데이터를 상정하는 경우, 상기 노이즈는 예를 들어 점 결함, 선 결함 등의 결함을 상정한 것으로 할 수 있다. 또한, 데이터(21)에 부가하는 데이터는, 뉴럴 네트워크(NN2)에 의하여 제거하려고 하는 데이터이면 반드시 노이즈를 상정한 것은 아니어도 된다.
상술한 방법에서는 단계 S1_1에 있어서 데이터(21)로부터 데이터(22)를 작성하였지만, 본 발명의 일 형태는 이에 한정되지 않는다. 예를 들어, 데이터(22)로부터 데이터(21)를 작성하여도 좋다. 이 경우, 예를 들어 비가 오는 화경에서 촬상을 하여 데이터(22)를 취득하고, 데이터(22)에 대하여 화상 처리를 수행하여 수적을 제거함으로써 데이터(21)를 취득할 수 있다.
다음으로, 도 3의 (B)에 나타낸 바와 같이, 단계 S1_2에 있어서 데이터(22)와 데이터(23)를 뉴럴 네트워크(NN1)에 입력한다. 여기서 데이터(23)는 예를 들어 데이터(22)의 세그먼테이션의 결과로서 원하는 것을 나타내는 데이터로 할 수 있다. 이에 의하여, 뉴럴 네트워크(NN1)의 가중 계수 11의 초깃값인 가중 계수 11_1을 취득할 수 있다. 예를 들어, 데이터(22)를 뉴럴 네트워크(NN1)에 입력한 경우에 뉴럴 네트워크(NN1)로부터 출력되는 출력 데이터와 데이터(23)의 오차가 최소가 되는 가중 계수 11_1을 뉴럴 네트워크(NN1)가 취득할 수 있다.
또한, 도 3의 (A)에 나타낸 단계 S1_1에서는 데이터(21)를 하나 준비하였지만, 데이터(21)를 2개 이상 준비하여도 좋다. 또한, 도 3의 (B)에 나타낸 단계 S1_2에서는 데이터(22)와 데이터(23)를 각각 하나씩 뉴럴 네트워크(NN1)에 입력하였지만, 데이터(22)와 데이터(23)를 각각 2개 이상씩 뉴럴 네트워크(NN1)에 입력하여도 좋다. 또한, 단계 S1_2에 있어서 뉴럴 네트워크(NN1)에 데이터(23)를 입력하지 않아도 된다. 예를 들어, 후술하는 뉴럴 네트워크(NN1)의 학습이 비지도 학습에 의하여 수행되는 경우에는, 뉴럴 네트워크(NN1)에 데이터(23)를 입력하지 않아도 된다.
도 3의 (A) 및 (B)에 나타낸 순서로 단계 S1에 있어서의 처리사 수행되는 경우, 데이터(22)를 초깃값 취득용 데이터라고 할 수 있다. 또한, 데이터(22)와 데이터(23) 모두를 초깃값 취득용 데이터라고 하여도 좋다.
단계 S1을 수행하는 단계에서는 뉴럴 네트워크(NN2)는 가중 계수를 취득하지 않은 상태에 있다. 따라서, 단계 S1에 있어서는 뉴럴 네트워크(NN2)에 의한 처리는 수행되지 않는다.
[단계 S2]
다음으로, 뉴럴 네트워크 모델(10)이 제 1 학습을 수행함으로써 뉴럴 네트워크(NN2)의 가중 계수 12를 취득한다(단계 S2). 도 4의 (A), (B1) 및 (B2), 그리고 (C)는 단계 S2에서의 처리의 일례를 나타낸 모식도이다. 구체적으로는, 도 4의 (A)는 단계 S2_1에 있어서의 처리의 일례를 나타낸 모식도이고, 도 4의 (B1)은 단계 S2_2a에 있어서의 처리의 일례를 나타낸 모식도이고, 도 4의 (B2)는 단계 (S2_2b)에 있어서의 처리의 일례를 나타낸 모식도이고, 도 4의 (C)는 단계 S2_3에 있어서의 처리의 일례를 나타낸 모식도이다.
단계 S2에 있어서, 뉴럴 네트워크(NN1)가 가지는 각 층에는 가중 계수 11_i(i는 1 이상의 정수)가 유지되어 있다. 단계 S1을 수행한 직후에 단계 S2를 수행하는 경우, i를 1로 할 수 있다. 또한, 도 4의 (B1) 및 (B2)에 있어서, 층(L_1)에 유지되는 가중 계수 11_i를 가중 계수 11_i[1]라고 기재하여 나타내었다.
제 1 학습을 수행하는 단계 S2의 자세한 사항을 이하에서 설명한다. 우선, 도 4의 (A)에 나타낸 바와 같이, 단계 S2_1에 있어서 복수의 데이터(24)가 포함되는 데이터 세트(25)를 준비하고, 노이즈를 상정한 데이터를 각각의 데이터(24)에 부가하여 데이터(26)를 취득한다. 이에 의하여, 복수의 데이터(26)가 포함되는 데이터 세트(27)를 취득한다. 데이터(24)에 부가하는 노이즈는 도 3의 (A)에 나타낸 데이터(21)에 부가할 수 있는 노이즈와 같은 종류의 노이즈로 할 수 있다. 또한, 데이터(24)에 부가하는 데이터는 데이터(21)에 부가하는 데이터와 마찬가지로, 뉴럴 네트워크(NN2)에 의하여 제거하려고 하는 데이터이면 반드시 노이즈를 상정한 것은 아니어도 된다.
상술한 방법에서는 단계 S2_1에 있어서 데이터(24)로부터 데이터(26)를 작성하였지만, 본 발명의 일 형태는 이에 한정되지 않는다. 데이터(24) 및 데이터(26)의 취득 방법은 단계 S1_1에 있어서의 데이터(21) 및 데이터(22)의 취득 방법과 같은 것으로 할 수 있다. 예를 들어 단계 S1_1에 있어서 데이터(22)로부터 데이터(21)를 작성한 경우, 단계 S2_1에서는 데이터(26)로부터 데이터(24)를 작성함으로써 데이터(24) 및 데이터(26)를 취득할 수 있다.
다음으로, 도 4의 (B1)에 나타낸 바와 같이, 단계 S2_2a에 있어서 뉴럴 네트워크(NN1)에 데이터(24)를 입력하여, 층(L_1)으로부터 출력되는 특징 맵(34)을 취득한다. 예를 들어 데이터 세트(25)에 포함되는 복수의 데이터(24) 각각에 대하여 특징 맵(34)을 취득한다. 이에 의하여, 복수의 특징 맵(34)이 포함되는 특징 맵 세트(35)를 취득한다. 또한, 도 4의 (B2)에 나타낸 바와 같이, 단계 S2_2b에 있어서 뉴럴 네트워크(NN1)에 데이터(26)를 입력하여, 층(L_1)으로부터 출력되는 특징 맵(36)을 취득한다. 예를 들어, 데이터 세트(27)에 포함되는 복수의 데이터(26) 각각에 대하여 특징 맵(36)을 취득한다. 이에 의하여, 복수의 특징 맵(36)이 포함되는 특징 맵 세트(37)를 취득한다.
그 후, 도 4의 (C)에 나타낸 바와 같이 단계 S2_3에 있어서 특징 맵(36)을 학습 데이터로서, 특징 맵(34)을 정답 데이터로서 뉴럴 네트워크(NN2)에 입력한다. 이에 의하여, 뉴럴 네트워크(NN2)의 가중 계수 12를 취득할 수 있다. 예를 들어, 뉴럴 네트워크(NN2)에 특징 맵(36)을 입력한 경우에 뉴럴 네트워크(NN2)로부터 출력되는 특징 맵이 상기 특징 맵(36)에 대응하는 특징 맵(34)과 일치하는 가중 계수 12를 뉴럴 네트워크(NN2)가 취득할 수 있다. 구체적으로는, 예를 들어 오차 함수(손실 함수라고도 함)를 사용한 경사 하강법에 의하여, 뉴럴 네트워크(NN2)에 특징 맵(36)을 입력한 경우에 뉴럴 네트워크(NN2)로부터 출력되는 특징 맵과, 정답 데이터인 특징 맵(34)의 오차가 최소가 되는 가중 계수 12를 취득할 수 있다. 오차 함수로서 오차제곱합, 교차 엔트로피 오차 등을 사용할 수 있다. 경사 하강법에서는 오차 함수가 최소가 되는 가중 계수를 취득한다. 상기 최솟값은 예를 들어 오차 함수를 미분함으로써 산출할 수 있다. 오차 함수의 미분은 예를 들어 오차 역 전파법에 의하여 산출할 수 있다.
또한, 뉴럴 네트워크(NN2)를 Conditional GAN으로 하는 경우, 특징 맵(34)을 제네레이터에 입력하고, 특징 맵(36)을 디스클리미네이터에 입력함으로써, 뉴럴 네트워크(NN2)가 학습을 수행할 수 있다.
본 명세서 등에서 학습 데이터로 할 수 있는 특징 맵을 학습 특징 맵이라고 하고, 정답 데이터로 할 수 있는 특징 맵을 정답 특징 맵이라고 하는 경우가 있다. 예를 들어, 특징 맵(36)은 학습 특징 맵이라고 할 수 있고, 특징 맵(34)은 정답 특징 맵이라고 할 수 있다.
[단계 S3]
다음으로, 뉴럴 네트워크 모델(10)이 제 2 학습을 수행함으로써, 뉴럴 네트워크(NN1)의 가중 계수 11을 취득한다(단계 S3). 도 5는 단계 S3에 있어서의 처리의 일례를 나타낸 모식도이다.
단계 S3에 있어서, 뉴럴 네트워크(NN1)가 가지는 각 층에는 가중 계수 11_i가 유지되어 있다. 상술한 바와 같이, 예를 들어 뉴럴 네트워크(NN1)가 가지는 각 층에 가중 계수 11의 초깃값이 유지되어 있는 경우에는 i는 1로 할 수 있다. 또한, 뉴럴 네트워크(NN2)에는 직전의 단계 S2에서 취득된 가중 계수 12가 유지되어 있다. 또한, 도 5에 있어서 층(L_1)에 유지되는 가중 계수 11_i를 가중 계수 11_i[1]라고 기재하고, 층(L_2)에 유지된 가중 계수 11_i를 가중 계수 11_i[2]라고 기재하고, 층(L_3)에 유지된 가중 계수 11_i를 가중 계수 11_i[3]이라고 기재하여 나타내었다.
단계 S3에 있어서, 데이터(26)를 학습 데이터로서, 데이터(28)를 정답 데이터로서 뉴럴 네트워크(NN1)에 입력한다. 여기서, 데이터(26)는 도 4의 (A)에 나타낸 단계 S2_1에 있어서 취득되고, 도 4의 (B2)에 나타낸 단계 S2_2b에 있어서 뉴럴 네트워크(NN1)에 입력된 데이터(26)와 같은 데이터로 할 수 있다. 즉, 단계 S2에 있어서 뉴럴 네트워크(NN2)의 학습 시에 학습 특징 맵인 특징 맵(36)을 취득하기 위하여 뉴럴 네트워크(NN1)에 입력한 데이터와 같은 데이터를, 뉴럴 네트워크(NN1)의 학습에 있어서의 학습 데이터로서 사용할 수 있다. 또한, 데이터(28)는 예를 들어 데이터(26)의 세그먼테이션의 결과로서 원하는 것을 나타내는 데이터로 할 수 있다. 여기서, 뉴럴 네트워크(NN1)의 학습에 있어서 정답 데이터로서 사용하는 데이터(28)의 집합을 데이터 세트(29)로 한다. 또한, 단계 S2_2b에 있어서 뉴럴 네트워크(NN1)에 입력된 데이터(26)와, 단계 S3에서 뉴럴 네트워크(NN1)에 입력된 데이터(26)를 상이하게 하여도 좋다.
이상에 의하여, 뉴럴 네트워크(NN1)의 가중 계수 11_i+1을 취득할 수 있다. 구체적으로는, 가중 계수 11_i를 최적화함으로써 가중 계수 11_i+1을 취득할 수 있다. 예를 들어, 뉴럴 네트워크(NN1)에 데이터(26)를 입력한 경우에 뉴럴 네트워크(NN1)로부터 출력되는 출력 데이터가 상기 데이터(26)에 대응하는 데이터(28)와 일치하는 가중 계수 11_i+1을 뉴럴 네트워크(NN1)가 취득할 수 있다. 구체적으로는, 예를 들어 오차 함수를 사용한 경사 하강법에 의하여, 뉴럴 네트워크(NN1)에 데이터(26)를 입력한 경우에 뉴럴 네트워크(NN1)로부터 출력되는 출력 데이터와, 정답 데이터인 데이터(28)의 오차가 최소가 되는 가중 계수 11_i+1을 취득할 수 있다.
상술한 바와 같이, 뉴럴 네트워크(NN2)에는 직전의 단계 S2에서 취득된 가중 계수 12가 유지되어 있다. 따라서, 뉴럴 네트워크(NN1)에 입력된 데이터(26)에 대해서는, 뉴럴 네트워크(NN2)에 의한 처리도 수행된다. 따라서, 단계 S3에 있어서 뉴럴 네트워크(NN1)가 취득하는 가중 계수 11_i+1은 뉴럴 네트워크(NN2)에 유지된 가중 계수 12를 반영한 것으로 할 수 있다. 또한, 단계 S3에서는 가중 계수 12를 취득하지 않는 것, 즉 직전의 단계 S2에서 취득한 가중 계수 12의 최적화는 단계 S3에서는 수행하지 않는 것으로 설명하였지만, 본 발명의 일 형태는 이에 한정되지 않는다. 예를 들어, 단계 S3에 있어서 가중 계수 11과 가중 계수 12 모두를 최적화하여도 좋다.
또한, 도 5에서는 뉴럴 네트워크(NN1)의 학습을 지도 학습에 의하여 수행하는 경우를 나타내었지만, 뉴럴 네트워크(NN1)의 학습은 비지도 학습에 의하여 수행하여도 좋다. 뉴럴 네트워크(NN1)의 학습을 비지도 학습에 의하여 수행하는 경우, 정답 데이터인 데이터(28)는 뉴럴 네트워크(NN1)에 입력하지 않아도 된다.
[단계 S4]
다음으로, 뉴럴 네트워크(NN1)에 테스트 데이터로서 데이터(41)를 입력하고, 뉴럴 네트워크(NN1)로부터 출력되는 출력 데이터(43)에 기초하여 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가한다(단계 S4). 도 6은 단계 S4에 있어서의 처리의 일례를 나타낸 모식도이다.
예를 들어, 출력 데이터(43)를 데이터(41)의 세그먼테이션의 결과로서 원하는 것을 나타내는 데이터(45)와 비교하고, 출력 데이터(43)와 데이터(45)의 차이를 바탕으로 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가한다. 예를 들어, 출력 데이터(43)와 데이터(45)가 행의 수 및 열의 수 양쪽이 서로 같은 행렬로 나타내어지는 것으로 하면, 출력 데이터(43)를 구성하는 행렬의 각 요소와, 데이터(45)를 구성하는 행렬의 각 요소의 차이를 바탕으로 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가한다.
예를 들어, 출력 데이터(43)와 데이터(45)가 각각 p행 q열(p, q는 1 이상의 정수)의 행렬로 나타내어지는 것으로 하면, 우선 출력 데이터(43)의 1행 1열째의 요소와, 데이터(45)의 1행 1열째의 요소가 일치하는지 여부를 판정한다. 마찬가지로, 모든 요소에 대하여 출력 데이터(43)와 데이터(45)가 일치하는지 여부를 판정한다. 그 후, 일치하는 상기 요소의 개수를 행렬의 모든 요소의 수(p×q개)로 나누고, 이를 정답률로 한다. 정답률을 바탕으로 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가한다. 정답률이 높을수록 추론 정밀도가 높다고 평가할 수 있다.
또는, 오차 함수를 바탕으로 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가하여도 좋다. 또한, 입력된 데이터에 대하여 세그먼테이션을 수행하는 기능을 뉴럴 네트워크(NN1)가 가지도록 뉴럴 네트워크 모델(10)의 학습을 수행하는 경우, 뉴럴 네트워크 모델(10)의 추론 정밀도는 mIoU(mean Intersection over Union)에 의하여 평가할 수 있다.
또는, 예를 들어 출력 데이터(43)와 데이터(45)가 각각 p행 q열의 행렬로 나타내어지는 것으로 하면, 우선 출력 데이터(43)의 1행 1열째의 요소와, 데이터(45)의 1행 1열째의 요소의 차이의 절댓값을 산출한다. 마찬가지로, 모든 요소에 대하여 출력 데이터(43)와 데이터(45)의 차이의 절댓값을 산출한다. 그 후, 산출된 p×q개의 상기 차이의 절댓값의 합계를 산출하고, 합계값을 바탕으로 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가한다. 상기 합계값이 작을수록 출력 데이터(43)와 데이터(45)의 오차는 작은 것으로, 즉 추론 정밀도가 높다고 평가할 수 있다. 상기 방법은 예를 들어 입력된 데이터에 대하여 심도 추정을 수행하는 기능을 뉴럴 네트워크(NN1)가 가지도록 뉴럴 네트워크 모델(10)의 학습을 수행하는 경우에 적합하게 사용할 수 있다.
또는, 예를 들어 입력된 흑백의 화상 데이터에 대하여 컬러화를 수행하는 기능을 뉴럴 네트워크(NN1)가 가지도록 뉴럴 네트워크 모델(10)의 학습을 수행하는 경우에는, 예를 들어 색 공간을 바탕으로 추론 정밀도를 평가할 수 있다. 예를 들어, 출력 데이터(43)와 데이터(45)의 HSV 색 공간을 비교함으로써, 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가할 수 있다. 여기서, HSV 색 공간이란 화상 데이터가 나타내는 화상의 색상, 채도, 및 명도를 수치화한 것이다. 또한, RGB 색 공간, CMY 색 공간, 또는 HLS 색 공간 등을 사용하여 추론 정밀도를 평가하여도 좋다.
또한, 테스트 데이터인 데이터(41)는 복수로 준비할 수 있다. 이 경우, 데이터(41)의 집합을 데이터 세트(42)로 한다. 또한, 데이터(41)를 복수로 준비하면 출력 데이터(43) 및 데이터(45)를 복수로 준비하게 된다. 예를 들어, 데이터(41)와 같은 수의 출력 데이터(43), 및 데이터(41)와 같은 수의 데이터(45)를 각각 준비하게 된다. 출력 데이터(43) 및 데이터(45)를 복수로 준비하는 경우, 출력 데이터(43)의 집합을 데이터 세트(44)로 하고, 데이터(45)의 집합을 데이터(46)로 한다. 복수의 데이터(41)를 사용하여 뉴럴 네트워크 모델(10)의 추론 정밀도를 평가하는 경우, 예를 들어 상기 복수의 데이터(41) 각각을 뉴럴 네트워크(NN1)에 입력하고, 각각의 데이터(41)에 대하여 추론 정밀도를 산출한다. 그리고, 각각의 데이터(41)에 대한 추론 정밀도의 평균값을 다음 단계에서 사용하는 뉴럴 네트워크 모델(10)의 추론 정밀도로 할 수 있다.
[단계 S5]
그 후, 단계 S4에서 평가된 뉴럴 네트워크 모델(10)의 추론 정밀도가 규정값 이상인지 여부를 판정한다(단계 S5). 규정값 이상인 경우에는, 뉴럴 네트워크 모델(10)의 학습을 종료한다. 규정값 미만인 경우에는, i에 1을 더하고, 단계 S2 내지 단계 S5를 다시 수행한다. 즉, 추론 정밀도가 규정값 이상이 될 때까지 제 1 학습에 의한 가중 계수 12의 최적화, 및 제 2 학습에 의한 가중 계수 11의 최적화를 수행한다. 이상이 뉴럴 네트워크 모델(10)의 학습 방법의 일례이다. 또한, 단계 S5에서는 제 1 학습 및 제 2 학습을 수행하는 것에 의한 추론 정밀도의 증가량을 평가하고, 증가량이 규정값 이하가 된 경우에 뉴럴 네트워크 모델(10)의 학습을 종료시켜도 좋다. 예를 들어, 제 1 학습 및 제 2 학습을 각각 j번(j는 1 이상의 정수)씩 수행한 경우와, j+1번씩 수행한 경우의 추론 정밀도의 차이를 평가하고, 상기 차이가 규정값 이하가 된 경우에 뉴럴 네트워크 모델(10)의 학습을 종료시켜도 좋다.
<뉴럴 네트워크 모델_2>
도 7은 본 발명의 일 형태의 뉴럴 네트워크 모델인, 뉴럴 네트워크 모델(10a)의 구성예를 나타낸 도면이다. 뉴럴 네트워크 모델(10a)은 뉴럴 네트워크(NN1a)와, 뉴럴 네트워크(NN2a)를 가진다. 뉴럴 네트워크(NN1a)는 뉴럴 네트워크(NN1)와 같은 기능을 가지고, 뉴럴 네트워크(NN2a)는 뉴럴 네트워크(NN2)와 같은 기능을 가진다. 또한, 뉴럴 네트워크 모델(10a)은 뉴럴 네트워크 모델(10)과 같은 순서로 학습을 수행할 수 있다.
본 명세서 등에서, 뉴럴 네트워크 모델(10)이라고 하는 경우에는 뉴럴 네트워크 모델(10a)을 포함하는 경우가 있다. 또한, 뉴럴 네트워크(NN1)라고 하는 경우에는 뉴럴 네트워크(NN1a)를 포함하는 경우가 있고, 뉴럴 네트워크(NN2)라고 하는 경우에는 뉴럴 네트워크(NN2a)를 포함하는 경우가 있다.
뉴럴 네트워크(NN1a)는 입력층(IL)과, 중간층(ML_1) 내지 중간층(ML_17)과, 출력층(OL)을 가진다. 뉴럴 네트워크(NN1a)의 아키텍처는 예를 들어 U-Net로 할 수 있다. 또는, 예를 들어 DenseNet로 하여도 좋다.
도 7에 나타낸 구성의 뉴럴 네트워크(NN1a)에서는 입력층(IL)으로부터 출력되는 특징 맵은 중간층(ML_1)에 입력되고, 중간층(ML_1)으로부터 출력되는 특징 맵은 중간층(ML_2)에 입력된다. 이와 같이, 입력층(IL)에 입력된 데이터는 중간층(ML_1) 내지 중간층(ML_17)에 순차적으로 전달된다. 그리고, 중간층(ML_17)으로부터 출력되는 특징 맵은 출력층(OL)에 입력된다. 이상에 의하여, 중간층(ML_1) 내지 중간층(ML_17) 중에서는 중간층(ML_1)이 입력층(IL)에 가장 가깝고, 중간층(ML_2) 내지 중간층(ML_16)의 순서로 입력층(IL)에서 멀어지고, 즉 출력층(OL)에 가까워지고, 중간층(ML_17)이 가장 출력층(OL)에 가깝다고 할 수 있다.
중간층(ML_1)으로부터 출력되는 특징 맵은 중간층(ML_2)뿐만 아니라, 뉴럴 네트워크(NN2a)에도 입력된다. 뉴럴 네트워크(NN2a)로부터 출력되는 특징 맵은 중간층(ML_16)에 입력된다. 즉, 중간층(ML_16)에는 중간층(ML_15)으로부터 출력되는 특징 맵 외에, 뉴럴 네트워크(NN2a)로부터 출력되는 특징 맵이 입력된다. 이상에 의하여, 중간층(ML_1)과 중간층(ML_16)은 뉴럴 네트워크(NN2a)를 통하여 스킵 연결되어 있다고 할 수 있다. 또한, 중간층(ML_16)은 중간층(ML_15)으로부터 출력되는 특징 맵과, 뉴럴 네트워크(NN2a)로부터 출력되는 특징 맵을 결합하는 결합층으로서의 기능을 가진다고 할 수 있다.
중간층(ML_3)으로부터 출력되는 특징 맵은 중간층(ML_4)뿐만 아니라, 중간층(ML_14)에도 입력된다. 즉, 중간층(ML_14)에는 중간층(ML_13)으로부터 출력되는 특징 맵 외에, 중간층(ML_3)으로부터 출력되는 특징 맵이 입력된다. 따라서, 중간층(ML_3)과 중간층(ML_14)은 스킵 연결되어 있다고 할 수 있다. 또한, 중간층(ML_14)은 중간층(ML_13)으로부터 출력되는 특징 맵과, 중간층(ML_3)으로부터 출력되는 특징 맵을 결합하는 결합층으로서의 기능을 가진다고 할 수 있다.
중간층(ML_5)으로부터 출력되는 특징 맵은 중간층(ML_6)뿐만 아니라, 중간층(ML_12)에도 입력된다. 즉, 중간층(ML_12)에는 중간층(ML_11)으로부터 출력되는 특징 맵 외에, 중간층(ML_5)으로부터 출력되는 특징 맵이 입력된다. 따라서, 중간층(ML_5)과 중간층(ML_12)은 스킵 연결되어 있다고 할 수 있다. 또한, 중간층(ML_12)은 중간층(ML_11)으로부터 출력되는 특징 맵과, 중간층(ML_5)으로부터 출력되는 특징 맵을 결합하는 결합층으로서의 기능을 가진다고 할 수 있다.
중간층(ML_7)으로부터 출력되는 특징 맵은 중간층(ML_8)뿐만 아니라, 중간층(ML_10)에도 입력된다. 즉, 중간층(ML_10)에는 중간층(ML_9)으로부터 출력되는 특징 맵 외에, 중간층(ML_7)으로부터 출력되는 특징 맵이 입력된다. 따라서, 중간층(ML_7)과 중간층(ML_10)은 스킵 연결되어 있다고 할 수 있다. 또한, 중간층(ML_10)은 중간층(ML_9)으로부터 출력되는 특징 맵과, 중간층(ML_7)으로부터 출력되는 특징 맵을 결합하는 결합층으로서의 기능을 가진다고 할 수 있다.
이상에 의하여, 도 7에 나타낸 뉴럴 네트워크(NN1a)는 스킵 연결된 층을 4쌍 가진다고 할 수 있다. 또한, 스킵 연결되어 있는 중간층(ML) 중 가장 입력층(IL)에 가까운 중간층(ML_1)이, 뉴럴 네트워크(NN2a)를 통하여 가장 출력층(OL)에 가까운 중간층(ML_16)과 스킵 연결되어 있다고 할 수 있다.
예를 들어 U-Net에서는 입력층에 가까운 중간층으로부터 출력되는 특징 맵이 스킵 연결에 의하여 출력층에 가까운 중간층에 입력된다. 따라서, 입력층에 입력되는 데이터에 노이즈가 포함되는 경우, 상기 노이즈가 출력층에 가까운 층까지 전달되기 쉬워진다. 이에 의하여, 상기 데이터에 대한 추론을 높은 정밀도로 수행할 수 없어질 가능성이 있다. 한편, 예를 들어 도 7에 나타낸 구성의 뉴럴 네트워크(NN1a)는 스킵 연결되어 있는 중간층(ML) 중 가장 입력층(IL)에 가까운 중간층(ML_1)이, 가장 출력층(OL)에 가까운 중간층(ML_16)과, 노이즈 제거를 수행하는 기능을 가지는 뉴럴 네트워크(NN2a)를 통하여 스킵 연결되어 있다. 이에 의하여, 입력층(IL)에 입력한 데이터에 노이즈가 포함되어도, 상기 노이즈가 출력층(OL)에 가까운 층까지 전달되는 것을 억제할 수 있다. 이에 의하여, 뉴럴 네트워크(NN1a)는 상기 데이터에 대한 추론을 높은 정밀도로 수행할 수 있다.
또한, 중간층(ML)에 의하여 특징 추출을 수행함에 따라, 입력층(IL)에 입력된 데이터에 포함되는 노이즈의 영향은 작아진다. 예를 들어, 입력층(IL)에 노이즈를 포함하는 데이터가 입력된 경우, 중간층(ML_7)이 출력하는 특징 맵에 상기 노이즈가 미치는 영향은 중간층(ML_1)이 출력하는 특징 맵에 상기 노이즈가 미치는 영향보다 작아진다. 따라서, 입력층(IL)에서 먼 중간층(ML)으로부터 출력되는 특징 맵이 스킵 연결에 의하여 다른 중간층(ML)에 입력되는 경우에도, 상기 특징 맵에 대해서는 노이즈 제거를 수행하지 않아도 된다. 예를 들어, 중간층(ML_1)보다 입력층(IL)에서 먼 층인 중간층(ML_3), 중간층(ML_5), 및 중간층(ML_7)은 각각 중간층(ML_14), 중간층(ML_12), 및 중간층(ML_10)과, 노이즈 제거를 수행하는 기능을 가지는 뉴럴 네트워크를 통하지 않고 스킵 연결할 수 있다. 따라서, 스킵 연결되는 층이 많아져도, 뉴럴 네트워크 모델(10)의 규모의 확대를 억제하면서, 입력층(IL)에 입력된 데이터에 대한 추론의 정밀도를 유지할 수 있다.
도 7에서는 뉴럴 네트워크(NN1a)가 중간층(ML)을 17개 가지고, 또한 스킵 연결된 층을 4쌍 가지는 구성을 나타내었지만, 본 발명의 일 형태는 이에 한정되지 않는다. 예를 들어, 중간층(ML)은 17개보다 많아도 좋다. 또한, 도 7에서는 중간층(ML_1)과 중간층(ML_16)만이 노이즈를 제거하는 기능을 가지는 뉴럴 네트워크를 통하여 스킵 연결되는 구성을 나타내었지만, 본 발명의 일 형태는 이에 한정되지 않는다. 예를 들어, 중간층(ML_1)과 중간층(ML_16) 외에 중간층(ML_3)과 중간층(ML_14)이 노이즈를 제거하는 기능을 가지는 뉴럴 네트워크를 통하여 스킵 연결되는 구성으로 하여도 좋다. 느이즈를 제거하는 기능을 가지는 뉴럴 네트워크를 통하여 스킵 연결되는 층의 개수를 늘림으로써, 입력층(IL)에 입력된 데이터에 대한 추론을 높은 정밀도로 수행할 수 있다.
<연산 처리 시스템의 구성예>
본 발명의 일 형태의 뉴럴 네트워크 모델은 예를 들어 연산 처리 시스템에 적용할 수 있다. 도 8의 (A)는 본 발명의 일 형태의 뉴럴 네트워크 모델을 적용할 수 있는 연산 처리 시스템(100)의 구성예를 나타낸 블록도이다. 연산 처리 시스템(100)은 정보 처리 장치(120)를 가진다.
정보 처리 장치(120)는 촬상부(121)와, 출력부(122)와, 연산부(123)와, 주기억부(124)와, 보조 기억부(125)를 가진다. 정보 처리 장치(120)가 가지는 구성 요소 사이에서의 데이터 등의 전송(傳送)은 전송로(127)를 통하여 수행할 수 있다. 또한, 본 명세서 등에서 촬상부는 촬상 장치로 바꿔 말할 수 있다.
촬상부(121)는 촬상을 수행하고, 화상 데이터를 취득하는 기능을 가진다. 상기 화상 데이터를 도 3의 (A)에 나타낸 데이터(21)로 할 수 있다. 출력부(122)는 정보를 공급하는 기능을 가진다.
연산부(123)는 연산 처리를 수행하는 기능을 가진다. 연산부(123)는 예를 들어 촬상부(121), 주기억부(124), 보조 기억부(125) 등으로부터 전송로(127)를 통하여 연산부(123)에 전송된 데이터에 대하여 소정의 연산 처리를 수행하는 기능을 가진다. 연산부(123)는 예를 들어 CPU(Central Processing Unit) 및 GPU(Graphics Processing Unit) 등을 가질 수 있다.
주기억부(124)는 데이터 및 프로그램 등을 기억하는 기능을 가진다. 연산부(123)는 주기억부(124)에 기억된 데이터 및 프로그램 등을 판독하고 연산 처리를 실행할 수 있다. 예를 들어, 연산부(123)는 주기억부(124)로부터 판독한 프로그램을 실행함으로써, 주기억부(124)로부터 판독한 데이터에 대하여 소정의 연산 처리를 실행할 수 있다.
주기억부(124)는 보조 기억부(125)보다 고속으로 동작하는 것이 바람직하다. 주기억부(124)는 예를 들어 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등을 가질 수 있다.
보조 기억부(125)는 데이터 및 프로그램 등을 주기억부(124)보다 장기간 기억하는 기능을 가진다. 보조 기억부(125)는 예를 들어 HDD(Hard Disk Drive), SSD(Solid State Drive) 등을 가질 수 있다. 또한, 보조 기억부(125)는 ReRAM(Resistive Random Access Memory, 저항 변화형 메모리라고도 함), PRAM(Phase change Random Access Memory), FeRAM(Ferroelectric Random Access Memory), MRAM(Magnetoresistive Random Access Memory, 자기(磁氣) 저항형 메모리라고도 함), 또는 플래시 메모리 등의 비휘발성 메모리를 가져도 좋다.
본 발명의 일 형태의 뉴럴 네트워크 모델의 학습에 의하여 취득된 가중 계수 11 및 가중 계수 12는 보조 기억부(125)에 저장된다. 또한, 가중 계수 11 및 가중 계수 12는 주기억부(124)에 저장되어도 좋다.
정보 처리 장치(120)는 예를 들어 스마트폰, 태블릿, 퍼스널 컴퓨터 등의 정보 단말기에 제공할 수 있다.
또한, 연산 처리 시스템(100)의 구성은 상기에 한정되지 않는다. 예를 들어 도 8의 (B)에 나타낸 바와 같이, 연산 처리 시스템(100)은 정보 처리 장치(120)에 더하여 정보 처리 장치(110)를 가져도 좋다.
정보 처리 장치(110)는 촬상부(111)와, 출력부(112)와, 연산부(113)와, 주기억부(114)와, 보조 기억부(115)와, 통신부(116)를 가진다. 정보 처리 장치(110)가 가지는 구성 요소 사이에서의 데이터 등의 전송은 전송로(117)를 통하여 수행할 수 있다.
촬상부(111)는 촬상을 수행하고, 화상 데이터를 취득하는 기능을 가진다. 상기 화상 데이터를 도 3의 (A)에 나타낸 데이터(21)로 할 수 있다. 출력부(112)는 정보를 공급하는 기능을 가진다.
연산부(113)는 연산 처리를 수행하는 기능을 가진다. 연산부(113)는 예를 들어 촬상부(111), 주기억부(114), 보조 기억부(115), 통신부(116) 등으로부터 전송로(117)를 통하여 연산부(113)에 전송된 데이터에 대하여 소정의 연산 처리를 수행하는 기능을 가진다. 연산부(113)는 예를 들어 CPU 및 GPU 등을 가질 수 있다.
주기억부(114)는 데이터 및 프로그램 등을 기억하는 기능을 가진다. 연산부(113)는 주기억부(114)에 기억된 데이터 및 프로그램 등을 판독하고 연산 처리를 실행할 수 있다. 예를 들어, 연산부(113)는 주기억부(114)로부터 판독한 프로그램을 실행함으로써, 주기억부(114)로부터 판독한 데이터에 대하여 소정의 연산 처리를 실행할 수 있다.
주기억부(114)는 보조 기억부(115)보다 고속으로 동작하는 것이 바람직하다. 주기억부(114)는 예를 들어 DRAM, SRAM 등을 가질 수 있다.
보조 기억부(115)는 데이터 및 프로그램 등을 주기억부(114)보다 장기간 기억하는 기능을 가진다. 보조 기억부(115)는 예를 들어 HDD 또는 SSD 등을 가질 수 있다. 또한, 보조 기억부(115)는 ReRAM, PRAM, FeRAM, MRAM, 또는 플래시 메모리 등의 비휘발성 메모리를 가져도 좋다.
본 발명의 일 형태의 뉴럴 네트워크 모델의 학습에 의하여 취득된 가중 계수 11 및 가중 계수 12는 보조 기억부(115)에 저장된다. 또한, 가중 계수 11 및 가중 계수 12는 주기억부(114)에 저장되어도 좋다.
통신부(116)는 정보 처리 장치(110)의 외부에 제공된 장치 등과의 사이에서 데이터 등의 송수신을 수행하는 기능을 가진다. 또한, 통신부(116)는 네트워크에 데이터 등을 공급하는 기능 및 네트워크로부터 데이터 등을 취득하는 기능을 가질 수 있다.
정보 처리 장치(120)는 촬상부(121)와, 출력부(122)와, 연산부(123)와, 주기억부(124)와, 보조 기억부(125)와, 통신부(126)를 가진다. 또한, 정보 처리 장치(120)의 설명 및 정보 처리 장치(120)가 가지는 구성 요소의 설명으로서 상술한 설명을 참조할 수 있다.
통신부(126)는 정보 처리 장치(120)의 외부에 제공된 장치 등과의 사이에서 데이터 등의 송수신을 수행하는 기능을 가진다. 또한, 통신부(126)는 네트워크에 데이터 등을 공급하는 기능 및 네트워크로부터 데이터 등을 취득하는 기능을 가질 수 있다.
연산부(123)는 예를 들어 촬상부(121), 주기억부(124), 보조 기억부(125), 통신부(126) 등으로부터 전송로(127)를 통하여 연산부(123)에 전송된 데이터에 대하여 소정의 연산 처리를 수행하는 기능을 가진다.
여기서, 연산부(113) 및 연산부(123)에 본 발명의 일 형태의 뉴럴 네트워크 모델을 적용하는 경우, 예를 들어 연산부(113)가 학습을 수행하여 가중 계수 11 및 가중 계수 12를 취득하고, 정보 처리 장치(110)로부터 정보 처리 장치(120)에 공급할 수 있다. 이에 의하여, 정보 처리 장치(120)에 제공되는 연산부(123)가 학습을 수행하지 않아도, 연산부(113)에 의하여 취득된 가중 계수 11 및 가중 계수 12를 바탕으로 연산부(123)에 입력된 데이터에 대하여 뉴럴 네트워크 모델에 의한 연산 처리를 수행할 수 있다. 따라서 연산부(123)의 연산 처리 능력을 연산부(113)보다 낮게 할 수 있다.
연산부(113)가 가중 계수 11 및 가중 계수 12를 취득하고, 정보 처리 장치(110)로부터 정보 처리 장치(120)에 공급하는 경우, 정보 처리 장치(110)는 예를 들어 서버에 제공할 수 있다. 또한, 정보 처리 장치(110)를 서버에 제공하는 경우, 정보 처리 장치(110)에는 촬상부(111) 및 출력부(112)를 제공하지 않아도 된다. 즉, 촬상부(111) 및 출력부(112)를 정보 처리 장치(110)의 외부에 제공하여도 좋다.
또한, 정보 처리 장치(120)는 상술한 바와 같이 예를 들어 스마트폰, 태블릿, 퍼스널 컴퓨터 등의 정보 단말기에 제공할 수 있다. 또한, 정보 처리 장치(110)의 구성 요소 중 적어도 일부와, 정보 처리 장치(120)의 구성 요소 중 적어도 일부를 모두 서버에 제공하여도 좋다. 예를 들어, 연산부(113)와 연산부(123)를 서버에 제공하여도 좋다. 이 경우, 예를 들어 정보 단말기가 취득한 데이터를 네트워크를 통하여 연산부(123)에 공급하고, 서버에 제공된 연산부(123)가 상기 데이터에 대한 추정 등을 수행한다. 그리고, 추정의 결과를 네트워크를 통하여 정보 단말기에 공급함으로써, 정보 단말기가 추정의 결과를 취득할 수 있다.
연산 처리 시스템(100)이 도 8의 (B)에 나타낸 구성을 가지고, 연산부(113)가 학습을 수행하여 가중 계수 11 및 가중 계수 12를 취득하는 경우, 도 3의 (A)에 나타낸 데이터(21)는 촬상부(111)에 의하여 취득하지 않아도 된다. 예를 들어, 촬상부(121)가 촬상을 수행하여 데이터(21)가 되는 화상 데이터를 취득하고, 정보 처리 장치(120)로부터 정보 처리 장치(110)에 상기 화상 데이터를 공급하여도 좋다. 이 경우, 정보 처리 장치(110)에 촬상부(111)를 제공하지 않아도 된다.
<촬상부의 구성예>
도 9는 촬상부(111) 및 촬상부(121)의 구성예를 설명하는 블록도이다. 상기 촬상부는 화소 어레이(300)와, 회로(201)와, 회로(301)와, 회로(302)와, 회로(303)와, 회로(304)와, 회로(305)와, 회로(306)를 가진다. 또한 회로(201) 및 회로(301) 내지 회로(306)의 각각은, 단일의 회로 구성에 한정되지 않고 복수의 회로의 조합으로 구성되는 경우가 있다. 또는 상기 어느 복수의 회로가 통합되어도 좋다. 또한 상기 이외의 회로가 접속되어도 좋다. 또한, 회로(201), 회로(301), 회로(302), 회로(303), 회로(304), 회로(305), 및 회로(306)는 연산부(113) 또는 연산부(123)에 제공하여도 좋다.
화소 어레이(300)는 촬상 기능 및 연산 기능을 가진다. 회로(201) 및 회로(301)는 연산 기능을 가진다. 회로(302)는 연산 기능 또는 데이터 변환 기능을 가진다. 회로(303), 회로(304), 및 회로(306)는 선택 기능을 가진다. 회로(303)는 배선(424)을 통하여 화소 블록(200)에 전기적으로 접속되어 있다. 회로(304)는 배선(423)을 통하여 화소 블록(200)에 전기적으로 접속되어 있다. 회로(305)는 화소에 적화 연산(product-sum operation)용 전위를 공급하는 기능을 가진다. 선택 기능을 가지는 회로에는 시프트 레지스터 또는 디코더 등을 사용할 수 있다. 회로(306)는 배선(413)을 통하여 화소 블록(200)에 전기적으로 접속되어 있다. 또한, 회로(301) 및 회로(302)는 외부에 제공되어 있어도 좋다.
화소 어레이(300)는 복수의 화소 블록(200)을 가진다. 화소 블록(200)은 도 10에 나타낸 바와 같이, 매트릭스상으로 배치된 복수의 화소(400)를 가지고, 각 화소(400)는 배선(412)을 통하여 회로(201)와 전기적으로 접속된다. 또한 회로(201)는 화소 블록(200) 내에 제공될 수도 있다.
또한 화소(400)는 인접한 화소(400)와 트랜지스터(450)(트랜지스터(450a) 내지 트랜지스터(450f))를 통하여 전기적으로 접속된다. 트랜지스터(450)의 기능에 대해서는 후술한다.
화소(400)에서는, 화상 데이터의 취득, 및 화상 데이터와 가중 계수를 가산한 데이터의 생성이 가능하다. 또한 도 10에서는 일례로서 화소 블록(200)이 가지는 화소수를 3×3으로 하였지만 이에 한정되지 않는다. 예를 들어 2×2, 4×4 등으로 할 수 있다. 또는 수평 방향과 수직 방향의 화소수가 달라도 좋다. 또한 일부 화소를 인접한 화소 블록으로 공유하여도 좋다.
화소 블록(200) 및 회로(201)는 적화 연산 회로로서 동작시킬 수 있다.
화소(400)는 도 11에 나타낸 바와 같이, 광전 변환 디바이스(401)와, 트랜지스터(402)와, 트랜지스터(403)와, 트랜지스터(404)와, 트랜지스터(405)와, 트랜지스터(406)와, 커패시터(407)를 가질 수 있다.
광전 변환 디바이스(401)의 한쪽 전극은 트랜지스터(402)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 트랜지스터(402)의 소스 및 드레인 중 다른 쪽은 트랜지스터(403)의 소스 및 드레인 중 한쪽, 트랜지스터(404)의 게이트, 및 커패시터(407)의 한쪽 전극과 전기적으로 접속된다. 트랜지스터(404)의 소스 및 드레인 중 한쪽은 트랜지스터(405)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 커패시터(407)의 다른 쪽 전극은 트랜지스터(406)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다.
광전 변환 디바이스(401)의 다른 쪽 전극은 배선(414)과 전기적으로 접속된다. 트랜지스터(403)의 소스 및 드레인 중 다른 쪽은 배선(415)과 전기적으로 접속된다. 트랜지스터(405)의 소스 및 드레인 중 다른 쪽은 배선(412)과 전기적으로 접속된다. 트랜지스터(404)의 소스 및 드레인 중 다른 쪽은 GND 배선에 전기적으로 접속된다. 트랜지스터(406)의 소스 및 드레인 중 다른 쪽은 배선(411)과 전기적으로 접속된다. 커패시터(407)의 다른 쪽 전극은 배선(417)과 전기적으로 접속된다.
트랜지스터(402)의 게이트는 배선(421)과 전기적으로 접속된다. 트랜지스터(403)의 게이트는 배선(422)과 전기적으로 접속된다. 트랜지스터(405)의 게이트는 배선(423)과 전기적으로 접속된다. 트랜지스터(406)의 게이트는 배선(424)과 전기적으로 접속된다.
여기서 트랜지스터(402)의 소스 및 드레인 중 다른 쪽과, 트랜지스터(403)의 소스 및 드레인 중 한쪽과, 커패시터(407)의 한쪽 전극과, 트랜지스터(404)의 게이트의 전기적인 접속점을 노드(FD)로 한다. 또한 커패시터(407)의 다른 쪽 전극과 트랜지스터(406)의 소스 및 드레인 중 한쪽의 전기적인 접속점을 노드(FDW)로 한다.
배선(414) 및 배선(415)은 전원선으로서의 기능을 가질 수 있다. 예를 들어 배선(414)은 고전위 전원선으로서, 배선(415)은 저전위 전원선으로서 기능할 수 있다. 배선(421), 배선(422), 배선(423), 및 배선(424)은 각 트랜지스터의 도통을 제어하는 신호선으로서 기능할 수 있다. 배선(411)은 화소(400)에 대하여 가중 계수에 상당하는 전위를 공급하는 배선으로서 기능할 수 있다. 배선(412)은 화소(400)와 회로(201)를 전기적으로 접속하는 배선으로서 기능할 수 있다. 배선(417)은 상기 화소의 커패시터(407)의 다른 쪽 전극과 다른 화소의 커패시터(407)의 다른 쪽 전극을 트랜지스터(450)를 통하여 전기적으로 접속하는 배선으로서 기능할 수 있다(도 10 참조).
또한 배선(412)에는 증폭 회로나 게인 조정 회로가 전기적으로 접속되어도 좋다.
광전 변환 디바이스(401)로서는 포토다이오드를 사용할 수 있다. 포토다이오드의 종류는 불문하고, 실리콘을 광전 변환층에 가지는 Si 포토다이오드, 유기 광도전막을 광전 변환층에 가지는 유기 포토다이오드 등을 사용할 수 있다. 또한 저조도 시의 광 검출 감도를 높이려고 하는 경우에는 애벌란시 포토다이오드를 사용하는 것이 바람직하다.
트랜지스터(402)는 노드(FD)의 전위를 제어하는 기능을 가질 수 있다. 트랜지스터(403)는 노드(FD)의 전위를 초기화하는 기능을 가질 수 있다. 트랜지스터(404)는 노드(FD)의 전위에 따라 회로(201)가 흘리는 전류를 제어하는 기능을 가질 수 있다. 트랜지스터(405)는 화소를 선택하는 기능을 가질 수 있다. 트랜지스터(406)는 노드(FDW)에, 가중 계수에 상당하는 전위를 공급하는 기능을 가질 수 있다.
광전 변환 디바이스(401)로서 애벌란시 포토다이오드를 사용하는 경우에는 고전압이 인가될 수도 있으므로, 광전 변환 디바이스(401)와 접속되는 트랜지스터로서는 고내압의 트랜지스터를 사용하는 것이 바람직하다. 고내압의 트랜지스터로서는 예를 들어 채널 형성 영역에 금속 산화물을 사용한 트랜지스터(이하 OS 트랜지스터) 등을 사용할 수 있다. 구체적으로는 트랜지스터(402)에 OS 트랜지스터를 적용하는 것이 바람직하다.
또한 OS 트랜지스터는 오프 전류가 매우 낮다는 특성도 가진다. 트랜지스터(402), 트랜지스터(403), 및 트랜지스터(406)로서 OS 트랜지스터를 사용함으로써, 노드(FD) 및 노드(FDW)에서 전하를 유지할 수 있는 기간을 매우 길게 할 수 있다. 그러므로 회로 구성이나 동작 방법을 복잡하게 하지 않고, 모든 화소에서 동시에 전하의 축적 동작을 수행하는 글로벌 셔터 방식을 적용할 수 있다. 또한 노드(FD)에 화상 데이터를 유지시키면서, 상기 화상 데이터를 사용한 복수 회의 연산을 수행할 수도 있다.
한편으로, 트랜지스터(404)는 우수한 증폭 특성을 가지는 것이 요구되는 경우가 있다. 또한 트랜지스터(406)로서는 고속 동작이 가능하고 이동도가 높은 트랜지스터를 사용하는 것이 바람직한 경우가 있다. 따라서 트랜지스터(404) 및 트랜지스터(406)로서는, 실리콘을 채널 형성 영역에 사용한 트랜지스터(이하 Si 트랜지스터)를 적용하여도 좋다.
또한 상기에 한정되지 않고, OS 트랜지스터 및 Si 트랜지스터를 임의로 조합하여 적용하여도 좋다. 또한 모든 트랜지스터를 OS 트랜지스터로 하여도 좋다. 또는 모든 트랜지스터를 Si 트랜지스터로 하여도 좋다. Si 트랜지스터로서는 비정질 실리콘을 가지는 트랜지스터, 결정성 실리콘(미결정 실리콘, 저온 폴리실리콘, 단결정 실리콘)을 가지는 트랜지스터 등을 들 수 있다.
화소(400)에서의 노드(FD)의 전위는, 배선(415)으로부터 공급되는 리셋 전위와 광전 변환 디바이스(401)에 의한 광전 변환으로 생성되는 전위(화상 데이터)가 가산된 전위로 확정된다. 또는 이 전위에, 배선(411)으로부터 공급되는 가중 계수에 상당하는 전위가 용량 결합되어 확정된다. 따라서 트랜지스터(405)에는, 화상 데이터에 임의의 가중 계수가 가해진 데이터에 따른 전류를 흘릴 수 있다.
또한 상기는 화소(400)의 회로 구성의 일례이며, 광전 변환 동작은 다른 회로 구성으로 수행할 수도 있다.
도 10에 나타낸 바와 같이, 각 화소(400)는 배선(412)으로 서로 전기적으로 접속된다. 회로(201)는 각 화소(400)의 트랜지스터(404)에 흐르는 전류의 합을 사용하여 연산을 수행할 수 있다.
회로(201)는 커패시터(202)와, 트랜지스터(203)와, 트랜지스터(204)와, 트랜지스터(205)와, 트랜지스터(206)와, 저항 소자(207)를 가진다.
커패시터(202)의 한쪽 전극은 트랜지스터(203)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 트랜지스터(203)의 소스 및 드레인 중 한쪽은 트랜지스터(204)의 게이트와 전기적으로 접속된다. 트랜지스터(204)의 소스 및 드레인 중 한쪽은 트랜지스터(205)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 트랜지스터(205)의 소스 및 드레인 중 한쪽은 트랜지스터(206)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 저항 소자(207)의 한쪽 전극은 커패시터(202)의 다른 쪽 전극과 전기적으로 접속된다.
커패시터(202)의 다른 쪽 전극은 배선(412)과 전기적으로 접속된다. 트랜지스터(203)의 소스 및 드레인 중 다른 쪽은 배선(218)과 전기적으로 접속된다. 트랜지스터(204)의 소스 및 드레인 중 다른 쪽은 배선(219)과 전기적으로 접속된다. 트랜지스터(205)의 소스 및 드레인 중 다른 쪽은 GND 배선 등의 기준 전원선과 전기적으로 접속된다. 트랜지스터(206)의 소스 및 드레인 중 다른 쪽은 배선(212)과 전기적으로 접속된다. 저항 소자(207)의 다른 쪽 전극은 배선(217)과 전기적으로 접속된다.
배선(217), 배선(218), 및 배선(219)은 전원선으로서의 기능을 가질 수 있다. 예를 들어 배선(218)은 판독용 전용 전위를 공급하는 배선으로서의 기능을 가질 수 있다. 배선(217) 및 배선(219)은 고전위 전원선으로서 기능할 수 있다. 배선(213), 배선(215), 및 배선(216)은 각 트랜지스터의 도통을 제어하는 신호선으로서 기능할 수 있다. 배선(212)은 출력선이고, 예를 들어 도 9에 나타낸 회로(301)와 전기적으로 접속될 수 있다.
트랜지스터(203)는 배선(211)의 전위를 배선(218)의 전위로 리셋하는 기능을 가질 수 있다. 배선(211)은 커패시터(202)의 한쪽 전극과, 트랜지스터(203)의 소스 및 드레인 중 한쪽과, 트랜지스터(204)의 게이트와 접속되는 배선이다. 트랜지스터(204) 및 트랜지스터(205)는 소스 폴로어 회로로서의 기능을 가질 수 있다. 트랜지스터(206)는 판독을 제어하는 기능을 가질 수 있다. 또한 회로(201)는 상관 이중 샘플링 회로(CDS 회로)로서의 기능을 가지고, 이 기능을 가지는 다른 구성의 회로로 치환될 수도 있다.
본 발명의 일 형태에서는 화상 데이터(X)와 가중 계수(W)의 곱 이외의 오프셋 성분을 제거하여, 목적의 WX를 추출한다. WX는, 같은 화소에 대하여, 촬상을 수행한 경우의 데이터 및 촬상을 수행하지 않은 경우의 데이터, 그리고 이들 각각에 가중치를 가하였을 때의 데이터를 이용하여 산출할 수 있다.
촬상을 수행한 경우에 화소(400)에 흐르는 전류(Ip)의 합계는 kΣ(X-Vth)2, 가중치를 가하였을 때에 화소(400)에 흐르는 전류(Ip)의 합계는 kΣ(W+X-Vth)2이 된다. 또한 촬상을 수행하지 않은 경우에 화소(400)에 흐르는 전류(Iref)의 합계는 kΣ(0-Vth)2, 가중치를 가하였을 때에 화소(400)에 흐르는 전류(Iref)의 합계는 kΣ(W-Vth)2이 된다. 여기서 k는 상수이고, Vth는 트랜지스터(405)의 문턱 전압이다.
우선 촬상을 수행한 경우의 데이터와, 상기 데이터에 가중치를 가한 데이터의 차분(데이터 A)을 산출한다. 이는 kΣ((X-Vth)2-(W+X-Vth)2)=kΣ(-W2-2W·X+2W·Vth)가 된다.
다음으로 촬상을 수행하지 않은 경우의 데이터와, 상기 데이터에 가중치를 가한 데이터의 차분(데이터 B)을 산출한다. 이는 kΣ((0-Vth)2-(W-Vth)2)=kΣ(-W2+2W·Vth)가 된다.
그리고 데이터 A와 데이터 B의 차분을 취한다. 이는 kΣ(-W2-2W·X+2W·Vth-(-W2+2W·Vth))=kΣ(-2W·X)가 된다. 즉 화상 데이터(X)와 가중 계수(W)의 곱 이외의 오프셋 성분을 제거할 수 있다.
회로(201)에서는 데이터 A 및 데이터 B를 판독할 수 있다. 또한 데이터 A와 데이터 B의 차분 연산은 예를 들어 회로(301)로 수행할 수 있다.
여기서 화소 블록(200) 전체에 공급되는 가중치는 필터로서 기능한다. 상기 필터로서는 예를 들어 합성곱 신경망(CNN)의 합성곱 필터를 사용할 수 있다. 또는 에지 추출 필터 등의 화상 처리 필터를 사용할 수 있다. 에지 추출 필터로서는 예를 들어, 도 12의 (A)에 나타낸 라플라시안 필터(Laplacian Filter), 도 12의 (B)에 나타낸 프리윗 필터(Prewitt filter), 도 12의 (C)에 나타낸 소벨 필터(Sobel Filter) 등을 들 수 있다.
화소 블록(200)이 가지는 화소(400)의 개수가 3×3인 경우, 상기 에지 추출 필터의 요소를 가중치로서 각 화소(400)에 할당하여 공급할 수 있다. 상술한 바와 같이, 데이터 A 및 데이터 B를 산출하기 위해서는, 촬상을 수행한 경우의 데이터 및 촬상을 수행하지 않은 경우의 데이터, 그리고 이들 각각에 가중치를 가하였을 때의 데이터를 이용할 수 있다. 여기서 촬상을 수행한 경우의 데이터 및 촬상을 수행하지 않은 경우의 데이터는 가중치를 가하지 않은 데이터이고, 모든 화소(400)에 가중치 0을 가한 데이터라고 바꿔 말할 수도 있다.
도 12의 (A) 내지 (C)에 예시한 에지 추출 필터는 필터의 요소(가중치: ΔW)의 합(ΣΔW/N, N은 요소의 개수)이 0이 되는 필터이다. 따라서 새로 다른 회로로부터 ΔW=0을 공급하는 동작을 수행하지 않아도, ΣΔW/N을 취득하는 동작을 수행하면, 모든 화소(400)에 ΔW=0 상당을 가한 데이터를 취득할 수 있다.
상기 동작은 화소(400) 간에 제공한 트랜지스터(450)(트랜지스터(450a) 내지 트랜지스터(450f))를 도통시키는 것에 상당한다(도 10 참조). 트랜지스터(450)를 도통시키는 것에 의하여, 각 화소(400)의 노드(FDW)는 모두 배선(417)을 통하여 단락된다. 이때 각 화소(400)의 노드(FDW)에 축적된 전하는 재분배되어, 도 12의 (A) 내지 (C)에 예시한 에지 추출 필터를 사용한 경우에는, 노드(FDW)의 전위(ΔW)는 0 또는 실질적으로 0이 된다. 따라서 ΔW=0 상당을 가한 데이터를 취득할 수 있다.
또한 화소 어레이(300) 외부에 있는 회로로부터 전하를 공급하여 가중치(ΔW)를 재기록하는 경우에는, 거리가 긴 배선(411)의 용량 등에 기인하여 재기록이 완료될 때까지에 시간이 필요하다. 한편, 화소 블록(200)은 미소한 영역이며, 배선(417)의 거리도 짧고 용량도 작다. 따라서 화소 블록(200) 내의 노드(FDW)에 축적된 전하를 재분배하는 동작에서는 가중치(ΔW)를 고속으로 재기록할 수 있다.
도 10에 나타낸 화소 블록(200)에서는, 트랜지스터(450a) 내지 트랜지스터(450f)가 각각 다른 게이트선(배선(413a) 내지 배선(413f))과 전기적으로 접속되는 구성을 나타내었다. 상기 구성에서는 트랜지스터(450a) 내지 트랜지스터(450f)의 도통을 독립적으로 제어할 수 있으므로, ΣΔW/N을 취득하는 동작을 선택적으로 수행할 수 있다.
예를 들어 도 12의 (B) 또는 (C) 등에 나타낸 필터를 사용한 경우에는 초기에 ΔW=0이 공급되어 있는 화소가 있다. ΣΔW/N=0인 것을 전제로 하는 경우, ΔW=0이 공급되어 있는 화소를 합의 대상이 되는 화소에서 제외하여도 좋다. 상기 화소를 제외함으로써, 트랜지스터(450a) 내지 트랜지스터(450f) 중 일부를 동작시키기 위한 전위의 공급이 불필요하게 되므로, 소비 전력을 억제할 수 있다.
회로(201)로부터 출력되는 적화 연산 결과의 데이터는 회로(301)에 순차적으로 입력된다. 회로(301)는, 상술한 데이터 A와 데이터 B의 차분을 연산하는 기능 외에, 다양한 연산 기능을 가져도 좋다. 예를 들어 회로(301)는 회로(201)와 동등한 구성으로 할 수 있다. 또는 회로(301)의 기능을 소프트웨어 처리로 대체하여도 좋다.
또한 회로(301)는 활성화 함수의 연산을 수행하는 회로를 가져도 좋다. 상기 회로로서는, 예를 들어 콤퍼레이터 회로를 사용할 수 있다. 콤퍼레이터 회로는, 입력된 데이터와 설정된 문턱값을 비교한 결과를 2치 데이터로서 출력한다. 즉 화소 블록(200) 및 회로(301)는 신경망의 일부의 요소로서 작용할 수 있다.
회로(301)로부터 출력된 데이터는 회로(302)에 순차적으로 입력된다. 회로(302)는, 예를 들어 래치 회로 및 시프트 레지스터 등을 가지는 구성으로 할 수 있다. 상기 구성으로 함으로써 병렬 직렬 변환이 가능하게 되므로, 병렬 입력된 데이터를 배선(311)에 직렬 데이터로서 출력할 수 있다.
예를 들어 연산부(113) 및 연산부(123)에 도 1의 (A) 또는 (B)에 나타낸 구성의 뉴럴 네트워크 모델(10)이 적용되어 있는 것으로 하면, 배선(311)으로부터 출력된 데이터는 층(L_1)에 입력될 수 있다. 따라서, 층(L_1)을 뉴럴 네트워크(NN1)의 입력층으로 할 수 있다. 또한, 도 1의 (A) 또는 (B)에 나타낸 구성의 뉴럴 네트워크 모델(10)이 학습을 수행하는 경우, 배선(311)으로부터 출력된 데이터를 도 3의 (A)에 나타낸 데이터(21)로 하고, 데이터(21)에 노이즈를 부가한 데이터를 데이터(22)로 할 수 있다. 상기 노이즈는 예를 들어 가우시안 잡음으로 할 수 있다. 이상에 의하여, 배선(311)으로부터 출력된 데이터에 노이즈가 포함되어 있어도, 상기 노이즈에 의하여 연산부(113) 및 연산부(123)에 적용되어 있는 뉴럴 네트워크 모델의 추론의 정밀도가 저하되는 것을 억제할 수 있다.
[화소의 구성예]
도 13의 (A)는 화소(400)의 구성예를 나타낸 도면이다. 화소(400)는 층(561)과 층(563)의 적층 구조로 할 수 있다.
층(561)은 광전 변환 디바이스(401)를 가진다. 광전 변환 디바이스(401)는 도 13의 (B)에 나타낸 바와 같이, 층(565a)과 층(565b)을 가질 수 있다. 또한 경우에 따라서는 층을 영역이라고 바꿔 말하여도 좋다.
도 13의 (B)에 나타낸 광전 변환 디바이스(401)는 pn접합형 포토다이오드이고, 예를 들어 층(565a)에 p형 반도체, 층(565b)에 n형 반도체를 사용할 수 있다. 또는 층(565a)에 n형 반도체, 층(565b)에 p형 반도체를 사용하여도 좋다.
상기 pn 접합형 포토다이오드는 대표적으로는 단결정 실리콘을 사용하여 형성할 수 있다.
또한 층(561)이 가지는 광전 변환 디바이스(401)는, 도 13의 (C)에 나타낸 바와 같이, 층(566a)과, 층(566b)과, 층(566c)과, 층(566d)의 적층으로 하여도 좋다. 도 13의 (C)에 나타낸 광전 변환 디바이스(401)는 애벌란시 포토다이오드의 일례이고, 층(566a) 및 층(566d)은 전극에 상당하고, 층(566b) 및 층(566c)은 광전 변환부에 상당한다.
층(566a)은 저저항의 금속층 등으로 하는 것이 바람직하다. 예를 들어 알루미늄, 타이타늄, 텅스텐, 탄탈럼, 은, 또는 이들의 적층을 사용할 수 있다.
층(566d)으로서는 가시광에 대하여 높은 투광성을 가지는 도전층을 사용하는 것이 바람직하다. 예를 들어 인듐 산화물, 주석 산화물, 아연 산화물, 인듐-주석 산화물, 갈륨-아연 산화물, 인듐-갈륨-아연 산화물, 또는 그래핀 등을 사용할 수 있다. 또한 층(566d)을 생략하는 구성으로 할 수도 있다.
광전 변환부의 층(566b) 및 층(566c)은 예를 들어 셀레늄계 재료를 광전 변환층으로 한 pn접합형 포토다이오드의 구성으로 할 수 있다. 층(566b)으로서는 p형 반도체인 셀레늄계 재료를 사용하고, 층(566c)으로서는 n형 반도체인 갈륨 산화물 등을 사용하는 것이 바람직하다.
셀레늄계 재료를 사용한 광전 변환 디바이스는 가시광에 대한 외부 양자 효율이 높다는 특성을 가진다. 상기 광전 변환 디바이스에서는, 애벌란시 증배를 이용함으로써, 입사하는 광의 양에 대한 전자의 증폭을 크게 할 수 있다. 또한 셀레늄계 재료는 광 흡수 계수가 높기 때문에, 광전 변환층을 박막으로 제작할 수 있다는 등의 생산상의 이점을 가진다. 셀레늄계 재료의 박막은 진공 증착법 또는 스퍼터링법 등을 사용하여 형성할 수 있다.
셀레늄계 재료로서는, 단결정 셀레늄이나 다결정 셀레늄 등의 결정성 셀레늄, 비정질 셀레늄, 구리, 인듐, 셀레늄의 화합물(CIS), 또는 구리, 인듐, 갈륨, 셀레늄의 화합물(CIGS) 등을 사용할 수 있다.
n형 반도체는 밴드 갭이 넓고 가시광에 대하여 투광성을 가지는 재료로 형성하는 것이 바람직하다. 예를 들어 아연 산화물, 갈륨 산화물, 인듐 산화물, 주석 산화물, 또는 이들이 혼재된 산화물 등을 사용할 수 있다. 또한 이들 재료는 정공 주입 저지층으로서의 기능도 가지고, 암전류를 작게 할 수도 있다.
또한 층(561)이 가지는 광전 변환 디바이스(401)는 도 13의 (D)에 나타낸 바와 같이 층(567a)과, 층(567b)과, 층(567c)과, 층(567d)과, 층(567e)의 적층으로 하여도 좋다. 도 13의 (D)에 나타낸 광전 변환 디바이스(401)는 유기 광도전막의 일례이며, 층(567a)은 하부 전극이고 층(567e)은 투광성을 가지는 상부 전극이고, 층(567b), 층(567c), 및 층(567d)은 광전 변환부에 상당한다.
광전 변환부의 층(567b) 및 층(567d) 중 한쪽은 정공 수송층으로 할 수 있다. 또한, 층(567b) 및 층(567d) 중 다른 쪽은 전자 수송층으로 할 수 있다. 또한 층(567c)은 광전 변환층으로 할 수 있다.
정공 수송층으로서는 예를 들어 산화 몰리브데넘 등을 사용할 수 있다. 전자 수송층으로서는 예를 들어 C60, C70 등의 풀러렌, 또는 이들의 유도체 등을 사용할 수 있다.
광전 변환층으로서는 n형 유기 반도체 및 p형 유기 반도체의 혼합층(벌크 이종접합 구조)을 사용할 수 있다.
도 13의 (A)에 나타낸 층(563)에는 예를 들어 실리콘 기판이 포함된다. 상기 실리콘 기판 위에는 Si 트랜지스터 등을 제공할 수 있다. 상기 Si 트랜지스터를 사용하여 화소(400)를 형성할 수 있다. 또한 도 9에 나타낸 회로(201), 및 회로(301) 내지 회로(306)를 형성할 수 있다.
다음으로 촬상 장치의 적층 구조에 대하여 단면도를 사용하여 설명한다. 또한 이하에 제시하는 절연층 및 도전층 등의 요소는 일례이고, 다른 요소가 더 포함되어도 좋다. 또는 이하에 제시하는 요소의 일부가 생략되어도 좋다. 또한 이하에 제시하는 적층 구조는 필요에 따라 접합 공정, 연마 공정 등을 사용하여 형성할 수 있다.
도 14에 나타낸 구성의 촬상 장치는 층(560), 층(561), 및 층(563)을 가진다. 도 14에서는 층(563)에 제공된 요소로서 트랜지스터(402) 및 트랜지스터(403)를 나타내었지만, 트랜지스터(404) 내지 트랜지스터(406) 등 다른 요소도 층(563)에 제공할 수 있다.
층(563)에는 실리콘 기판(632), 절연층(633), 절연층(634), 절연층(635), 및 절연층(637)이 제공된다. 또한 도전층(636)이 제공된다.
절연층(634), 절연층(635), 및 절연층(637)은 층간 절연막 및 평탄화막으로서의 기능을 가진다. 절연층(633)은 보호막으로서의 기능을 가진다. 도전층(636)은 도 11에 나타낸 배선(414)과 전기적으로 접속된다.
층간 절연막 및 평탄화막으로서는 예를 들어 산화 실리콘막 등의 무기 절연막, 아크릴 수지, 폴리이미드 수지 등의 유기 절연막을 사용할 수 있다. 보호막으로서는 예를 들어 질화 실리콘막, 산화 실리콘막, 산화 알루미늄막 등을 사용할 수 있다.
도전층에는 알루미늄, 크로뮴, 구리, 은, 금, 백금, 탄탈럼, 니켈, 타이타늄, 몰리브데넘, 텅스텐, 하프늄, 바나듐, 나이오븀, 망가니즈, 마그네슘, 지르코늄, 베릴륨, 인듐, 루테늄, 이리듐, 스트론튬, 란타넘 등 중에서 선택된 금속 원소, 또는 상술한 금속 원소를 성분으로 하는 합금이나, 상술한 금속 원소를 조합한 합금 등을 적절히 선택하여 사용하면 좋다. 상기 도전체는 단층에 한정되지 않고, 다른 재료로 구성된 복수의 층이어도 좋다.
도 14에 나타낸 Si 트랜지스터는 실리콘 기판에 채널 형성 영역을 가지는 Fin형이다. 채널 폭 방향의 단면(도 14의 층(563)에 나타낸 A1-A2의 단면)을 도 15의 (A)에 나타내었다. 또한 Si 트랜지스터는 도 15의 (B)에 나타낸 바와 같이 Planar형이어도 좋다.
또는 도 15의 (C)에 나타낸 바와 같이, 실리콘 박막의 반도체층(545)을 가지는 트랜지스터이어도 좋다. 반도체층(545)은 예를 들어 실리콘 기판(632) 위의 절연층(546) 위에 형성된 단결정 실리콘(SOI: Silicon on Insulator)으로 할 수 있다.
층(561)에는 광전 변환 디바이스(401)가 제공된다. 광전 변환 디바이스(401)는 층(563) 위에 형성할 수 있다. 도 14에서는 광전 변환 디바이스(401)로서, 도 13의 (D)에 나타낸 유기 광도전막을 광전 변환층에 사용한 구성을 나타내었다. 또한 여기서는 층(567a)을 캐소드, 층(567e)을 애노드로 한다.
층(561)에는 절연층(651), 절연층(652), 절연층(653), 절연층(654), 및 도전층(655)이 제공된다.
절연층(651), 절연층(653), 및 절연층(654)은 층간 절연막 및 평탄화막으로서의 기능을 가진다. 또한 절연층(654)은 광전 변환 디바이스(401)의 단부를 덮어 제공되고, 층(567e)과 층(567a)의 단락을 방지하는 기능도 가진다. 절연층(652)은 소자 분리층으로서의 기능을 가진다. 소자 분리층으로서는 유기 절연막 등을 사용하는 것이 바람직하다.
광전 변환 디바이스(401)의 캐소드에 상당하는 층(567a)은, 층(563)이 가지는 트랜지스터(402)의 소스 및 드레인 중 한쪽과 전기적으로 접속된다. 광전 변환 디바이스(401)의 애노드에 상당하는 층(567e)은, 도전층(655)을 통하여, 층(563)에 제공되는 도전층(636)과 전기적으로 접속된다.
층(560)은 층(561) 위에 형성된다. 층(560)은 차광층(671), 광학 변환층(672), 및 마이크로 렌즈 어레이(673)를 가진다.
차광층(671)은 인접한 화소로의 광의 유입을 억제할 수 있다. 차광층(671)에는 알루미늄, 텅스텐 등의 금속층을 사용할 수 있다. 또한 상기 금속층과 반사 방지막으로서의 기능을 가지는 유전체막을 적층시켜도 좋다.
광학 변환층(672)에는 컬러 필터를 사용할 수 있다. 컬러 필터에 R(적색), G(녹색), B(청색), Y(황색), C(시안), M(마젠타) 등의 색깔의 컬러 필터를 화소별로 할당함으로써, 컬러 화상을 얻을 수 있다. 또한 광학 변환층(672)으로서 파장 컷 필터를 사용하면, 다양한 파장 영역에서의 화상을 얻을 수 있는 촬상 장치로 할 수 있다.
예를 들어 광학 변환층(672)에 가시광선의 파장 이하의 파장을 가지는 광을 차단하는 적외선 필터를 사용하면, 적외선 촬상 장치로 할 수 있다. 또한 광학 변환층(672)에 근적외선의 파장 이하의 파장을 가지는 광을 차단하는 필터를 사용하면, 원적외선 촬상 장치로 할 수 있다. 또한 광학 변환층(672)에 가시광선의 파장 이상의 파장을 가지는 광을 차단하는 자외선 필터를 사용하면, 자외선 촬상 장치로 할 수 있다.
또한 광학 변환층(672)에 신틸레이터를 사용하면, X선 촬상 장치 등에 사용하는 방사선의 강약을 가시화한 화상을 얻는 촬상 장치를 얻을 수 있다. 피사체를 투과한 X선 등의 방사선이 신틸레이터에 입사하면 포토루미네선스 현상에 의하여 가시광선 또는 자외광선 등의 광(형광)으로 변환된다. 그리고 상기 광을 광전 변환 디바이스(401)에 의하여 검출함으로써 화상 데이터를 취득한다. 또한 방사선 검출기 등에 이 구성의 촬상 장치를 사용하여도 좋다.
신틸레이터는 X선이나 감마선 등의 방사선이 조사되면, 그 에너지를 흡수하여 가시광 또는 자외광을 발하는 물질을 포함한다. 예를 들어 Gd2O2S:Tb, Gd2O2S:Pr, Gd2O2S:Eu, BaFCl: Eu, NaI, CsI, CaF2, BaF2, CeF3, LiF, LiI, ZnO 등을 수지나 세라믹에 분산시킨 것을 사용할 수 있다.
광학 변환층(672) 위에는 마이크로 렌즈 어레이(673)가 제공된다. 마이크로 렌즈 어레이(673)가 가지는 각 렌즈를 통과하는 광이, 직하의 광학 변환층(672)을 통과하고, 광전 변환 디바이스(401)에 조사된다. 마이크로 렌즈 어레이(673)를 제공함으로써, 집광한 광을 광전 변환 디바이스(401)에 입사시킬 수 있기 때문에, 광전 변환을 효율적으로 수행할 수 있다. 마이크로 렌즈 어레이(673)는 촬상 대상의 파장의 광에 대한 투광성이 높은 수지 또는 유리 등으로 형성되는 것이 바람직하다.
도 16은 도 14에 나타낸 적층 구조의 변형예이고, 층(561)이 가지는 광전 변환 디바이스(401)의 구성 및 층(563)의 일부 구성이 다르다. 도 16에 나타낸 구성에서는 층(561)과 층(563) 사이에 접합면을 가진다.
층(561)은 광전 변환 디바이스(401), 절연층(661), 절연층(662), 절연층(664), 절연층(665), 도전층(685), 및 도전층(686)을 가진다.
광전 변환 디바이스(401)는 실리콘 기판에 형성된 pn 접합형 포토다이오드이고, p형 영역에 상당하는 층(565b) 및 n형 영역에 상당하는 층(565a)을 가진다. 광전 변환 디바이스(401)는 매립형 포토다이오드이고, 층(565a)의 표면 측(전류 추출 측)에 제공된 얇은 p형 영역(층(565b)의 일부)에 의하여 암전류를 억제하여 노이즈를 저감할 수 있다.
절연층(661), 그리고 도전층(685) 및 도전층(686)은 접합층으로서의 기능을 가진다. 절연층(662)은 층간 절연막 및 평탄화막으로서의 기능을 가진다. 절연층(664)은 소자 분리층으로서의 기능을 가진다. 절연층(665)은 캐리어의 유출을 억제하는 기능을 가진다.
실리콘 기판에는 화소를 분리하는 홈이 제공되고, 절연층(665)은 실리콘 기판 상면 및 상기 홈에 제공된다. 절연층(665)이 제공됨으로써, 광전 변환 디바이스(401) 내에서 발생한 캐리어가 인접한 화소에 유출되는 것을 억제할 수 있다. 또한 절연층(665)은 미광의 침입을 억제하는 기능도 가진다. 따라서 절연층(665)에 의하여 혼색을 억제할 수 있다. 또한 실리콘 기판의 상면과 절연층(665) 사이에 반사 방지막이 제공되어도 좋다.
소자 분리층은 LOCOS(LOCal Oxidation of Silicon)법을 사용하여 형성할 수 있다. 또는 STI(Shallow Trench Isolation)법 등을 사용하여 형성하여도 좋다. 절연층(665)으로서는 예를 들어, 산화 실리콘, 질화 실리콘 등의 무기 절연막, 폴리이미드, 아크릴 등의 유기 절연막을 사용할 수 있다. 또한 절연층(665)은 다층 구성이어도 좋다. 또한 소자 분리층을 제공하지 않는 구성으로 할 수도 있다.
광전 변환 디바이스(401)의 층(565a)(n형 영역, 캐소드에 상당함)은 도전층(685)과 전기적으로 접속된다. 층(565b)(p형 영역, 애노드에 상당함)은 도전층(686)과 전기적으로 접속된다. 도전층(685) 및 도전층(686)은 절연층(661)에 매립된 영역을 가진다. 또한 절연층(661), 그리고 도전층(685) 및 도전층(686)의 표면은 각각 높이가 일치하도록 평탄화되어 있다.
층(563)에서, 절연층(637) 위에는 절연층(638)이 형성된다. 또한 트랜지스터(402)의 소스 및 드레인 중 한쪽과 전기적으로 접속되는 도전층(683), 및 도전층(636)과 전기적으로 접속되는 도전층(684)이 형성된다.
절연층(638), 그리고 도전층(683) 및 도전층(684)은 접합층으로서의 기능을 가진다. 도전층(683) 및 도전층(684)은 절연층(638)에 매립된 영역을 가진다. 또한 절연층(638), 그리고 도전층(683) 및 도전층(684)의 표면은 각각 높이가 일치하도록 평탄화되어 있다.
여기서, 도전층(683)과 도전층(685)은 주성분이 서로 같은 금속 원소로 구성되는 것이 바람직하고, 도전층(684)과 도전층(686)은 주성분이 서로 같은 금속 원소로 구성되는 것이 바람직하다. 또한, 절연층(638)과 절연층(661)은 주성분이 서로 같은 것이 바람직하다.
예를 들어, 도전층(683) 내지 도전층(686)에는 Cu, Al, Sn, Zn, W, Ag, Pt, 또는 Au 등을 사용할 수 있다. 특히 Cu, Al, W, 또는 Au를 사용하면 접합하기 쉬워 바람직하다. 또한 절연층(638) 및 절연층(661)에는 산화 실리콘, 산화질화 실리콘, 질화산화 실리콘, 질화 실리콘, 질화 타이타늄 등을 사용할 수 있다.
즉 도전층(683) 내지 도전층(686)의 각각에, 상술한 금속 재료 중에서 같은 재료를 사용하는 것이 바람직하다. 또한 절연층(638) 및 절연층(661)의 각각에, 상술한 절연 재료 중에서 같은 재료를 사용하는 것이 바람직하다. 상기 구성으로 함으로써, 층(563)과 층(561) 사이의 경계를 접합 위치로 하는 접합을 수행할 수 있다.
또한 도전층(683) 내지 도전층(686)은 복수의 층으로 이루어진 다층 구조를 가져도 좋고, 그 경우에는 표층(접합면)이 동일한 금속 재료로 형성되면 좋다. 또한 절연층(638) 및 절연층(661)도 복수의 층으로 이루어진 다층 구조를 가져도 좋고, 그 경우에는 표층(접합면)이 동일한 절연 재료로 형성되면 좋다.
상기 접합에 의하여, 도전층(683)과 도전층(685)을 서로 전기적으로 접속할 수 있고, 도전층(684)과 도전층(686)을 서로 전기적으로 접속할 수 있다. 또한 절연층(661)과 절연층(638)의 기계적인 강도를 가지는 접속을 얻을 수 있다.
금속층들의 접합에는, 표면의 산화막 및 불순물의 흡착층 등을 스퍼터링 처리 등에 의하여 제거하고, 청정화 및 활성화된 표면들을 접촉시켜 접합하는 표면 활성화 접합법을 사용할 수 있다. 또는 온도와 압력을 병용하여 표면들을 접합하는 확산 접합법 등을 사용할 수 있다. 어느 방법에서도 원자 레벨의 결합이 일어나기 때문에, 전기적뿐만 아니라 기계적으로도 우수한 접합을 얻을 수 있다.
또한 절연층들의 접합에는, 연마 등에 의하여 높은 평탄성을 얻은 후, 산소 플라스마 등으로 친수성 처리를 수행한 표면들을 접촉시켜 일시적으로 접합하고, 열처리에 의한 탈수로 최종적인 접합을 하는 친수성 접합법 등을 사용할 수 있다. 친수성 접합법에서도 원자 레벨의 결합이 일어나기 때문에, 기계적으로 우수한 접합을 얻을 수 있다.
층(563)과 층(561)을 접합하는 경우, 각각의 접합면에는 금속층과 절연층이 혼재하기 때문에, 예를 들어 표면 활성화 접합법 및 친수성 접합법을 조합하여 수행하면 좋다.
예를 들어 연마 후에 표면을 청정화하고, 금속층의 표면에 산화 방지 처리를 수행한 후에, 친수성 처리를 수행하여 접합하는 방법 등을 사용할 수 있다. 또한 금속층의 표면을 Au 등의 난(難)산화성 금속으로 하고 친수성 처리를 수행하여도 좋다. 또한 상술한 방법 외의 접합 방법을 사용하여도 좋다.
상기 접합에 의하여 층(563)이 가지는 요소와 층(561)이 가지는 요소를 전기적으로 접속할 수 있다.
도 17은 도 16에 나타낸 적층 구조의 변형예이고, 층(561) 및 층(563)의 구성의 일부가 다르다.
상기 변형예는 화소(400)가 가지는 트랜지스터(402)를 층(561)에 제공한 구성이다. 층(561)에서 트랜지스터(402)는 Si 트랜지스터로 형성된다. 트랜지스터(402)의 소스 및 드레인 중 한쪽은 광전 변환 디바이스(401)의 한쪽 전극과 직결된다. 또한, 트랜지스터(402)의 소스 및 드레인 중 다른 쪽은 노드(FD)와 전기적으로 접속된다.
도 17에 나타낸 촬상 장치에서는, 층(563)에는 촬상 장치를 구성하는 트랜지스터 중 적어도 트랜지스터(402)를 제외한 트랜지스터가 제공된다. 도 17에서는 층(563)에 제공되어 있는 요소로서 트랜지스터(404) 및 트랜지스터(405)를 나타내었지만, 트랜지스터(403) 및 트랜지스터(406) 등 다른 요소도 층(563)에 제공할 수 있다. 또한, 도 17에 나타낸 촬상 장치의 층(563)에는 절연층(635)과 절연층(637) 사이에 절연층(647)이 제공된다. 절연층(647)은 층간 절연막 및 평탄화막으로서의 기능을 가진다.
10: 뉴럴 네트워크 모델, 10a: 뉴럴 네트워크 모델, 21: 데이터, 22: 데이터, 23: 데이터, 24: 데이터, 25: 데이터 세트, 26: 데이터, 27: 데이터 세트, 28: 데이터, 29: 데이터 세트, 34: 특징 맵, 35: 특징 맵 세트, 36: 특징 맵, 37: 특징 맵 세트, 41: 데이터, 42: 데이터 세트, 43: 출력 데이터, 44: 데이터 세트, 45: 데이터, 46: 데이터, 100: 연산 처리 시스템, 110: 정보 처리 장치, 111: 촬상부, 112: 출력부, 113: 연산부, 114: 주기억부, 115: 보조 기억부, 116: 통신부, 117: 전송로, 120: 정보 처리 장치, 121: 촬상부, 122: 출력부, 123: 연산부, 124: 주기억부, 125: 보조 기억부, 126: 통신부, 127: 전송로, 200: 화소 블록, 201: 회로, 202: 커패시터, 203: 트랜지스터, 204: 트랜지스터, 205: 트랜지스터, 206: 트랜지스터, 207: 저항 소자, 211: 배선, 212: 배선, 213: 배선, 215: 배선, 216: 배선, 217: 배선, 218: 배선, 219: 배선, 300: 화소 어레이, 301: 회로, 302: 회로, 303: 회로, 304: 회로, 305: 회로, 306: 회로, 311: 배선, 400: 화소, 401: 광전 변환 디바이스, 402: 트랜지스터, 403: 트랜지스터, 404: 트랜지스터, 405: 트랜지스터, 406: 트랜지스터, 407: 커패시터, 411: 배선, 412: 배선, 413: 배선, 414: 배선, 415: 배선, 417: 배선, 421: 배선, 422: 배선, 423: 배선, 424: 배선, 450: 트랜지스터, 545: 반도체층, 546: 절연층, 560: 층, 561: 층, 563: 층, 565a: 층, 565b: 층, 566a: 층, 566b: 층, 566c: 층, 566d: 층, 567a: 층, 567b: 층, 567c: 층, 567d: 층, 567e: 층, 632: 실리콘 기판, 633: 절연층, 634: 절연층, 635: 절연층, 636: 도전층, 637: 절연층, 638: 절연층, 647: 절연층, 651: 절연층, 652: 절연층, 653: 절연층, 654: 절연층, 655: 도전층, 661: 절연층, 662: 절연층, 664: 절연층, 665: 절연층, 671: 차광층, 672: 광학 변환층, 673: 마이크로 렌즈 어레이, 683: 도전층, 684: 도전층, 685: 도전층, 686: 도전층
Claims (10)
- 뉴럴 네트워크 모델로서,
제 1 뉴럴 네트워크와, 제 2 뉴럴 네트워크를 가지고,
상기 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층을 가지고,
상기 제 1 층으로부터 출력되는 특징 맵은 상기 제 2 층과, 상기 제 2 뉴럴 네트워크에 입력되고,
상기 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 상기 제 3 층에 입력되고,
상기 제 2 뉴럴 네트워크는 제 1 데이터를 상기 제 1 뉴럴 네트워크에 입력한 경우에 상기 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 상기 제 1 데이터에 노이즈를 부가한 제 2 데이터를 상기 제 1 뉴럴 네트워크에 입력한 경우에 상기 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하고, 상기 제 2 뉴럴 네트워크에 상기 학습 특징 맵을 입력한 경우에 상기 제 2 뉴럴 네트워크로부터 출력되는 특징 맵이 상기 정답 특징 맵과 일치하도록 제 1 학습에 의하여 학습된 것인, 뉴럴 네트워크 모델. - 제 1 항에 있어서,
상기 제 2 뉴럴 네트워크의 가중 계수는 초깃값 취득용 데이터를 상기 제 1 뉴럴 네트워크에 입력하여 상기 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득한 후에 상기 제 1 학습에 의하여 취득된 것인, 뉴럴 네트워크 모델. - 제 2 항에 있어서,
상기 제 1 뉴럴 네트워크의 가중 계수는, 상기 제 2 뉴럴 네트워크의 가중 계수를 취득한 후에 상기 제 2 데이터를 상기 제 1 뉴럴 네트워크에 입력함으로써 수행되는 제 2 학습에 의하여 취득된 것인, 뉴럴 네트워크 모델. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 제 1 뉴럴 네트워크는 제 4 층과, 제 5 층과, 제 6 층을 가지고,
상기 제 4 층으로부터 출력되는 특징 맵은 상기 제 5 층과, 상기 제 4 층에 스킵 연결된 상기 제 6 층에 입력되고,
상기 제 4 층은 상기 제 1 층보다 상기 제 1 뉴럴 네트워크의 출력층에 가깝고,
상기 제 3 층은 상기 제 6 층보다 상기 제 1 뉴럴 네트워크의 출력층에 가까운, 뉴럴 네트워크 모델. - 뉴럴 네트워크 모델로서,
제 1 뉴럴 네트워크와, 제 2 뉴럴 네트워크를 가지고,
상기 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층과, 제 4 층을 가지고,
상기 제 4 층, 상기 제 3 층, 상기 제 2 층, 상기 제 1 층의 순서로 상기 제 1 뉴럴 네트워크의 출력층에 가깝고,
상기 제 1 층으로부터 출력되는 특징 맵은 상기 제 2 층과, 상기 제 2 뉴럴 네트워크에 입력되고,
상기 제 3 층으로부터 출력되는 특징 맵 및 상기 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 상기 제 4 층에 입력되고,
상기 제 2 뉴럴 네트워크는 제 1 데이터를 상기 제 1 뉴럴 네트워크에 입력한 경우에 상기 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 상기 제 1 데이터에 노이즈를 부가한 제 2 데이터를 상기 제 1 뉴럴 네트워크에 입력한 경우에 상기 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하고, 상기 제 2 뉴럴 네트워크에 상기 학습 특징 맵을 입력한 경우에 상기 제 2 뉴럴 네트워크로부터 출력되는 특징 맵이 상기 정답 특징 맵과 일치하도록 제 1 학습에 의하여 학습된 것인, 뉴럴 네트워크 모델. - 제 5 항에 있어서,
상기 제 2 뉴럴 네트워크의 가중 계수는 초깃값 취득용 데이터를 상기 제 1 뉴럴 네트워크에 입력하여 상기 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득한 후에 상기 제 1 학습에 의하여 취득된 것인, 뉴럴 네트워크 모델. - 제 6 항에 있어서,
상기 제 1 뉴럴 네트워크의 가중 계수는, 상기 제 2 뉴럴 네트워크의 가중 계수를 취득한 후에 상기 제 2 데이터를 상기 제 1 뉴럴 네트워크에 입력함으로써 수행되는 제 2 학습에 의하여 취득된 것인, 뉴럴 네트워크 모델. - 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 제 1 뉴럴 네트워크 모델은 제 5 층과, 제 6 층과, 제 7 층을 가지고,
상기 제 5 층으로부터 출력되는 특징 맵은 상기 제 6 층과, 상기 제 5 층에 스킵 연결된 상기 제 7 층에 입력되고,
상기 제 5 층은 상기 제 1 층보다 상기 제 1 뉴럴 네트워크의 출력층에 가깝고,
상기 제 4 층은 상기 제 7 층보다 상기 제 1 뉴럴 네트워크의 출력층에 가까운, 뉴럴 네트워크 모델. - 뉴럴 네트워크 모델의 학습 방법으로서,
제 1 뉴럴 네트워크와, 제 2 뉴럴 네트워크를 가지고,
상기 제 1 뉴럴 네트워크는 제 1 층과, 제 2 층과, 제 3 층을 가지고,
상기 제 1 층으로부터 출력되는 특징 맵은 상기 제 2 층과, 상기 제 2 뉴럴 네트워크에 입력되고,
상기 제 2 뉴럴 네트워크로부터 출력되는 특징 맵은 상기 제 3 층에 입력되는 뉴럴 네트워크 모델의 학습 방법이고,
초깃값 취득용 데이터를 상기 제 1 뉴럴 네트워크에 입력함으로써 상기 제 1 뉴럴 네트워크의 가중 계수의 초깃값을 취득하는 제 1 단계와,
제 1 데이터를 상기 제 1 뉴럴 네트워크에 입력한 경우에 상기 제 1 층으로부터 출력되는 특징 맵을 정답 특징 맵으로 하고, 상기 제 1 데이터에 노이즈를 부가한 제 2 데이터를 상기 제 1 뉴럴 네트워크에 입력한 경우에 상기 제 1 층으로부터 출력되는 특징 맵을 학습 특징 맵으로 하고, 상기 제 2 뉴럴 네트워크에 상기 학습 특징 맵을 입력한 경우에 상기 제 2 뉴럴 네트워크로부터 출력되는 특징 맵이 상기 정답 특징 맵과 일치하도록 제 1 학습을 수행함으로써, 상기 제 2 뉴럴 네트워크의 가중 계수를 취득하는 제 2 단계와,
상기 제 2 데이터를 상기 제 1 뉴럴 네트워크에 입력하여 제 2 학습을 수행함으로써 상기 제 1 뉴럴 네트워크의 가중 계수를 취득하는 제 3 단계와,
상기 제 1 뉴럴 네트워크에 테스트 데이터를 입력하고, 상기 제 1 뉴럴 네트워크로부터 출력되는 출력 데이터에 기초하여 상기 뉴럴 네트워크 모델의 추론 정밀도를 평가하는 제 4 단계를 가지고,
상기 추론 정밀도가 규정값 이상이 될 때까지 상기 제 2 단계 내지 상기 제 4 단계를 수행하는, 뉴럴 네트워크 모델의 학습 방법. - 제 9 항에 있어서,
상기 제 1 뉴럴 네트워크는 제 4 층과, 제 5 층과, 제 6 층을 가지고,
상기 제 4 층으로부터 출력되는 특징 맵은 상기 제 5 층과, 상기 제 4 층에 스킵 연결된 상기 제 6 층에 입력되고,
상기 제 4 층은 상기 제 1 층보다 상기 제 1 뉴럴 네트워크의 출력층에 가깝고,
상기 제 3 층은 상기 제 6 층보다 상기 제 1 뉴럴 네트워크의 출력층에 가까운, 뉴럴 네트워크 모델의 학습 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019238931 | 2019-12-27 | ||
| JPJP-P-2019-238931 | 2019-12-27 | ||
| PCT/IB2020/061875 WO2021130594A1 (ja) | 2019-12-27 | 2020-12-14 | ニューラルネットワークモデル、及びその学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220122671A true KR20220122671A (ko) | 2022-09-02 |
Family
ID=76575741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227024868A KR20220122671A (ko) | 2019-12-27 | 2020-12-14 | 뉴럴 네트워크 모델 및 그 학습 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230024698A1 (ko) |
| KR (1) | KR20220122671A (ko) |
| CN (1) | CN114846477A (ko) |
| WO (1) | WO2021130594A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11941739B1 (en) * | 2021-01-05 | 2024-03-26 | Pixar | Object deformation network system and method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019082979A (ja) | 2017-10-30 | 2019-05-30 | 楽天株式会社 | 画像の改良されたセグメンテーション及び認識のための方法と装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020057172A (ja) * | 2018-10-01 | 2020-04-09 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、推論装置及び学習済みモデル |
-
2020
- 2020-12-14 KR KR1020227024868A patent/KR20220122671A/ko active Search and Examination
- 2020-12-14 WO PCT/IB2020/061875 patent/WO2021130594A1/ja active Application Filing
- 2020-12-14 CN CN202080090652.2A patent/CN114846477A/zh active Pending
- 2020-12-14 US US17/783,074 patent/US20230024698A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019082979A (ja) | 2017-10-30 | 2019-05-30 | 楽天株式会社 | 画像の改良されたセグメンテーション及び認識のための方法と装置 |
Non-Patent Citations (1)
| Title |
|---|
| Olaf Ronneberger,Philipp Fischer, and Thomas Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation", Medical Image Computing and Computer-Assisted Intervention, 234-241(2015). |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230024698A1 (en) | 2023-01-26 |
| CN114846477A (zh) | 2022-08-02 |
| JPWO2021130594A1 (ko) | 2021-07-01 |
| WO2021130594A1 (ja) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7303842B2 (ja) | 撮像装置、チップ、携帯電話 | |
| JP2023129625A (ja) | 撮像装置 | |
| US11991438B2 (en) | Imaging device and electronic device | |
| KR20200024151A (ko) | 촬상 장치 및 전자 기기 | |
| JP7217227B2 (ja) | 撮像装置、及び電子機器 | |
| KR20220122671A (ko) | 뉴럴 네트워크 모델 및 그 학습 방법 | |
| WO2021028762A1 (ja) | システム | |
| US20230109524A1 (en) | Imaging device and electronic device | |
| US20220359592A1 (en) | Imaging device and electronic device | |
| WO2018234925A1 (ja) | 撮像装置 | |
| JP2019004358A (ja) | 撮像装置および撮像システム | |
| KR20220003568A (ko) | 촬상 장치, 그 동작 방법, 및 전자 기기 | |
| US20230156376A1 (en) | Imaging device and electronic device | |
| US11956570B2 (en) | Imaging system and electronic device | |
| US20230133706A1 (en) | Imaging device | |
| KR20220043138A (ko) | 촬상 장치 또는 촬상 시스템 | |
| KR20220142457A (ko) | 촬상 장치, 전자 기기, 및 이동체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |