KR20200043386A - 화상 처리 방법 및 반도체 장치, 그리고 전자 기기 - Google Patents
화상 처리 방법 및 반도체 장치, 그리고 전자 기기 Download PDFInfo
- Publication number
- KR20200043386A KR20200043386A KR1020207004536A KR20207004536A KR20200043386A KR 20200043386 A KR20200043386 A KR 20200043386A KR 1020207004536 A KR1020207004536 A KR 1020207004536A KR 20207004536 A KR20207004536 A KR 20207004536A KR 20200043386 A KR20200043386 A KR 20200043386A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- resolution
- circuit
- transistor
- layer
- Prior art date
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 220
- 238000003672 processing method Methods 0.000 title claims description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims description 66
- 230000004048 modification Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 230000000717 retained effect Effects 0.000 claims description 6
- 239000010410 layer Substances 0.000 description 408
- 230000006870 function Effects 0.000 description 129
- 210000004027 cell Anatomy 0.000 description 99
- 238000012545 processing Methods 0.000 description 71
- 239000011701 zinc Substances 0.000 description 37
- 210000002569 neuron Anatomy 0.000 description 34
- 239000004973 liquid crystal related substance Substances 0.000 description 33
- 239000000758 substrate Substances 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 239000012535 impurity Substances 0.000 description 22
- 239000000463 material Substances 0.000 description 21
- 229910044991 metal oxide Inorganic materials 0.000 description 18
- 150000004706 metal oxides Chemical class 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000004913 activation Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 12
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 229910052710 silicon Inorganic materials 0.000 description 11
- 239000010703 silicon Substances 0.000 description 11
- 239000012790 adhesive layer Substances 0.000 description 10
- 239000003990 capacitor Substances 0.000 description 10
- 238000005530 etching Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000009413 insulation Methods 0.000 description 9
- 229910052751 metal Inorganic materials 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 8
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 239000013078 crystal Substances 0.000 description 8
- 229910052733 gallium Inorganic materials 0.000 description 8
- 229910052760 oxygen Inorganic materials 0.000 description 8
- 229910052782 aluminium Inorganic materials 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 239000001257 hydrogen Substances 0.000 description 7
- 229910052739 hydrogen Inorganic materials 0.000 description 7
- 229910052738 indium Inorganic materials 0.000 description 7
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 6
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000001301 oxygen Substances 0.000 description 6
- 239000011734 sodium Substances 0.000 description 6
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 5
- 229910052581 Si3N4 Inorganic materials 0.000 description 5
- 229910021417 amorphous silicon Inorganic materials 0.000 description 5
- 239000007789 gas Substances 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 5
- 238000005477 sputtering target Methods 0.000 description 5
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 4
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 229910001882 dioxygen Inorganic materials 0.000 description 4
- 230000005684 electric field Effects 0.000 description 4
- 238000010894 electron beam technology Methods 0.000 description 4
- 230000005669 field effect Effects 0.000 description 4
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 4
- 239000002105 nanoparticle Substances 0.000 description 4
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 4
- 238000004544 sputter deposition Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 229910052727 yttrium Inorganic materials 0.000 description 4
- 229910052725 zinc Inorganic materials 0.000 description 4
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 3
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 3
- 229910052684 Cerium Inorganic materials 0.000 description 3
- 229910052779 Neodymium Inorganic materials 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 3
- 238000002441 X-ray diffraction Methods 0.000 description 3
- QCWXUUIWCKQGHC-UHFFFAOYSA-N Zirconium Chemical compound [Zr] QCWXUUIWCKQGHC-UHFFFAOYSA-N 0.000 description 3
- 229910052796 boron Inorganic materials 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- ZMIGMASIKSOYAM-UHFFFAOYSA-N cerium Chemical compound [Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce] ZMIGMASIKSOYAM-UHFFFAOYSA-N 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000005685 electric field effect Effects 0.000 description 3
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 3
- 229910052732 germanium Inorganic materials 0.000 description 3
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 3
- 229910052735 hafnium Inorganic materials 0.000 description 3
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 229910052746 lanthanum Inorganic materials 0.000 description 3
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- QEFYFXOXNSNQGX-UHFFFAOYSA-N neodymium atom Chemical compound [Nd] QEFYFXOXNSNQGX-UHFFFAOYSA-N 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- 238000000623 plasma-assisted chemical vapour deposition Methods 0.000 description 3
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 229910052719 titanium Inorganic materials 0.000 description 3
- 239000010936 titanium Substances 0.000 description 3
- VWQVUPCCIRVNHF-UHFFFAOYSA-N yttrium atom Chemical compound [Y] VWQVUPCCIRVNHF-UHFFFAOYSA-N 0.000 description 3
- 239000011787 zinc oxide Substances 0.000 description 3
- 229910052726 zirconium Inorganic materials 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 2
- 229910052784 alkaline earth metal Inorganic materials 0.000 description 2
- 229910052790 beryllium Inorganic materials 0.000 description 2
- ATBAMAFKBVZNFJ-UHFFFAOYSA-N beryllium atom Chemical compound [Be] ATBAMAFKBVZNFJ-UHFFFAOYSA-N 0.000 description 2
- 229910052795 boron group element Inorganic materials 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 150000002431 hydrogen Chemical class 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 229910052749 magnesium Inorganic materials 0.000 description 2
- 239000011777 magnesium Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 229910052750 molybdenum Inorganic materials 0.000 description 2
- 239000011733 molybdenum Substances 0.000 description 2
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 2
- 239000002159 nanocrystal Substances 0.000 description 2
- 229910052759 nickel Inorganic materials 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 229910052696 pnictogen Inorganic materials 0.000 description 2
- 238000005546 reactive sputtering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052715 tantalum Inorganic materials 0.000 description 2
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 229910052720 vanadium Inorganic materials 0.000 description 2
- GPPXJZIENCGNKB-UHFFFAOYSA-N vanadium Chemical compound [V]#[V] GPPXJZIENCGNKB-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 229910052800 carbon group element Inorganic materials 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- PMHQVHHXPFUNSP-UHFFFAOYSA-M copper(1+);methylsulfanylmethane;bromide Chemical compound Br[Cu].CSC PMHQVHHXPFUNSP-UHFFFAOYSA-M 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- AJNVQOSZGJRYEI-UHFFFAOYSA-N digallium;oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Ga+3].[Ga+3] AJNVQOSZGJRYEI-UHFFFAOYSA-N 0.000 description 1
- 229910001873 dinitrogen Inorganic materials 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 229910001195 gallium oxide Inorganic materials 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- BHEPBYXIRTUNPN-UHFFFAOYSA-N hydridophosphorus(.) (triplet) Chemical compound [PH] BHEPBYXIRTUNPN-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 229910003437 indium oxide Inorganic materials 0.000 description 1
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 229910021424 microcrystalline silicon Inorganic materials 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229910052718 tin Inorganic materials 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052723 transition metal Inorganic materials 0.000 description 1
- 150000003624 transition metals Chemical class 0.000 description 1
- YVTHLONGBIQYBO-UHFFFAOYSA-N zinc indium(3+) oxygen(2-) Chemical compound [O--].[Zn++].[In+3] YVTHLONGBIQYBO-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
대량의 학습 데이터를 사용하지 않고 업컨버트를 수행하는 반도체 장치를 제공한다. 제 1 화상 데이터의 해상도를 높임으로써 고해상도의 화상 데이터를 생성하는 반도체 장치이다. 제 1 화상 데이터의 해상도를 저하시킴으로써 제 2 화상 데이터를 생성하는 제 1 단계와, 신경망에 제 2 화상 데이터를 입력함으로써 제 2 화상 데이터보다 해상도가 높은 제 3 화상 데이터를 생성하는 제 2 단계와, 제 1 화상 데이터와 제 3 화상 데이터를 비교함으로써 제 3 화상 데이터의 제 1 화상 데이터에 대한 오차를 산출하는 제 3 단계와, 오차에 기초하여 신경망의 가중 계수를 수정하는 제 4 단계를 포함하고, 제 2 단계 내지 제 4 단계를 규정된 횟수 수행한 후, 신경망에 제 1 화상 데이터를 입력함으로써 고해상도의 화상 데이터를 생성한다.
Description
본 발명의 일 형태는 화상 처리 방법 및 상기 화상 처리 방법에 의하여 동작하는 반도체 장치, 그리고 상기 반도체 장치를 포함하는 전자 기기에 관한 것이다.
또한 본 명세서 등에서 반도체 장치란, 반도체 특성을 이용함으로써 기능할 수 있는 장치 전반을 가리킨다. 표시 장치, 발광 장치, 기억 장치, 전기 광학 장치, 축전 장치, 반도체 회로, 및 전자 기기는 반도체 장치를 포함하는 경우가 있다.
또한 본 발명의 일 형태는 상기 기술분야에 한정되지 않는다. 본 명세서 등에서 개시(開示)하는 발명의 기술분야는 물건, 방법, 또는 제조 방법에 관한 것이다. 또는 본 발명의 일 형태는 공정(process), 기계(machine), 제품(manufacture), 또는 조성물(composition of matter)에 관한 것이다. 그러므로 더 구체적으로 본 명세서에서 개시하는 본 발명의 일 형태의 기술분야로서는 반도체 장치, 표시 장치, 액정 표시 장치, 발광 장치, 축전 장치, 촬상 장치, 기억 장치, 프로세서, 전자 기기, 이들의 구동 방법, 이들의 제조 방법, 이들의 검사 방법, 또는 이들의 시스템을 일례로서 들 수 있다.
텔레비전(TV)은 대화면화되면서 고해상도의 화상을 시청할 수 있는 것이 요구되고 있다. 일본에서는 2015년에 통신 위성(CS) 및 케이블 텔레비전 등에 의한 4K 실용 방송이 시작되고, 2016년에 방송 위성(BS)에 의한 4K·8K 시험 방송이 시작되었다. 앞으로 8K 실용 방송이 시작될 것으로 예정되어 있다. 그러므로 8K 방송에 대응하기 위한 각종 전자 기기가 개발되고 있다(비특허문헌 1). 8K 실용 방송에서는 4K 방송, 2K 방송(풀 하이비전 방송)도 병용될 예정이다.
8K 방송의 화상의 해상도(수평·수직에서의 화소수)는 7680×4320이고, 4K 방송(3840×2160)의 4배, 2K 방송(1920×1080)의 16배이다. 따라서 8K 방송의 화상을 보는 사람은 2K 방송의 화상 또는 4K 방송의 화상 등을 보는 사람보다 높은 임장감을 느낄 수 있는 것으로 기대된다.
또한 업컨버트를 수행함으로써 저해상도의 화상에서 고해상도의 화상을 생성하는 기술이 개시되어 있다(특허문헌 1).
S.Kawashima, et al., "13.3-In. 8K×4K 664-ppi OLED Display Using CAAC-OS FETs," SID 2014 DIGEST, pp.627-630.
업컨버트는 예를 들어 신경망을 사용하여 수행할 수 있다. 예를 들어, 교사 데이터를 준비하고, 이를 사용하여 신경망이 학습을 수행함으로써, 신경망은 업컨버트를 수행하는 기능을 가질 수 있다. 그러나 종래의 기술은, 대량의 학습 데이터를 준비하지 않으면 업컨버트에 의하여 생성된 고해상도의 화상의 화질이 높아지지 않는다는 문제가 있다.
그래서 본 발명의 일 형태는 대량의 학습 데이터를 사용하지 않고 업컨버트를 수행하는 화상 처리 방법을 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 업컨버트에 의하여 생성된 고해상도의 화상의 화질을 높이는 화상 처리 방법을 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 소규모의 회로로 업컨버트를 수행하는 화상 처리 방법을 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 고속으로 수행할 수 있는 화상 처리 방법을 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 신규 화상 처리 방법을 제공하는 것을 과제의 하나로 한다.
또는 본 발명의 일 형태는 대량의 학습 데이터를 사용하지 않고 업컨버트를 수행할 수 있는 반도체 장치를 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 생성된 고해상도의 화상의 화질이 높아지도록 업컨버트를 수행할 수 있는 반도체 장치를 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 소규모의 회로로 업컨버트를 수행할 수 있는 반도체 장치를 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 고속으로 동작하는 반도체 장치를 제공하는 것을 과제의 하나로 한다. 또는 본 발명의 일 형태는 신규 반도체 장치를 제공하는 것을 과제의 하나로 한다.
또한 본 발명의 일 형태의 과제는 위에서 열거한 과제에 한정되지 않는다. 위에서 열거한 과제는 다른 과제의 존재를 방해하는 것이 아니다. 또한 다른 과제는 이하에 기재되고 본 항목에서는 언급되지 않은 과제이다. 본 항목에서 언급되지 않은 과제는 통상의 기술자라면 명세서 또는 도면 등의 기재로부터 도출할 수 있는 것이고, 이들 기재로부터 적절히 추출할 수 있다. 또한 본 발명의 일 형태는 위에서 열거한 기재 및 다른 과제 중 적어도 하나의 과제를 해결하는 것이다. 또한 본 발명의 일 형태는 위에서 열거한 기재 및 다른 과제 모두를 해결할 필요는 없다.
본 발명의 일 형태는 제 1 화상 데이터의 해상도를 높임으로써 고해상도의 화상 데이터를 생성하는 화상 처리 방법이고, 제 1 화상 데이터의 해상도를 저하시킴으로써 제 2 화상 데이터를 생성하는 제 1 단계와, 신경망에 제 2 화상 데이터를 입력함으로써 제 2 화상 데이터보다 해상도가 높은 제 3 화상 데이터를 생성하는 제 2 단계와, 제 1 화상 데이터와 제 3 화상 데이터를 비교함으로써 제 3 화상 데이터의 제 1 화상 데이터에 대한 오차를 산출하는 제 3 단계와, 오차에 기초하여 신경망의 가중 계수를 수정하는 제 4 단계를 포함하고, 제 2 단계 내지 제 4 단계를 규정된 횟수 수행한 후, 신경망에 제 1 화상 데이터를 입력함으로써 고해상도의 화상 데이터를 생성하는 화상 처리 방법이다.
또한 상기 형태에서, 제 3 화상 데이터의 해상도는 제 1 화상 데이터의 해상도 이하이어도 좋다.
또한 상기 형태에서, 제 2 화상 데이터의 해상도는 제 1 화상 데이터의 해상도의 1/m2(m은 2 이상의 정수(整數))이고, 고해상도의 화상 데이터의 해상도는 제 1 화상 데이터의 해상도의 n2배(n은 2 이상의 정수)이어도 좋다.
또한 상기 형태에서, m의 값과 n의 값이 같아도 좋다.
또한 본 발명의 일 형태는 제 1 화상 데이터를 수신하고 제 1 화상 데이터의 해상도를 높인 고해상도의 화상 데이터를 생성하는 반도체 장치이고, 반도체 장치는 제 1 회로와, 제 2 회로와, 제 3 회로를 포함하고, 제 1 회로는 제 1 화상 데이터를 유지하는 기능을 갖고, 제 1 회로는 유지한 제 1 화상 데이터를 제 2 회로에 출력하는 기능을 갖고, 제 2 회로는 제 1 화상 데이터의 해상도를 저하시킴으로써 제 2 화상 데이터를 생성한 후, 제 2 화상 데이터를 제 3 회로에 입력하는 기능을 갖고, 제 3 회로는 제 2 화상 데이터의 해상도를 높임으로써 제 3 화상 데이터를 생성하는 기능을 갖고, 제 2 회로는 제 1 화상 데이터와 제 3 화상 데이터를 비교함으로써 제 3 화상 데이터의 제 1 화상 데이터에 대한 오차를 산출하는 기능을 갖고, 제 3 회로는 오차에 기초하여 제 3 회로의 파라미터를 수정하는 기능을 갖고, 제 3 회로는 파라미터의 수정을 규정된 횟수 수행한 후, 제 1 화상 데이터의 해상도를 높임으로써 고해상도의 화상 데이터를 생성하는 기능을 갖는 반도체 장치이다.
또한 상기 형태에서, 제 3 회로는 신경망을 포함하고, 파라미터는 신경망의 가중 계수이어도 좋다.
또한 상기 형태에서, 제 3 화상 데이터의 해상도는 제 1 화상 데이터의 해상도 이하이어도 좋다.
또한 상기 형태에서, 제 2 화상 데이터의 해상도는 제 1 화상 데이터의 해상도의 1/m2(m은 2 이상의 정수)이고, 고해상도의 화상 데이터의 해상도는 제 1 화상 데이터의 해상도의 n2배(n은 2 이상의 정수)이어도 좋다.
또한 상기 형태에서, m의 값과 n의 값이 같아도 좋다.
또한 본 발명의 일 형태의 반도체 장치와, 표시부를 포함하는 전자 기기도 본 발명의 일 형태이다.
본 발명의 일 형태에 의하여, 대량의 학습 데이터를 사용하지 않고 업컨버트를 수행하는 화상 처리 방법을 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 업컨버트에 의하여 생성된 고해상도의 화상의 화질을 높이는 화상 처리 방법을 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 소규모의 회로로 업컨버트를 수행하는 화상 처리 방법을 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 고속으로 수행할 수 있는 화상 처리 방법을 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 신규 화상 처리 방법을 제공할 수 있다.
또는 본 발명의 일 형태에 의하여, 대량의 학습 데이터를 사용하지 않고 업컨버트를 수행할 수 있는 반도체 장치를 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 생성된 고해상도의 화상의 화질이 높아지도록 업컨버트를 수행할 수 있는 반도체 장치를 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 소규모의 회로로 업컨버트를 수행할 수 있는 반도체 장치를 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 고속으로 동작하는 반도체 장치를 제공할 수 있다. 또는 본 발명의 일 형태에 의하여, 신규 반도체 장치를 제공할 수 있다.
또한 본 발명의 일 형태의 효과는 위에서 열거한 효과에 한정되지 않는다. 위에서 열거한 효과는 다른 효과의 존재를 방해하는 것이 아니다. 또한 다른 효과는 이하에 기재되고 본 항목에서는 언급되지 않은 효과이다. 본 항목에서 언급되지 않은 효과는 통상의 기술자라면 명세서 또는 도면 등의 기재로부터 도출할 수 있는 것이고, 이들 기재로부터 적절히 추출할 수 있다. 또한 본 발명의 일 형태는 위에서 열거한 효과 및 다른 효과 중 적어도 하나의 효과를 갖는 것이다. 따라서 본 발명의 일 형태는 경우에 따라서는 위에서 열거한 효과를 갖지 않는 경우도 있다.
도 1은 화상 처리 방법의 일례를 나타낸 도면.
도 2는 화상 처리 방법의 일례를 나타낸 흐름도.
도 3은 계층형 신경망의 일례를 나타낸 도면.
도 4는 계층형 신경망의 일례를 나타낸 도면.
도 5는 계층형 신경망의 일례를 나타낸 도면.
도 6은 화상 처리 방법의 일례를 나타낸 흐름도.
도 7은 화상 처리 방법의 일례를 나타낸 도면.
도 8은 화상 처리 방법의 일례를 나타낸 도면.
도 9는 화상 처리 방법의 일례를 나타낸 도면.
도 10은 송신 장치 및 수신 장치의 구성예를 나타낸 블록도.
도 11은 송신 장치 및 수신 장치의 구성예를 나타낸 블록도.
도 12는 반도체 장치의 구성예를 나타낸 도면.
도 13은 메모리 셀의 구성예를 나타낸 도면.
도 14는 오프셋 회로의 구성예를 나타낸 도면.
도 15는 반도체 장치의 동작 방법의 일례를 나타낸 타이밍 차트.
도 16은 화소의 구성예를 설명하기 위한 도면.
도 17은 화소 회로의 구성예를 설명하기 위한 도면.
도 18은 표시 장치의 구성예를 설명하기 위한 도면.
도 19는 표시 장치의 구성예를 설명하기 위한 도면.
도 20은 표시 장치의 구성예를 설명하기 위한 도면.
도 21은 표시 장치의 구성예를 설명하기 위한 도면.
도 22는 트랜지스터의 구성예를 설명하기 위한 도면.
도 23은 트랜지스터의 구성예를 설명하기 위한 도면.
도 24는 트랜지스터의 구성예를 설명하기 위한 도면.
도 25는 전자 기기의 일례를 나타낸 도면.
도 26은 표시 결과를 나타낸 도면.
도 2는 화상 처리 방법의 일례를 나타낸 흐름도.
도 3은 계층형 신경망의 일례를 나타낸 도면.
도 4는 계층형 신경망의 일례를 나타낸 도면.
도 5는 계층형 신경망의 일례를 나타낸 도면.
도 6은 화상 처리 방법의 일례를 나타낸 흐름도.
도 7은 화상 처리 방법의 일례를 나타낸 도면.
도 8은 화상 처리 방법의 일례를 나타낸 도면.
도 9는 화상 처리 방법의 일례를 나타낸 도면.
도 10은 송신 장치 및 수신 장치의 구성예를 나타낸 블록도.
도 11은 송신 장치 및 수신 장치의 구성예를 나타낸 블록도.
도 12는 반도체 장치의 구성예를 나타낸 도면.
도 13은 메모리 셀의 구성예를 나타낸 도면.
도 14는 오프셋 회로의 구성예를 나타낸 도면.
도 15는 반도체 장치의 동작 방법의 일례를 나타낸 타이밍 차트.
도 16은 화소의 구성예를 설명하기 위한 도면.
도 17은 화소 회로의 구성예를 설명하기 위한 도면.
도 18은 표시 장치의 구성예를 설명하기 위한 도면.
도 19는 표시 장치의 구성예를 설명하기 위한 도면.
도 20은 표시 장치의 구성예를 설명하기 위한 도면.
도 21은 표시 장치의 구성예를 설명하기 위한 도면.
도 22는 트랜지스터의 구성예를 설명하기 위한 도면.
도 23은 트랜지스터의 구성예를 설명하기 위한 도면.
도 24는 트랜지스터의 구성예를 설명하기 위한 도면.
도 25는 전자 기기의 일례를 나타낸 도면.
도 26은 표시 결과를 나타낸 도면.
본 명세서 등에서 인공 신경망(ANN, 이하 신경망이라고 함)이란, 생물의 신경 회로망을 본뜬 모델 전반을 가리킨다. 일반적으로는, 신경망은 뉴런을 본뜬 유닛이 시냅스를 본뜬 유닛을 통하여 서로 결합된 구성을 갖는다.
시냅스의 결합(뉴런들의 결합)의 강도(가중 계수라고도 함)는 신경망에 기존의 정보를 제공함으로써 변화시킬 수 있다. 이와 같이, 신경망에 기존의 정보를 제공하여 결합 강도를 결정하는 처리를 "학습"이라고 하는 경우가 있다.
또한 "학습"을 수행한(결합 강도를 결정한) 신경망에 대하여 어떠한 정보를 제공함으로써, 그 결합 강도에 기초하여 새로운 정보를 출력할 수 있다. 이와 같이, 신경망에서, 제공된 정보와 결합 강도에 기초하여 새로운 정보를 출력하는 처리를 "추론" 또는 "인지"라고 하는 경우가 있다.
신경망의 모델로서는, 예를 들어 홉필드형, 계층형 등이 있다. 특히, 다층 구조로 한 신경망을 "심층 신경망"(DNN)이라고 하고, 심층 신경망에 의한 기계 학습을 "심층 학습"이라고 한다. 또한 DNN에는 전(全)결합 신경망(FC-NN: Full Connected-Neural Network), 합성곱 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network) 등이 포함된다.
본 명세서 등에서 금속 산화물(metal oxide)이란, 넓은 의미로의 금속의 산화물이다. 금속 산화물은 산화물 절연체, 산화물 도전체(투명 산화물 도전체를 포함함), 산화물 반도체(Oxide Semiconductor 또는 단순히 OS라고도 함) 등으로 분류된다. 예를 들어, 트랜지스터의 반도체층에 금속 산화물을 사용한 경우, 상기 금속 산화물을 산화물 반도체라고 하는 경우가 있다. 즉, 금속 산화물이 증폭 작용, 정류 작용, 및 스위칭 작용 중 적어도 하나를 갖는 트랜지스터의 채널 형성 영역을 구성할 수 있는 경우, 상기 금속 산화물을 금속 산화물 반도체(metal oxide semiconductor), 줄여서 OS라고 할 수 있다. 또한 OS FET(또는 OS 트랜지스터)라고 기재하는 경우에는, 금속 산화물 또는 산화물 반도체를 포함하는 트랜지스터라고 바꿔 말할 수 있다.
반도체의 불순물이란, 예를 들어 반도체층을 구성하는 주성분 이외의 것을 말한다. 예를 들어 농도가 0.1atomic% 미만인 원소는 불순물이다. 불순물이 포함됨으로써, 예를 들어 반도체에 DOS(Density of States)가 형성되거나, 캐리어 이동도가 저하되거나, 결정성이 저하되는 일 등이 일어나는 경우가 있다. 반도체가 산화물 반도체인 경우, 반도체의 특성을 변화시키는 불순물로서는, 예를 들어 1족 원소, 2족 원소, 13족 원소, 14족 원소, 15족 원소, 주성분 이외의 전이 금속 등이 있고, 특히 예를 들어 수소(물에도 포함됨), 리튬, 소듐, 실리콘, 붕소, 인, 탄소, 질소 등이 있다. 산화물 반도체의 경우, 예를 들어 수소 등의 불순물의 혼입으로 인하여 산소 결손이 형성되는 경우가 있다. 또한 반도체가 실리콘인 경우, 반도체의 특성을 변화시키는 불순물로서는, 예를 들어 산소, 수소를 제외한 1족 원소, 2족 원소, 13족 원소, 15족 원소 등이 있다.
본 명세서 등에서 "제 1", "제 2", "제 3"이라는 서수사는 구성 요소의 혼동을 피하기 위하여 붙인 것이다. 따라서 구성 요소의 개수를 한정하는 것이 아니다. 또한 구성 요소의 순서를 한정하는 것이 아니다. 또한 예를 들어, 본 명세서 등의 실시형태 중 하나에서 "제 1"로 언급된 구성 요소가 다른 실시형태 또는 청구범위에서 "제 2"로 언급된 구성 요소가 될 수도 있다. 또한 예를 들어, 본 명세서 등의 실시형태 중 하나에서 "제 1"로 언급된 구성 요소가 다른 실시형태 또는 청구범위에서 생략될 수도 있다.
실시형태에 대하여 도면을 참조하면서 설명한다. 다만 실시형태는 상이한 많은 형태로 실시할 수 있고, 취지 및 그 범위에서 벗어남이 없이 그 형태 및 자세한 사항을 다양하게 변경할 수 있다는 것은 통상의 기술자라면 용이하게 이해할 수 있다. 따라서 본 발명은 실시형태의 기재 내용에 한정하여 해석되는 것은 아니다. 또한 실시형태의 발명의 구성에서 동일한 부분 또는 같은 기능을 갖는 부분에는 동일한 부호를 상이한 도면 사이에서 공통적으로 사용하고, 이의 반복적인 설명은 생략한다.
또한 본 명세서 등에서, "위에", "아래에" 등의 배치를 나타내는 어구는, 구성끼리의 위치 관계를 도면을 참조하여 설명하기 위하여 편의상 사용하고 있다. 구성끼리의 위치 관계는 각 구성을 묘사하는 방향에 따라 적절히 변화된다. 그러므로 배치를 나타내는 어구는 명세서에서 설명한 기재에 한정되지 않고, 상황에 따라 적절히 바꿔 말할 수 있다.
또한 "위"나 "아래"라는 용어는, 구성 요소의 위치 관계가 바로 위 또는 바로 아래이며, 직접 접촉된 것을 한정하는 것은 아니다. 예를 들어, "절연층(A) 위의 전극(B)"이라는 표현이면, 절연층(A) 위에 전극(B)이 직접 접촉되어 형성될 필요는 없고, 절연층(A)과 전극(B) 사이에 다른 구성 요소를 포함하는 것을 제외하지 않는다.
또한 도면에서, 크기, 층의 두께, 또는 영역은 설명의 편의상 임의의 크기로 나타낸 것이다. 따라서 그 스케일에 반드시 한정되는 것은 아니다. 또한 도면은 명확성을 기하기 위하여 모식적으로 나타낸 것이며, 도면에 나타난 형상 또는 값 등에 한정되지 않는다. 예를 들어 노이즈로 인한 신호, 전압, 또는 전류의 편차, 혹은 타이밍의 어긋남으로 인한 신호, 전압, 또는 전류의 편차 등을 포함할 수 있다.
또한 도면에서는 도면의 명확성을 기하기 위하여 일부의 구성 요소의 기재를 생략하는 경우가 있다.
또한 도면에서 동일한 요소 또는 같은 기능을 갖는 요소, 동일한 재질의 요소, 또는 동시에 형성되는 요소 등에는 동일한 부호를 붙이는 경우가 있고, 이의 반복적인 설명은 생략하는 경우가 있다.
본 명세서 등에서 트랜지스터의 접속 관계를 설명하는 경우, "소스 및 드레인 중 한쪽"(또는 제 1 전극 또는 제 1 단자), "소스 및 드레인 중 다른 쪽"(또는 제 2 전극 또는 제 2 단자)이라는 표기를 사용한다. 이는, 트랜지스터의 소스와 드레인은 트랜지스터의 구조 또는 동작 조건 등에 따라 바뀌기 때문이다. 또한 트랜지스터의 소스와 드레인의 호칭에 대해서는, 소스(드레인) 단자나 소스(드레인) 전극 등, 상황에 따라 적절히 바꿔 말할 수 있다. 또한 본 명세서 등에서는 게이트 이외의 2개의 단자를 제 1 단자, 제 2 단자라고 하는 경우나, 제 3 단자, 제 4 단자라고 하는 경우가 있다. 또한 본 명세서 등에서 기재하는 트랜지스터가 2개 이상의 게이트를 포함하는 경우(이 구성을 듀얼 게이트 구조라고 하는 경우가 있음), 이들의 게이트를 제 1 게이트, 제 2 게이트라고 하는 경우나, 프런트 게이트, 백 게이트라고 하는 경우가 있다. 특히, "프런트 게이트"라는 어구는 단순히 "게이트"라는 어구로 서로 바꿔 말할 수 있다. 또한 "백 게이트"라는 어구는 단순히 "게이트"라는 어구로 서로 바꿔 말할 수 있다. 또한 보텀 게이트란 트랜지스터의 제작 시에 채널 형성 영역보다 먼저 형성되는 단자를 말하고, "톱 게이트"란 트랜지스터의 제작 시에 채널 형성 영역보다 나중에 형성되는 단자를 말한다.
트랜지스터는 게이트, 소스, 및 드레인이라고 불리는 3개의 단자를 갖는다. 게이트는 트랜지스터의 도통 상태를 제어하는 제어 단자로서 기능하는 단자이다. 소스 또는 드레인으로서 기능하는 2개의 입출력 단자는, 트랜지스터의 형태 및 각 단자에 공급되는 전위의 고저(高低)에 따라 한쪽이 소스가 되고 다른 쪽이 드레인이 된다. 그러므로 본 명세서 등에서는 소스나 드레인이라는 용어는 바꿔 사용할 수 있는 것으로 한다.
또한 본 명세서 등에서 "전극"이나 "배선"이라는 용어는, 이들 구성 요소를 기능적으로 한정하는 것이 아니다. 예를 들어, "전극"은 "배선"의 일부로서 사용되는 경우가 있고, 그 반대도 마찬가지이다. 또한 "전극"이나 "배선"이라는 용어는, 복수의 "전극"이나 "배선"이 일체가 되어 형성되어 있는 경우 등도 포함한다.
또한 본 명세서 등에서 전압과 전위는 적절히 바꿔 말할 수 있다. 전압은 기준이 되는 전위로부터의 전위차를 말하고, 예를 들어 기준이 되는 전위가 그라운드 전위(접지 전위)인 경우, 전압을 전위라고 바꿔 말할 수 있다. 그라운드 전위는 반드시 0V를 의미하는 것은 아니다. 또한 전위는 상대적인 것이고, 기준이 되는 전위에 따라서는 배선 등에 공급되는 전위를 변화시키는 경우가 있다.
또한 본 명세서 등에서 "막", "층" 등의 어구는, 경우에 따라 또는 상황에 따라 서로 바꿀 수 있다. 예를 들어, "도전층"이라는 용어를 "도전막"이라는 용어로 변경할 수 있는 경우가 있다. 또는 예를 들어 "절연막"이라는 용어를 "절연층"이라는 용어로 변경할 수 있는 경우가 있다. 또는 경우에 따라 또는 상황에 따라 "막", "층" 등의 어구를 사용하지 않고, 다른 용어로 바꿀 수 있다. 예를 들어, "도전층" 또는 "도전막"이라는 용어를 "도전체"라는 용어로 변경할 수 있는 경우가 있다. 또는 예를 들어, "절연층", "절연막"이라는 용어를 "절연체"라는 용어로 변경할 수 있는 경우가 있다.
또한 본 명세서 등에서 "배선", "신호선", "전원선" 등의 용어는, 경우에 따라 또는 상황에 따라 서로 바꿀 수 있다. 예를 들어, "배선"이라는 용어를 "신호선"이라는 용어로 변경할 수 있는 경우가 있다. 또한 예를 들어, "배선"이라는 용어를 "전원선" 등의 용어로 변경할 수 있는 경우가 있다. 또한 그 반대도 마찬가지로 "신호선", "전원선" 등의 용어를 "배선"이라는 용어로 변경할 수 있는 경우가 있다. "전원선" 등의 용어는 "신호선" 등의 용어로 변경할 수 있는 경우가 있다. 또한 그 반대도 마찬가지로 "신호선" 등의 용어는 "전원선" 등의 용어로 변경할 수 있는 경우가 있다. 또한 배선에 인가되어 있는 "전위"라는 용어를 경우에 따라 또는 상황에 따라 "신호" 등의 용어로 변경할 수 있는 경우가 있다. 또한 그 반대도 마찬가지로 "신호" 등의 용어는 "전위"라는 용어로 변경할 수 있는 경우가 있다.
각 실시형태에 기재된 구성은, 다른 실시형태에 기재된 구성과 적절히 조합하여 본 발명의 일 형태로 할 수 있다. 또한 하나의 실시형태에 복수의 구성예가 제시되는 경우에는, 구성예를 서로 적절히 조합할 수 있다.
또한 어떤 하나의 실시형태에서 설명하는 내용(일부 내용이어도 좋음)은, 그 실시형태에서 설명하는 다른 내용(일부 내용이어도 좋음)과, 하나 또는 복수의 다른 실시형태에서 설명하는 내용(일부 내용이어도 좋음) 중 적어도 하나의 내용에 대하여 적용, 조합, 또는 치환 등을 수행할 수 있다.
또한 실시형태에서 설명하는 내용이란, 각 실시형태에서 다양한 도면을 사용하여 설명하는 내용, 또는 명세서에 기재되는 문장을 사용하여 설명하는 내용을 말한다.
또한 어떤 하나의 실시형태에서 설명하는 도면(일부이어도 좋음)은, 그 도면의 다른 부분, 그 실시형태에서 설명하는 다른 도면(일부이어도 좋음)과, 하나 또는 복수의 다른 실시형태에서 설명하는 도면(일부이어도 좋음) 중 적어도 하나의 도면과 조합함으로써, 더 많은 도면을 구성할 수 있다.
(실시형태 1)
본 실시형태에서는, 본 발명의 일 형태의 화상 처리 방법의 일례에 대하여 설명한다.
<화상 처리 방법의 일례>
본 발명의 일 형태는 제 1 화상 데이터의 해상도를 높임으로써, 즉 제 1 화상 데이터를 업컨버트함으로써 고해상도의 화상 데이터를 생성하는 화상 처리 방법에 관한 것이다. 상기 화상 처리는 해상도 확장 회로를 사용하여 수행되고, 해상도 확장 회로가 학습을 수행한 후, 제 1 화상 데이터를 업컨버트한다.
학습 동작을 수행하는 경우에는, 먼저 제 1 화상 데이터의 해상도를 저하시킴으로써 제 2 화상 데이터를 생성한다. 다음으로, 제 2 화상 데이터를 해상도 확장 회로에 입력하여, 해상도를 예를 들어 제 1 화상 데이터와 같은 정도까지 높인 화상 데이터를 생성한다. 그 후, 제 1 화상 데이터와, 해상도 확장 회로가 생성한 화상 데이터를 비교함으로써, 해상도 확장 회로가 생성한 화상 데이터의 제 1 화상 데이터에 대한 오차를 산출한다. 다음으로, 상기 오차에 기초하여 해상도 확장 회로의 파라미터를 수정한다. 이상이 학습 동작이다.
해상도를 예를 들어 제 1 화상 데이터와 같은 정도까지 높인 화상 데이터에 대한, 해상도 확장 회로에 의한 생성에서 해상도 확장 회로의 파라미터 수정까지의 동작을 규정된 횟수 수행한 후, 해상도 확장 회로에 제 1 화상 데이터를 입력함으로써 제 1 화상 데이터를 업컨버트하여 고해상도의 화상 데이터를 생성한다. 업컨버트가 완료된 후, 상기 학습 동작을 다시 수행한다.
또한 해상도 확장 회로는, 예를 들어 신경망을 포함하는 구성으로 할 수 있다. 이 경우, 해상도 확장 회로의 파라미터는 신경망의 가중 계수로 할 수 있다.
또한 해상도를 예를 들어 제 1 화상 데이터와 같은 정도까지 높인 화상 데이터에 대한, 해상도 확장 회로에 의한 생성에서 해상도 확장 회로의 파라미터 수정까지의 동작을, 예를 들어 해상도 확장 회로가 생성한 화상 데이터의 제 1 화상 데이터에 대한 오차가 일정한 값 미만이 될 때까지 수행하여도 좋다.
상기 화상 처리 방법에서는, 업컨버트되는 화상 데이터인 제 1 화상 데이터를 학습 데이터로서 사용하기 때문에, 대량의 학습 데이터를 준비하지 않아도 해상도 확장 회로에 의하여 고해상도이며 고화질의 화상을 생성할 수 있다. 또한 예를 들어 과학습이 발생하여도, 과학습이 발생하지 않은 경우보다 업컨버트 후의 화상의 화질이 저하되는 것을 억제할 수 있다. 또한 해상도 확장 회로를 소규모로 할 수 있다.
도 1의 (A), (B), 및 도 2를 사용하여, 본 발명의 일 형태의 화상 처리 방법인 화상 데이터의 해상도를 높이는 방법의 일례에 대하여 설명한다. 도 1의 (A), (B)는 4K(3840×2160)에 대응하는 해상도의 화상 데이터(IMG)를 업컨버트하여 8K(7680×4320)에 대응하는 해상도의 화상 데이터(UCIMG)를 생성하는 방법을 나타낸 도면이다. 도 2는 화상 데이터의 해상도를 높이는 방법의 일례를 나타낸 흐름도이다.
본 발명의 일 형태의 화상 처리 방법에서는, 우선 화상 데이터(IMG)의 해상도를 저하시킴으로써 화상 데이터(DCIMG)를 생성한다(단계 S01). 도 1의 (A)에는 화상 데이터(DCIMG)의 해상도를 1920×1080으로 하는 경우를 나타내었다.
다음으로, 변수 i를 준비하고, 변수 i를 1로 한다(단계 S02). 그 후, 화상 데이터(DCIMG)를, 입력된 화상 데이터의 업컨버트를 수행하는 기능을 갖는 해상도 확장 회로(DE)에 입력한다. 이로써, 해상도 확장 회로(DE)가 화상 데이터(DCIMG)의 해상도를 높임으로써 화상 데이터(OIMG[i])를 생성한다(단계 S03). 여기서 변수 i는 1이므로, 해상도 확장 회로(DE)는 화상 데이터(DCIMG)의 해상도를 높임으로써 화상 데이터(OIMG[1])를 생성한다. 여기서, 해상도 확장 회로(DE)는, 입력된 화상 데이터에 대하여 본래 존재하지 않는 데이터를 보간함으로써, 업컨버트를 수행할 수 있다. 또한 화상 데이터(OIMG[i])의 해상도는 화상 데이터(IMG)의 해상도와 같은 것이 바람직하지만, 같지 않아도 된다. 예를 들어, 화상 데이터(OIMG[i])의 해상도는 화상 데이터(IMG)의 해상도 미만이어도 좋다. 도 1의 (A)에는 화상 데이터(OIMG[i])의 해상도를 화상 데이터(IMG)의 해상도와 마찬가지로 3840×2160으로 하는 경우를 나타내었다.
해상도 확장 회로(DE)는 예를 들어 신경망을 포함하는 회로로 할 수 있다. 상기 신경망으로서는, 예를 들어 계층형 신경망을 적용할 수 있다.
도 3은 계층형 신경망의 일례를 나타낸 도면이다. 제 (k-1) 층(여기서 k는 2 이상의 정수임)은 뉴런을 P개(여기서 P는 1 이상의 정수임) 포함하고, 제 k 층은 뉴런을 Q개(여기서 Q는 1 이상의 정수임) 포함하고, 제 (k+1) 층은 뉴런을 R개(여기서 R는 1 이상의 정수임) 포함한다.
제 (k-1) 층의 제 p 뉴런(여기서 p는 1 이상 P 이하의 정수임)의 출력 신호(zp (k-1))와 가중 계수(wqp (k))의 곱이 제 k 층의 제 q 뉴런(여기서 q는 1 이상 Q 이하의 정수임)에 입력되는 것으로 하고, 제 k 층의 제 q 뉴런의 출력 신호(zq (k))와 가중 계수(wrq (k+1))의 곱이 제 (k+1) 층의 제 r 뉴런(여기서 r는 1 이상 R 이하의 정수임)에 입력되는 것으로 하고, 제 (k+1) 층의 제 r 뉴런의 출력 신호를 zr (k+1)로 한다.
이때 제 k 층의 제 q 뉴런에 입력되는 신호의 합계(uq (k))는 다음의 식으로 나타내어진다.
[수학식 1]
또한 제 k 층의 제 q 뉴런으로부터의 출력 신호(zq (k))를 다음의 식으로 정의한다.
[수학식 2]
함수(f(uq (k)))는 활성화 함수이고, 계단 함수, 선형 램프 함수, 또는 시그모이드 함수 등을 사용할 수 있다. 또한 활성화 함수는 모든 뉴런에서 동일하여도 좋고 상이하여도 좋다. 또한 활성화 함수는 층마다 동일하여도 좋고 상이하여도 좋다.
여기서, 도 4에 나타낸 총 L층(여기서 L은 3 이상의 정수임)으로 이루어진 계층형 신경망에 대하여 고찰한다. 즉, 여기서 k는 2 이상 (L-1) 이하의 정수인 것으로 한다. 제 1 층은 계층형 신경망의 입력층이고, 제 L 층은 계층형 신경망의 출력층이고, 제 2 층 내지 제 (L-1) 층은 계층형 신경망의 은닉층이다.
제 1 층(입력층)은 뉴런을 P개 포함하고, 제 k 층(은닉층)은 뉴런을 Q[k]개(Q[k]는 1 이상의 정수임) 포함하고, 제 L 층(출력층)은 뉴런을 R개 포함한다.
그런데 제 1 층에 입력 데이터가 입력됨으로써, 제 1 층은 상기 입력 데이터를 그대로 출력할 수 있다. 즉, 제 1 층은 버퍼 회로로서 기능하여도 좋다.
제 1 층의 제 s[1] 뉴런(s[1]은 1 이상 P 이하의 정수임)의 출력 신호를 zs[1] (1)로 하고, 제 k 층의 제 s[k] 뉴런(s[k]는 1 이상 Q[k] 이하의 정수임)의 출력 신호를 zs[k] (k)로 하고, 제 L 층의 제 s[L] 뉴런(s[L]은 1 이상 R 이하의 정수임)의 출력 신호를 zs[L] (L)로 한다.
또한 제 (k-1) 층의 제 s[k-1] 뉴런(s[k-1]은 1 이상 Q[k-1] 이하의 정수임)의 출력 신호(zs[k-1] (k-1))와 가중 계수(ws[k]s[k-1] (k))의 곱(us[k] (k))이 제 k 층의 제 s[k] 뉴런에 입력되는 것으로 하고, 제 (L-1) 층의 제 s[L-1] 뉴런(s[L-1]은 1 이상 Q[L-1] 이하의 정수임)의 출력 신호(zs[L-1] (L-1))와 가중 계수(ws[L]s[L-1] (L))의 곱(us[L] (L))이 제 L 층의 제 s[L] 뉴런에 입력되는 것으로 한다.
다음으로, 학습에 대하여 설명한다. 상술한 계층형 신경망의 기능에서, 출력한 결과와, 원하는 결과(학습 데이터라고 하는 경우가 있음)가 상이할 때, 계층형 신경망의 모든 가중 계수를, 출력한 결과와 원하는 결과에 기초하여 갱신하는 동작을 학습이라고 한다. 여기서는, 학습 데이터를 화상 데이터(IMG)로 할 수 있다.
상기 학습의 구체적인 예로서, 오차 역전파 방식에 대하여 설명한다. 도 5는 오차 역전파 방식에 의한 학습 방법을 설명하기 위한 도면이다. 오차 역전파 방식은 계층형 신경망의 출력과 학습 데이터의 오차가 작아지도록 가중 계수를 수정하는 방식이다.
예를 들어, 제 1 층의 제 s[1] 뉴런에 입력 데이터를 입력하고, 제 L 층의 제 s[L] 뉴런으로부터 출력 데이터(zs[L] (L))를 출력한 것으로 가정한다. 여기서, 출력 데이터(zs[L] (L))에 대한 학습 데이터가 ts[L] (L)인 경우, 오차 에너지 E는 출력 데이터(zs[L] (L)) 및 학습 데이터(ts[L] (L))에 의하여 나타낼 수 있다.
오차 에너지 E에 대하여, 제 k 층의 제 s[k] 뉴런의 가중 계수(ws[k]s[k-1] (k))의 갱신량을 ∂E/∂ws[k]s[k-1] (k)로 함으로써, 가중 계수를 새로 변경할 수 있다. 여기서, 제 k 층의 제 s[k] 뉴런의 출력값(zs[k] (k))의 오차(δs[k] (k))를 ∂E/∂us[k] (k)로 정의하면, δs[k] (k) 및 ∂E/∂ws[k]s[k-1] (k)를 각각 다음의 식으로 나타낼 수 있다. 또한 f'(us[k] (k))는 활성화 함수의 도함수이다.
[수학식 3]
[수학식 4]
여기서, 제 (k+1) 층이 출력층일 때, 즉 제 (k+1) 층이 제 L 층일 때, δs[L] (L) 및 ∂E/∂ws[L]s[L-1] (L)은 각각 다음의 식으로 나타낼 수 있다.
[수학식 5]
[수학식 6]
즉, 식(1) 내지 식(6)으로부터, 모든 뉴런의 오차(δs[k] (k) 및 δs[L] (L))를 구할 수 있다. 또한 가중 계수의 갱신량은 오차(δs[k] (k), δs[L] (L)) 및 원하는 파라미터 등에 기초하여 설정된다.
도 1의 (A) 및 도 2에 나타낸 단계 S03이 종료된 후, 화상 데이터(IMG)와, 해상도 확장 회로(DE)가 생성한 화상 데이터(OIMG[i])를 비교함으로써, 화상 데이터(OIMG[i])의 화상 데이터(IMG)에 대한 오차를 산출한다(단계 S04). 여기서 변수 i는 1이므로, 화상 데이터(IMG)와 해상도 확장 회로(DE)가 생성한 화상 데이터(OIMG[1])를 비교함으로써, 화상 데이터(OIMG[1])의 화상 데이터(IMG)에 대한 오차를 산출한다. 산출한 오차가 작아지도록 해상도 확장 회로(DE)의 파라미터를 수정한다(단계 S05). 상기 파라미터로서는 예를 들어 가중 계수를 사용할 수 있다. 예를 들어, 해상도 확장 회로(DE)가 신경망을 포함하고, 오차 역전파 방식에 의하여 학습을 수행하는 경우에는, 해상도 확장 회로(DE)로부터 출력되는 화상 데이터(OIMG[i])와, 학습 데이터인 화상 데이터(IMG)의 오차가 작아지도록 가중 계수를 수정한다.
다음으로, 학습 횟수, 즉 단계 S03 내지 단계 S05를 수행한 횟수가 규정된 값에 도달되었는지 여부를 판정한다(단계 S06). 규정된 값에 도달되지 않은 경우에는, 변수 i를 1 증가시킨 후(단계 S07) 단계 S03으로 되돌아간다. 규정된 값에 도달된 경우에는, 화상 데이터(IMG)를 해상도 확장 회로(DE)에 입력한다. 이로써, 화상 데이터(IMG)를 업컨버트한 화상 데이터(UCIMG)를 생성한다(단계 S08). 그 후, 단계 S01로 되돌아간다. 이상이 본 발명의 일 형태의 화상 처리 방법이다.
본 발명의 일 형태의 화상 처리 방법에서는, 화상 데이터(IMG)를 학습 데이터로서 사용하여, 도 1의 (A) 및 도 2의 단계 S01 내지 단계 S07에 나타낸 절차로 해상도 확장 회로(DE)가 학습을 수행한다. 학습이 완료된 후, 즉 학습 횟수가 규정된 값에 도달되면, 도 1의 (B) 및 도 2의 단계 S08에 나타낸 절차로 해상도 확장 회로(DE)가 화상 데이터(IMG)를 업컨버트한다. 업컨버트가 완료된 후, 도 1의 (A) 및 도 2의 단계 S01 내지 단계 S07에 나타낸 절차로 해상도 확장 회로(DE)가 다시 학습을 수행한다.
본 발명의 일 형태의 학습 방법에서는, 업컨버트되는 화상 데이터인 화상 데이터(IMG)를 학습 데이터로서 사용하기 때문에, 대량의 학습 데이터를 준비하지 않아도 업컨버트 후의 화상 데이터인 화상 데이터(UCIMG)에 대응하는 화상을 고화질로 할 수 있다. 또한 예를 들어 과학습이 발생하여도, 과학습이 발생하지 않은 경우보다 화상 데이터(UCIMG)에 대응하는 화상의 화질이 저하되는 것을 억제할 수 있다. 또한 해상도 확장 회로(DE)를 소규모로 할 수 있다. 예를 들어, 해상도 확장 회로(DE)가 신경망을 포함하는 경우, 뉴런의 개수 및 은닉층의 개수를 줄일 수 있다.
또한 도 1의 (A)에서는, 화상 데이터(DCIMG)의 해상도를 화상 데이터(IMG)의 해상도의 1/4로 하였지만, 본 발명의 일 형태의 화상 처리 방법은 이에 한정되지 않는다. 예를 들어, 화상 데이터(DCIMG)의 해상도를 화상 데이터(IMG)의 해상도의 1/16로 하여도 좋고, 1/64로 하여도 좋다. 또는 화상 데이터(DCIMG)의 해상도를 화상 데이터(IMG)의 해상도의 1/m2(m은 2 이상의 정수)로 하여도 좋다.
또한 도 1의 (B)에서는, 화상 데이터(UCIMG)의 해상도를 화상 데이터(IMG)의 해상도의 4배로 하였지만, 본 발명의 일 형태의 화상 처리 방법은 이에 한정되지 않는다. 예를 들어, 화상 데이터(UCIMG)의 해상도를 화상 데이터(IMG)의 해상도의 16배로 하여도 좋고, 64배로 하여도 좋다. 또는 화상 데이터(UCIMG)의 해상도를 화상 데이터(IMG)의 해상도의 n2(n은 2 이상의 정수)으로 하여도 좋다. 여기서 n의 값이 m의 값과 같으면, 화상 데이터(IMG)를 학습 결과에 기초하여 정확하게 업컨버트할 수 있기 때문에, 화상 데이터(UCIMG)에 대응하는 화상을 고화질로 할 수 있어 바람직하다.
도 2에는, 학습 횟수가 규정된 값에 도달된 후에 화상 데이터(IMG)를 업컨버트하여 화상 데이터(UCIMG)를 생성하는 경우를 나타내었지만, 본 발명의 일 형태는 이에 한정되지 않는다. 도 6은, 단계 S06에서 학습 횟수가 규정된 값에 도달되었는지 여부를 판정하는 대신에, 화상 데이터(OIMG[i])의 화상 데이터(IMG)에 대한 오차가 일정한 값 미만이 되었는지 여부를 판정하는 경우를 나타낸 것이다(단계 S06'). 오차가 일정한 값 이상인 경우에는 단계 S07을 수행하고, 오차가 일정한 값 미만인 경우에는 단계 S08을 수행한다. 도 6에 나타낸 방법은, 오차가 큰 상태로 화상 데이터(IMG)가 업컨버트되는 것을 억제할 수 있다.
단계 S06'에서, 오차는, 예를 들어 도 5에 나타낸 제 k 층(여기서 k는 2 이상 L-1 이하의 정수임)에 제공된 모든 뉴런의 오차(δs[k] (k))의 합계와, 도 5에 나타낸 제 L 층에 제공된 모든 뉴런의 오차(δs[L] (L))의 합계의 합으로 할 수 있다. 또는 오차는, 도 5에 나타낸 제 L 층에 제공된 모든 뉴런의 오차(δs[L] (L))의 합계로 할 수 있다.
도 7의 (A)는 해상도 확장 회로(DE)의 학습 방법에 대하여 설명하는 도면이고, 도 1의 (A)의 변형예이다. 도 7의 (B)는 화상 데이터(IMG)의 업컨버트 방법에 대하여 설명하는 도면이고, 도 1의 (B)의 변형예이다.
도 1의 (A), (B)에는, 1장의 화상에 대응하는 화상 데이터(IMG)를 학습 데이터로 하여 학습을 수행한 후, 1장의 화상에 대응하는 화상 데이터(IMG)를 업컨버트하여 1장의 화상에 대응하는 화상 데이터(UCIMG)를 생성하는 경우를 나타내었다. 한편 도 7의 (A), (B)에는, 2장의 화상에 대응하는 화상 데이터(IMG)를 학습 데이터로 하여 학습을 수행한 후, 2장의 화상에 대응하는 화상 데이터(IMG)를 업컨버트하여 2장의 화상에 대응하는 화상 데이터(UCIMG)를 생성하는 경우를 나타내었다. 또한 3장 이상의 화상에 대응하는 화상 데이터(IMG)를 학습 데이터로 하여 학습을 수행한 후, 3장 이상의 화상에 대응하는 화상 데이터(IMG)를 업컨버트하여 3장 이상의 화상에 대응하는 화상 데이터(UCIMG)를 생성하여도 좋다.
본 명세서 등에서 1장의 화상, 2장의 화상 등이라고 하는 경우, "장"이라는 말을 "프레임"이라고 바꿔 말할 수 있는 경우가 있다. 또한 "화상"이라는 말을 "정지 화상"이라고 바꿔 말할 수 있는 경우가 있다.
도 7의 (A), (B)에 나타낸 화상 처리 방법에 의하여, 해상도 확장 회로(DE)가 학습을 수행하는 빈도를 줄일 수 있다. 이로써, 특히 동영상을 업컨버트하는 경우 등, 대량의 화상을 업컨버트하는 경우에 본 발명의 일 형태의 화상 처리 방법을 고속으로 수행할 수 있다.
도 8의 (A)는 해상도 확장 회로(DE)의 학습 방법에 대하여 설명하는 도면이고, 도 8의 (B)는 화상 데이터(IMG)의 업컨버트 방법에 대하여 설명하는 도면이다. 도 8의 (A), (B)는 도 1의 (A), (B)의 변형예이다.
도 8의 (A)에는 도 1의 (A)와 마찬가지로 1장의 화상에 대응하는 화상 데이터(IMG)를 학습 데이터로 하여 학습을 수행하는 경우를 나타내었다. 도 8의 (B)에는 학습 데이터로서 사용한 화상 데이터(IMG)에 더하여, 학습 데이터로 하지 않은 화상 데이터(IMGa)를 업컨버트하는 경우를 나타내었다. 여기서 화상 데이터(IMG)를 업컨버트하여 생성된 화상 데이터를 화상 데이터(UCIMG)라고 하고, 화상 데이터(IMGa)를 업컨버트하여 생성된 화상 데이터를 화상 데이터(UCIMGa)라고 한다.
또한 도 8의 (A), (B)에서, 학습 데이터로서 사용하는 화상 데이터(IMG) 및 학습 데이터로 하지 않은 화상 데이터(IMGa)는 모두 1장의 화상에 대응하는 화상 데이터이지만, 본 발명의 일 형태의 화상 처리 방법은 이에 한정되지 않는다. 학습 데이터로서 사용하는 화상 데이터(IMG)를 2장 이상의 화상에 대응하는 화상 데이터로 하여도 좋고, 학습 데이터로 하지 않은 화상 데이터(IMGa)를 2장 이상의 화상에 대응하는 화상 데이터로 하여도 좋다.
도 8의 (A), (B)에 나타낸 화상 처리 방법에 의하여, 학습 데이터의 개수를 늘리지 않고, 해상도 확장 회로(DE)가 학습을 수행하는 빈도를 줄일 수 있다. 이로써, 대량의 화상을 업컨버트하는 경우에 본 발명의 일 형태의 화상 처리 방법을 고속으로 수행할 수 있다.
여기서 화상 데이터(IMG)와 화상 데이터(IMGa)는, 가능한 한 차분이 작은, 즉 비슷한 화상 데이터인 것이 바람직하다. 따라서 도 8의 (A), (B)에 나타낸 화상 처리 방법은, 예를 들어 동영상을 업컨버트하는 경우에 적용되는 것이 바람직하다. 동영상을 업컨버트하는 경우, 화상 데이터(IMGa)는 예를 들어 화상 데이터(IMG)의 다음의 프레임의 화상 데이터로 할 수 있다.
또한 화상 데이터(IMGa)를 업컨버트한 후, 화상 데이터(IMG)와, 업컨버트의 대상이 된 화상 데이터(IMGa)를 비교함으로써 양자의 차분을 검출하여도 좋다. 예를 들어 양자의 차분이 일정한 값 미만인 경우에는, 학습을 다시 수행하지 않고 업컨버트를 계속 수행하고, 양자의 차분이 일정한 값 이상인 경우에는, 학습을 다시 수행하는 것으로 할 수 있다. 이로써, 예를 들어 동영상을 업컨버트하는 경우, 장면이 크게 바뀐 경우에만 학습을 다시 수행하는 것으로 할 수 있다. 따라서 업컨버트되어 생성된 화상의 열화를 억제하면서, 본 발명의 일 형태의 화상 처리 방법을 고속으로 수행할 수 있다.
도 9의 (A)는 해상도 확장 회로(DE)의 학습 방법에 대하여 설명하는 도면이고, 도 1의 (A)의 변형예이다. 도 9의 (B)는 화상 데이터(IMG)의 업컨버트 방법에 대하여 설명하는 도면이고, 도 1의 (B)의 변형예이다.
도 9의 (A), (B)는 1장의 화상을 분할하고, 분할한 화상에 대응하는 화상 데이터를 화상 데이터(IMG)로 하는 경우를 나타낸 것이다. 즉, 분할한 화상에 대응하는 화상 데이터를 학습 데이터로 하여 해상도 확장 회로(DE)가 학습을 수행한 후, 상기 분할한 화상에 대응하는 화상 데이터를 업컨버트한다.
도 9의 (A), (B)에 나타낸 화상 처리 방법에 의하여, 화상 데이터(IMG) 및 업컨버트 후의 화상 데이터인 화상 데이터(UCIMG)의 해상도를 작게 할 수 있다. 이로써, 학습 및 업컨버트를 수행할 때 필요한 계산량을 적게 할 수 있다. 이로써, 본 발명의 일 형태의 화상 처리 방법을 고속으로 수행할 수 있다.
또한 도 9의 (A), (B)에 나타낸 화상 처리 방법에서는, 화상 데이터(IMG)를 2×2의 화상 데이터로 분할하지만, 본 발명의 일 형태는 이에 한정되지 않는다. 예를 들어, 화상 데이터(IMG)를 3×3의 화상 데이터로 분할하여도 좋고, 4×4의 화상 데이터로 분할하여도 좋고, 10×10의 화상 데이터로 분할하여도 좋고, 10×10보다 많은 화상 데이터로 분할하여도 좋다. 또한 수평 방향에서의 분할 개수와, 수직 방향에서의 분할 개수가 상이하여도 좋다. 예를 들어, 화상 데이터(IMG)를 4×3의 화상 데이터, 즉 수평 방향에서 4개의 화상 데이터, 또한 수직 방향에서 3개의 화상 데이터로 분할하여도 좋다.
<송신 장치 및 수신 장치의 구성예>
본 발명의 일 형태의 화상 처리 방법은, 송신 장치와 수신 장치를 포함하는 시스템인 표시 시스템에 적용될 수 있다. 도 10은 상기 표시 시스템에 포함되는 송신 장치(TD) 및 수신 장치(DD)의 구성예를 나타낸 블록도이다.
본 명세서 등에서는, 송신 장치 또는 수신 장치를 반도체 장치라고 하는 경우가 있다.
송신 장치(TD)는 기억 회로(MEM1), 화상 처리 회로(IP1), 해상도 확장 회로(DE), 및 인코더(ENC)를 포함한다. 수신 장치(DD)는 디코더(DEC), 기억 회로(MEM2), 화상 처리 회로(IP2), 게이트 드라이버(GD), 소스 드라이버(SD), 및 표시 패널(DP)을 포함한다. 표시 패널(DP)에서는 화소(PIX)가 매트릭스상으로 배열되어 있다. 화소(PIX)는 소스선에 의하여 소스 드라이버(SD)에 전기적으로 접속되고, 게이트선에 의하여 게이트 드라이버(GD)에 전기적으로 접속되어 있다.
즉, 도 10에 나타낸 구성의 표시 시스템은, 도 1의 (A), (B) 등에 나타낸 해상도 확장 회로(DE)를 송신 장치(TD)에 제공한 구성을 갖는다.
기억 회로(MEM1)는 화상 데이터를 유지하는 기능을 갖는다. 예를 들어, 화상 데이터(IMG) 및 업컨버트 후의 화상 데이터인 화상 데이터(UCIMG)를 유지하는 기능을 갖는다. 또한 기억 회로(MEM1)는 유지한 화상 데이터를 화상 처리 회로(IP1) 또는 인코더(ENC) 등에 출력하는 기능을 갖는다.
기억 회로(MEM1)로서는 예를 들어 재기록 가능한 비휘발성의 기억 소자가 적용된 기억 장치를 사용할 수 있다. 예를 들어, 플래시 메모리나, ReRAM(Resistive Random Access Memory), MRAM(Magnetoresistive Random Access Memory), PRAM(Phase change RAM), FeRAM(Ferroelectric RAM), NOSRAM(등록 상표) 등을 사용할 수 있다.
또한 NOSRAM이란 "Nonvolatile Oxide Semiconductor RAM"의 약칭이고, 게인 셀형(2T형, 3T형)의 메모리 셀을 포함하는 RAM을 가리킨다. NOSRAM은 오프 전류가 낮다는 특징을 갖는 OS 트랜지스터를 이용한 메모리의 1종이다. NOSRAM은 플래시 메모리와 달리, 재기록 가능 횟수에 제한이 없고, 데이터 기록 시의 소비전력이 낮다. 그러므로 신뢰성이 높고 소비전력이 낮은 비휘발성 메모리를 제공할 수 있다.
또한 기억 회로(MEM1)로서는 ROM(Read Only Memory)을 사용할 수 있다. ROM으로서는 마스크 ROM이나, OTPROM(One Time Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory) 등을 사용할 수 있다. EPROM로서는 자외선을 조사함으로써 기억 데이터를 소거할 수 있는 UV-EPROM(Ultra-Violet Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory), 플래시 메모리 등을 들 수 있다.
또한 기억 회로(MEM1)로서는 탈착 가능한 기억 장치를 사용할 수 있다. 예를 들어 저장 디바이스로서 기능하는 하드 디스크 드라이브(Hard Disk Drive: HDD)나 솔리드 스테이트 드라이브(Solid State Drive: SSD) 등의 기록 매체 드라이브, 플래시 메모리, 블루레이 디스크, DVD 등을 사용할 수 있다.
화상 처리 회로(IP1)는 화상 데이터에 대하여 화상 처리를 수행하는 기능을 갖는다. 예를 들어, 방송국 등에서 공급된 화상 데이터(IMG) 또는 기억 회로(MEM1)에 유지된 화상 데이터(IMG)에 대하여 화상 처리를 수행하는 기능을 갖는다. 또한 화상 처리 회로(IP1)는 화상 데이터(UCIMG) 등, 해상도 확장 회로(DE)로부터 출력된 화상 데이터에 대하여 화상 처리를 수행하는 기능을 갖는다.
화상 처리로서는 예를 들어 노이즈 제거 처리를 수행할 수 있다. 예를 들어, 문자 등의 윤곽의 주변에서 발생되는 모스키토 노이즈, 고속의 동영상에서 발생되는 블록 노이즈, 플리커가 발생하는 랜덤 노이즈, 해상도의 업컨버트에 의하여 발생하는 도트 노이즈 등의 다양한 노이즈를 제거할 수 있다.
또한 화상 처리 회로(IP1)는 화상 데이터의 해상도를 저하시키는 기능을 갖는다. 예를 들어, 화상 데이터(IMG)의 해상도를 저하시킴으로써, 화상 데이터(DCIMG)를 생성할 수 있다. 즉, 도 1의 (A) 및 도 2 등에 나타낸 단계 S01을 수행할 수 있다.
또한 화상 처리 회로(IP1)는 화상 데이터들을 비교하여 오차를 산출하는 기능을 갖는다. 예를 들어, 화상 데이터(IMG)와 화상 데이터(OIMG[i])를 비교함으로써 양자의 오차를 산출하는 기능을 갖는다. 즉, 도 1의 (A) 및 도 2 등에 나타낸 단계 S04를 수행할 수 있다.
또한 화상 처리 회로(IP1)는 학습 횟수가 규정된 값에 도달되었는지 여부를 판정하는 기능을 가질 수 있다. 즉, 도 2에 나타낸 단계 S06을 수행할 수 있다. 또한 학습 횟수가 규정된 값에 도달되었는지 여부의 판정은, 화상 처리 회로(IP1)에 카운터 회로를 제공하면, 상기 카운트 회로에 의하여 수행할 수 있다.
또한 화상 처리 회로(IP1)는 오차가 일정한 값 미만이 되었는지 여부를 판정하는 기능을 가질 수 있다. 예를 들어, 화상 데이터(OIMG[i])의 화상 데이터(IMG)에 대한 오차가 일정한 값 미만이 되었는지 여부를 판정하는 기능을 가질 수 있다. 즉, 도 6에 나타낸 단계 S06'을 수행할 수 있다.
인코더(ENC)는 화상 데이터를 부호화하는 기능을 갖는다. 예를 들어, 화상 데이터(UCIMG)를 부호화하는 기능을 갖는다. 부호화를 위한 처리에는 이산 코사인 변환(DCT: Discrete Cosine Transform) 및 이산 사인 변환(DST: Discrete Sine Transform) 등의 직교 변환, 프레임 간 예측 처리, 움직임 보상 예측 처리 등이 있다. 또한 인코더(ENC)는, 부호화 전의 화상 데이터에 대하여 방송 제어용 데이터(예를 들어 인증용 데이터)를 부가하는 처리, 암호화 처리, 스크램블링 처리(스펙트럼 확산을 위한 데이터 재배열 처리) 등을 수행하는 기능을 가져도 좋다.
디코더(DEC)는 부호화된 화상 데이터를 복호화하는 기능을 갖는다. 복호화를 위한 처리에는, 부호화를 위한 처리와 마찬가지로 DCT 및 DST 등의 직교 변환, 프레임 간 예측 처리, 움직임 보상 예측 처리 등이 있다. 또한 디코더(DEC)는, 복호화 후의 화상 데이터에 대하여 프레임 분리, LDPC(Low Density Parity Check) 부호의 복호, 방송 제어용 데이터의 분리, 디스크램블링 처리 등을 수행하는 기능을 가져도 좋다.
기억 회로(MEM2)는 화상 데이터를 유지하는 기능을 갖는다. 예를 들어, 디코더(DEC)에 의하여 복호화된 화상 데이터를 유지하는 기능을 갖는다. 또한 기억 회로(MEM2)는 유지한 화상 데이터를 화상 처리 회로(IP2) 등에 출력하는 기능을 갖는다. 기억 회로(MEM2)로서는 기억 회로(MEM1)에 사용할 수 있는 기억 장치와 같은 기억 장치를 사용할 수 있다.
화상 처리 회로(IP2)는 화상 데이터에 대하여 화상 처리를 수행하는 기능을 갖는다. 예를 들어, 기억 회로(MEM2)에 유지된 화상 데이터 또는 디코더(DEC)로부터 출력된 화상 데이터에 대하여 화상 처리를 수행하는 기능을 갖는다.
화상 처리로서는, 예를 들어 노이즈 제거 처리, 계조 변환 처리, 색조 보정 처리, 휘도 보정 처리 등을 수행할 수 있다. 색조 보정 처리나 휘도 보정 처리로서는, 예를 들어 감마 보정 등이 있다. 노이즈 제거 처리로서는, 상술한 화상 처리 회로(IP1)에 의하여 수행 가능한 처리와 같은 처리를 수행할 수 있다.
계조 변환 처리는 화상의 계조를 표시 패널(DP)의 출력 특성에 대응한 계조로 변환하는 처리이다. 예를 들어, 화상 처리 회로(IP2)에 입력된 화상 데이터가 표현하는 계조수보다 많은 계조수를 표현하는 화상 데이터를 생성할 수 있다. 이 경우, 화상 처리 회로(IP2)에 입력된 화상 데이터에 대하여, 각 화소에 대응하는 계조값을 보간하여 할당함으로써, 히스토그램을 평활화하는 처리를 수행할 수 있다. 또한 다이내믹 레인지를 넓히는 하이 다이내믹 레인지(HDR) 처리도 계조 변환 처리에 포함된다.
또한 색조 보정 처리는 화상의 색조를 보정하는 처리이다. 또한 휘도 보정 처리는 화상의 밝기(휘도 콘트라스트)를 보정하는 처리이다. 예를 들어, 수신 장치(DD)가 제공되는 공간에 배치된 조명의 종류나 휘도 또는 색 순도 등을 검지하고, 이에 따라 표시 패널(DP)에 표시하는 화상의 휘도나 색조가 최적이 되도록 보정한다. 또는 표시하는 화상과, 미리 저장해 둔 화상 리스트 내의 다양한 장면의 화상을 조합(照合)하여, 가장 가까운 장면의 화상에 적합한 휘도나 색조가 되도록, 표시하는 화상을 보정하는 기능을 가져도 좋다.
게이트 드라이버(GD)는 화소(PIX)를 선택하는 기능을 갖는다. 소스 드라이버(SD)는 화상 데이터에 기초하여 화소(PIX)를 구동하는 기능을 갖는다. 예를 들어, 화상 처리 회로(IP2)가 출력한 화상 데이터에 기초하여 화소(PIX)를 구동하는 기능을 갖는다. 소스 드라이버(SD)가 화소(PIX)를 구동함으로써, 화상 데이터(UCIMG)에 대응하는 화상이 표시 패널(DP)에 표시된다. 또한 소스 드라이버(SD)는 화상 데이터에 대하여 D/A 변환을 수행하는 기능을 가져도 좋다.
도 11은 송신 장치(TD) 및 수신 장치(DD)의 구성예를 나타낸 블록도이고, 도 10에 나타낸 블록도의 변형예이다. 송신 장치(TD)는 기억 회로(MEM1), 화상 처리 회로(IP3), 및 인코더(ENC)를 포함한다. 수신 장치(DD)는 디코더(DEC), 기억 회로(MEM2), 화상 처리 회로(IP4), 해상도 확장 회로(DE), 화상 처리 회로(IP5), 소스 드라이버(SD), 게이트 드라이버(GD), 및 표시 패널(DP)을 포함한다. 도 10에 나타낸 구성의 수신 장치(DD)와 마찬가지로, 표시 패널(DP)에서는 화소(PIX)가 매트릭스상으로 배열되어 있다. 화소(PIX)는 소스선에 의하여 소스 드라이버(SD)에 전기적으로 접속되고, 게이트선에 의하여 게이트 드라이버(GD)에 전기적으로 접속되어 있다.
즉, 도 11에 나타낸 구성의 표시 시스템은, 도 1의 (A), (B) 등에 나타낸 해상도 확장 회로(DE)를 수신 장치(DD)에 제공하였다는 점에서 도 10에 나타낸 표시 시스템의 구성과 상이하다.
도 11에 나타낸 구성의 표시 시스템에서, 기억 회로(MEM1)는 화상 데이터(IMG)를 유지할 수 있다. 또한 기억 회로(MEM1)는 유지한 화상 데이터를 화상 처리 회로(IP3) 등에 출력할 수 있다.
화상 처리 회로(IP3)는 도 10에 나타낸 화상 처리 회로(IP1)와 마찬가지로, 예를 들어 방송국 등에서 공급된 화상 데이터(IMG) 또는 기억 회로(MEM1)에 유지된 화상 데이터(IMG)에 대하여 노이즈 제거 처리 등의 화상 처리를 수행하는 기능을 갖는다. 또한 송신 장치(TD)는 화상 처리 회로(IP3)를 포함하지 않아도 된다.
또한 인코더(ENC)는 화상 처리 회로(IP3)로부터 출력된 화상 데이터를 부호화할 수 있다. 디코더(DEC)는 인코더(ENC)에 의하여 부호화된 화상 데이터를 복호화할 수 있다. 기억 회로(MEM2)는 디코더(DEC)에 의하여 복호화된 화상 데이터(IMG), 및 업컨버트 후의 화상 데이터인 화상 데이터(UCIMG)를 유지할 수 있다. 또한 기억 회로(MEM2)는 유지한 화상 데이터를 화상 처리 회로(IP4) 또는 화상 처리 회로(IP5) 등에 출력할 수 있다.
화상 처리 회로(IP4)는 화상 처리 회로(IP1)와 마찬가지로, 화상 데이터의 해상도를 저하시키는 기능 및 화상 데이터들을 비교하여 오차를 산출하는 기능을 갖는다. 또한 화상 처리 회로(IP4)는 화상 처리 회로(IP1)와 마찬가지로, 학습 횟수가 규정된 값에 도달되었는지 여부를 판정하는 기능 및/또는 오차가 일정한 값 미만이 되었는지 여부를 판정하는 기능을 가져도 좋다. 또한 화상 처리 회로(IP4)는, 도 10에 나타낸 화상 처리 회로(IP2)에 의하여 수행 가능한 화상 처리와 같은 화상 처리를 수행하는 기능을 가져도 좋다.
화상 처리 회로(IP5)는 화상 데이터에 대하여 화상 처리를 수행하는 기능을 갖는다. 예를 들어, 기억 회로(MEM2)에 유지된 화상 데이터(UCIMG)에 대하여 화상 처리를 수행하는 기능을 갖는다. 화상 처리로서는, 도 10에 나타낸 화상 처리 회로(IP2)와 마찬가지로, 예를 들어 노이즈 제거 처리, 계조 변환 처리, 색조 보정 처리, 휘도 보정 처리 등을 수행할 수 있다.
또한 도 10 및 도 11에 나타낸 표시 시스템에는 레지스터, 캐시 메모리, 및 메인 메모리 등의 기억 장치를 제공하여도 좋다. 상기 기억 장치는 DRAM(Dynamic RAM) 또는 SRAM(Static RAM)을 포함하는 구성으로 할 수 있다. 상기 기억 장치는 예를 들어 송신 장치(TD)에 포함되는 각종 회로 및 수신 장치(DD)에 포함되는 각종 회로에 제공할 수 있다. 또한 상기 기억 장치는 송신 장치(TD) 및 수신 장치(DD)에 포함되는 각종 회로와는 다른 회로로서, 송신 장치(TD) 및 수신 장치(DD)에 제공할 수 있다.
본 실시형태는 다른 실시형태의 기재와 적절히 조합할 수 있다.
(실시형태 2)
본 실시형태에서는 신경망에 사용할 수 있는 반도체 장치의 구성예에 대하여 설명한다.
<반도체 장치의 구성예>
도 12에 신경망의 연산을 수행하는 기능을 갖는 반도체 장치(MAC)의 구성예를 나타내었다. 해상도 확장 회로(DE)는 반도체 장치(MAC)를 포함하는 구성으로 할 수 있다. 반도체 장치(MAC)는 뉴런의 가중 계수에 대응하는 제 1 데이터와, 입력 데이터에 대응하는 제 2 데이터의 적화 연산을 수행하는 기능을 갖는다. 또한 제 1 데이터 및 제 2 데이터는 각각, 아날로그 데이터 또는 멀티레벨 데이터(이산적인 데이터)로 할 수 있다. 또한 반도체 장치(MAC)는 적화 연산에 의하여 얻어진 데이터를 활성화 함수에 의하여 변환하는 기능을 갖는다.
반도체 장치(MAC)는 셀 어레이(CA), 전류원 회로(CS), 커런트 미러 회로(CM), 회로(WDD), 회로(WLD), 회로(CLD), 오프셋 회로(OFST), 및 활성화 함수 회로(ACTV)를 포함한다.
셀 어레이(CA)는 복수의 메모리 셀(MC) 및 복수의 메모리 셀(MCref)을 포함한다. 도 12에는 셀 어레이(CA)가 m행 n열(m, n은 1 이상의 정수임)의 메모리 셀(MC)(MC[1, 1] 내지 MC[m, n])과, m개의 메모리 셀(MCref)(MCref[1] 내지 MCref[m])을 포함하는 구성예를 나타내었다. 메모리 셀(MC)은 제 1 데이터를 저장하는 기능을 갖는다. 또한 메모리 셀(MCref)은 적화 연산에 사용되는 참조 데이터를 저장하는 기능을 갖는다. 또한 참조 데이터는 아날로그 데이터 또는 멀티레벨 디지털 데이터로 할 수 있다.
메모리 셀(MC[i, j])(i는 1 이상 m 이하의 정수이고, j는 1 이상 n 이하의 정수임)은 배선(WL[i]), 배선(RW[i]), 배선(WD[j]), 및 배선(BL[j])에 접속되어 있다. 또한 메모리 셀(MCref[i])은 배선(WL[i]), 배선(RW[i]), 배선(WDref), 배선(BLref)에 접속되어 있다. 여기서는, 메모리 셀(MC[i, j])과 배선(BL[j]) 사이를 흐르는 전류를 IMC[i, j]로 표기하고, 메모리 셀(MCref[i])과 배선(BLref) 사이를 흐르는 전류를 IMCref[i]로 표기한다.
메모리 셀(MC) 및 메모리 셀(MCref)의 구체적인 구성예를 도 13에 나타내었다. 도 13에는 대표적인 예로서 메모리 셀(MC[1, 1], MC[2, 1]) 및 메모리 셀(MCref[1], MCref[2])을 나타내었지만, 다른 메모리 셀(MC) 및 메모리 셀(MCref)에도 같은 구성을 사용할 수 있다. 메모리 셀(MC) 및 메모리 셀(MCref)은 각각 트랜지스터(Tr11, Tr12), 용량 소자(C11)를 포함한다. 여기서는, 트랜지스터(Tr11) 및 트랜지스터(Tr12)가 n채널형 트랜지스터인 경우에 대하여 설명한다.
메모리 셀(MC)에서 트랜지스터(Tr11)의 게이트는 배선(WL)에 접속되고, 트랜지스터(Tr11)의 소스 및 드레인 중 한쪽은 트랜지스터(Tr12)의 게이트 및 용량 소자(C11)의 제 1 전극에 접속되고, 트랜지스터(Tr11)의 소스 및 드레인 중 다른 쪽은 배선(WD)에 접속되어 있다. 트랜지스터(Tr12)의 소스 및 드레인 중 한쪽은 배선(BL)에 접속되고, 트랜지스터(Tr12)의 소스 및 드레인 중 다른 쪽은 배선(VR)에 접속되어 있다. 용량 소자(C11)의 제 2 전극은 배선(RW)에 접속되어 있다. 배선(VR)은 소정의 전위를 공급하는 기능을 갖는 배선이다. 여기서는 일례로서, 배선(VR)으로부터 저전원 전위(접지 전위 등)가 공급되는 경우에 대하여 설명한다.
트랜지스터(Tr11)의 소스 및 드레인 중 한쪽, 트랜지스터(Tr12)의 게이트, 및 용량 소자(C11)의 제 1 전극에 접속된 노드를 노드(NM)라고 한다. 또한 메모리 셀(MC[1, 1], MC[2, 1])의 노드(NM)를 각각 노드(NM[1, 1], NM[2, 1])로 표기한다.
메모리 셀(MCref)도 메모리 셀(MC)과 같은 구성을 갖는다. 다만 메모리 셀(MCref)은 배선(WD) 대신에 배선(WDref)에 접속되고, 배선(BL) 대신에 배선(BLref)에 접속되어 있다. 또한 메모리 셀(MCref[1], MCref[2])에서, 트랜지스터(Tr11)의 소스 및 드레인 중 한쪽, 트랜지스터(Tr12)의 게이트, 및 용량 소자(C11)의 제 1 전극에 접속된 노드를 각각 노드(NMref[1], NMref[2])로 표기한다.
노드(NM) 및 노드(NMref)는 각각, 메모리 셀(MC) 및 메모리 셀(MCref)의 유지 노드로서 기능한다. 노드(NM)에는 제 1 데이터가 유지되고, 노드(NMref)에는 참조 데이터가 유지된다. 또한 배선(BL[1])으로부터 메모리 셀(MC[1, 1], MC[2, 1])의 트랜지스터(Tr12)로 각각 전류(IMC[1, 1], IMC[2, 1])가 흐른다. 또한 배선(BLref)으로부터 메모리 셀(MCref[1], MCref[2])의 트랜지스터(Tr12)로 각각 전류(IMCref[1], IMCref[2])가 흐른다.
트랜지스터(Tr11)는 노드(NM) 또는 노드(NMref)의 전위를 유지하는 기능을 갖기 때문에, 트랜지스터(Tr11)의 오프 전류는 작은 것이 바람직하다. 그러므로 트랜지스터(Tr11)로서 오프 전류가 매우 작은 OS 트랜지스터를 사용하는 것이 바람직하다. 이로써, 노드(NM) 또는 노드(NMref)의 전위의 변동을 억제할 수 있어, 연산 정밀도의 향상을 도모할 수 있다. 또한 노드(NM) 또는 노드(NMref)의 전위를 리프레시하는 동작의 빈도를 낮게 할 수 있어, 소비전력을 삭감할 수 있다.
트랜지스터(Tr12)는 특별히 한정되지 않고, 예를 들어 채널 형성 영역에 실리콘을 포함하는 트랜지스터(이하 Si 트랜지스터라고 함) 또는 OS 트랜지스터 등을 사용할 수 있다. 트랜지스터(Tr12)에 OS 트랜지스터를 사용하는 경우에는, 트랜지스터(Tr11)와 같은 제조 장치를 사용하여 트랜지스터(Tr12)를 제작할 수 있어, 제조 비용을 낮출 수 있다. 또한 트랜지스터(Tr12)는 n채널형이어도 좋고 p채널형이어도 좋다.
전류원 회로(CS)는 배선(BL[1] 내지 BL[n]) 및 배선(BLref)에 접속되어 있다. 전류원 회로(CS)는 배선(BL[1] 내지 BL[n]) 및 배선(BLref)에 전류를 공급하는 기능을 갖는다. 또한 배선(BL[1] 내지 BL[n])에 공급되는 전류값과 배선(BLref)에 공급되는 전류값은 상이하여도 좋다. 여기서는, 전류원 회로(CS)로부터 배선(BL[1] 내지 BL[n])에 공급되는 전류를 IC로, 전류원 회로(CS)로부터 배선(BLref)에 공급되는 전류를 ICref로 표기한다.
커런트 미러 회로(CM)는 배선(IL[1] 내지 IL[n]) 및 배선(ILref)을 포함한다. 배선(IL[1] 내지 IL[n])은 각각 배선(BL[1] 내지 BL[n])에 접속되고, 배선(ILref)은 배선(BLref)에 접속되어 있다. 여기서는, 배선(IL[1] 내지 IL[n])과 배선(BL[1] 내지 BL[n])의 접속 부분을 노드(NP[1] 내지 NP[n])로 표기한다. 또한 배선(ILref)과 배선(BLref)의 접속 부분을 노드(NPref)로 표기한다.
커런트 미러 회로(CM)는 노드(NPref)의 전위에 따른 전류(ICM)를 배선(ILref)에 흘리는 기능과, 이 전류(ICM)를 배선(IL[1] 내지 IL[n])에도 흘리는 기능을 갖는다. 도 12에는, 배선(BLref)으로부터 배선(ILref)에 전류(ICM)가 배출되고, 배선(BL[1] 내지 BL[n])으로부터 배선(IL[1] 내지 IL[n])에 전류(ICM)가 배출되는 예를 나타내었다. 또한 커런트 미러 회로(CM)로부터 배선(BL[1] 내지 BL[n])을 통하여 셀 어레이(CA)로 흐르는 전류를 IB[1] 내지 IB[n]으로 표기한다. 또한 커런트 미러 회로(CM)로부터 배선(BLref)을 통하여 셀 어레이(CA)로 흐르는 전류를 IBref로 표기한다.
회로(WDD)는 배선(WD[1] 내지 WD[n]) 및 배선(WDref)에 접속되어 있다. 회로(WDD)는 메모리 셀(MC)에 저장되는 제 1 데이터에 대응하는 전위를 배선(WD[1] 내지 WD[n])에 공급하는 기능을 갖는다. 또한 회로(WDD)는 메모리 셀(MCref)에 저장되는 참조 데이터에 대응하는 전위를 배선(WDref)에 공급하는 기능을 갖는다. 회로(WLD)는 배선(WL[1] 내지 WL[m])에 접속되어 있다. 회로(WLD)는 데이터를 기록하는 메모리 셀(MC) 또는 메모리 셀(MCref)을 선택하기 위한 신호를 배선(WL[1] 내지 WL[m])에 공급하는 기능을 갖는다. 회로(CLD)는 배선(RW[1] 내지 RW[m])에 접속되어 있다. 회로(CLD)는 제 2 데이터에 대응하는 전위를 배선(RW[1] 내지 RW[m])에 공급하는 기능을 갖는다.
오프셋 회로(OFST)는 배선(BL[1] 내지 BL[n]) 및 배선(OL[1] 내지 OL[n])에 접속되어 있다. 오프셋 회로(OFST)는 배선(BL[1] 내지 BL[n])으로부터 오프셋 회로(OFST)로 흐르는 전류량 및/또는 배선(BL[1] 내지 BL[n])으로부터 오프셋 회로(OFST)로 흐르는 전류의 변화량을 검출하는 기능을 갖는다. 또한 오프셋 회로(OFST)는 검출 결과를 배선(OL[1] 내지 OL[n])에 출력하는 기능을 갖는다. 또한 오프셋 회로(OFST)는 검출 결과에 대응하는 전류를 배선(OL)에 출력하여도 좋고, 검출 결과에 대응하는 전류를 전압으로 변환하여 배선(OL)에 출력하여도 좋다. 셀 어레이(CA)와 오프셋 회로(OFST) 사이를 흐르는 전류를 Iα[1] 내지 Iα[n]으로 표기한다.
오프셋 회로(OFST)의 구성예를 도 14에 나타내었다. 도 14에 나타낸 오프셋 회로(OFST)는 회로(OC[1] 내지 OC[n])를 포함한다. 또한 회로(OC[1] 내지 OC[n])는 각각 트랜지스터(Tr21), 트랜지스터(Tr22), 트랜지스터(Tr23), 용량 소자(C21), 및 저항 소자(R1)를 포함한다. 각 소자의 접속 관계는 도 14에 나타낸 바와 같다. 또한 용량 소자(C21)의 제 1 전극 및 저항 소자(R1)의 제 1 단자에 접속된 노드를 노드(Na)라고 한다. 또한 용량 소자(C21)의 제 2 전극, 트랜지스터(Tr21)의 소스 및 드레인 중 한쪽, 그리고 트랜지스터(Tr22)의 게이트에 접속된 노드를 노드(Nb)라고 한다.
배선(VrefL)은 전위(Vref)를 공급하는 기능을 갖고, 배선(VaL)은 전위(Va)를 공급하는 기능을 갖고, 배선(VbL)은 전위(Vb)를 공급하는 기능을 갖는다. 또한 배선(VDDL)은 전위(VDD)를 공급하는 기능을 갖고, 배선(VSSL)은 전위(VSS)를 공급하는 기능을 갖는다. 여기서는, 전위(VDD)가 고전원 전위이고, 전위(VSS)가 저전원 전위인 경우에 대하여 설명한다. 또한 배선(RST)은 트랜지스터(Tr21)의 도통 상태를 제어하기 위한 전위를 공급하는 기능을 갖는다. 트랜지스터(Tr22), 트랜지스터(Tr23), 배선(VDDL), 배선(VSSL), 및 배선(VbL)으로 소스 폴로어 회로가 구성된다.
다음으로 회로(OC[1] 내지 OC[n])의 동작예에 대하여 설명한다. 또한 여기서는 대표적인 예로서 회로(OC[1])의 동작예에 대하여 설명하지만, 회로(OC[2] 내지 OC[n])도 마찬가지로 동작시킬 수 있다. 먼저, 배선(BL[1])을 제 1 전류가 흐르면, 노드(Na)의 전위는 제 1 전류와 저항 소자(R1)의 저항값에 따른 전위가 된다. 또한 이때 트랜지스터(Tr21)는 온 상태이므로, 노드(Nb)에 전위(Va)가 공급된다. 그 후, 트랜지스터(Tr21)는 오프 상태가 된다.
다음으로 배선(BL[1])을 제 2 전류가 흐르면, 노드(Na)의 전위는 제 2 전류와 저항 소자(R1)의 저항값에 따른 전위로 변화된다. 이때 트랜지스터(Tr21)는 오프 상태이고 노드(Nb)는 부유 상태이므로, 노드(Na)의 전위의 변화에 따라 노드(Nb)의 전위는 용량 결합에 의하여 변화된다. 여기서 노드(Na)의 전위의 변화량을 ΔVNa로 하고, 용량 결합 계수를 1로 하면, 노드(Nb)의 전위는 Va+ΔVNa가 된다. 그리고 트랜지스터(Tr22)의 문턱 전압을 Vth로 하면, 배선(OL[1])으로부터 전위(Va+ΔVNa-Vth)가 출력된다. 여기서 Va=Vth로 함으로써, 배선(OL[1])으로부터 전위(ΔVNa)를 출력할 수 있다.
전위(ΔVNa)는 제 1 전류로부터 제 2 전류로의 변화량, 저항 소자(R1)의 저항값, 및 전위(Vref)에 따라 결정된다. 여기서 저항 소자(R1)의 저항값과 전위(Vref)는 이미 알려져 있기 때문에, 전위(ΔVNa)로부터, 배선(BL)을 흐르는 전류의 변화량을 구할 수 있다.
상술한 바와 같이 오프셋 회로(OFST)에 의하여 검출된 전류량 및/또는 전류의 변화량에 대응하는 신호는 배선(OL[1] 내지 OL[n])을 통하여 활성화 함수 회로(ACTV)에 입력된다.
활성화 함수 회로(ACTV)는 배선(OL[1] 내지 OL[n]) 및 배선(NIL[1] 내지 NIL[n])에 접속되어 있다. 활성화 함수 회로(ACTV)는 오프셋 회로(OFST)로부터 입력된 신호를 미리 정의된 활성화 함수에 따라 변환하기 위한 연산을 수행하는 기능을 갖는다. 활성화 함수로서는, 예를 들어 시그모이드 함수, tanh 함수, softmax 함수, ReLU 함수, 문턱값 함수 등을 사용할 수 있다. 활성화 함수 회로(ACTV)에 의하여 변환된 신호는 출력 데이터로서 배선(NIL[1] 내지 NIL[n])에 출력된다.
<반도체 장치의 동작예>
상기 반도체 장치(MAC)를 사용하여 제 1 데이터와 제 2 데이터의 적화 연산을 수행할 수 있다. 이하에서는, 적화 연산을 수행할 때의 반도체 장치(MAC)의 동작예에 대하여 설명한다.
도 15에 반도체 장치(MAC)의 동작예의 타이밍 차트를 나타내었다. 도 15에는 도 13에서의 배선(WL[1]), 배선(WL[2]), 배선(WD[1]), 배선(WDref), 노드(NM[1, 1]), 노드(NM[2, 1]), 노드(NMref[1]), 노드(NMref[2]), 배선(RW[1]), 및 배선(RW[2])의 전위의 추이(推移)와, 전류(IB[1]-Iα[1]) 및 전류(IBref)의 값의 추이를 나타내었다. 전류(IB[1]-Iα[1])는 배선(BL[1])으로부터 메모리 셀(MC[1, 1], MC[2, 1])로 흐르는 전류의 합계에 상당한다.
또한 여기서는, 대표적인 예로서 도 13에 나타낸 메모리 셀(MC[1, 1], MC[2, 1]) 및 메모리 셀(MCref[1], MCref[2])에 착안하여 동작을 설명하지만, 다른 메모리 셀(MC) 및 메모리 셀(MCref)도 마찬가지로 동작시킬 수 있다.
[제 1 데이터의 저장]
우선, 시각(T01) 내지 시각(T02)의 기간에 배선(WL[1])의 전위가 하이 레벨이 되고, 배선(WD[1])의 전위가 접지 전위(GND)보다 VPR-VW[1, 1]만큼 큰 전위가 되고, 배선(WDref)의 전위가 접지 전위보다 VPR만큼 큰 전위가 된다. 또한 배선(RW[1]) 및 배선(RW[2])의 전위가 기준 전위(REFP)가 된다. 또한 전위(VW[1, 1])는 메모리 셀(MC[1, 1])에 저장되는 제 1 데이터에 대응하는 전위이다. 또한 전위(VPR)는 참조 데이터에 대응하는 전위이다. 이에 의하여, 메모리 셀(MC[1, 1]) 및 메모리 셀(MCref[1])에 포함되는 트랜지스터(Tr11)가 온 상태가 되고, 노드(NM[1, 1])의 전위가 VPR-VW[1, 1]이 되고, 노드(NMref[1])의 전위가 VPR가 된다.
이때 배선(BL[1])으로부터 메모리 셀(MC[1, 1])의 트랜지스터(Tr12)로 흐르는 전류(IMC[1, 1], 0)는 다음의 식으로 나타낼 수 있다. 여기서 k는 트랜지스터(Tr12)의 채널 길이, 채널 폭, 이동도, 및 게이트 절연막의 용량 등에 따라 결정되는 상수이다. 또한 Vth는 트랜지스터(Tr12)의 문턱 전압이다.
[수학식 7]
IMC[1, 1], 0=k(VPR-Vw[1, 1]-Vth)2 (7)
또한 배선(BLref)으로부터 메모리 셀(MCref[1])의 트랜지스터(Tr12)로 흐르는 전류(IMCref[1], 0)는 다음의 식으로 나타낼 수 있다.
[수학식 8]
IMCref[1], 0=k(VPR-Vth)2 (8)
다음으로, 시각(T02) 내지 시각(T03)의 기간에 배선(WL[1])의 전위가 로 레벨이 된다. 이에 의하여, 메모리 셀(MC[1, 1]) 및 메모리 셀(MCref[1])에 포함되는 트랜지스터(Tr11)가 오프 상태가 되고, 노드(NM[1, 1]) 및 노드(NMref[1])의 전위가 유지된다.
또한 상술한 바와 같이 트랜지스터(Tr11)로서 OS 트랜지스터를 사용하는 것이 바람직하다. 이에 의하여, 트랜지스터(Tr11)의 누설 전류를 억제할 수 있어, 노드(NM[1, 1]) 및 노드(NMref[1])의 전위를 정확하게 유지할 수 있다.
다음으로, 시각(T03) 내지 시각(T04)의 기간에 배선(WL[2])의 전위가 하이 레벨이 되고, 배선(WD[1])의 전위가 접지 전위보다 VPR-VW[2, 1]만큼 큰 전위가 되고, 배선(WDref)의 전위가 접지 전위보다 VPR만큼 큰 전위가 된다. 또한 전위(VW[2, 1])는 메모리 셀(MC[2, 1])에 저장되는 제 1 데이터에 대응하는 전위이다. 이에 의하여, 메모리 셀(MC[2, 1]) 및 메모리 셀(MCref[2])에 포함되는 트랜지스터(Tr11)가 온 상태가 되고, 노드(NM[2, 1])의 전위가 VPR-VW[2, 1]이 되고, 노드(NMref[2])의 전위가 VPR가 된다.
이때 배선(BL[1])으로부터 메모리 셀(MC[2, 1])의 트랜지스터(Tr12)로 흐르는 전류(IMC[2, 1], 0)는 다음의 식으로 나타낼 수 있다.
[수학식 9]
IMC[2, 1], 0=k(VPR-Vw[2, 1]-Vth)2 (9)
또한 배선(BLref)으로부터 메모리 셀(MCref[2])의 트랜지스터(Tr12)로 흐르는 전류(IMCref[2], 0)는 다음의 식으로 나타낼 수 있다.
[수학식 10]
IMCref[2], 0=k(VPR-Vth)2 (10)
다음으로, 시각(T04) 내지 시각(T05)의 기간에 배선(WL[2])의 전위가 로 레벨이 된다. 이에 의하여, 메모리 셀(MC[2, 1]) 및 메모리 셀(MCref[2])에 포함되는 트랜지스터(Tr11)가 오프 상태가 되고, 노드(NM[2, 1]) 및 노드(NMref[2])의 전위가 유지된다.
상기 동작에 의하여 메모리 셀(MC[1, 1], MC[2, 1])에 제 1 데이터가 저장되고, 메모리 셀(MCref[1], MCref[2])에 참조 데이터가 저장된다.
여기서, 시각(T04) 내지 시각(T05)의 기간에 배선(BL[1]) 및 배선(BLref)을 흐르는 전류에 대하여 고찰한다. 배선(BLref)에는 전류원 회로(CS)로부터 전류가 공급된다. 또한 배선(BLref)을 흐르는 전류는 커런트 미러 회로(CM), 메모리 셀(MCref[1], MCref[2])에 배출된다. 전류원 회로(CS)로부터 배선(BLref)에 공급되는 전류를 ICref로 하고, 배선(BLref)으로부터 커런트 미러 회로(CM)에 의하여 배선(ILref)에 배출되는 전류를 ICM, 0으로 하면, 다음의 식이 성립된다.
[수학식 11]
ICref-ICM, 0=IMCref[1], 0+IMCref[2], 0 (11)
배선(BL[1])에는 전류원 회로(CS)로부터의 전류가 공급된다. 또한 배선(BL[1])을 흐르는 전류는 커런트 미러 회로(CM), 메모리 셀(MC[1, 1], MC[2, 1])에 배출된다. 또한 배선(BL[1])으로부터 오프셋 회로(OFST)로 전류가 흐른다. 전류원 회로(CS)로부터 배선(BL[1])에 공급되는 전류를 IC, 0으로 하고, 배선(BL[1])으로부터 오프셋 회로(OFST)로 흐르는 전류를 Iα, 0으로 하면, 다음의 식이 성립된다.
[수학식 12]
IC-ICM, 0=IMC[1, 1], 0+IMC[2, 1], 0+Iα, 0 (12)
[제 1 데이터와 제 2 데이터의 적화 연산]
다음으로, 시각(T05) 내지 시각(T06)의 기간에 배선(RW[1])의 전위가 기준 전위보다 VX[1]만큼 큰 전위가 된다. 이때 메모리 셀(MC[1, 1]) 및 메모리 셀(MCref[1])의 각각의 용량 소자(C11)에는 전위(VX[1])가 공급되어, 용량 결합에 의하여 트랜지스터(Tr12)의 게이트의 전위가 상승된다. 또한 전위(VX[1])는 메모리 셀(MC[1, 1]) 및 메모리 셀(MCref[1])에 공급되는 제 2 데이터에 대응하는 전위이다.
트랜지스터(Tr12)의 게이트의 전위의 변화량은 배선(RW)의 전위의 변화량에, 메모리 셀의 구성에 따라 결정되는 용량 결합 계수를 곱한 값이다. 용량 결합 계수는 용량 소자(C11)의 용량, 트랜지스터(Tr12)의 게이트 용량, 및 기생 용량 등에 기초하여 산출된다. 이하에서는 편의상, 배선(RW)의 전위의 변화량과 트랜지스터(Tr12)의 게이트의 전위의 변화량이 같은 것으로 하여, 즉 용량 결합 계수가 1인 것으로 하여 설명한다. 실제로는 용량 결합 계수를 고려하여 전위(VX)를 결정하면 좋다.
메모리 셀(MC[1, 1]) 및 메모리 셀(MCref[1])의 용량 소자(C11)에 전위(VX[1])가 공급되면, 노드(NM[1, 1]) 및 노드(NMref[1])의 전위가 각각 VX[1]만큼 상승한다.
여기서, 시각(T05) 내지 시각(T06)의 기간에 배선(BL[1])으로부터 메모리 셀(MC[1, 1])의 트랜지스터(Tr12)로 흐르는 전류(IMC[1, 1], 1)는 다음의 식으로 나타낼 수 있다.
[수학식 13]
IMC[1, 1], 1=k(VPR-Vw[1, 1]+VX[1]-Vth)2 (13)
즉 배선(RW[1])에 전위(VX[1])를 공급함으로써, 배선(BL[1])으로부터 메모리 셀(MC[1, 1])의 트랜지스터(Tr12)로 흐르는 전류는 ΔIMC[1, 1]=IMC[1, 1], 1-IMC[1, 1], 0만큼 증가한다.
또한 시각(T05) 내지 시각(T06)의 기간에 배선(BLref)으로부터 메모리 셀(MCref[1])의 트랜지스터(Tr12)로 흐르는 전류(IMCref[1], 1)는 다음의 식으로 나타낼 수 있다.
[수학식 14]
IMCref[1], 1=k(VPR+VX[1]-Vth)2 (14)
즉 배선(RW[1])에 전위(VX[1])를 공급함으로써, 배선(BLref)으로부터 메모리 셀(MCref[1])의 트랜지스터(Tr12)로 흐르는 전류는 ΔIMCref[1]=IMCref[1], 1-IMCref[1], 0만큼 증가한다.
또한 배선(BL[1]) 및 배선(BLref)을 흐르는 전류에 대하여 고찰한다. 배선(BLref)에는 전류원 회로(CS)로부터 전류(ICref)가 공급된다. 또한 배선(BLref)을 흐르는 전류는 커런트 미러 회로(CM), 메모리 셀(MCref[1], MCref[2])에 배출된다. 배선(BLref)으로부터 커런트 미러 회로(CM)에 배출되는 전류를 ICM, 1로 하면, 다음의 식이 성립된다.
[수학식 15]
ICref-ICM, 1=IMCref[1], 1+IMCref[2], 1 (15)
배선(BL[1])에는 전류원 회로(CS)로부터 전류(IC)가 공급된다. 또한 배선(BL[1])을 흐르는 전류는 커런트 미러 회로(CM), 메모리 셀(MC[1, 1], MC[2, 1])에 배출된다. 또한 배선(BL[1])으로부터 오프셋 회로(OFST)로 전류가 흐른다. 배선(BL[1])으로부터 오프셋 회로(OFST)로 흐르는 전류를 Iα, 1로 하면, 다음의 식이 성립된다.
[수학식 16]
IC-ICM, 1=IMC[1, 1], 1+IMC[2, 1], 1+Iα, 1 (16)
그리고 식(7) 내지 식(16)으로부터, 전류(Iα, 0)와 전류(Iα, 1)의 차이(차분 전류(ΔIα))는 다음의 식으로 나타낼 수 있다.
[수학식 17]
ΔIα=Iα, 1-Iα, 0=2kVW[1, 1]VX[1] (17)
이와 같이, 차분 전류(ΔIα)는 전위(VW[1, 1])와 전위(VX[1])의 곱에 따른 값이다.
그 후, 시각(T06) 내지 시각(T07)의 기간에 배선(RW[1])의 전위는 기준 전위가 되고, 노드(NM[1, 1]) 및 노드(NMref[1])의 전위는 시각(T04) 내지 시각(T05)의 기간의 전위와 같다.
다음으로, 시각(T07) 내지 시각(T08)의 기간에 배선(RW[1])의 전위가 기준 전위보다 VX[1]만큼 큰 전위가 되고, 배선(RW[2])의 전위가 기준 전위보다 VX[2]만큼 큰 전위가 된다. 이에 의하여, 메모리 셀(MC[1, 1]) 및 메모리 셀(MCref[1]) 각각의 용량 소자(C11)에 전위(VX[1])가 공급되고, 용량 결합에 의하여 노드(NM[1, 1]) 및 노드(NMref[1])의 전위가 각각 VX[1]만큼 상승한다. 또한 메모리 셀(MC[2, 1]) 및 메모리 셀(MCref[2]) 각각의 용량 소자(C11)에 전위(VX[2])가 공급되고, 용량 결합에 의하여 노드(NM[2, 1]) 및 노드(NMref[2])의 전위가 각각 VX[2]만큼 상승한다.
여기서, 시각(T07) 내지 시각(T08)의 기간에 배선(BL[1])으로부터 메모리 셀(MC[2, 1])의 트랜지스터(Tr12)로 흐르는 전류(IMC[2, 1], 1)는 다음의 식으로 나타낼 수 있다.
[수학식 18]
IMC[2, 1], 1=k(VPR-Vw[2, 1]+VX[2]-Vth)2 (18)
즉 배선(RW[2])에 전위(VX[2])를 공급함으로써, 배선(BL[1])으로부터 메모리 셀(MC[2, 1])의 트랜지스터(Tr12)로 흐르는 전류는 ΔIMC[2, 1]=IMC[2, 1], 1-IMC[2, 1], 0만큼 증가한다.
또한 시각(T07) 내지 시각(T08)의 기간에 배선(BLref)으로부터 메모리 셀(MCref[2])의 트랜지스터(Tr12)로 흐르는 전류(IMCref[2], 1)는 다음의 식으로 나타낼 수 있다.
[수학식 19]
IMCref[2], 1=k(VPR+VX[2]-Vth)2 (19)
즉 배선(RW[2])에 전위(VX[2])를 공급함으로써, 배선(BLref)으로부터 메모리 셀(MCref[2])의 트랜지스터(Tr12)로 흐르는 전류는 ΔIMCref[2]=IMCref[2], 1-IMCref[2], 0만큼 증가한다.
또한 배선(BL[1]) 및 배선(BLref)을 흐르는 전류에 대하여 고찰한다. 배선(BLref)에는 전류원 회로(CS)로부터 전류(ICref)가 공급된다. 또한 배선(BLref)을 흐르는 전류는 커런트 미러 회로(CM), 메모리 셀(MCref[1], MCref[2])에 배출된다. 배선(BLref)으로부터 커런트 미러 회로(CM)에 배출되는 전류를 ICM, 2로 하면, 다음의 식이 성립된다.
[수학식 20]
ICref-ICM, 2=IMCref[1], 1+IMCref[2], 1 (20)
배선(BL[1])에는 전류원 회로(CS)로부터 전류(IC)가 공급된다. 또한 배선(BL[1])을 흐르는 전류는 커런트 미러 회로(CM), 메모리 셀(MC[1, 1], MC[2, 1])에 배출된다. 또한 배선(BL[1])으로부터 오프셋 회로(OFST)로 전류가 흐른다. 배선(BL[1])으로부터 오프셋 회로(OFST)로 흐르는 전류를 Iα, 2로 하면, 다음의 식이 성립된다.
[수학식 21]
IC-ICM, 2=IMC[1, 1], 1+IMC[2, 1], 1+Iα, 2 (21)
그리고 식(7) 내지 식(14) 및 식(18) 내지 식(21)으로부터, 전류(Iα, 0)와 전류(Iα, 2)의 차이(차분 전류(ΔIα))는 다음의 식으로 나타낼 수 있다.
[수학식 22]
ΔIα=Iα, 2-Iα, 0=2k(VW[1, 1]VX[1]+VW[2, 1]VX[2]) (22)
이와 같이, 차분 전류(ΔIα)는 전위(VW[1, 1])와 전위(VX[1])의 곱과, 전위(VW[2, 1])와 전위(VX[2])의 곱의 합에 따른 값이다.
그 후, 시각(T08) 내지 시각(T09)의 기간에 배선(RW[1], RW[2])의 전위는 기준 전위가 되고, 노드(NM[1, 1], NM[2, 1]) 및 노드(NMref[1], NMref[2])의 전위는 시각(T04) 내지 시각(T05)의 기간의 전위와 같다.
식(17) 및 식(22)으로 나타내어지는 바와 같이, 오프셋 회로(OFST)에 입력되는 차분 전류(ΔIα)는 제 1 데이터(가중치)에 대응하는 전위(VW)와, 제 2 데이터(입력 데이터)에 대응하는 전위(VX)의 곱의 항을 포함하는 식으로부터 산출할 수 있다. 즉 차분 전류(ΔIα)를 오프셋 회로(OFST)에 의하여 계측함으로써, 제 1 데이터와 제 2 데이터의 적화 연산의 결과를 얻을 수 있다.
또한 상기에서는 특히 메모리 셀(MC[1, 1], MC[2, 1]) 및 메모리 셀(MCref[1], MCref[2])에 착안하였지만, 메모리 셀(MC) 및 메모리 셀(MCref)의 개수는 임의로 설정할 수 있다. 메모리 셀(MC) 및 메모리 셀(MCref)의 행수 m을 임의의 개수 i로 한 경우의 차분 전류(ΔIα)는 다음의 식으로 나타낼 수 있다.
[수학식 23]
ΔIα=2kΣiVW[i, 1]VX[i] (23)
또한 메모리 셀(MC) 및 메모리 셀(MCref)의 열수 n을 늘림으로써, 병렬적으로 실행되는 적화 연산의 수를 늘릴 수 있다.
상술한 바와 같이, 반도체 장치(MAC)를 사용함으로써 제 1 데이터와 제 2 데이터의 적화 연산을 수행할 수 있다. 또한 메모리 셀(MC) 및 메모리 셀(MCref)로서 도 13에 나타낸 구성을 사용함으로써, 적은 트랜지스터로 적화 연산 회로를 구성할 수 있다. 그러므로 반도체 장치(MAC)의 회로 규모의 축소를 도모할 수 있다.
반도체 장치(MAC)를 신경망에서의 연산에 사용하는 경우, 메모리 셀(MC)의 행수 m을 하나의 뉴런에 공급되는 입력 데이터의 개수에 대응시키고, 메모리 셀(MC)의 열수 n을 뉴런의 개수에 대응시킬 수 있다.
또한 반도체 장치(MAC)를 적용하는 신경망의 구조는 특별히 한정되지 않는다. 예를 들어 반도체 장치(MAC)는 합성곱 신경망(CNN), 순환 신경망(RNN), 오토인코더, 볼츠만 머신(제한 볼츠만 머신을 포함함) 등에 사용할 수도 있다.
상술한 바와 같이, 반도체 장치(MAC)를 사용함으로써 신경망의 적화 연산을 수행할 수 있다. 또한 셀 어레이(CA)에 도 13에 나타낸 메모리 셀(MC) 및 메모리 셀(MCref)을 사용함으로써, 연산 정밀도의 향상, 소비전력의 삭감, 또는 회로 규모의 축소를 도모할 수 있는 집적 회로를 제공할 수 있다.
본 실시형태는 다른 실시형태의 기재와 적절히 조합할 수 있다.
(실시형태 3)
본 실시형태에서는, 본 발명의 일 형태의 화상 처리 방법에 의하여 동작하는 반도체 장치에 사용할 수 있는 표시 패널에 대하여 설명한다.
<화소의 구성예>
우선, 도 16의 (A) 내지 (E)를 사용하여 화소(PIX)의 구성예에 대하여 설명한다.
화소(PIX)는 복수의 화소(115)를 포함한다. 복수의 화소(115)는 각각 부화소로서 기능한다. 각각 상이한 색을 나타내는 복수의 화소(115)로 하나의 화소(PIX)가 구성됨으로써, 표시부에서는 풀 컬러 표시를 수행할 수 있다.
도 16의 (A), (B)에 나타낸 화소(PIX)는 각각 3개의 부화소를 포함한다. 도 16의 (A)에 나타낸 화소(PIX)에 포함되는 화소(115)의 조합은 적색(R), 녹색(G), 및 청색(B)이다. 도 16의 (B)에 나타낸 화소(PIX)에 포함되는 화소(115)의 조합은 시안(C), 마젠타(M), 황색(Y)이다.
도 16의 (C) 내지 (E)에 나타낸 화소(PIX)는 각각 4개의 부화소를 포함한다. 도 16의 (C)에 나타낸 화소(PIX)에 포함되는 화소(115)의 조합은 적색(R), 녹색(G), 청색(B), 백색(W)이다. 백색을 나타내는 부화소를 사용함으로써, 표시부의 휘도를 높일 수 있다. 도 16의 (D)에 나타낸 화소(PIX)에 포함되는 화소(115)의 조합은 적색(R), 녹색(G), 청색(B), 황색(Y)이다. 도 16의 (E)에 나타낸 화소(PIX)에 포함되는 화소(115)의 조합은 시안(C), 마젠타(M), 황색(Y), 백색(W)이다.
하나의 화소로서 기능시키는 부화소의 개수를 늘리고, 적색, 녹색, 청색, 시안, 마젠타, 및 황색 등의 색을 나타내는 부화소를 적절히 조합함으로써, 중간조의 재현성을 높일 수 있다. 따라서 표시 품위를 높일 수 있다.
또한 본 발명의 일 형태의 표시 장치는 다양한 규격의 색역을 재현할 수 있다. 예를 들어, 텔레비전 방송에 사용되는 PAL(Phase Alternating Line) 규격 및 NTSC(National Television System Committee) 규격, 퍼스널 컴퓨터, 디지털 카메라, 프린터 등의 전자 기기에 사용되는 표시 장치에서 널리 사용되는 sRGB(standard RGB) 규격 및 Adobe RGB 규격, HDTV(High Definition Television, 하이비전이라고도 함)에 사용되는 ITU-R BT.709(International Telecommunication Union Radiocommunication Sector Broadcasting Service(Television) 709) 규격, 디지털 시네마 영사에 사용되는 DCI-P3(Digital Cinema Initiatives P3) 규격, UHDTV(Ultra High Definition Television, 슈퍼 하이비전이라고도 함)에 사용되는 ITU-R BT.2020(REC.2020(Recommendation 2020)) 규격 등의 색역을 재현할 수 있다.
또한 화소(PIX)를 1920×1080의 매트릭스상으로 배치하면, 2K의 해상도로 풀 컬러 표시가 가능한 표시 장치를 실현할 수 있다. 또한 예를 들어, 화소(PIX)를 3840×2160의 매트릭스상으로 배치하면, 4K의 해상도로 풀 컬러 표시가 가능한 표시 장치를 실현할 수 있다. 또한 예를 들어, 화소(PIX)를 7680×4320의 매트릭스상으로 배치하면, 8K의 해상도로 풀 컬러 표시가 가능한 표시 장치를 실현할 수 있다. 화소(PIX)를 늘림으로써, 16K나 32K의 해상도로 풀 컬러 표시가 가능한 표시 장치를 실현할 수도 있다.
<화소 회로의 구성예>
본 발명의 일 형태의 표시 장치에 포함되는 표시 소자로서는, 무기 EL 소자, 유기 EL 소자, LED 등의 발광 소자, 액정 소자, 전기 영동 소자, MEMS(마이크로·일렉트로·메커니컬·시스템)를 사용한 표시 소자 등을 들 수 있다.
이하에서는, 도 17의 (A)를 사용하여 발광 소자를 포함하는 화소 회로의 구성예에 대하여 설명한다. 또한 도 17의 (B)를 사용하여 액정 소자를 포함하는 화소 회로의 구성예에 대하여 설명한다.
도 17의 (A)에 나타낸 화소 회로(438)는 트랜지스터(446)와, 용량 소자(433)와, 트랜지스터(251)와, 트랜지스터(444)를 포함한다. 또한 화소 회로(438)는 표시 소자(442)로서 기능하는 발광 소자(170)에 전기적으로 접속되어 있다.
트랜지스터(446)의 소스 전극 및 드레인 전극 중 한쪽은, 화상 신호가 공급되는 신호선(SL_j)에 전기적으로 접속된다. 또한 트랜지스터(446)의 게이트 전극은, 선택 신호가 공급되는 주사선(GL_i)에 전기적으로 접속된다.
트랜지스터(446)는 노드(445)에 대한 화상 신호의 기록을 제어하는 기능을 갖는다.
용량 소자(433)의 한 쌍의 전극 중 한쪽은 노드(445)에 전기적으로 접속되고, 다른 쪽은 노드(447)에 전기적으로 접속된다. 또한 트랜지스터(446)의 소스 전극 및 드레인 전극 중 다른 쪽은 노드(445)에 전기적으로 접속된다.
용량 소자(433)는 노드(445)에 기록된 데이터를 유지하는 유지 용량으로서의 기능을 갖는다.
트랜지스터(251)의 소스 전극 및 드레인 전극 중 한쪽은 전위 공급선(VL_a)에 전기적으로 접속되고, 다른 쪽은 노드(447)에 전기적으로 접속된다. 또한 트랜지스터(251)의 게이트 전극은 노드(445)에 전기적으로 접속된다.
트랜지스터(444)의 소스 전극 및 드레인 전극 중 한쪽은 전위 공급선(V0)에 전기적으로 접속되고, 다른 쪽은 노드(447)에 전기적으로 접속된다. 또한 트랜지스터(444)의 게이트 전극은 주사선(GL_i)에 전기적으로 접속된다.
발광 소자(170)의 양극 및 음극 중 한쪽은 전위 공급선(VL_b)에 전기적으로 접속되고, 다른 쪽은 노드(447)에 전기적으로 접속된다.
또한 전원 전위로서는, 예를 들어 상대적으로 고전위 측의 전위 또는 저전위 측의 전위를 사용할 수 있다. 고전위 측의 전원 전위를 고전원 전위("VDD"라고도 함)라고 하고, 저전위 측의 전원 전위를 저전원 전위("VSS"라고도 함)라고 한다. 또한 접지 전위를 고전원 전위 또는 저전원 전위로서 사용할 수도 있다. 예를 들어 고전원 전위가 접지 전위인 경우에는 저전원 전위는 접지 전위보다 낮은 전위이고, 저전원 전위가 접지 전위인 경우에는 고전원 전위는 접지 전위보다 높은 전위이다.
예를 들어, 전위 공급선(VL_a) 및 전위 공급선(VL_b) 중 한쪽에는 고전원 전위(VDD)가 공급되고, 다른 쪽에는 저전원 전위(VSS)가 공급된다.
도 17의 (A)의 화소 회로(438)를 포함하는 표시 장치에서는, 주사선 구동 회로에 의하여 각 행의 화소 회로(438)를 순차적으로 선택하여, 트랜지스터(446) 및 트랜지스터(444)를 온 상태로 하고 화상 신호를 노드(445)에 기록한다.
노드(445)에 데이터가 기록된 화소 회로(438)는 트랜지스터(446) 및 트랜지스터(444)가 오프 상태가 됨으로써 유지 상태가 된다. 또한 노드(445)에 기록된 데이터의 전위에 따라 트랜지스터(251)의 소스 전극과 드레인 전극 사이를 흐르는 전류량이 제어되고, 발광 소자(170)는 흐르는 전류량에 따른 휘도로 발광한다. 이를 행마다 순차적으로 수행함으로써, 화상을 표시할 수 있다.
도 17의 (B)에 나타낸 화소 회로(438)는 트랜지스터(446)와 용량 소자(433)를 포함한다. 또한 화소 회로(438)는 표시 소자(442)로서 기능하는 액정 소자(180)에 전기적으로 접속되어 있다.
액정 소자(180)의 한 쌍의 전극 중 한쪽의 전위는 화소 회로(438)의 사양에 따라 적절히 설정된다. 액정 소자(180)는 노드(445)에 기록되는 데이터에 따라 배향 상태가 설정된다. 또한 복수의 화소 회로(438) 각각에 포함되는 액정 소자(180)의 한 쌍의 전극 중 한쪽에, 공통 전위(코먼 전위)를 공급하여도 좋다. 또한 화소 회로(438)에 접속되는 액정 소자(180)의 한 쌍의 전극 중 한쪽에 공급되는 전위는 행마다 상이하여도 좋다.
i행 j열째의 화소 회로(438)에서, 트랜지스터(446)의 소스 전극 및 드레인 전극 중 한쪽은 신호선(SL_j)에 전기적으로 접속되고, 다른 쪽은 노드(445)에 전기적으로 접속된다. 트랜지스터(446)의 게이트 전극은 주사선(GL_i)에 전기적으로 접속된다. 트랜지스터(446)는 노드(445)에 대한 화상 신호의 기록을 제어하는 기능을 갖는다.
용량 소자(433)의 한 쌍의 전극 중 한쪽은 특정의 전위가 공급되는 배선(이하 용량선(CL))에 전기적으로 접속되고, 다른 쪽은 노드(445)에 전기적으로 접속된다. 또한 액정 소자(180)의 한 쌍의 전극 중 다른 쪽은 노드(445)에 전기적으로 접속된다. 또한 용량선(CL)의 전위의 값은 화소 회로(438)의 사양에 따라 적절히 설정된다. 용량 소자(433)는 노드(445)에 기록된 데이터를 유지하는 유지 용량으로서의 기능을 갖는다.
도 17의 (B)의 화소 회로(438)를 포함하는 표시 장치에서는, 주사선 구동 회로에 의하여 각 행의 화소 회로(438)를 순차적으로 선택하여, 트랜지스터(446)를 온 상태로 하고 노드(445)에 화상 신호를 기록한다.
노드(445)에 화상 신호가 기록된 화소 회로(438)는 트랜지스터(446)가 오프 상태가 됨으로써 유지 상태가 된다. 이를 행마다 순차적으로 수행함으로써, 표시 영역(235)에 화상을 표시할 수 있다.
<표시 장치의 구성예>
다음으로, 도 18 내지 도 21을 사용하여 표시 장치의 구성예에 대하여 설명한다.
도 18에는 컬러 필터 방식이 적용된 톱 이미션 구조의 발광 표시 장치의 단면도를 나타내었다.
도 18에 나타낸 표시 장치는 표시부(562) 및 주사선 구동 회로(564)를 포함한다.
표시부(562)에서 기판(111) 위에는 트랜지스터(251a), 트랜지스터(446a), 및 발광 소자(170) 등이 제공되어 있다. 주사선 구동 회로(564)에서 기판(111) 위에는 트랜지스터(201a) 등이 제공되어 있다.
트랜지스터(251a)는 제 1 게이트 전극으로서 기능하는 도전층(221)과, 제 1 게이트 절연층으로서 기능하는 절연층(211)과, 반도체층(231)과, 소스 전극 및 드레인 전극으로서 기능하는 도전층(222a) 및 도전층(222b)과, 제 2 게이트 전극으로서 기능하는 도전층(223)과, 제 2 게이트 절연층으로서 기능하는 절연층(225)을 포함한다. 반도체층(231)은 채널 형성 영역과 저저항 영역을 포함한다. 채널 형성 영역은 절연층(225)을 개재(介在)하여 도전층(223)과 중첩된다. 저저항 영역은 도전층(222a)에 접속되는 부분 및 도전층(222b)에 접속되는 부분을 갖는다.
트랜지스터(251a)는 채널의 상하에 게이트를 포함한다. 2개의 게이트는 전기적으로 접속되어 있는 것이 바람직하다. 2개의 게이트가 전기적으로 접속되어 있는 구성의 트랜지스터는 다른 트랜지스터와 비교하여 전계 효과 이동도를 높일 수 있어, 온 전류를 증대시킬 수 있다. 이 결과, 고속 동작이 가능한 회로를 제작할 수 있다. 또한 회로부의 점유 면적을 축소할 수 있다. 온 전류가 큰 트랜지스터를 적용함으로써, 표시 장치를 대형화 또는 고정세(高精細)화하여 배선 수가 증대하더라도, 각 배선에서의 신호 지연을 저감할 수 있고, 표시 불균일을 억제할 수 있다. 또한 회로부의 점유 면적을 축소할 수 있기 때문에, 표시 장치의 슬림 베젤화가 가능하다. 또한 이와 같은 구성을 적용함으로써, 신뢰성이 높은 트랜지스터를 실현할 수 있다.
도전층(223) 위에는 절연층(212) 및 절연층(213)이 제공되어 있고, 그 위에 도전층(222a) 및 도전층(222b)이 제공되어 있다. 트랜지스터(251a)의 구조는 도전층(221)과 도전층(222a) 또는 도전층(222b)의 물리적인 거리를 떨어지게 하는 것이 용이하기 때문에, 이들의 사이의 기생 용량을 저감할 수 있다.
표시 장치에 포함되는 트랜지스터의 구조는 특별히 한정되지 않는다. 예를 들어, 플레이너형 트랜지스터로 하여도 좋고, 스태거형 트랜지스터로 하여도 좋고, 역 스태거형 트랜지스터로 하여도 좋다. 또한 톱 게이트 구조 및 보텀 게이트 구조 중 어느 쪽의 트랜지스터 구조로 하여도 좋다. 또는 채널의 상하에 게이트 전극이 제공되어도 좋다.
트랜지스터(251a)는 반도체층(231)에 금속 산화물을 포함한다. 금속 산화물은 산화물 반도체로서 기능할 수 있다.
트랜지스터(446a) 및 트랜지스터(201a)는 트랜지스터(251a)와 같은 구성을 갖는다. 본 발명의 일 형태에서 이들 트랜지스터의 구성은 상이하여도 좋다. 주사선 구동 회로(564)에 포함되는 트랜지스터와 표시부(562)에 포함되는 트랜지스터는 같은 구조이어도 좋고, 상이한 구조이어도 좋다. 주사선 구동 회로(564)에 포함되는 트랜지스터는 모두 같은 구조이어도 좋고, 2종류 이상의 구조가 조합되어 사용되어도 좋다. 마찬가지로, 표시부(562)에 포함되는 트랜지스터는 모두 같은 구조이어도 좋고, 2종류 이상의 구조가 조합되어 사용되어도 좋다.
트랜지스터(446a)는 절연층(215)을 개재하여 발광 소자(170)와 중첩된다. 트랜지스터, 용량 소자, 및 배선 등을 발광 소자(170)의 발광 영역과 중첩시켜 배치함으로써, 표시부(562)의 개구율을 높일 수 있다.
발광 소자(170)는 화소 전극(171), EL층(172), 및 공통 전극(173)을 포함한다. 발광 소자(170)는 착색층(131) 측으로 광을 사출한다.
화소 전극(171) 및 공통 전극(173) 중 한쪽은 양극으로서 기능하고, 다른 쪽은 음극으로서 기능한다. 화소 전극(171)과 공통 전극(173) 사이에 발광 소자(170)의 문턱 전압보다 높은 전압을 인가하면, EL층(172)에 양극 측으로부터 정공이 주입되고, 음극 측으로부터 전자가 주입된다. 주입된 전자와 정공은 EL층(172)에서 재결합하고, EL층(172)에 포함되는 발광 물질이 발광한다.
화소 전극(171)은, 트랜지스터(251a)에 포함되는 도전층(222b)에 전기적으로 접속된다. 이들은 직접 접속되어도 좋고, 다른 도전층을 통하여 접속되어도 좋다. 화소 전극(171)은 화소 전극으로서 기능하고, 발광 소자(170)마다 제공되어 있다. 인접한 2개의 화소 전극(171)은 절연층(216)에 의하여 전기적으로 절연되어 있다.
EL층(172)은 발광성 물질을 포함하는 층이다.
공통 전극(173)은 공통 전극으로서 기능하고, 복수의 발광 소자(170)에 걸쳐 제공되어 있다. 공통 전극(173)에는 정전위가 공급된다.
발광 소자(170)는 접착층(174)을 개재하여 착색층(131)과 중첩된다. 절연층(216)은 접착층(174)을 개재하여 차광층(132)과 중첩된다.
발광 소자(170)에는 마이크로 캐비티 구조를 채용하여도 좋다. 컬러 필터(착색층(131))와 마이크로 캐비티 구조를 조합함으로써, 표시 장치로부터 색 순도가 높은 광을 추출할 수 있다.
착색층(131)은 특정의 파장 영역의 광을 투과시키는 유색층이다. 예를 들어, 적색, 녹색, 청색, 또는 황색의 파장 영역의 광을 투과시키는 컬러 필터 등을 사용할 수 있다. 착색층(131)에 사용할 수 있는 재료로서는 금속 재료, 수지 재료, 안료 또는 염료가 포함된 수지 재료 등을 들 수 있다.
또한 본 발명의 일 형태는 컬러 필터 방식에 한정되지 않고, 구분 형성 방식, 색 변환 방식, 또는 퀀텀닷(quantum dot) 방식 등을 적용하여도 좋다.
차광층(132)은 인접한 착색층들(131) 사이에 제공되어 있다. 차광층(132)은 인접한 발광 소자(170)로부터의 광을 차단하고, 인접한 발광 소자들(170) 사이에서의 혼색을 억제한다. 여기서, 착색층(131)의 단부를 차광층(132)과 중첩되도록 제공함으로써, 광 누설을 억제할 수 있다. 차광층(132)으로서는 발광 소자(170)로부터의 발광을 차단하는 재료를 사용할 수 있고, 예를 들어 금속 재료, 혹은 안료 또는 염료를 포함하는 수지 재료 등을 사용하여 블랙 매트릭스를 형성할 수 있다. 또한 차광층(132)을 주사선 구동 회로(564) 등의 표시부(562) 이외의 영역에 제공하면, 도파광 등으로 인한 의도하지 않은 광 누설을 억제할 수 있어 바람직하다.
기판(111)과 기판(113)은 접착층(174)에 의하여 접합되어 있다.
도전층(565)은 도전층(255) 및 접속체(242)를 통하여 FPC(162)에 전기적으로 접속된다. 도전층(565)은 트랜지스터에 포함되는 도전층과 동일한 재료 및 동일한 공정으로 형성되는 것이 바람직하다. 본 실시형태에서는, 도전층(565)이 소스 및 드레인으로서 기능하는 도전층과 동일한 재료 및 동일한 공정으로 형성되는 예를 제시한다.
접속체(242)로서는, 다양한 이방성 도전 필름(ACF: Anisotropic Conductive Film) 및 이방성 도전 페이스트(ACP: Anisotropic Conductive Paste) 등을 사용할 수 있다.
도 19에 구분 형성 방식이 적용된 보텀 이미션 구조의 발광 표시 장치의 단면도를 나타내었다.
도 19에 나타낸 표시 장치는 표시부(562) 및 주사선 구동 회로(564)를 포함한다.
표시부(562)에서 기판(111) 위에는 트랜지스터(251b) 및 발광 소자(170) 등이 제공되어 있다. 주사선 구동 회로(564)에서 기판(111) 위에는 트랜지스터(201b) 등이 제공되어 있다.
트랜지스터(251b)는 게이트 전극으로서 기능하는 도전층(221)과, 게이트 절연층으로서 기능하는 절연층(211)과, 반도체층(231)과, 소스 전극 및 드레인 전극으로서 기능하는 도전층(222a) 및 도전층(222b)을 포함한다. 절연층(216)은 하지막으로서 기능한다.
트랜지스터(251b)는 반도체층(231)에 저온 폴리실리콘(LTPS(Low Temperature Poly-Silicon))을 포함한다.
발광 소자(170)는 화소 전극(171), EL층(172), 및 공통 전극(173)을 포함한다. 발광 소자(170)는 기판(111) 측으로 광을 사출한다. 화소 전극(171)은 절연층(215)에 제공된 개구를 통하여 트랜지스터(251b)에 포함되는 도전층(222b)에 전기적으로 접속된다. EL층(172)은 발광 소자(170)마다 분리되어 제공되어 있다. 공통 전극(173)은 복수의 발광 소자(170)에 걸쳐 제공되어 있다.
발광 소자(170)는 절연층(175)에 의하여 밀봉되어 있다. 절연층(175)은 발광 소자(170)로 물 등의 불순물이 확산되는 것을 억제하는 보호층으로서 기능한다.
기판(111)과 기판(113)은 접착층(174)에 의하여 접합되어 있다.
도전층(565)은 도전층(255) 및 접속체(242)를 통하여 FPC(162)에 전기적으로 접속된다.
도 20에 횡전계 방식이 적용된 투과형 액정 표시 장치의 단면도를 나타내었다.
도 20에 나타낸 표시 장치는 표시부(562) 및 주사선 구동 회로(564)를 포함한다.
표시부(562)에서 기판(111) 위에는 트랜지스터(446c) 및 액정 소자(180) 등이 제공되어 있다. 주사선 구동 회로(564)에서 기판(111) 위에는 트랜지스터(201c) 등이 제공되어 있다.
트랜지스터(446c)는 게이트 전극으로서 기능하는 도전층(221)과, 게이트 절연층으로서 기능하는 절연층(211)과, 반도체층(231)과, 불순물 반도체층(232)과, 소스 전극 및 드레인 전극으로서 기능하는 도전층(222a) 및 도전층(222b)을 포함한다. 트랜지스터(446c)는 절연층(212)으로 덮여 있다.
트랜지스터(446c)는 반도체층(231)에 비정질 실리콘을 포함한다.
액정 소자(180)는 FFS(Fringe Field Switching) 모드가 적용된 액정 소자이다. 액정 소자(180)는 화소 전극(181), 공통 전극(182), 및 액정층(183)을 포함한다. 화소 전극(181)과 공통 전극(182) 사이에 발생되는 전계에 의하여 액정층(183)의 배향을 제어할 수 있다. 액정층(183)은 배향막(133a)과 배향막(133b) 사이에 위치한다. 화소 전극(181)은 절연층(215)에 제공된 개구를 통하여 트랜지스터(446c)에 포함되는 도전층(222b)에 전기적으로 접속된다. 공통 전극(182)은 빗살 형상의 상면 형상(평면 형상이라고도 함), 또는 슬릿이 제공된 상면 형상을 가져도 좋다. 공통 전극(182)에는 하나 또는 복수의 개구를 제공할 수 있다.
화소 전극(181)과 공통 전극(182) 사이에는 절연층(220)이 제공되어 있다. 화소 전극(181)은 절연층(220)을 재개하여 공통 전극(182)과 중첩되는 부분을 갖는다. 또한 화소 전극(181)과 착색층(131)이 중첩되는 영역에서, 화소 전극(181) 위에 공통 전극(182)이 배치되지 않은 부분을 갖는다.
액정층(183)과 접하는 배향막을 제공하는 것이 바람직하다. 배향막은 액정층(183)의 배향을 제어할 수 있다.
백라이트 유닛(552)으로부터의 광은 기판(111), 화소 전극(181), 공통 전극(182), 액정층(183), 착색층(131), 및 기판(113)을 통하여 표시 장치 외부로 사출된다. 백라이트 유닛(552)의 광이 투과되는 이들 층의 재료에는 가시광을 투과시키는 재료를 사용한다.
착색층(131) 및 차광층(132)과 액정층(183) 사이에는 오버코트(121)를 제공하는 것이 바람직하다. 오버코트(121)는 착색층(131) 및 차광층(132) 등에 포함되는 불순물이 액정층(183)으로 확산되는 것을 억제할 수 있다.
기판(111)과 기판(113)은 접착층(141)에 의하여 접합되어 있다. 기판(111), 기판(113), 접착층(141)으로 둘러싸인 영역에 액정층(183)이 밀봉되어 있다.
표시 장치의 표시부(562)를 끼우도록 편광판(125a) 및 편광판(125b)이 배치되어 있다. 편광판(125a)보다 외측에 배치된 백라이트 유닛(552)으로부터의 광은 편광판(125a)을 통하여 표시 장치에 입사한다. 이때, 화소 전극(181)과 공통 전극(182) 사이에 공급되는 전압에 의하여 액정층(183)의 배향을 제어하여, 광의 광학 변조를 제어할 수 있다. 즉, 편광판(125b)을 통하여 사출되는 광의 강도를 제어할 수 있다. 또한 입사광은 착색층(131)에 의하여 특정의 파장 영역 이외의 광이 흡수되므로, 사출되는 광은 예를 들어 적색, 청색, 또는 녹색을 나타내는 광이 된다.
도전층(565)은 도전층(255) 및 접속체(242)를 통하여 FPC(162)에 전기적으로 접속된다.
도 21에 종전계 방식이 적용된 투과형 액정 표시 장치의 단면도를 나타내었다.
도 21에 나타낸 표시 장치는 표시부(562) 및 주사선 구동 회로(564)를 포함한다.
표시부(562)에서 기판(111) 위에는 트랜지스터(446d) 및 액정 소자(180) 등이 제공되어 있다. 주사선 구동 회로(564)에서 기판(111) 위에는 트랜지스터(201d) 등이 제공되어 있다. 도 21에 나타낸 표시 장치에서는 착색층(131)이 기판(111) 측에 제공되어 있다. 이에 의하여 기판(113) 측의 구성을 간략화할 수 있다.
트랜지스터(446d)는 게이트 전극으로서 기능하는 도전층(221)과, 게이트 절연층으로서 기능하는 절연층(211)과, 반도체층(231)과, 소스 전극 및 드레인 전극으로서 기능하는 도전층(222a) 및 도전층(222b)을 포함한다. 트랜지스터(446d)는 절연층(217) 및 절연층(218)으로 덮여 있다.
트랜지스터(446d)는 반도체층(231)에 금속 산화물을 포함한다.
액정 소자(180)는 화소 전극(181), 공통 전극(182), 및 액정층(183)을 포함한다. 액정층(183)은 화소 전극(181)과 공통 전극(182) 사이에 위치한다. 배향막(133a)은 화소 전극(181)과 접하여 제공되어 있다. 배향막(133b)은 공통 전극(182)과 접하여 제공되어 있다. 화소 전극(181)은 절연층(215)에 제공된 개구를 통하여 트랜지스터(446d)에 포함되는 도전층(222b)에 전기적으로 접속된다.
백라이트 유닛(552)으로부터의 광은 기판(111), 착색층(131), 화소 전극(181), 액정층(183), 공통 전극(182), 및 기판(113)을 통하여 표시 장치 외부로 사출된다. 백라이트 유닛(552)의 광이 투과되는 이들 층의 재료에는 가시광을 투과시키는 재료를 사용한다.
차광층(132)과 공통 전극(182) 사이에는 오버코트(121)가 제공되어 있다.
기판(111)과 기판(113)은 접착층(141)에 의하여 접합되어 있다. 기판(111), 기판(113), 접착층(141)으로 둘러싸인 영역에 액정층(183)이 밀봉되어 있다.
표시 장치의 표시부(562)를 끼우도록 편광판(125a) 및 편광판(125b)이 배치되어 있다.
도전층(565)은 도전층(255) 및 접속체(242)를 통하여 FPC(162)에 전기적으로 접속된다.
<트랜지스터의 구성예>
다음으로 도 22 내지 도 24를 사용하여, 도 18 내지 도 21에 나타낸 구성과는 상이한 트랜지스터의 구성예에 대하여 설명한다.
도 22의 (A) 내지 (C) 및 도 23의 (A) 내지 (D)에는 반도체층(432)에 금속 산화물을 포함하는 트랜지스터를 나타내었다. 반도체층(432)에 금속 산화물을 사용함으로써, 화상에 변화가 없는 기간 또는 변화가 일정 이하인 기간에 화상 신호의 갱신 빈도를 매우 낮게 설정할 수 있으므로, 소비전력의 삭감을 도모할 수 있다.
각 트랜지스터는 절연 표면(411) 위에 제공되어 있다. 각 트랜지스터는 게이트 전극으로서 기능하는 도전층(431)과, 게이트 절연층으로서 기능하는 절연층(434)과, 반도체층(432)과, 소스 전극 및 드레인 전극으로서 기능하는 한 쌍의 도전층(433a) 및 도전층(433b)을 포함한다. 반도체층(432)에서 도전층(431)과 중첩되는 부분은 채널 형성 영역으로서 기능한다. 반도체층(432)과 도전층(433a) 또는 도전층(433b)은 접하여 제공된다.
도 22의 (A)에 나타낸 트랜지스터는 반도체층(432)의 채널 형성 영역 위에 절연층(484)을 포함한다. 절연층(484)은 도전층(433a) 및 도전층(433b)을 에칭할 때의 에칭 스토퍼로서 기능한다.
도 22의 (B)에 나타낸 트랜지스터는 절연층(484)이 반도체층(432)을 덮어 절연층(434) 위로 연장되는 구성을 갖는다. 이 경우, 도전층(433a) 및 도전층(433b)은 절연층(484)에 제공된 개구를 통하여 반도체층(432)에 접속된다.
도 22의 (C)에 나타낸 트랜지스터는 절연층(485) 및 도전층(486)을 포함한다. 절연층(485)은 반도체층(432), 도전층(433a), 도전층(433b)을 덮어 제공되어 있다. 또한 도전층(486)은 절연층(485) 위에 제공되고, 반도체층(432)과 중첩되는 영역을 포함한다.
도전층(486)은 반도체층(432)을 개재하여 도전층(431)과는 반대 측에 위치한다. 도전층(431)을 제 1 게이트 전극으로 한 경우, 도전층(486)은 제 2 게이트 전극으로서 기능할 수 있다. 도전층(431)과 도전층(486)에 같은 전위를 공급함으로써, 트랜지스터의 온 전류를 높일 수 있다. 또한 도전층(431)과 도전층(486) 중 한쪽에 문턱 전압을 제어하기 위한 전위를 공급하고, 다른 쪽에 구동을 위한 전위를 공급함으로써, 트랜지스터의 문턱 전압을 제어할 수 있다.
도 23의 (A)는 트랜지스터(200a)의 채널 길이 방향의 단면도이고, 도 23의 (B)는 트랜지스터(200a)의 채널 폭 방향의 단면도이다.
트랜지스터(200a)는 도 21에 나타낸 트랜지스터(201d)의 변형예이다.
트랜지스터(200a)는 트랜지스터(201d)와 비교하여 반도체층(432)이 상이하다.
트랜지스터(200a)에서 반도체층(432)은 절연층(434) 위의 반도체층(432_1)과, 반도체층(432_1) 위의 반도체층(432_2)을 포함한다.
반도체층(432_1) 및 반도체층(432_2)은 같은 원소를 포함하는 것이 바람직하다. 반도체층(432_1) 및 반도체층(432_2)은 각각 In과, M(M은 Ga, Al, Y, 또는 Sn)과, Zn을 포함하는 것이 바람직하다.
반도체층(432_1) 및 반도체층(432_2)은 각각 In의 원자수비가 M의 원자수비보다 많은 영역을 포함하는 것이 바람직하다. 일례로서는, 반도체층(432_1) 및 반도체층(432_2)의 In, M, 및 Zn의 원자수비를 In:M:Zn=4:2:3 또는 그 근방으로 하는 것이 바람직하다. 여기서 근방이란, In이 4인 경우, M이 1.5 이상 2.5 이하이고, 또한 Zn이 2 이상 4 이하임을 포함한다. 또는 반도체층(432_1) 및 반도체층(432_2)의 In, M, 및 Zn의 원자수비를 In:M:Zn=5:1:6 또는 그 근방으로 하는 것이 바람직하다. 이와 같이 반도체층(432_1) 및 반도체층(432_2)을 실질적으로 같은 조성으로 함으로써, 같은 스퍼터링 타깃을 사용하여 형성할 수 있기 때문에 제조 비용을 억제할 수 있다. 또한 같은 스퍼터링 타깃을 사용하는 경우, 동일 체임버에 있어서 진공 중에서 연속적으로 반도체층(432_1) 및 반도체층(432_2)을 성막할 수 있기 때문에, 반도체층(432_1)과 반도체층(432_2)의 계면에 불순물이 들어가는 것을 억제할 수 있다.
반도체층(432_1)은 반도체층(432_2)보다 결정성이 낮은 영역을 포함하여도 좋다. 또한 반도체층(432_1) 및 반도체층(432_2)의 결정성은, 예를 들어 X선 회절(XRD: X-Ray Diffraction)을 사용하여 분석하거나, 또는 투과형 전자 현미경(TEM: Transmission Electron Microscope)을 사용하여 분석함으로써 해석할 수 있다.
반도체층(432_1)에서 결정성이 낮은 영역이 과잉 산소의 확산 경로가 되어, 반도체층(432_1)보다 결정성이 높은 반도체층(432_2)으로도 과잉 산소를 확산시킬 수 있다. 이와 같이 결정 구조가 상이한 반도체층을 적층 구조로 하고, 결정성이 낮은 영역을 과잉 산소의 확산 경로로 함으로써, 신뢰성이 높은 트랜지스터를 제공할 수 있다.
또한 반도체층(432_2)이 반도체층(432_1)보다 결정성이 높은 영역을 포함함으로써, 반도체층(432)에 혼입될 수 있는 불순물을 억제할 수 있다. 특히, 반도체층(432_2)의 결정성을 높임으로써, 도전층(433a) 및 도전층(433b)을 형성할 때의 대미지를 억제할 수 있다. 반도체층(432)의 표면, 즉 반도체층(432_2)의 표면은 도전층(433a) 및 도전층(433b)을 에칭에 의하여 형성할 때 에천트 또는 에칭 가스에 노출된다. 그러나 반도체층(432_2)은 결정성이 높은 영역을 포함하는 경우, 결정성이 낮은 반도체층(432_1)과 비교하여 에칭 내성이 우수하다. 따라서 반도체층(432_2)은 에칭 스토퍼로서의 기능을 갖는다.
반도체층(432_1)은 반도체층(432_2)보다 결정성이 낮은 영역을 포함함으로써, 캐리어 밀도가 높아지는 경우가 있다.
반도체층(432_1)의 캐리어 밀도가 높아지면, 반도체층(432_1)의 전도대에 대하여 페르미 준위가 상대적으로 높아지는 경우가 있다. 이에 의하여 반도체층(432_1)의 전도대 하단이 낮아져, 반도체층(432_1)의 전도대 하단과 게이트 절연층(여기서는 절연층(434)) 내에 형성될 수 있는 트랩 준위와의 에너지 차이가 커지는 경우가 있다. 상기 에너지 차이가 커짐으로써, 게이트 절연층 내에 트랩되는 전하가 적어지고, 트랜지스터의 문턱 전압의 변동을 작게 할 수 있는 경우가 있다. 또한 반도체층(432_1)의 캐리어 밀도가 높아지면, 반도체층(432)의 전계 효과 이동도를 높일 수 있다.
또한 트랜지스터(200a)에서 반도체층(432)을 2층의 적층 구조로 하는 예를 나타내었지만, 이에 한정되지 않고 3층 이상 적층하는 구성으로 하여도 좋다.
또한 도전층(433a) 및 도전층(433b) 위에 제공된 절연층(436)의 구성에 대하여 설명한다.
트랜지스터(200a)에서 절연층(436)은 절연층(436a)과, 절연층(436a) 위의 절연층(436b)을 포함한다. 절연층(436a)은 반도체층(432)에 산소를 공급하는 기능과, 불순물(대표적으로는 물, 수소 등)이 들어가는 것을 억제하는 기능을 갖는다. 절연층(436a)으로서는 산화 알루미늄막, 산화질화 알루미늄막, 또는 질화산화 알루미늄막을 사용할 수 있다. 특히, 절연층(436a)은 반응성 스퍼터링법에 의하여 형성되는 산화 알루미늄막인 것이 바람직하다. 또한 반응성 스퍼터링법에 의하여 산화 알루미늄막을 형성하는 방법의 일례로서는, 이하에서 제시하는 방법을 들 수 있다.
우선, 스퍼터링 체임버 내에 불활성 가스(대표적으로는 Ar 가스)와 산소 가스를 혼합시킨 가스를 도입한다. 이어서, 스퍼터링 체임버에 배치된 알루미늄 타깃에 전압을 인가함으로써, 산화 알루미늄막을 성막할 수 있다. 또한 알루미늄 타깃에 전압을 인가하는 전원으로서는 DC 전원, AC 전원, 또는 RF 전원을 들 수 있다. 특히, DC 전원을 사용하면 생산성이 향상되므로 바람직하다.
절연층(436b)은 불순물(대표적으로는 물, 수소 등)이 들어가는 것을 억제하는 기능을 갖는다. 절연층(436b)으로서는 질화 실리콘막, 질화산화 실리콘막, 산화질화 실리콘막을 사용할 수 있다. 특히, 절연층(436b)으로서는 PECVD법에 의하여 형성되는 질화 실리콘막이 바람직하다. PECVD법에 의하여 형성되는 질화 실리콘막은 높은 막 밀도를 얻기 쉬우므로 바람직하다. 또한 PECVD법에 의하여 형성되는 질화 실리콘막은 막 내의 수소 농도가 높은 경우가 있다.
트랜지스터(200a)에서 절연층(436b)의 아래층에는 절연층(436a)이 배치되어 있기 때문에, 절연층(436b)에 포함되는 수소가 반도체층(432) 측으로 확산되지 않거나, 또는 확산되기 어렵다.
또한 트랜지스터(200a)는 싱글 게이트 트랜지스터이다. 싱글 게이트 트랜지스터로 함으로써 마스크 수를 저감할 수 있기 때문에, 생산성을 높일 수 있다.
도 23의 (C)는 트랜지스터(200b)의 채널 길이 방향의 단면도이고, 도 23의 (D)는 트랜지스터(200b)의 채널 폭 방향의 단면도이다.
트랜지스터(200b)는 도 22의 (B)에 나타낸 트랜지스터의 변형예이다.
트랜지스터(200b)는 도 22의 (B)에 나타낸 트랜지스터와 비교하여 반도체층(432) 및 절연층(484)의 구성이 상이하다. 구체적으로 트랜지스터(200b)는 반도체층(432)이 2층 구조이고, 절연층(484) 대신에 절연층(484a)을 포함한다. 또한 트랜지스터(200b)는 절연층(436b) 및 도전층(486)을 포함한다.
절연층(484a)은 상기 절연층(436a)과 같은 기능을 갖는다.
개구부(453)에서는 절연층(434), 절연층(484a), 및 절연층(436b)에 개구가 제공되어 있다. 도전층(486)은 개구부(453)를 통하여 도전층(431)에 전기적으로 접속된다.
트랜지스터(200a) 및 트랜지스터(200b)를 도 23에 나타낸 구조로 하면, 큰 설비 투자를 수행하지 않고 기존의 생산 라인을 사용하여 제조할 수 있다. 예를 들어, 수소화 비정질 실리콘의 제조 공장을 산화물 반도체의 제조 공장으로 간이하게 치환할 수 있다.
도 24의 (A) 내지 (F)에 반도체층에 실리콘을 포함하는 트랜지스터를 나타내었다.
각 트랜지스터는 절연 표면(411) 위에 제공되어 있다. 각 트랜지스터는 게이트 전극으로서 기능하는 도전층(431)과, 게이트 절연층으로서 기능하는 절연층(434)과, 반도체층(432) 및 반도체층(432p) 중 한쪽 또는 양쪽과, 소스 전극 및 드레인 전극으로서 기능하는 한 쌍의 도전층(433a) 및 도전층(433b)과, 불순물 반도체층(435)을 포함한다. 반도체층에서 도전층(431)과 중첩되는 부분은 채널 형성 영역으로서 기능한다. 반도체층과 도전층(433a) 또는 도전층(433b)은 접하여 제공된다.
도 24의 (A)에 나타낸 트랜지스터는 보텀 게이트·채널 에치 구조의 트랜지스터이다. 반도체층(432)과 도전층(433a) 및 도전층(433b) 사이에 불순물 반도체층(435)이 포함된다.
도 24의 (A)에 나타낸 트랜지스터는 반도체층(432)과 불순물 반도체층(435) 사이에 반도체층(437)이 포함된다.
반도체층(437)은 반도체층(432)과 같은 반도체막으로 형성되어도 좋다. 반도체층(437)은, 불순물 반도체층(435)을 에칭할 때 반도체층(432)이 에칭에 의하여 소실되는 것을 방지하기 위한 에칭 스토퍼로서 기능할 수 있다. 또한 도 24의 (A)에는 반도체층(437)이 좌우로 분리된 예를 나타내었지만, 반도체층(437)의 일부가 반도체층(432)의 채널 형성 영역을 덮어도 좋다.
또한 반도체층(437)에는 불순물 반도체층(435)보다 저농도의 불순물이 포함되어도 좋다. 이로써, 반도체층(437)을 LDD(Lightly Doped Drain) 영역으로서 기능시킬 수 있어, 트랜지스터를 구동시켰을 때의 핫 캐리어 열화를 억제할 수 있다.
도 24의 (B)에 나타낸 트랜지스터는 반도체층(432)의 채널 형성 영역 위에 절연층(484)이 제공되어 있다. 절연층(484)은 불순물 반도체층(435)을 에칭할 때의 에칭 스토퍼로서 기능한다.
도 24의 (C)에 나타낸 트랜지스터는 반도체층(432) 대신에 반도체층(432p)을 포함한다. 반도체층(432p)은 결정성이 높은 반도체막을 포함한다. 예를 들어 반도체층(432p)은 다결정 반도체 또는 단결정 반도체를 포함한다. 이로써, 전계 효과 이동도가 높은 트랜지스터로 할 수 있다.
도 24의 (D)에 나타낸 트랜지스터는 반도체층(432)의 채널 형성 영역에 반도체층(432p)을 포함한다. 예를 들어 도 24의 (D)에 나타낸 트랜지스터는, 반도체층(432)이 되는 반도체막에 대하여 레이저 광 등을 조사하여 상기 반도체막을 국소적으로 결정화함으로써 형성할 수 있다. 이로써, 전계 효과 이동도가 높은 트랜지스터를 실현할 수 있다.
도 24의 (E)에 나타낸 트랜지스터는, 도 24의 (A)에 나타낸 트랜지스터의 반도체층(432)의 채널 형성 영역에 결정성 반도체층(432p)을 포함한다.
도 24의 (F)에 나타낸 트랜지스터는, 도 24의 (B)에 나타낸 트랜지스터의 반도체층(432)의 채널 형성 영역에 결정성 반도체층(432p)을 포함한다.
[반도체층에 대하여]
본 발명의 일 형태에 개시되는 트랜지스터에 사용하는 반도체 재료의 결정성은 특별히 한정되지 않고, 비정질 반도체, 결정성을 갖는 반도체(미결정 반도체, 다결정 반도체, 단결정 반도체, 또는 일부에 결정 영역을 갖는 반도체) 중 어느 것을 사용하여도 좋다. 결정성을 갖는 반도체를 사용하면, 트랜지스터 특성의 열화를 억제할 수 있어 바람직하다.
트랜지스터에 사용하는 반도체 재료로서는 에너지 갭이 2eV 이상, 바람직하게는 2.5eV 이상, 더 바람직하게는 3eV 이상인 금속 산화물을 사용할 수 있다. 대표적으로는 인듐을 포함하는 금속 산화물 등이고, 예를 들어 후술하는 CAC-OS 등을 사용할 수 있다.
실리콘보다 밴드 갭이 넓고, 또한 캐리어 밀도가 작은 금속 산화물을 사용한 트랜지스터는 오프 전류가 낮기 때문에, 트랜지스터에 직렬로 접속된 용량 소자에 축적된 전하가 장기간에 걸쳐 유지될 수 있다.
반도체층은 예를 들어 인듐, 아연, 및 M(알루미늄, 타이타늄, 갈륨, 저마늄, 이트륨, 지르코늄, 란타넘, 세륨, 주석, 네오디뮴, 또는 하프늄 등의 금속)을 포함하는 In-M-Zn계 산화물로 표기되는 막으로 할 수 있다.
반도체층을 구성하는 금속 산화물이 In-M-Zn계 산화물인 경우, In-M-Zn 산화물을 성막하기 위하여 사용되는 스퍼터링 타깃의 금속 원소의 원자수비는 In≥M, Zn≥M을 만족시키는 것이 바람직하다. 이러한 스퍼터링 타깃의 금속 원소의 원자수비로서는, In:M:Zn=1:1:1, In:M:Zn=1:1:1.2, In:M:Zn=3:1:2, In:M:Zn=4:2:3, In:M:Zn=4:2:4.1, In:M:Zn=5:1:6, In:M:Zn=5:1:7, In:M:Zn=5:1:8 등이 바람직하다. 또한 성막되는 반도체층의 금속 원소의 원자수비는 각각 상기 스퍼터링 타깃에 포함되는 금속 원소의 원자수비의 ±40%의 변동을 포함한다.
또한 트랜지스터에 사용하는 반도체 재료로서는, 예를 들어 실리콘을 사용할 수 있다. 실리콘으로서는 특히 비정질 실리콘을 사용하는 것이 바람직하다. 비정질 실리콘을 사용하면, 대형 기판 위에 좋은 수율로 트랜지스터를 형성할 수 있어, 양산성을 높일 수 있다.
또한 미결정 실리콘, 다결정 실리콘, 단결정 실리콘 등의 결정성을 갖는 실리콘을 사용할 수도 있다. 특히, 다결정 실리콘은 단결정 실리콘에 비하여 저온에서 형성할 수 있고, 또한 비정질 실리콘에 비하여 높은 전계 효과 이동도와 높은 신뢰성을 갖는다.
본 실시형태는 다른 실시형태의 기재와 적절히 조합할 수 있다.
(실시형태 4)
<CAC-OS의 구성>
이하에서는 본 발명의 일 형태에 개시되는 트랜지스터에 사용할 수 있는 CAC(Cloud-Aligned Composite)-OS의 구성에 대하여 설명한다.
CAC-OS란 예를 들어 산화물 반도체를 구성하는 원소가 0.5nm 이상 10nm 이하, 바람직하게는 1nm 이상 2nm 이하, 또는 그 근방의 크기로 편재(偏在)한 재료의 한 구성이다. 또한 이하에서는, 산화물 반도체에서 하나 또는 그 이상의 금속 원소가 편재하고, 상기 금속 원소를 포함하는 영역이 0.5nm 이상 10nm 이하, 바람직하게는 1nm 이상 2nm 이하, 또는 그 근방의 크기로 혼합된 상태를 모자이크 패턴 또는 패치 패턴이라고도 한다.
또한 산화물 반도체는 적어도 인듐을 포함하는 것이 바람직하다. 특히, 인듐 및 아연을 포함하는 것이 바람직하다. 또한 이들에 더하여, 알루미늄, 갈륨, 이트륨, 구리, 바나듐, 베릴륨, 붕소, 실리콘, 타이타늄, 철, 니켈, 저마늄, 지르코늄, 몰리브데넘, 란타넘, 세륨, 네오디뮴, 하프늄, 탄탈럼, 텅스텐, 또는 마그네슘 등 중에서 선택된 1종류 또는 복수 종류의 원소가 포함되어도 좋다.
예를 들어, In-Ga-Zn 산화물에서의 CAC-OS(CAC-OS 중에서도 In-Ga-Zn 산화물을 특히 CAC-IGZO라고 하여도 좋음)란, 인듐 산화물(이하 InOX1(X1은 0보다 큰 실수(實數))로 함) 또는 인듐 아연 산화물(이하 InX2ZnY2OZ2(X2, Y2, 및 Z2는 0보다 큰 실수)로 함) 등과, 갈륨 산화물(이하 GaOX3(X3은 0보다 큰 실수)으로 함) 또는 갈륨 아연 산화물(이하 GaX4ZnY4OZ4(X4, Y4, 및 Z4는 0보다 큰 실수)로 함) 등으로 재료가 분리됨으로써 모자이크 패턴이 되고, 모자이크 패턴의 InOX1 또는 InX2ZnY2OZ2가 막 내에 균일하게 분포된 구성(이하 클라우드상이라고도 함)이다.
즉, CAC-OS는 GaOX3이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역이 혼합된 구성을 갖는 복합 산화물 반도체이다. 또한 본 명세서에서 예를 들어 제 1 영역의 원소 M에 대한 In의 원자수비가 제 2 영역의 원소 M에 대한 In의 원자수비보다 큰 것을 "제 1 영역은 제 2 영역과 비교하여 In의 농도가 높다"라고 한다.
또한 IGZO는 통칭이며, In, Ga, Zn, 및 O로 이루어진 하나의 화합물을 말하는 경우가 있다. 대표적인 예로서는, InGaO3(ZnO)m1(m1은 자연수)로 나타내어지는 결정성 화합물 또는 In(1+x0)Ga(1-x0)O3(ZnO)m0(-1≤x0≤1, m0은 임의의 수)으로 나타내어지는 결정성 화합물을 들 수 있다.
상기 결정성 화합물은 단결정 구조, 다결정 구조, 또는 CAAC(C Axis Aligned Crystalline) 구조를 갖는다. 또한 CAAC 구조는 복수의 IGZO의 나노 결정이 c축 배향을 갖고, 또한 a-b면에서는 배향되지 않고 연결된 결정 구조이다.
한편, CAC-OS는 산화물 반도체의 재료 구성에 관한 것이다. CAC-OS란 In, Ga, Zn, 및 O를 포함한 재료 구성에서, 일부에 Ga을 주성분으로 하는 나노 입자상으로 관찰되는 영역과, 일부에 In을 주성분으로 하는 나노 입자상으로 관찰되는 영역이 각각 모자이크 패턴으로 무작위로 분산되는 구성을 말한다. 따라서 CAC-OS에서 결정 구조는 부차적인 요소이다.
또한 CAC-OS는 조성이 상이한 2종류 이상의 막의 적층 구조를 포함하지 않는 것으로 한다. 예를 들어, In을 주성분으로 하는 막과, Ga을 주성분으로 하는 막의 2층으로 이루어진 구조를 포함하지 않는다.
또한 GaOX3이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역에서는, 명확한 경계를 관찰할 수 없는 경우가 있다.
또한 갈륨 대신에 알루미늄, 이트륨, 구리, 바나듐, 베릴륨, 붕소, 실리콘, 타이타늄, 철, 니켈, 저마늄, 지르코늄, 몰리브데넘, 란타넘, 세륨, 네오디뮴, 하프늄, 탄탈럼, 텅스텐, 또는 마그네슘 등 중에서 선택된 1종류 또는 복수 종류가 포함되는 경우, CAC-OS란 일부에 상기 금속 원소를 주성분으로 하는 나노 입자상으로 관찰되는 영역과, 일부에 In을 주성분으로 하는 나노 입자상으로 관찰되는 영역이 각각 모자이크 패턴으로 무작위로 분산되는 구성을 말한다.
CAC-OS는 예를 들어 기판을 의도적으로 가열하지 않는 조건에서 스퍼터링법에 의하여 형성할 수 있다. 또한 CAC-OS를 스퍼터링법에 의하여 형성하는 경우, 성막 가스로서 불활성 가스(대표적으로는 아르곤), 산소 가스, 및 질소 가스 중에서 선택된 어느 하나 또는 복수를 사용하면 좋다. 또한 성막 시의 성막 가스의 총유량에 대한 산소 가스의 유량비는 낮을수록 바람직하고, 예를 들어 산소 가스의 유량비를 0% 이상 30% 미만, 바람직하게는 0% 이상 10% 이하로 하는 것이 바람직하다.
CAC-OS는 X선 회절(XRD: X-ray diffraction) 측정법의 하나인 Out-of-plane법에 의한 θ/2θ 스캔을 사용하여 측정하였을 때 명확한 피크가 관찰되지 않는다는 특징을 갖는다. 즉, X선 회절로부터 측정 영역의 a-b면 방향 및 c축 방향의 배향은 보이지 않는다는 것을 알 수 있다.
또한 CAC-OS는 프로브 직경이 1nm인 전자선(나노 빔 전자선이라고도 함)을 조사함으로써 얻어지는 전자선 회절 패턴에서, 링 형상으로 휘도가 높은 영역이 관측되고, 상기 링 영역에 복수의 휘점이 관측된다. 따라서 전자선 회절 패턴으로부터 CAC-OS의 결정 구조는 평면 방향 및 단면 방향에서 배향성을 갖지 않는 nc(nano-crystal) 구조를 갖는다는 것을 알 수 있다.
또한 예를 들어 In-Ga-Zn 산화물에서의 CAC-OS에서는, 에너지 분산형 X선 분광법(EDX: Energy Dispersive X-ray spectroscopy)을 사용하여 취득한 EDX 매핑으로부터, GaOX3이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역이 편재하고 혼합되어 있는 구조를 갖는다는 것을 확인할 수 있다.
CAC-OS는 금속 원소가 균일하게 분포된 IGZO 화합물과는 상이한 구조이고, IGZO 화합물과 상이한 성질을 갖는다. 즉, CAC-OS는 GaOX3 등이 주성분인 영역과, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역으로 서로 상분리(相分離)되어, 각 원소를 주성분으로 하는 영역이 모자이크 패턴인 구조를 갖는다.
여기서, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역은 GaOX3 등이 주성분인 영역과 비교하여 도전성이 높은 영역이다. 즉, InX2ZnY2OZ2 또는 InOX1이 주성분인 영역을 캐리어가 흐름으로써, 산화물 반도체로서의 도전성이 발현된다. 따라서 InX2ZnY2OZ2 또는 InOX1이 주성분인 영역이 산화물 반도체 내에 클라우드상으로 분포됨으로써, 높은 전계 효과 이동도(μ)를 실현할 수 있다.
한편, GaOX3 등이 주성분인 영역은 InX2ZnY2OZ2 또는 InOX1이 주성분인 영역과 비교하여 절연성이 높은 영역이다. 즉, GaOX3 등이 주성분인 영역이 산화물 반도체 내에 분포됨으로써 누설 전류가 억제되어 양호한 스위칭 동작을 실현할 수 있다.
따라서 CAC-OS를 반도체 소자에 사용한 경우, GaOX3 등에 기인하는 절연성과, InX2ZnY2OZ2 또는 InOX1에 기인하는 도전성이 상보적으로 작용함으로써, 높은 온 전류(Ion) 및 높은 전계 효과 이동도(μ)를 실현할 수 있다.
또한 CAC-OS를 사용한 반도체 소자는 신뢰성이 높다. 따라서 CAC-OS는 디스플레이를 비롯한 각종 반도체 장치에 최적이다.
본 실시형태는 다른 실시형태의 기재와 적절히 조합할 수 있다.
(실시형태 5)
본 실시형태에서는, 본 발명의 일 형태의 전자 기기에 대하여 도 25를 사용하여 설명한다.
본 실시형태의 전자 기기는 본 발명의 일 형태의 화상 처리 방법에 의하여 동작하는 반도체 장치를 포함한다. 이로써, 전자 기기의 표시부는 고화질의 화상을 표시할 수 있다.
본 실시형태의 전자 기기의 표시부에는, 예를 들어 풀 하이비전, 2K, 4K, 8K, 16K, 또는 그 이상의 해상도를 갖는 화상을 표시할 수 있다. 또한 표시부의 화면 크기는 대각선 20인치 이상, 대각선 30인치 이상, 대각선 50인치 이상, 대각선 60인치 이상, 또는 대각선 70인치 이상으로 할 수 있다.
전자 기기로서는, 예를 들어 텔레비전 장치, 데스크톱형 또는 노트북형 퍼스널 컴퓨터, 컴퓨터용 등의 모니터, 디지털 사이니지(Digital Signage: 전자 간판), 파친코기 등의 대형 게임기 등 비교적 큰 화면을 갖는 전자 기기 외에, 디지털 카메라, 디지털 비디오 카메라, 디지털 액자, 휴대 전화기, 휴대용 게임기, 휴대 정보 단말기, 음향 재생 장치 등을 들 수 있다.
본 발명의 일 형태의 전자 기기는 안테나를 포함하여도 좋다. 안테나로 신호를 수신함으로써, 표시부에서 화상이나 정보 등의 표시를 수행할 수 있다. 또한 전자 기기가 안테나 및 이차 전지를 포함하는 경우, 안테나를 비접촉 전력 전송에 사용하여도 좋다.
본 발명의 일 형태의 전자 기기는 센서(힘, 변위, 위치, 속도, 가속도, 각속도, 회전수, 거리, 광, 액체, 자기, 온도, 화학 물질, 음성, 시간, 경도, 전기장, 전류, 전압, 전력, 방사선, 유량, 습도, 경사도, 진동, 냄새, 또는 적외선을 측정하는 기능을 갖는 것)를 포함하여도 좋다.
본 발명의 일 형태의 전자 기기는 다양한 기능을 가질 수 있다. 예를 들어, 다양한 정보(정지 화상, 동영상, 텍스트 화상 등)를 표시부에 표시하는 기능, 터치 패널 기능, 달력, 날짜, 또는 시각 등을 표시하는 기능, 다양한 소프트웨어(프로그램)를 실행하는 기능, 무선 통신 기능, 기록 매체에 기록된 프로그램 또는 데이터를 판독하는 기능 등을 가질 수 있다.
도 25의 (A)에 텔레비전 장치의 일례를 나타내었다. 텔레비전 장치(7100)는 하우징(7101)에 표시부(7000)가 제공되어 있다. 여기서는 스탠드(7103)에 의하여 하우징(7101)을 지지한 구성을 나타내었다.
텔레비전 장치(7100)에 본 발명의 일 형태의 화상 처리 방법에 의하여 동작하는 반도체 장치를 적용함으로써, 표시부(7000)는 고화질의 화상을 표시할 수 있다.
도 25의 (A)에 나타낸 텔레비전 장치(7100)의 조작은 하우징(7101)에 제공된 조작 스위치나, 별체의 리모트 컨트롤러(7111)에 의하여 수행할 수 있다. 또는 표시부(7000)에 터치 센서를 포함하여도 좋고, 손가락 등으로 표시부(7000)를 터치함으로써 조작하여도 좋다. 리모트 컨트롤러(7111)는 상기 리모트 컨트롤러(7111)로부터 출력되는 정보를 표시하는 표시부를 가져도 좋다. 리모트 컨트롤러(7111)가 갖는 조작 키 또는 터치 패널에 의하여, 채널 및 음량을 조작할 수 있고 표시부(7000)에 표시되는 화상을 조작할 수 있다.
또한 텔레비전 장치(7100)는 수신기 및 모뎀 등을 갖는 구성으로 한다. 수신기에 의하여 일반적인 텔레비전 방송을 수신할 수 있다. 또한 모뎀을 통하여 유선 또는 무선으로 통신 네트워크에 접속함으로써, 한 방향(송신자로부터 수신자) 또는 쌍방향(송신자와 수신자 사이, 또는 수신자끼리 등)의 정보 통신을 수행할 수도 있다.
또한 텔레비전 장치(7100)는 블루레이 플레이어 또는 DVD 플레이어 등의 플레이어(7120)를 갖는 구성으로 하여도 좋다. 플레이어(7120)는 트레이(7121) 및 조작 스위치(7122)를 포함한다. 트레이(7121)에는 블루레이 디스크 또는 DVD 디스크 등의 디스크(7123)를 넣을 수 있다. 트레이(7121)에 디스크(7123)를 넣음으로써, 디스크(7123)에 저장된 화상을 표시부(7000)에 표시할 수 있다. 또한 텔레비전 장치(7100)에 내장된 기억 장치에 저장된 화상 데이터를 본 발명의 일 형태의 화상 처리 방법에 의하여 동작하는 반도체 장치에 의하여 업컨버트하고, 업컨버트한 화상 데이터를 디스크(7123)에 기록할 수 있다.
도 25의 (B)에 노트북형 퍼스널 컴퓨터의 일례를 나타내었다. 노트북형 퍼스널 컴퓨터(7200)는 하우징(7211), 키보드(7212), 포인팅 디바이스(7213), 외부 접속 포트(7214) 등을 포함한다. 하우징(7211)에는 표시부(7000)가 포함된다.
노트북형 퍼스널 컴퓨터(7200)에 본 발명의 일 형태의 화상 처리 방법에 의하여 동작하는 반도체 장치를 적용함으로써, 표시부(7000)는 고화질의 화상을 표시할 수 있다.
도 25의 (C)에 디지털 사이니지의 일례를 나타내었다.
도 25의 (C)에 나타낸 디지털 사이니지(7300)는 하우징(7301), 표시부(7000), 및 스피커(7303) 등을 포함한다. 또한 LED 램프, 조작 키(전원 스위치 또는 조작 스위치를 포함함), 접속 단자, 각종 센서, 마이크로폰 등을 포함할 수 있다.
디지털 사이니지(7300)에 본 발명의 일 형태의 화상 처리 방법에 의하여 동작하는 반도체 장치를 적용함으로써, 표시부(7000)는 고화질의 화상을 표시할 수 있다.
표시부(7000)가 넓을수록 한번에 제공할 수 있는 정보량을 증가시킬 수 있다. 또한 표시부(7000)가 넓을수록 사람의 눈에 띄기 쉽고, 예를 들어 광고의 홍보 효과를 높일 수 있다.
표시부(7000)에 터치 패널을 적용함으로써, 표시부(7000)에 정지 화상 또는 동영상을 표시할 뿐만 아니라, 사용자가 직관적으로 조작할 수 있어 바람직하다. 또한 노선 정보 또는 교통 정보 등의 정보를 제공하기 위한 용도로 사용하는 경우에는, 직관적인 조작에 의하여 사용성을 높일 수 있다.
또한 도 25의 (C)에 나타낸 바와 같이, 디지털 사이니지(7300)는 사용자가 소유하는 스마트폰 등의 정보 단말기(7311)와 무선 통신에 의하여 연계 가능한 것이 바람직하다. 예를 들어, 표시부(7000)에 표시되는 광고의 정보를 정보 단말기(7311)의 화면에 표시할 수 있다. 또한 정보 단말기(7311)를 조작함으로써, 표시부(7000)의 표시를 전환할 수 있다.
또한 디지털 사이니지(7300)에 의하여, 정보 단말기(7311)의 화면을 조작 수단(컨트롤러)으로 한 게임을 실행할 수도 있다. 이에 의하여, 불특정 다수의 사용자가 동시에 게임에 참여하고 즐길 수 있다.
본 발명의 일 형태의 표시 시스템은 가옥 또는 빌딩의 내벽 또는 외벽, 혹은 차량의 내장 또는 외장의 곡면을 따라 제공할 수 있다.
본 실시형태는 다른 실시형태의 기재와 적절히 조합할 수 있다.
(실시예 1)
본 실시예에서는, 실시형태 1에서 기재한 방법으로 업컨버트를 수행하고, 상기 업컨버트를 수행한 화상 데이터에 대응하는 화상을 표시한 경우의 표시 결과에 대하여 설명한다.
본 실시예에서는 도 1 및 도 2에 나타낸 절차로 화상 데이터의 업컨버트를 수행하였다. 학습 횟수는 2000회로 하였다. 즉, 도 2에 나타낸 i가 2000이 될 때까지 학습을 수행하였다. 화상 데이터(IMG)의 해상도를 96×96으로, 화상 데이터(DCIMG)의 해상도를 48×48로 하였다. 또한 화상 데이터(UCIMG)의 해상도를 192×192로 하였다.
도 26의 (A1)은 업컨버트 후의 화상 데이터(UCIMG)에 대응하는 화상의 표시 결과이고, 도 26의 (B1)은 업컨버트 전의 화상 데이터(IMG)에 대응하는 화상의 표시 결과이다. 또한 도 26의 (A2)는 도 26의 (A1)에서 실선으로 둘러싼 부분의 확대도이고, 도 26의 (B2)는 도 26의 (B1)에서 실선으로 둘러싼 부분의 확대도이다.
도 26의 (A1), (A2)에 나타낸 화상은 도 26의 (B1), (B2)에 나타낸 화상보다 고화질의 화상이다. 예를 들어, 도 26의 (A2)에 나타낸 바와 같이, 업컨버트 후의 화상은 도 26의 (B2)에 나타낸 업컨버트 전의 화상보다 사슴의 얼굴의 윤곽 등이 희미해지지 않고 선명하게 표현할 수 있다는 것이 확인되었다. 또한 업컨버트 후의 화상은 업컨버트 전의 화상보다 사슴의 코의 형상 등이 정치하게 표현할 수 있다는 것이 확인되었다. 이상으로부터, 도 1 및 도 2에 나타낸 절차로 화상 데이터의 업컨버트를 수행할 수 있다는 것이 확인되었다.
111: 기판, 113: 기판, 115: 화소, 121: 오버코트, 125a: 편광판, 125b: 편광판, 131: 착색층, 132: 차광층, 133a: 배향막, 133b: 배향막, 141: 접착층, 162: FPC, 170: 발광 소자, 171: 화소 전극, 172: EL층, 173: 공통 전극, 174: 접착층, 175: 절연층, 180: 액정 소자, 181: 화소 전극, 182: 공통 전극, 183: 액정층, 200a: 트랜지스터, 200b: 트랜지스터, 201a: 트랜지스터, 201b: 트랜지스터, 201c: 트랜지스터, 201d: 트랜지스터, 211: 절연층, 212: 절연층, 213: 절연층, 215: 절연층, 216: 절연층, 217: 절연층, 218: 절연층, 220: 절연층, 221: 도전층, 222a: 도전층, 222b: 도전층, 223: 도전층, 225: 절연층, 231: 반도체층, 232: 불순물 반도체층, 235: 표시 영역, 242: 접속체, 251: 트랜지스터, 251a: 트랜지스터, 251b: 트랜지스터, 255: 도전층, 411: 절연 표면, 431: 도전층, 432: 반도체층, 432_1: 반도체층, 432_2: 반도체층, 432p: 반도체층, 433: 용량 소자, 433a: 도전층, 433b: 도전층, 434: 절연층, 435: 불순물 반도체층, 436: 절연층, 436a: 절연층, 436b: 절연층, 437: 반도체층, 438: 화소 회로, 442: 표시 소자, 444: 트랜지스터, 445: 노드, 446: 트랜지스터, 446a: 트랜지스터, 446c: 트랜지스터, 446d: 트랜지스터, 447: 노드, 453: 개구부, 484: 절연층, 484a: 절연층, 485: 절연층, 486: 도전층, 552: 백라이트 유닛, 562: 표시부, 564: 주사선 구동 회로, 565: 도전층, 7000: 표시부, 7100: 텔레비전 장치, 7101: 하우징, 7103: 스탠드, 7111: 리모트 컨트롤러, 7120: 플레이어, 7121: 트레이, 7122: 조작 스위치, 7123: 디스크, 7200: 노트북형 퍼스널 컴퓨터, 7211: 하우징, 7212: 키보드, 7213: 포인팅 디바이스, 7214: 외부 접속 포트, 7300: 디지털 사이니지, 7301: 하우징, 7303: 스피커, 7311: 정보 단말기
Claims (10)
- 제 1 화상 데이터의 해상도를 높임으로써 고해상도의 화상 데이터를 생성하는 화상 처리 방법으로서,
상기 제 1 화상 데이터의 해상도를 저하시킴으로써 제 2 화상 데이터를 생성하는 제 1 단계와,
신경망에 상기 제 2 화상 데이터를 입력함으로써 상기 제 2 화상 데이터보다 해상도가 높은 제 3 화상 데이터를 생성하는 제 2 단계와,
상기 제 1 화상 데이터와 상기 제 3 화상 데이터를 비교함으로써 상기 제 3 화상 데이터의 상기 제 1 화상 데이터에 대한 오차를 산출하는 제 3 단계와,
상기 오차에 기초하여 상기 신경망의 가중 계수를 수정하는 제 4 단계를 포함하고,
상기 제 2 단계 내지 상기 제 4 단계를 규정된 횟수 수행한 후, 상기 신경망에 상기 제 1 화상 데이터를 입력함으로써 상기 고해상도의 화상 데이터를 생성하는 것을 특징으로 하는, 화상 처리 방법. - 제 1 항에 있어서,
상기 제 3 화상 데이터의 해상도는 상기 제 1 화상 데이터의 해상도 이하인 것을 특징으로 하는, 화상 처리 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 제 2 화상 데이터의 해상도는 상기 제 1 화상 데이터의 해상도의 1/m2(m은 2 이상의 정수(整數))이고,
상기 고해상도의 화상 데이터의 해상도는 상기 제 1 화상 데이터의 해상도의 n2배(n은 2 이상의 정수)인 것을 특징으로 하는, 화상 처리 방법. - 제 3 항에 있어서,
m의 값과 n의 값이 같은 것을 특징으로 하는, 화상 처리 방법. - 제 1 화상 데이터를 수신하고 상기 제 1 화상 데이터의 해상도를 높인 고해상도의 화상 데이터를 생성하는 반도체 장치로서,
상기 반도체 장치는 제 1 회로와, 제 2 회로와, 제 3 회로를 포함하고,
상기 제 1 회로는 상기 제 1 화상 데이터를 유지하는 기능을 갖고,
상기 제 1 회로는 유지한 상기 제 1 화상 데이터를 상기 제 2 회로에 출력하는 기능을 갖고,
상기 제 2 회로는 상기 제 1 화상 데이터의 해상도를 저하시킴으로써 제 2 화상 데이터를 생성한 후, 상기 제 2 화상 데이터를 상기 제 3 회로에 입력하는 기능을 갖고,
상기 제 3 회로는 상기 제 2 화상 데이터의 해상도를 높임으로써 제 3 화상 데이터를 생성하는 기능을 갖고,
상기 제 2 회로는 상기 제 1 화상 데이터와 상기 제 3 화상 데이터를 비교함으로써 상기 제 3 화상 데이터의 상기 제 1 화상 데이터에 대한 오차를 산출하는 기능을 갖고,
상기 제 3 회로는 상기 오차에 기초하여 상기 제 3 회로의 파라미터를 수정하는 기능을 갖고,
상기 제 3 회로는 상기 파라미터의 수정을 규정된 횟수 수행한 후, 상기 제 1 화상 데이터의 해상도를 높임으로써 상기 고해상도의 화상 데이터를 생성하는 기능을 갖는 것을 특징으로 하는, 반도체 장치. - 제 5 항에 있어서,
상기 제 3 회로는 신경망을 포함하고,
상기 파라미터는 상기 신경망의 가중 계수인 것을 특징으로 하는, 반도체 장치. - 제 5 항 또는 제 6 항에 있어서,
상기 제 3 화상 데이터의 해상도는 상기 제 1 화상 데이터의 해상도 이하인 것을 특징으로 하는, 반도체 장치. - 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 제 2 화상 데이터의 해상도는 상기 제 1 화상 데이터의 해상도의 1/m2(m은 2 이상의 정수)이고,
상기 고해상도의 화상 데이터의 해상도는 상기 제 1 화상 데이터의 해상도의 n2배(n은 2 이상의 정수)인 것을 특징으로 하는, 반도체 장치. - 제 8 항에 있어서,
m의 값과 n의 값이 같은 것을 특징으로 하는, 반도체 장치. - 전자 기기로서,
제 5 항 내지 제 9 항 중 어느 한 항에 기재된 반도체 장치와,
표시부를 포함하는 것을 특징으로 하는, 전자 기기.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2017-169609 | 2017-09-04 | ||
| JP2017169609 | 2017-09-04 | ||
| PCT/IB2018/056380 WO2019043525A1 (ja) | 2017-09-04 | 2018-08-23 | 画像処理方法および半導体装置、ならびに電子機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200043386A true KR20200043386A (ko) | 2020-04-27 |
| KR102609234B1 KR102609234B1 (ko) | 2023-12-01 |
Family
ID=65525059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207004536A KR102609234B1 (ko) | 2017-09-04 | 2018-08-23 | 화상 처리 방법 및 반도체 장치, 그리고 전자 기기 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200242730A1 (ko) |
| JP (2) | JP7129986B2 (ko) |
| KR (1) | KR102609234B1 (ko) |
| CN (2) | CN114862674A (ko) |
| WO (1) | WO2019043525A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200030806A (ko) * | 2018-09-13 | 2020-03-23 | 삼성전자주식회사 | 반도체 제조 공정을 모니터링하기 위해 인공 신경망에 기초하는 이미지 변환 모델을 포함하는 비일시적 컴퓨터 판독가능 매체 그리고 반도체 웨이퍼의 이미지를 변환하는 방법 |
| JPWO2020217140A1 (ko) | 2019-04-26 | 2020-10-29 | ||
| US11183155B2 (en) * | 2019-05-16 | 2021-11-23 | Apple Inc. | Adaptive image data bit-depth adjustment systems and methods |
| WO2021060445A1 (ja) * | 2019-09-27 | 2021-04-01 | 国立大学法人大阪大学 | 画像処理装置、ニューラルネットワークおよび画像処理方法 |
| CN111651337B (zh) * | 2020-05-07 | 2022-07-12 | 哈尔滨工业大学 | 一种sram存储器空间服役故障分类失效检测方法 |
| AU2020281143B1 (en) * | 2020-12-04 | 2021-03-25 | Commonwealth Scientific And Industrial Research Organisation | Creating super-resolution images |
| CN112801847A (zh) * | 2021-04-06 | 2021-05-14 | 王可 | 一种可实现海量聊天大数据图片安全方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011180798A (ja) | 2010-03-01 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4579798B2 (ja) | 2005-09-02 | 2010-11-10 | キヤノン株式会社 | 演算装置 |
| US20140072242A1 (en) | 2012-09-10 | 2014-03-13 | Hao Wei | Method for increasing image resolution |
| EP3259911B1 (en) * | 2015-02-19 | 2021-04-07 | Magic Pony Technology Limited | Enhancing visual data using updated neural networks |
| US10789691B2 (en) | 2016-01-21 | 2020-09-29 | Sony Corporation | Information processing apparatus and information processing method |
| CN106067161A (zh) * | 2016-05-24 | 2016-11-02 | 深圳市未来媒体技术研究院 | 一种对图像进行超分辨的方法 |
| CN106127684B (zh) * | 2016-06-22 | 2019-03-15 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106339984B (zh) * | 2016-08-27 | 2019-09-13 | 中国石油大学(华东) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 |
| US10438322B2 (en) * | 2017-05-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Image resolution enhancement |
-
2018
- 2018-08-23 CN CN202210405248.0A patent/CN114862674A/zh active Pending
- 2018-08-23 WO PCT/IB2018/056380 patent/WO2019043525A1/ja active Application Filing
- 2018-08-23 KR KR1020207004536A patent/KR102609234B1/ko active IP Right Grant
- 2018-08-23 US US16/636,705 patent/US20200242730A1/en not_active Abandoned
- 2018-08-23 CN CN201880056345.5A patent/CN111034183B/zh not_active Expired - Fee Related
- 2018-08-23 JP JP2019538750A patent/JP7129986B2/ja active Active
-
2022
- 2022-08-23 JP JP2022132378A patent/JP7395680B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011180798A (ja) | 2010-03-01 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Non-Patent Citations (2)
| Title |
|---|
| Chao Dong et al., "Image Super-Resolution Using Deep Convolutional Networks", arXiv:1501.00092v3, (2015.07.31.)* * |
| S.Kawashima, et al., "13.3-In. 8K×4K 664-ppi OLED Display Using CAAC-OS FETs," SID 2014 DIGEST, pp.627-630. |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7129986B2 (ja) | 2022-09-02 |
| JP2022173189A (ja) | 2022-11-18 |
| WO2019043525A1 (ja) | 2019-03-07 |
| CN114862674A (zh) | 2022-08-05 |
| JP7395680B2 (ja) | 2023-12-11 |
| JPWO2019043525A1 (ja) | 2020-10-15 |
| CN111034183A (zh) | 2020-04-17 |
| KR102609234B1 (ko) | 2023-12-01 |
| US20200242730A1 (en) | 2020-07-30 |
| CN111034183B (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11574573B2 (en) | Display system | |
| KR102609234B1 (ko) | 화상 처리 방법 및 반도체 장치, 그리고 전자 기기 | |
| CN111052215B (zh) | 显示装置及电子设备 | |
| JP7068753B2 (ja) | 機械学習方法、機械学習システム | |
| KR102674906B1 (ko) | 표시 시스템 및 데이터 처리 방법 | |
| JP7430763B2 (ja) | 半導体装置 | |
| JP6633346B2 (ja) | 表示装置 | |
| WO2019030595A1 (ja) | 表示装置および電子機器 | |
| KR102567675B1 (ko) | 화상 처리 방법 | |
| CN110226219B (zh) | 半导体装置以及半导体装置的制造方法 | |
| WO2022064314A1 (ja) | 表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |