JPWO2019043525A1 - 画像処理方法および半導体装置、ならびに電子機器 - Google Patents
画像処理方法および半導体装置、ならびに電子機器 Download PDFInfo
- Publication number
- JPWO2019043525A1 JPWO2019043525A1 JP2019538750A JP2019538750A JPWO2019043525A1 JP WO2019043525 A1 JPWO2019043525 A1 JP WO2019043525A1 JP 2019538750 A JP2019538750 A JP 2019538750A JP 2019538750 A JP2019538750 A JP 2019538750A JP WO2019043525 A1 JPWO2019043525 A1 JP WO2019043525A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- resolution
- circuit
- transistor
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 222
- 238000003672 processing method Methods 0.000 title claims description 53
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 230000013016 learning Effects 0.000 abstract description 43
- 238000006243 chemical reaction Methods 0.000 abstract description 37
- 239000010410 layer Substances 0.000 description 412
- 230000006870 function Effects 0.000 description 154
- 210000004027 cell Anatomy 0.000 description 102
- 238000012545 processing Methods 0.000 description 74
- 238000000034 method Methods 0.000 description 59
- 239000011701 zinc Substances 0.000 description 38
- 238000003860 storage Methods 0.000 description 37
- 239000004973 liquid crystal related substance Substances 0.000 description 33
- 210000002569 neuron Anatomy 0.000 description 33
- 239000000758 substrate Substances 0.000 description 31
- 230000008859 change Effects 0.000 description 22
- 239000012535 impurity Substances 0.000 description 21
- 238000012549 training Methods 0.000 description 20
- 239000000463 material Substances 0.000 description 19
- 229910044991 metal oxide Inorganic materials 0.000 description 19
- 150000004706 metal oxides Chemical class 0.000 description 19
- 238000009413 insulation Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000004913 activation Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 238000005530 etching Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 229910052710 silicon Inorganic materials 0.000 description 10
- 239000010703 silicon Substances 0.000 description 10
- 239000012790 adhesive layer Substances 0.000 description 9
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 229910052751 metal Inorganic materials 0.000 description 9
- 239000013078 crystal Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 229910052733 gallium Inorganic materials 0.000 description 7
- 239000001257 hydrogen Substances 0.000 description 7
- 229910052739 hydrogen Inorganic materials 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 229910052760 oxygen Inorganic materials 0.000 description 7
- 229910052581 Si3N4 Inorganic materials 0.000 description 6
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 6
- 229910052782 aluminium Inorganic materials 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 6
- 230000005669 field effect Effects 0.000 description 6
- 229910052738 indium Inorganic materials 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 6
- 239000011734 sodium Substances 0.000 description 6
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 5
- 238000002441 X-ray diffraction Methods 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 229910021417 amorphous silicon Inorganic materials 0.000 description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 239000007789 gas Substances 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 238000005477 sputtering target Methods 0.000 description 5
- 229910052725 zinc Inorganic materials 0.000 description 5
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 4
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 229910001882 dioxygen Inorganic materials 0.000 description 4
- 230000005684 electric field Effects 0.000 description 4
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 4
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 4
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 4
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000004544 sputter deposition Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 3
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 3
- 229910052684 Cerium Inorganic materials 0.000 description 3
- 229910052779 Neodymium Inorganic materials 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 3
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 3
- QCWXUUIWCKQGHC-UHFFFAOYSA-N Zirconium Chemical compound [Zr] QCWXUUIWCKQGHC-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 229910052796 boron Inorganic materials 0.000 description 3
- ZMIGMASIKSOYAM-UHFFFAOYSA-N cerium Chemical compound [Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce][Ce] ZMIGMASIKSOYAM-UHFFFAOYSA-N 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 229910052732 germanium Inorganic materials 0.000 description 3
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 3
- 229910052735 hafnium Inorganic materials 0.000 description 3
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 3
- 239000002105 nanoparticle Substances 0.000 description 3
- QEFYFXOXNSNQGX-UHFFFAOYSA-N neodymium atom Chemical compound [Nd] QEFYFXOXNSNQGX-UHFFFAOYSA-N 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- 238000000623 plasma-assisted chemical vapour deposition Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 229910052719 titanium Inorganic materials 0.000 description 3
- 239000010936 titanium Substances 0.000 description 3
- 229910052727 yttrium Inorganic materials 0.000 description 3
- 239000011787 zinc oxide Substances 0.000 description 3
- 229910052726 zirconium Inorganic materials 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- 229910052784 alkaline earth metal Inorganic materials 0.000 description 2
- 125000004429 atom Chemical group 0.000 description 2
- 229910052790 beryllium Inorganic materials 0.000 description 2
- ATBAMAFKBVZNFJ-UHFFFAOYSA-N beryllium atom Chemical compound [Be] ATBAMAFKBVZNFJ-UHFFFAOYSA-N 0.000 description 2
- 229910052795 boron group element Inorganic materials 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- PMHQVHHXPFUNSP-UHFFFAOYSA-M copper(1+);methylsulfanylmethane;bromide Chemical compound Br[Cu].CSC PMHQVHHXPFUNSP-UHFFFAOYSA-M 0.000 description 2
- 238000010894 electron beam technology Methods 0.000 description 2
- 238000002524 electron diffraction data Methods 0.000 description 2
- 150000002431 hydrogen Chemical class 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- -1 lantern Chemical compound 0.000 description 2
- 229910052746 lanthanum Inorganic materials 0.000 description 2
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 2
- 229910052749 magnesium Inorganic materials 0.000 description 2
- 239000011777 magnesium Substances 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 229910052750 molybdenum Inorganic materials 0.000 description 2
- 239000011733 molybdenum Substances 0.000 description 2
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 2
- 239000002159 nanocrystal Substances 0.000 description 2
- 229910052759 nickel Inorganic materials 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 229910052696 pnictogen Inorganic materials 0.000 description 2
- 238000005546 reactive sputtering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052715 tantalum Inorganic materials 0.000 description 2
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 229910052720 vanadium Inorganic materials 0.000 description 2
- GPPXJZIENCGNKB-UHFFFAOYSA-N vanadium Chemical compound [V]#[V] GPPXJZIENCGNKB-UHFFFAOYSA-N 0.000 description 2
- VWQVUPCCIRVNHF-UHFFFAOYSA-N yttrium atom Chemical compound [Y] VWQVUPCCIRVNHF-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 229910052800 carbon group element Inorganic materials 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- AJNVQOSZGJRYEI-UHFFFAOYSA-N digallium;oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Ga+3].[Ga+3] AJNVQOSZGJRYEI-UHFFFAOYSA-N 0.000 description 1
- 229910001873 dinitrogen Inorganic materials 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005685 electric field effect Effects 0.000 description 1
- 238000001962 electrophoresis Methods 0.000 description 1
- 229910001195 gallium oxide Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910003437 indium oxide Inorganic materials 0.000 description 1
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 229910021424 microcrystalline silicon Inorganic materials 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229910052718 tin Inorganic materials 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052723 transition metal Inorganic materials 0.000 description 1
- 150000003624 transition metals Chemical class 0.000 description 1
- YVTHLONGBIQYBO-UHFFFAOYSA-N zinc indium(3+) oxygen(2-) Chemical compound [O--].[Zn++].[In+3] YVTHLONGBIQYBO-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
本発明の一態様は、第1の画像データの解像度を高めて、つまり第1の画像データをアップコンバートして、高解像度の画像データを生成する画像処理方法に関する。当該画像処理は、解像度拡張回路を用いて行われ、解像度拡張回路が学習を行った後、第1の画像データをアップコンバートする。
本発明の一態様の画像処理方法は、送信装置と、受信装置と、を有するシステムである、表示システムに適用することができる。図10は、当該表示システムが有する送信装置TDおよび受信装置DDの構成例を示すブロック図である。
本実施の形態では、ニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
図12に、ニューラルネットワークの演算を行う機能を有する半導体装置MACの構成例を示す。解像度拡張回路DEは、半導体装置MACを有する構成とすることができる。半導体装置MACは、ニューロンの重み係数に対応する第1のデータと、入力データに対応する第2のデータの積和演算を行う機能を有する。なお、第1のデータおよび第2のデータはそれぞれ、アナログデータまたは多値のデータ(離散的なデータ)とすることができる。また、半導体装置MACは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
上記の半導体装置MACを用いて、第1のデータと第2のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置MACの動作例を説明する。
まず、時刻T01−T02の期間において、配線WL[1]の電位がハイレベルとなり、配線WD[1]の電位が接地電位(GND)よりもVPR−VW[1,1]大きい電位となり、配線WDrefの電位が接地電位よりもVPR大きい電位となる。また、配線RW[1]、および配線RW[2]の電位が基準電位(REFP)となる。なお、電位VW[1,1]はメモリセルMC[1,1]に格納される第1のデータに対応する電位である。また、電位VPRは参照データに対応する電位である。これにより、メモリセルMC[1,1]およびメモリセルMCref[1]が有するトランジスタTr11がオン状態となり、ノードNM[1,1]の電位がVPR−VW[1,1]、ノードNMref[1]の電位がVPRとなる。
次に、時刻T05−T06の期間において、配線RW[1]の電位が基準電位よりもVX[1]大きい電位となる。このとき、メモリセルMC[1,1]、およびメモリセルMCref[1]のそれぞれの容量素子C11には電位VX[1]が供給され、容量結合によりトランジスタTr12のゲートの電位が上昇する。なお、電位VX[1]はメモリセルMC[1,1]およびメモリセルMCref[1]に供給される第2のデータに対応する電位である。
本実施の形態では、本発明の一態様の画像処理方法により動作する半導体装置に用いることができる表示パネルについて説明する。
まず、図16(A)乃至(E)を用いて、画素PIXの構成例を説明する。
本発明の一態様の表示装置が有する表示素子としては、無機EL素子、有機EL素子、LED等の発光素子、液晶素子、電気泳動素子、MEMS(マイクロ・エレクトロ・メカニカル・システム)を用いた表示素子等が挙げられる。
次に、図18乃至図21を用いて、表示装置の構成例について説明する。
次に、図22乃至図24を用いて、図18乃至図21に示した構成とは異なるトランジスタの構成例について説明する。
本発明の一態様で開示されるトランジスタに用いる半導体材料の結晶性は特に限定されず、非晶質半導体、結晶性を有する半導体(微結晶半導体、多結晶半導体、単結晶半導体、または一部に結晶領域を有する半導体)のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
<CAC−OSの構成>
以下では、本発明の一態様で開示されるトランジスタに用いることができるCAC(Cloud−Aligned Composite)−OSの構成について説明する。
本実施の形態では、本発明の一態様の電子機器について図25を用いて説明する。
Claims (10)
- 第1の画像データの解像度を高めて、高解像度の画像データを生成する画像処理方法であって、
前記第1の画像データの解像度を低下させることで、第2の画像データを生成する第1のステップと、
ニューラルネットワークに前記第2の画像データを入力することにより、前記第2の画像データより解像度が高い第3の画像データを生成する第2のステップと、
前記第1の画像データと、前記第3の画像データと、を比較することにより、前記第3の画像データの、前記第1の画像データに対する誤差を算出する第3のステップと、
前記誤差を基にして、前記ニューラルネットワークの重み係数を修正する第4のステップと、を有し、
前記第2乃至第4のステップを規定の回数行った後、前記ニューラルネットワークに前記第1の画像データを入力することにより、前記高解像度の画像データを生成することを特徴とする画像処理方法。 - 請求項1において、
前記第3の画像データの解像度は、前記第1の画像データの解像度以下であることを特徴とする画像処理方法。 - 請求項1または2において、
前記第2の画像データの解像度は、前記第1の画像データの解像度の1/m2(mは2以上の整数)であり、
前記高解像度の画像データの解像度は、前記第1の画像データの解像度のn2倍(nは2以上の整数)であることを特徴とする画像処理方法。 - 請求項3において、
mの値と、nの値と、が等しいことを特徴とする画像処理方法。 - 第1の画像データを受信して、前記第1の画像データの解像度を高めた、高解像度の画像データを生成する半導体装置であって、
前記半導体装置は、第1の回路と、第2の回路と、第3の回路と、を有し、
前記第1の回路は、前記第1の画像データを保持する機能を有し、
前記第1の回路は、保持した前記第1の画像データを、前記第2の回路に出力する機能を有し、
前記第2の回路は、前記第1の画像データの解像度を低下させることで、第2の画像データを生成した後、前記第2の画像データを前記第3の回路に入力する機能を有し、
前記第3の回路は、前記第2の画像データの解像度を高めることにより、第3の画像データを生成する機能を有し、
前記第2の回路は、前記第1の画像データと、前記第3の画像データと、を比較することにより、前記第3の画像データの、前記第1の画像データに対する誤差を算出する機能を有し、
前記第3の回路は、前記誤差を基にして、前記第3の回路のパラメータを修正する機能を有し、
前記第3の回路は、前記パラメータの修正を規定の回数行った後に、前記第1の画像データの解像度を高めることにより、前記高解像度の画像データを生成する機能を有することを特徴とする半導体装置。 - 請求項5において、
前記第3の回路は、ニューラルネットワークを有し、
前記パラメータは、前記ニューラルネットワークの重み係数であることを特徴とする半導体装置。 - 請求項5または6において、
前記第3の画像データの解像度は、前記第1の画像データの解像度以下であることを特徴とする半導体装置。 - 請求項5乃至7のいずれか一項において、
前記第2の画像データの解像度は、前記第1の画像データの解像度の1/m2(mは2以上の整数)であり、
前記高解像度の画像データの解像度は、前記第1の画像データの解像度のn2倍(nは2以上の整数)であることを特徴とする半導体装置。 - 請求項8において、
mの値と、nの値と、が等しいことを特徴とする半導体装置。 - 請求項5乃至9のいずれか一項に記載の半導体装置と、
表示部と、を有することを特徴とする電子機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022132378A JP7395680B2 (ja) | 2017-09-04 | 2022-08-23 | 半導体装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169609 | 2017-09-04 | ||
JP2017169609 | 2017-09-04 | ||
PCT/IB2018/056380 WO2019043525A1 (ja) | 2017-09-04 | 2018-08-23 | 画像処理方法および半導体装置、ならびに電子機器 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022132378A Division JP7395680B2 (ja) | 2017-09-04 | 2022-08-23 | 半導体装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019043525A1 true JPWO2019043525A1 (ja) | 2020-10-15 |
JP7129986B2 JP7129986B2 (ja) | 2022-09-02 |
Family
ID=65525059
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019538750A Active JP7129986B2 (ja) | 2017-09-04 | 2018-08-23 | 画像処理方法および半導体装置、ならびに電子機器 |
JP2022132378A Active JP7395680B2 (ja) | 2017-09-04 | 2022-08-23 | 半導体装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022132378A Active JP7395680B2 (ja) | 2017-09-04 | 2022-08-23 | 半導体装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200242730A1 (ja) |
JP (2) | JP7129986B2 (ja) |
KR (1) | KR102609234B1 (ja) |
CN (2) | CN114862674A (ja) |
WO (1) | WO2019043525A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200030806A (ko) * | 2018-09-13 | 2020-03-23 | 삼성전자주식회사 | 반도체 제조 공정을 모니터링하기 위해 인공 신경망에 기초하는 이미지 변환 모델을 포함하는 비일시적 컴퓨터 판독가능 매체 그리고 반도체 웨이퍼의 이미지를 변환하는 방법 |
US11183155B2 (en) * | 2019-05-16 | 2021-11-23 | Apple Inc. | Adaptive image data bit-depth adjustment systems and methods |
WO2021060445A1 (ja) * | 2019-09-27 | 2021-04-01 | 国立大学法人大阪大学 | 画像処理装置、ニューラルネットワークおよび画像処理方法 |
CN111651337B (zh) * | 2020-05-07 | 2022-07-12 | 哈尔滨工业大学 | 一种sram存储器空间服役故障分类失效检测方法 |
AU2020281143B1 (en) * | 2020-12-04 | 2021-03-25 | Commonwealth Scientific And Industrial Research Organisation | Creating super-resolution images |
CN118096485A (zh) * | 2021-04-06 | 2024-05-28 | 王可 | 一种实现海量聊天大数据图片安全的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106127684A (zh) * | 2016-06-22 | 2016-11-16 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
US20180342044A1 (en) * | 2017-05-26 | 2018-11-29 | Microsoft Technology Licensing, Llc | Image resolution enhancement |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4579798B2 (ja) | 2005-09-02 | 2010-11-10 | キヤノン株式会社 | 演算装置 |
JP2011180798A (ja) | 2010-03-01 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US20140072242A1 (en) | 2012-09-10 | 2014-03-13 | Hao Wei | Method for increasing image resolution |
EP3259920A1 (en) * | 2015-02-19 | 2017-12-27 | Magic Pony Technology Limited | Visual processing using temporal and spatial interpolation |
WO2017125980A1 (ja) | 2016-01-21 | 2017-07-27 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN106067161A (zh) * | 2016-05-24 | 2016-11-02 | 深圳市未来媒体技术研究院 | 一种对图像进行超分辨的方法 |
CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
CN106339984B (zh) * | 2016-08-27 | 2019-09-13 | 中国石油大学(华东) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 |
-
2018
- 2018-08-23 US US16/636,705 patent/US20200242730A1/en not_active Abandoned
- 2018-08-23 CN CN202210405248.0A patent/CN114862674A/zh active Pending
- 2018-08-23 KR KR1020207004536A patent/KR102609234B1/ko active IP Right Grant
- 2018-08-23 WO PCT/IB2018/056380 patent/WO2019043525A1/ja active Application Filing
- 2018-08-23 JP JP2019538750A patent/JP7129986B2/ja active Active
- 2018-08-23 CN CN201880056345.5A patent/CN111034183B/zh active Active
-
2022
- 2022-08-23 JP JP2022132378A patent/JP7395680B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106127684A (zh) * | 2016-06-22 | 2016-11-16 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
US20180342044A1 (en) * | 2017-05-26 | 2018-11-29 | Microsoft Technology Licensing, Llc | Image resolution enhancement |
Non-Patent Citations (3)
Title |
---|
加藤裕 他4名: "4出力の畳み込みニューラルネットワークを用いた超解像", FIT2016(第15回情報科学技術フォーラム)講演論文集, vol. 第3分冊, JPN6022033886, 23 August 2016 (2016-08-23), pages 23 - 28, ISSN: 0004850592 * |
石田隆行 他2名: "AIを用いた医用画像処理技術の開発", INNERVISION, vol. 32, no. 7, JPN6022033884, 25 June 2017 (2017-06-25), JP, pages 24 - 27, ISSN: 0004850590 * |
菅原佑介 他2名: "畳み込みニューラルネットワークを用いた超解像の並列計算法", 電子情報通信学会技術研究報告, vol. 116, no. 464, JPN6022033885, 13 February 2017 (2017-02-13), JP, pages 13 - 18, ISSN: 0004850591 * |
Also Published As
Publication number | Publication date |
---|---|
JP7129986B2 (ja) | 2022-09-02 |
CN114862674A (zh) | 2022-08-05 |
WO2019043525A1 (ja) | 2019-03-07 |
CN111034183B (zh) | 2022-05-13 |
KR20200043386A (ko) | 2020-04-27 |
JP7395680B2 (ja) | 2023-12-11 |
KR102609234B1 (ko) | 2023-12-01 |
JP2022173189A (ja) | 2022-11-18 |
CN111034183A (zh) | 2020-04-17 |
US20200242730A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7146778B2 (ja) | 表示システム | |
JP7395680B2 (ja) | 半導体装置 | |
JP7068753B2 (ja) | 機械学習方法、機械学習システム | |
KR102578536B1 (ko) | 표시 시스템 및 데이터 처리 방법 | |
JP7430763B2 (ja) | 半導体装置 | |
JP2022036984A (ja) | 半導体装置 | |
WO2019030595A1 (ja) | 表示装置および電子機器 | |
KR102567675B1 (ko) | 화상 처리 방법 | |
CN110226219B (zh) | 半导体装置以及半导体装置的制造方法 | |
WO2022064314A1 (ja) | 表示システム | |
KR102674906B1 (ko) | 표시 시스템 및 데이터 처리 방법 | |
JP2018148051A (ja) | 成膜装置、成膜方法、及び半導体装置の作製方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7129986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |