WO2018193333A1 - 画像処理方法および受像装置 - Google Patents

画像処理方法および受像装置 Download PDF

Info

Publication number
WO2018193333A1
WO2018193333A1 PCT/IB2018/052435 IB2018052435W WO2018193333A1 WO 2018193333 A1 WO2018193333 A1 WO 2018193333A1 IB 2018052435 W IB2018052435 W IB 2018052435W WO 2018193333 A1 WO2018193333 A1 WO 2018193333A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
data
resolution
pixel
Prior art date
Application number
PCT/IB2018/052435
Other languages
English (en)
French (fr)
Inventor
塩川将隆
高橋圭
岩城裕司
郷戸宏充
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to US16/500,535 priority Critical patent/US11238559B2/en
Priority to JP2019513502A priority patent/JP7184488B2/ja
Priority to CN201880025822.1A priority patent/CN110537369B/zh
Publication of WO2018193333A1 publication Critical patent/WO2018193333A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0457—Improvement of perceived resolution by subpixel rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3685—Details of drivers for data electrodes
    • G09G3/3688—Details of drivers for data electrodes suitable for active matrices only
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Definitions

  • One embodiment of the present invention relates to an image processing method and an image receiving apparatus that operates according to the image processing method.
  • a semiconductor device refers to any device that can function by utilizing semiconductor characteristics.
  • a display device, a light-emitting device, a memory device, an electro-optical device, a power storage device, a semiconductor circuit, and an electronic device may include a semiconductor device.
  • one embodiment of the present invention is not limited to the above technical field.
  • the technical field of the invention disclosed in this specification and the like relates to an object, a method, or a manufacturing method.
  • one embodiment of the present invention relates to a process, a machine, a manufacture, or a composition (composition of matter). Therefore, the technical field of one embodiment of the present invention disclosed in this specification more specifically includes a semiconductor device, a display device, a liquid crystal display device, a light-emitting device, a power storage device, an imaging device, a memory device, a processor, an electronic device,
  • the driving method, the manufacturing method, the inspection method, or the system thereof can be given as an example.
  • Non-Patent Document 1 In practical broadcasting of 8K, 4K broadcasting and 2K broadcasting (full high-definition broadcasting) are also scheduled to be used together.
  • 8K broadcast video resolution (horizontal and vertical pixel count) is 7680 ⁇ 4320, 4 times 4K (3840 ⁇ 2160) and 16 times 2K (1920 ⁇ 1080). Accordingly, it is expected that a person who views an 8K broadcast image can feel a higher sense of reality than a person who views a 2K broadcast image, a 4K broadcast image, or the like.
  • Non-Patent Document 2 describes a technique related to a chip having a self-learning function using an artificial neural network.
  • Patent Document 1 discloses an invention in which weight data necessary for calculation using an artificial neural network is held by a memory device using a transistor having an oxide semiconductor in a channel formation region.
  • An object of one embodiment of the present invention is to provide an image processing method for generating high-resolution image data from low-resolution image data. Another object of one embodiment of the present invention is to provide an image processing method with a small amount of calculation. Another object of one embodiment of the present invention is to provide an image receiving device capable of displaying a high-quality image. Another object of one embodiment of the present invention is to provide a highly reliable image receiving device. Another object of one embodiment of the present invention is to provide an image receiving device with low power consumption. Another object of one embodiment of the present invention is to provide an image receiving device that operates at high speed. Another object of one embodiment of the present invention is to provide a novel image processing method, a novel image receiving device, and a novel semiconductor device.
  • problems of one embodiment of the present invention are not limited to the problems listed above.
  • the problems listed above do not disturb the existence of other problems.
  • Other issues are issues not mentioned in this section, which are described in the following description. Problems not mentioned in this item can be derived from descriptions of the specification or drawings by those skilled in the art, and can be appropriately extracted from these descriptions.
  • one embodiment of the present invention solves at least one of the above-described description and other problems. Note that one embodiment of the present invention does not have to solve all of the above listed description and other problems.
  • One aspect of the present invention is an image processing method for generating high-resolution image data from low-resolution image data, and generates a plurality of first image data by dividing the low-resolution image data.
  • the plurality of first image data one of the two adjacent ones is the second image data, the other is the third image data, and the fourth image data is generated by supplementing the periphery of the second image data with pixel data
  • the pixel data includes a part of the third image data and performs a convolutional neural network that receives the fourth image data.
  • the convolutional neural network outputs the fifth image data and combines the plurality of fifth image data.
  • the resolution of the fifth image data may be n 2 times the resolution of the first image data (n is an integer of 2 or more).
  • Another embodiment of the present invention is an image receiving device that receives low-resolution image data and displays a high-resolution image, and divides the low-resolution image data to obtain a plurality of first image data.
  • the second image data is generated as one of the plurality of first image data and the other is set as the third image data, and the periphery of the second image data is supplemented with pixel data.
  • the pixel data includes a part of the third image data, and performs a convolutional neural network that receives the fourth image data.
  • the convolutional neural network outputs the fifth image data, and outputs a plurality of fifth image data. It is an image receiving device that displays a high-resolution image by combining them.
  • the resolution of the fifth image data may be n 2 times the resolution of the first image data (n is an integer of 2 or more).
  • One embodiment of the present invention is an image receiving device that receives low-resolution image data and displays a high-resolution image, and includes a plurality of circuits and a display panel. Dividing into a plurality of first image data, each of the plurality of circuits converts one of the plurality of first image data into second image data using a convolutional neural network, and the second image data is first The resolution is higher than that of image data, and the display panel is an image receiving device that displays a high-resolution image by combining a plurality of second image data.
  • the plurality of circuits includes first to Nth circuits (N is an integer of 2 or more), and low-resolution image data is a first image of M ⁇ N (M is an integer of 1 or more). It may be divided into data.
  • an image processing method for generating high-resolution image data from low-resolution image data can be provided.
  • an image processing method with a small amount of calculation can be provided.
  • an image receiving device capable of displaying a high-quality image can be provided.
  • a highly reliable image receiving device can be provided.
  • an image receiving device with low power consumption can be provided.
  • an image receiving device that operates at high speed can be provided.
  • a novel image processing method, a novel image receiving device, and a novel semiconductor device can be provided.
  • the effects of one embodiment of the present invention are not limited to the effects listed above.
  • the effects listed above do not preclude the existence of other effects.
  • the other effects are effects not mentioned in this item described in the following description. Effects that are not mentioned in this item can be derived from descriptions of the specification or drawings by those skilled in the art, and can be appropriately extracted from these descriptions.
  • one embodiment of the present invention has at least one of the effects listed above and other effects. Accordingly, one embodiment of the present invention may not have the above-described effects depending on circumstances.
  • FIG. 14 illustrates an example of an electronic device.
  • an artificial neural network refers to all models simulating biological neural networks.
  • a neural network has a configuration in which units simulating neurons are connected to each other via units simulating synapses.
  • the strength of synaptic connection (connection between neurons) (also called weighting factor) can be changed by giving existing information to the neural network. In this way, the process of giving existing information to the neural network and determining the coupling strength is sometimes called “learning”.
  • new information can be output based on the connection strength by giving some information to the neural network that has been “learned” (the connection strength is determined).
  • the connection strength is determined.
  • a process of outputting new information based on given information and connection strength may be referred to as “inference” or “cognition”.
  • Examples of neural network models include a hop field type and a hierarchical type.
  • a neural network having a multilayer structure is referred to as “deep neural network” (DNN), and machine learning by the deep neural network is referred to as “deep learning”.
  • DNN includes a fully connected neural network (FC-NN: Full Connected-Neural Network), a convolutional neural network (CNN), a recurrent neural network (RNN), and so on.
  • FC-NN Full Connected-Neural Network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • a metal oxide is a metal oxide in a broad expression.
  • Metal oxides are classified into oxide insulators, oxide conductors (including transparent oxide conductors), and oxide semiconductors (also referred to as oxide semiconductors or simply OS).
  • oxide semiconductors also referred to as oxide semiconductors or simply OS.
  • the metal oxide may be referred to as an oxide semiconductor.
  • a metal oxide semiconductor metal oxide semiconductor
  • OS metal oxide semiconductor
  • the metal oxide is abbreviated as a metal oxide semiconductor (metal oxide semiconductor).
  • OS in the case of describing an OS FET (or an OS transistor), it can be referred to as a transistor including a metal oxide or an oxide semiconductor.
  • the semiconductor impurity refers to, for example, a component other than the main component constituting the semiconductor layer.
  • an element having a concentration of less than 0.1 atomic% is an impurity.
  • impurities for example, DOS (Density of States) may be formed in a semiconductor, carrier mobility may be reduced, and crystallinity may be reduced.
  • examples of impurities that change the characteristics of the semiconductor include Group 1 elements, Group 2 elements, Group 13 elements, Group 14 elements, Group 15 elements, and components other than main components Examples include transition metals, and particularly include hydrogen (also included in water), lithium, sodium, silicon, boron, phosphorus, carbon, nitrogen, and the like.
  • oxygen vacancies may be formed by mixing impurities such as hydrogen.
  • impurities such as hydrogen.
  • examples of impurities that change the characteristics of the semiconductor include Group 1 elements other than oxygen and hydrogen, Group 2 elements, Group 13 elements, and Group 15 elements.
  • the ordinal numbers “first”, “second”, and “third” are given to avoid confusion between the constituent elements. Therefore, the number of components is not limited. Further, the order of the components is not limited. Further, for example, a component referred to as “first” in one embodiment of the present specification or the like is a component referred to as “second” in another embodiment or in the claims. It is also possible. In addition, for example, the constituent elements referred to as “first” in one embodiment of the present specification and the like may be omitted in other embodiments or in the claims.
  • the terms “upper” and “lower” do not limit that the positional relationship of the constituent elements is directly above or directly below and in direct contact with each other.
  • the expression “electrode B on the insulating layer A” does not require the electrode B to be formed in direct contact with the insulating layer A, and another configuration between the insulating layer A and the electrode B. Do not exclude things that contain elements.
  • the size, the layer thickness, or the region is shown in an arbitrary size for convenience of explanation. Therefore, it is not necessarily limited to the scale.
  • the drawings are schematically shown for clarity, and are not limited to the shapes or values shown in the drawings. For example, variation in signal, voltage, or current due to noise, variation in signal, voltage, or current due to timing shift, or the like can be included.
  • one of a source and a drain is denoted as “one of a source and a drain”, and the other of the source and the drain is denoted as “the other of a source or a drain” is doing.
  • the source and drain of the transistor vary depending on the structure or operating conditions of the transistor.
  • the names of the source and the drain of the transistor can be appropriately rephrased depending on the situation, such as a source (drain) terminal or a source (drain) electrode.
  • the gates are sometimes referred to as a front gate and a back gate.
  • the phrase “front gate” can be rephrased as simply the phrase “gate”.
  • the phrase “back gate” can be rephrased simply as the phrase “gate”. Note that a bottom gate refers to a terminal formed before a channel formation region when a transistor is manufactured, and a “top gate” is formed after a channel formation region when a transistor is manufactured. Terminal.
  • the transistor is called a gate, a source, and a drain and has three terminals.
  • the gate is a terminal that functions as a control terminal for controlling the conduction state of the transistor.
  • One of the two input / output terminals functioning as a source or a drain serves as a source and the other serves as a drain depending on the type of the transistor and the potential applied to each terminal. Therefore, in this specification and the like, the terms source and drain can be used interchangeably.
  • Electrode and “wiring” do not functionally limit these components.
  • an “electrode” may be used as part of a “wiring” and vice versa.
  • the terms “electrode” and “wiring” include a case where a plurality of “electrodes” and “wirings” are integrally formed.
  • the voltage is a potential difference from a reference potential.
  • the reference potential is a ground potential (ground potential)
  • the voltage can be rephrased as a potential.
  • the ground potential does not necessarily mean 0V. Note that the potential is relative, and the potential applied to the wiring or the like may be changed depending on the reference potential.
  • conductive layer may be changed to the term “conductive film”.
  • insulating film may be changed to the term “insulating layer” in some cases.
  • conductive layer or conductive film may be changed to the term “conductor” in some cases.
  • the terms “insulating layer” and “insulating film” may be changed to the term “insulator”.
  • wiring can be interchanged depending on the case or circumstances.
  • the term “wiring” may be changed to a term such as “power supply line”.
  • the reverse is also true, and it may be possible to change terms such as “signal line” and “power supply line” to the term “wiring”.
  • a term such as “power line” may be changed to a term such as “signal line”.
  • the reverse is also true, and a term such as “signal line” may be changed to a term such as “power line”.
  • the term “potential” applied to the wiring may be changed to a term “signal” or the like depending on circumstances or circumstances.
  • the reverse is also true, and a term such as “signal” may be changed to a term “potential”.
  • each embodiment can be combined with the structure described in any of the other embodiments as appropriate, for one embodiment of the present invention.
  • any of the structure examples can be combined with each other as appropriate.
  • the content described in one embodiment (may be a part of content) is different from the other content described in the embodiment (may be a part of content) and one or more other implementations.
  • Application, combination, replacement, or the like can be performed on at least one of the contents described in the form (may be part of the contents).
  • a drawing (or a part thereof) described in one embodiment may be different from another part of the drawing, another drawing (may be a part) described in the embodiment, or one or more different drawings.
  • more drawings can be formed.
  • One embodiment of the present invention relates to an image processing method for increasing the resolution of image data, for example.
  • image data transmitted by satellite broadcast or broadcast radio waves from a radio tower is received by an image receiving device such as a television, and the resolution of the received image data is increased using, for example, a neural network, particularly CNN.
  • an image corresponding to image data with increased resolution can be displayed.
  • image data (320 ⁇ 240) having a resolution corresponding to QVGA (Quarter Video Graphics Array) can be converted into image data (640 ⁇ 480) having a resolution corresponding to VGA.
  • QVGA Quadrater Video Graphics Array
  • image data having a resolution corresponding to VGA can be converted into image data having a resolution corresponding to Quad-VGA (1280 ⁇ 960).
  • image data having a resolution corresponding to 2K (1920 ⁇ 1080) can be converted into image data having a resolution corresponding to 4K (3840 ⁇ 2160).
  • image data having a resolution corresponding to 4K can be converted into image data having a resolution corresponding to 8K (7680 ⁇ 4320).
  • image data having a resolution corresponding to 2K can be converted into image data having a resolution corresponding to 8K.
  • the image data received by the image receiving device is divided, and data corresponding to adjacent image data is supplemented for each of the divided image data. Thereafter, the resolution of the image data is increased, and the image data with the increased resolution are combined.
  • the resolution after dividing the image data the amount of computation required to increase the resolution of the image data is greatly increased even if the capacity of the received image data is increased. Can be suppressed.
  • by supplementing data corresponding to adjacent image data it is possible to make it difficult to see the combined portion when the divided image data are combined. As described above, high-quality image data can be generated by the image processing method of one embodiment of the present invention.
  • FIGS. 1A, 1B, 1C, 1D, and 1E are diagrams illustrating a method for increasing the resolution of image data, which is an image processing method according to one embodiment of the present invention. Specifically, it is a diagram illustrating a method of converting image data (320 ⁇ 240) having a resolution corresponding to QVGA into image data (640 ⁇ 480) having a resolution corresponding to VGA.
  • the image data img1 shown in FIG. 1A represents image data before the resolution is increased, and the resolution is 320 ⁇ 240.
  • the image data img1 can be, for example, image data transmitted by satellite broadcast or broadcast radio waves from a radio tower.
  • the image receiving apparatus receives the image data img1 and divides the received image data img1 into a matrix.
  • FIG. 1B shows a case where the image data img1 is divided into 2 ⁇ 2.
  • the upper left image data is represented as image data a [1,1]
  • the upper right image data is represented as image data a [2,1]
  • the lower left image data is represented as image data a [ 1, 2]
  • the lower right image data is expressed as image data a [2, 2].
  • other image data may be distinguished using the same notation.
  • the resolution of the image data a [1,1] to image data a [2,2] is 160 ⁇ 120 (1/4 of the resolution 320 ⁇ 240).
  • FIG. 1C shows image data img1 after division.
  • the image data img1 is set so that each of the image data a [1,1] to the image data a [2,2] is partially filled with the adjacent image data a.
  • the broken line portion indicates the image data supplemented to the image data a [1, 1] to the image data a [2, 2].
  • the divided image data img1 [1,1] has image data a [1,1] outside the boundary of the image data a [1,1].
  • Image data img1 supplemented with a part of image data a [2,1], a part of image data a [1,2], and a part of image data a [2,2]. [1,1]. That is, the resolution of the image data img1 [1,1] is larger than 160 ⁇ 120, which is the resolution of the image data a [1,1].
  • the image data img1 [2,1], the image data img1 [1,2], and the image data img1 [2,2] are also generated by the same method.
  • the image data img1 is divided into image data img1 [1,1], image data img1 [2,1], image data img1 [1,2], and image data img1 [2,2].
  • FIG. 1D shows image data img2 [1,1], image data img2 [2,1], image data img2 [1,2], and image data img2 [2,2] that are image data after up-conversion. ] Is shown.
  • the resolutions of the image data img2 [1,1] to image data img2 [2,2] are shown as the resolutions of the image data a [1,1] to image data a [2,2], respectively.
  • a case where up-conversion is performed so as to be four times is shown. That is, the resolution of the image data img2 [1,1] to the image data img2 [2,2] is 320 ⁇ 240.
  • Up-conversion can be performed using a neural network, particularly CNN.
  • the up-conversion can be performed accurately by the neural network repeatedly learning. Accordingly, the image receiving device that operates according to the image processing method of one embodiment of the present invention can generate high-quality image data.
  • FIG. 1E shows image data img2 which is image data after combining.
  • the resolution of the image data img2 is 640 ⁇ 480.
  • up-conversion is performed after the image data received by the image receiving apparatus is divided.
  • the divided image data before the up-conversion such as the image data img1 [1,1] to the image data img1 [2,2] Have a part.
  • adjacent image data is not compensated for the divided image data.
  • each combining unit (boundary) when image data after up-conversion is combined The shift of the image data in can be suppressed. Thereby, when the image corresponding to the image data after up-conversion is displayed, it is possible to make each coupling portion difficult to see. Therefore, high-quality image data can be generated by the image processing method of one embodiment of the present invention.
  • the resolution of the image data img1 is 320 ⁇ 240 and the resolution of the image data img2 is 640 ⁇ 480.
  • the image processing method according to the aspect is not limited to this.
  • the image data img1 can have an arbitrary resolution.
  • the resolution of the image data img2 only needs to be larger than the resolution of the image data img1. For example, it may be 2 ⁇ 2 times, 3 ⁇ 3 times, 4 ⁇ 4 times, or 5 ⁇ 5 times or more.
  • the image data img1 is divided into 2 ⁇ 2, but one embodiment of the present invention is not limited to this.
  • the image data img1 may be divided into 3 ⁇ 3, 4 ⁇ 4, 10 ⁇ 10, or more than 10 ⁇ 10 image data. May be.
  • the number of divisions in the horizontal direction may be different from the number of divisions in the vertical direction.
  • the image data img1 may be divided into 4 ⁇ 3, that is, four in the horizontal direction and three in the vertical direction. In this case, the image data img1 is divided into image data img1 [1,1] to image data img1 [4,3].
  • the neural network included in the image receiving device that operates according to the image processing method of one embodiment of the present invention can obtain a function of up-converting image data, for example, by supervised learning.
  • a function of upconverting image data img1 divided into 2 ⁇ 2 into image data img2 is obtained.
  • the learning method is described. First, an image corresponding to the image data img2, that is, an image having the same resolution as the image data img2 is prepared. Next, the image data is divided to generate image data corresponding to the image data img2 [1,1] to the image data img2 [2,2]. Next, the resolution of the image data corresponding to the image data img2 [1,1] to the image data img2 [2,2] is reduced, and the image data is compensated by the same method as shown in FIG.
  • image data corresponding to the image data img1 [1,1] to the image data img1 [2,2] is generated.
  • the resolution of the image data corresponding to the image data img2 [1,1] to the image data img2 [2,2] is 320 ⁇ 240
  • the resolution of the image data is reduced to 160 ⁇ 120 and then adjacent
  • the image data corresponding to the image data img1 [1,1] to the image data img1 [2,2] is generated by supplementing the image data to be processed.
  • image data corresponding to the image data img1 [1,1] to image data img1 [2,2] is used as input data, and the image data corresponding to the image data img2 [1,1] to image data img1 [2,2] is input.
  • the data is used as teacher data for learning.
  • the weighting coefficient of the neural network is updated so that the image data inferred from the image data img1 [1,1] matches the image data img2 [1,1].
  • the above is an example of the learning method.
  • the image data img1 is image data a [1,1], image data a [2,1], image data a [1,2], And a case where the image data is composed of image data a [2, 2].
  • the image data a [1, 1] includes pixel data Da11, pixel data Da21, pixel data Da12, and pixel data Da22.
  • the image data a [2, 1] includes pixel data Db11, pixel data Db21, pixel data Db12, and pixel data Db22.
  • the image data a [1,2] includes pixel data Dc11, pixel data Dc21, pixel data Dc12, and pixel data Dc22.
  • the image data a [2, 2] includes pixel data Dd11, pixel data Dd21, pixel data Dd12, and pixel data Dd22. That is, in the case shown in FIG. 2A, the image data a [1, 1] to image data a [2, 2] each have 2 ⁇ 2 pixel data.
  • Each image data a may have 3 ⁇ 3 or more pixel data.
  • the image data img1 may include 3 ⁇ 3 or more of the image data a.
  • pixel data means, for example, data corresponding to the gradation expressed by a pixel.
  • one piece of pixel data can be data corresponding to the gradation represented by one pixel.
  • the image data a [1, 1] has 160 ⁇ 120 pixel data. can do.
  • FIG. 2B shows a configuration example of the image data img1 [1,1] generated based on the image data a [1,1] shown in FIG.
  • image data a [1,1] around the image data a [1,1], pixel data Db11, pixel data Db12, pixel data Dc11, and pixel data that are pixel data adjacent to the image data a [1,1]
  • Data Dc21 and pixel data Dd11 are supplemented.
  • the image data a does not exist on the upper and left sides of the image data a [1, 1]
  • the data “0” is compensated.
  • Pixel data for one row is compensated for below the image data a [1, 1], and pixel data for one column is compensated for on the right.
  • Pixel data for two rows or more and two columns or more may be supplemented.
  • pixel data Db11, pixel data Db12, pixel data Dc11, pixel data Dc21, and pixel data Dd11, pixel data Db21, pixel data Db22, pixel data Dc12, pixel data Dc22, pixel data Dd21, pixel data Dd12, and pixel data Dd22 are supplemented to image data a [1, 1].
  • the data “0” for one column is supplemented on the left side of the image data a [1, 1], and the data “0” for one row is supplemented on the upper side.
  • data “0” for two rows or more is supplemented to the left of the image data a [1, 1]
  • data “0” for two columns or more is added to the top of the image data a [1, 1].
  • specific data other than “0” may be supplemented, or pixel data (pixel data Da11, pixel data Da21, pixel data Da12) included in image data a [1,1]. Any of the pixel data Da22) may be supplemented. Note that the data “0” does not need to be supplemented to the left and upper sides of the image data img1.
  • FIG. 2C shows a configuration example of the image data img2 [1,1] generated based on the image data img1 [1,1] shown in FIG.
  • the image data img2 [1,1] has 4 ⁇ 4 pixel data.
  • the pixel data UP_Da11, the pixel data UP_Da21, the pixel data UP_Da12, and the pixel data UP_Da22 are pixel data generated based on the pixel data Da11. Can do.
  • the pixel data UP_Da31, the pixel data UP_Da41, the pixel data UP_Da32, and the pixel data UP_Da42 can be referred to as pixel data generated based on the pixel data Da21.
  • the pixel data UP_Da13, the pixel data UP_Da23, the pixel data UP_Da14, and the pixel data UP_Da24 can be said to be pixel data generated based on the pixel data Da12.
  • the pixel data UP_Da33, the pixel data UP_Da43, the pixel data UP_Da34, and the pixel data UP_Da44 can be referred to as pixel data generated based on the pixel data Da22.
  • the image data a [1, 1] having 2 ⁇ 2 pixel data is up-converted to image data img2 [1, 1] having 4 ⁇ 4 pixel data. That is, the image data a [1,1] having the configuration shown in FIG. 2A is up-converted so that the resolution is four times higher, whereby the image data img2 [1,1 having the configuration shown in FIG. 1] is generated.
  • the image data img1 is up-converted to image data img2 having a resolution of 4 times.
  • FIG. 3 is a diagram illustrating a configuration example of the CNN.
  • the CNN receives the divided image data img1 and performs feature extraction to output image data img2 obtained by up-converting the image data img1.
  • FIG. 3 shows a case where image data img1 [1,1] is input and image data img2 [1,1] is output.
  • the convolution layer CL has a function of performing convolution on image data.
  • the convolution is performed by repeating a product-sum operation between part of the image data and the filter value of the weight filter. Image features are extracted by convolution in the convolution layer CL.
  • a weighting filter can be used for convolution.
  • the image data input to the convolution layer CL is subjected to filter processing using the filter fill, and data D is generated.
  • the convolution data D is converted by the activation function and then output to the pooling layer PL.
  • the activation function ReLU (Rectified Linear Units) or the like can be used.
  • ReLU is a function that outputs “0” when the input value is negative, and outputs the input value as it is when the input value is “0” or more.
  • a sigmoid function, a tanh function, etc. can also be used as an activation function.
  • the pooling layer PL has a function of pooling image data input from the convolution layer CL. Pooling is a process of dividing image data into a plurality of areas, extracting predetermined data for each area, and arranging them in a matrix. Pooling reduces the image data while leaving the features extracted by the convolution layer CL. As pooling, maximum pooling, average pooling, Lp pooling, or the like can be used.
  • the CNN performs feature extraction by the above convolution process and pooling process.
  • the CNN can be configured by a plurality of convolution layers CL and a pooling layer PL.
  • a layer L composed of a convolution layer CL and a pooling layer PL is provided (z is an integer equal to or greater than 1) (L 1 to L z ), and the convolution process and the pooling process are performed. Shows a configuration in which z is performed z times. In this case, feature extraction can be performed in each layer L, and more advanced feature extraction is possible.
  • the all coupling layer FCL has a function of determining an image using image data that has been convolved and pooled.
  • the fully coupled layer FCL has a configuration in which all nodes in one layer are connected to all nodes in the next layer.
  • the image data output from the convolutional layer CL or the pooling layer PL is a two-dimensional feature map, and when input to the all coupling layer FCL, it is expanded one-dimensionally. Then, the image data obtained by the inference by all the coupling layers FCL is output.
  • the configuration of the CNN is not limited to the configuration of FIG.
  • the pooling layer PL may be provided for each of the plurality of convolution layers CL. Further, when it is desired to retain the position information of the extracted features as much as possible, the pooling layer PL may be omitted.
  • an output layer electrically connected to all the coupling layers FCL may be provided.
  • the output layer can output a classification class using a softmax function or the like as a likelihood function.
  • the CNN can perform supervised learning using image data as learning data and teacher data.
  • supervised learning for example, an error back propagation method can be used.
  • the filter value of the weight filter, the weight coefficient of all coupling layers, and the like can be optimized.
  • Embodiment 2 In this embodiment, an image receiving apparatus including the image processing method described in Embodiment 1 will be described. Note that in this embodiment, a television device is described as an example of the image receiving device.
  • FIG. 4A is an external view of the image receiving device 10.
  • the image receiving device 10 has a function of generating image data from a broadcast signal received by the antenna 12 and displaying an image.
  • the image receiving apparatus 10 shown in FIG. 4A displays a soccer game relay as an example.
  • the image receiving device 10 can communicate with the server 13 via the computer network 11.
  • Broadcast radio waves that can be received by the antenna 12 include terrestrial waves or radio waves transmitted from satellites. Broadcast radio waves that can be received by the antenna 12 include analog broadcast and digital broadcast, and also includes video and audio, or audio-only broadcast. For example, broadcast radio waves transmitted in a specific frequency band in the UHF band or the VHF band can be received. In addition, for example, by using a plurality of data received in a plurality of frequency bands, the transfer rate can be increased and more information can be obtained. As a result, an image having a resolution exceeding full high-definition (pixel number 1920 ⁇ 1080) can be displayed on the display panel 30. For example, an image having a resolution of 4K2K (pixel number 3840 ⁇ 2160), 8K4K (pixel number 7680 ⁇ 4320), 16K8K, or higher can be displayed.
  • the Internet As the computer network 11, the Internet, intranet, extranet, PAN (Personal Area Network), LAN (Local Area Network), CAN (Campus Area Network), MAN (MetroNetwork), which are the foundations of the World Wide Web (WWW).
  • WAN Wide Area Network
  • GAN Global Area Network
  • FIG. 4B is a block diagram illustrating a configuration example of the image receiving device 10.
  • the image receiving apparatus 10 includes a control unit 20, a storage unit 22, a communication control unit 23, an image processing circuit 24, a decoder circuit 25, a video signal receiving unit 26, a timing controller 27, an SD (source driver) 28, and a GD (gate driver) 29. And a display panel 30 and the like. SD28 and GD29 are called a drive circuit of the display panel 30.
  • the transistor included in the drive circuit of the display panel 30 can be formed at the same time as the transistors constituting the pixels of the display panel 30.
  • a part or all of the drive circuit unit may be formed on another substrate and electrically connected to the display panel 30.
  • part or all of the driver circuit portion may be formed using an IC chip using a single crystal substrate and electrically connected to the display panel 30.
  • the IC chip can be provided on the display panel 30 by using a COG (Chip on glass) method or a COF (Chip on Film) method.
  • the control unit 20 can function as a CPU, for example.
  • the control unit 20 has a function of controlling components such as the storage unit 22, the communication control unit 23, the image processing circuit 24, the decoder circuit 25, and the video signal receiving unit 26 via the system bus 21.
  • the control unit 20 has a function of processing a signal input from each component connected via the system bus 21 and a function of generating a signal output to each component. Each component can be controlled centrally.
  • the storage unit 22 functions as a register, a cache memory, a main memory, a secondary memory, and the like that can be accessed by the control unit 20 and the image processing circuit 24.
  • a storage device that can be used as a secondary memory for example, a storage device to which a rewritable nonvolatile storage element is applied can be used.
  • flash memory ReRAM (Resistive Random Access Memory), MRAM (Magnetic Responsive Random Access Memory), PRAM (Phase change RAM), FeRAM (Ferroelectric RAM), or other RAM can be used.
  • ReRAM Resistive Random Access Memory
  • MRAM Magnetic Responsive Random Access Memory
  • PRAM Phase change RAM
  • FeRAM Feroelectric RAM
  • NOSRAM Nonvolatile Oxide Semiconductor RAM
  • 2T type, 3T type a RAM having gain cell type (2T type, 3T type) memory cells.
  • NOSRAM is a type of OS memory that utilizes the low off-state current of the OS transistor. NOSRAM, like flash memory, has no limit on the number of rewritable times, and consumes less power when writing data. Therefore, a nonvolatile memory with high reliability and low power consumption can be provided.
  • a storage device that can be used as a temporary memory such as a register, a cache memory, or a main memory
  • a volatile storage element such as a DRAM (Dynamic RAM), SRAM (Static Random Access Memory), or DOSRAM may be used. Good.
  • DOSRAM (registered trademark) is an abbreviation for “Dynamic Oxide Semiconductor RAM” and refers to a RAM having 1T (transistor) 1C (capacitance) type memory cells.
  • DOSRAM is a type of OS memory that utilizes the low off-state current of an OS transistor. DOSRAM requires fewer data refreshes than DRAM. In addition, since the memory cell can be manufactured over the peripheral circuit, the occupation area can be reduced. Therefore, a volatile memory with low power consumption and high integration can be provided.
  • the RAM provided in the main memory for example, a DRAM is used, and a memory space is virtually allocated and used as a work space of the control unit 20.
  • the operating system, application program, program module, program data, etc. stored in the storage unit 22 are loaded into the RAM for execution. These data, programs, and program modules loaded in the RAM are directly accessed and operated by the control unit 20.
  • BIOS Basic Input / Output System
  • firmware etc. that do not require rewriting can be stored in the ROM.
  • ROM mask ROM, OTPROM (One Time Programmable Read Only Memory), EPROM (Erasable Programmable Read Only Memory), etc. can be used.
  • EPROM include UV-EPROM (Ultra-Violet Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), etc. that can erase stored data by ultraviolet irradiation.
  • a removable storage device may be connected.
  • a terminal for connecting to a recording medium drive such as a hard disk drive (Hard Disk Drive: HDD) or a solid state drive (SSD) that functions as a storage device, a recording medium such as a flash memory, a Blu-ray disc, or a DVD.
  • a recording medium such as a flash memory, a Blu-ray disc, or a DVD.
  • the communication control unit 23 has a function of controlling communication performed via the computer network 11. For example, a control signal for connecting to the computer network 11 is controlled according to a command from the control unit 20, and the signal is transmitted to the computer network 11. As a result, it is possible to connect to the computer network 11 and communicate with the server 13.
  • the communication control unit 23 has a function of communicating with the computer network 11 or other electronic devices using a communication standard such as Wi-Fi (registered trademark), Bluetooth (registered trademark), or ZigBee (registered trademark). May be.
  • a communication standard such as Wi-Fi (registered trademark), Bluetooth (registered trademark), or ZigBee (registered trademark). May be.
  • the video signal receiving unit 26 includes, for example, a demodulation circuit and an A / D conversion circuit (analog-digital conversion circuit).
  • the demodulation circuit has a function of demodulating a signal input from the antenna 12.
  • the A-D conversion circuit has a function of converting the demodulated analog signal into a digital signal.
  • the signal processed by the video signal receiving unit 26 is sent to the decoder circuit 25.
  • the decoder circuit 25 has a function of decoding video data included in the digital signal input from the video signal receiving unit 26 in accordance with the specification of the broadcast standard to be transmitted, and generating a signal to be transmitted to the image processing circuit.
  • a broadcasting standard in 8K broadcasting H.264 is used.
  • H.265 MPEG-H High Efficiency Video Coding (abbreviation: HEVC).
  • the video signal receiving unit 26 and the decoder circuit 25 may be configured to generate a signal to be transmitted to the image processing circuit 24 using broadcast data transmitted by a data transmission technique via the computer network 11. At this time, when the signal to be received is a digital signal, the video signal receiving unit 26 may not include a demodulation circuit, an A-D conversion circuit, and the like.
  • the image processing circuit 24 has a function of generating a video signal to be output to the timing controller 27 based on the video signal input from the decoder circuit 25.
  • the timing controller 27 has a function of generating a signal (a signal such as a clock signal or a start pulse signal) to be output to the GD 29 and the SD 28 based on a synchronization signal included in a video signal or the like processed by the image processing circuit 24. Have.
  • the timing controller 27 has a function of outputting a video signal to the SD 28 in addition to the above signals.
  • the display panel 30 has a plurality of pixels. Each pixel is driven by a signal supplied from GD29 and SD28.
  • the resolution of the display panel 30 may be a resolution according to a standard such as full high vision, 4K2K, 8K4K, or the like.
  • the control unit 20 can use a processor that functions as a CPU.
  • image processing circuit 24 for example, other processors such as a DSP (Digital Signal Processor) and a GPU can be used.
  • the control unit 20 and the image processing circuit 24 may be configured such that the processor is realized by a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or an FPAA (Field Programmable Analog Array).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • FPAA Field Programmable Analog Array
  • the processor performs various data processing and program control by interpreting and executing instructions from various programs.
  • the program that can be executed by the processor may be stored in a memory area of the processor, or may be stored in a storage device provided separately.
  • a system LSI may be configured by concentrating on an IC chip.
  • a system LSI having a processor, a decoder circuit, a tuner circuit, an A / D conversion circuit, a DRAM, and an SRAM may be used.
  • an OS transistor can be used for an IC or the like of the control unit 20 or other components.
  • An OS transistor has an extremely low off-state current, so that a data holding period can be secured for a long time by using the OS transistor as a switch for holding charge (data) flowing into a capacitor that functions as a memory element. it can.
  • the control unit 20 is operated only when necessary, and in other cases, information of the immediately preceding process is saved in the storage element, thereby being normally Off-computing becomes possible. Thereby, the power consumption of the image receiving device 10 can be reduced.
  • the image receiving apparatus 10 may have an external interface, an audio output unit, a touch panel unit, a sensor unit, a camera unit, and the like in addition to the configuration shown in FIG.
  • External interfaces include, for example, USB (Universal Serial Bus) terminals, LAN (Local Area Network) connection terminals, power receiving terminals, audio output terminals, audio input terminals, video output terminals, video input terminals, etc.
  • the sound input / output unit includes a sound controller, a microphone, a speaker, and the like.
  • the image processing circuit 24 preferably has a function of executing image processing based on the video signal input from the decoder circuit 25.
  • Examples of image processing include noise removal processing, gradation conversion processing, color tone correction processing, and luminance correction processing.
  • Examples of the color tone correction process and the brightness correction process include gamma correction.
  • noise removal processing various noises such as mosquito noise that occurs around the outline of characters, block noise that occurs in high-speed moving images, random noise that causes flickering, and dot noise that occurs due to resolution up-conversion are removed.
  • the gradation conversion process is a process for converting the gradation of the image into a gradation corresponding to the output characteristics of the display panel 30. For example, when the number of gradations is increased, a process for smoothing the histogram can be performed by interpolating and assigning gradation values corresponding to each pixel to an image input with a small number of gradations. Further, a high dynamic range (HDR) process for expanding the dynamic range is also included in the gradation conversion process.
  • HDR high dynamic range
  • the color tone correction process is a process for correcting the color tone of the image.
  • the brightness correction process is a process for correcting the brightness (brightness contrast) of the image. For example, the type, brightness, or color purity of the illumination disposed in the space in which the image receiving device 10 is provided is detected, and the brightness and color tone of the image displayed on the display panel 30 are corrected accordingly. Or, it has a function to compare the image to be displayed with the images of various scenes in the image list stored in advance, and to correct the image displayed with brightness and color tone suitable for the image of the closest scene. May be.
  • the image processing circuit 24 preferably has a function of executing processing such as inter-pixel interpolation processing accompanying resolution up-conversion and inter-frame interpolation processing accompanying frame frequency up-conversion.
  • Inter-frame interpolation generates an image of a frame (interpolation frame) that does not exist originally when the frame frequency of a video to be displayed is increased.
  • the image processing circuit 24 preferably has a circuit (hereinafter referred to as an NN circuit) that performs a neural network calculation.
  • the NN circuit preferably performs the inter-pixel interpolation process using the image processing method described in the first embodiment. By doing so, the image receiving apparatus 10 can receive a low-resolution video signal and display a high-resolution image.
  • the weight coefficient data used in the neural network is stored in the storage unit 22 as a data table.
  • the latest data table including the weighting factor can be downloaded from the server 13 via the computer network 11, for example.
  • the image processing circuit 24 may have a learning function, and the data table including the weight coefficient may be updated.
  • FIG. 5 is a block diagram for explaining a configuration example of the display panel 30 and its peripheral circuits.
  • FIG. 5 shows a display panel 30, a GD 29, SD 28_1 to 28_n (n is an integer of 2 or more), and an image processing circuit 24.
  • the display panel 30 includes a plurality of pixels 31 arranged in a matrix, and the image processing circuit 24 includes NN circuits 32_1 to 32_n.
  • the GD 29 is provided on each of the left and right sides of the display panel 30.
  • the display panel 30 has a plurality of scanning lines GL each of which is arranged substantially in parallel and whose potential is controlled by the GD 29, each of which is arranged substantially in parallel, and the potential of which is controlled by the SD 28_1 to 28_n.
  • Each scanning line GL is electrically connected to a plurality of pixels 31 arranged in any row among the pixels 31.
  • Each signal line SL is electrically connected to a plurality of pixels 31 arranged in any column of the pixels 31.
  • Each of the NN circuits 32_1 to 32_n can up-convert image data by the image processing method described in the first embodiment.
  • n 2 in FIG. 5 and img1 [1, 1] is up-converted by the NN circuit 32_1, and img1 [2,1] is preferably up-converted by the NN circuit 32_2.
  • img1 [1,2] is preferably upconverted by the NN circuit 32_1, and img1 [2,2] is preferably upconverted by the NN circuit 32_2.
  • Each of the up-converted images is displayed on the display panel 30 in a finally combined state.
  • the image receiving apparatus 10 can up-convert the image data in parallel. That is, the image receiving device 10 can display the video signal received from the antenna 12 on the display panel 30 with a small time lag.
  • FIG. 6 shows an example in which the display panel 30 of FIG. 5 is divided into four display panels 30_A, 30_B, 30_C, and 30_D.
  • the display panels 30_A to 30_D are collectively referred to as the display panel 30.
  • the image data displayed on the display panel 30 is divided into four parts, which are respectively displayed on the display panels 30_A to 30_D.
  • NN circuits 32_A1 to 32_Am (m is an integer greater than or equal to 2) up-convert image data by the method described in Embodiment 1, and SD28_A1 to 28_Am are connected via the signal line SL_A. Image data is supplied to the display panel 30_A.
  • the NN circuits 32_B1 to 32_Bm up-convert the image data by the method described in Embodiment 1, and the SD 28_B1 to 28_Bm supply the image data to the display panel 30_B through the signal line SL_B. To do.
  • the NN circuits 32_C1 to 32_Cm up-convert the image data to the display panel 30_C by the method described in Embodiment 1, and the SD 28_C1 to 28_Cm supply the image data to the display panel 30_C through the signal line SL_C. To do.
  • the NN circuits 32_D1 to 32_Dm up-convert the image data to the display panel 30_D by the method described in Embodiment 1, and the SD 28_D1 to 28_Dm supply the image data to the display panel 30_D through the signal line SL_D. To do.
  • the image data displayed on the display panel 30_A is divided and up-converted.
  • the configuration shown in FIG. 6 can reduce the number of pixels 31 connected to one signal line. That is, the capacity connected to one signal line can be reduced. As a result, the display panel can shorten the time for writing image data to the signal line.
  • the configuration shown in FIG. 6 is preferably applied to a high-definition display panel such as 8K.
  • a high-definition display panel such as 8K.
  • the image receiving apparatus 10 can include a display panel having 8K pixels.
  • ⁇ Configuration Example 3 of Display Panel> 7 illustrates an example in which the display panel 30 in FIG. 5 is divided into display panels 41_1 to 41_n, display panels 42_1 to 42_n, display panels 43_1 to 43_n, and display panels 44_1 to 44_n. These divided display panels are collectively referred to as a display panel 30.
  • the image data displayed on the display panel 30 is divided into 4 ⁇ n and displayed on each display panel.
  • segmentation number of the display panel 30 is not limited to this, It can set freely.
  • the NN circuit 32_U1 up-converts image data to the display panels 41_1 and 42_1 by the method described in Embodiment 1, and the SD 28_U1 supplies the image data to the display panels 41_1 and 42_1 through the signal line SL_U1. To do.
  • the NN circuit 32_Un up-converts the image data to the display panels 41_n and 42_n by the method described in Embodiment 1, and the SD 28_Un supplies the image data to the display panels 41_n and 42_n through the signal line SL_Un. To do.
  • the NN circuit 32_B1 up-converts image data to the display panels 43_1 and 44_1 by the method described in Embodiment 1, and the SD 28_B1 supplies the image data to the display panels 43_1 and 44_1 through the signal line SL_B1. To do.
  • the NN circuit 32_Bn performs up-conversion of image data with respect to the display panels 43_n and 44_n by the method described in Embodiment 1, and the SD 28_Bn supplies image data to the display panels 43_n and 44_n through the signal lines SL_Bn. To do.
  • FIG. 7 differs from the configuration of FIG. 6 in that one NN circuit and one source driver are connected to one display panel.
  • FIG. 8 shows an example in which the signal line SL of FIG. 5 is divided into two signal lines SL1 and SL2.
  • the plurality of pixels 31 arranged in the same column are electrically connected alternately with the signal line SL1 or the signal line SL2.
  • the configuration shown in FIG. 8 can reduce the number of pixels 31 connected to one signal line. As a result, the display panel 30 can shorten the time for writing the image data to the signal line, and can switch the image data at high speed.
  • the display panel 30 can display a seamless smooth image.
  • a pixel 31 illustrated in FIG. 9A includes a transistor 3431, a capacitor 3233, and a liquid crystal element 3432.
  • One of a source and a drain of the transistor 3431 is electrically connected to the signal line SL, and the other is electrically connected to a node 3436.
  • a gate of the transistor 3431 is electrically connected to the scan line GL.
  • the transistor 3431 has a function of controlling writing of a data signal to the node 3436.
  • capacitor line CL a wiring to which a specific potential is supplied
  • the potential of the capacitor line CL is appropriately set according to the specification of the pixel 31.
  • the capacitor 3233 has a function of holding data written to the node 3436.
  • One of the pair of electrodes of the liquid crystal element 3432 is supplied with a common potential (common potential), and the other is electrically connected to the node 3436.
  • the alignment state of the liquid crystal included in the liquid crystal element 3432 is determined by the potential written to the node 3436.
  • a TN mode for example, a TN mode, an STN mode, a VA mode, an ASM (Axial Symmetrical Aligned Micro-cell) mode, an OCB (Optically Compensated Birefringence) mode, and an FLC (Ferroelectric ALC).
  • a Crystal) mode for example, an MVA mode, a PVA (Patterned Vertical Alignment) mode, an IPS mode, an FFS mode, or a TBA (Transverse Bend Alignment) mode may be used.
  • ECB Electrode Controlled Birefringence
  • PDLC Polymer Dispersed Liquid Crystal
  • PNLC Polymer Network Liquid Crystal
  • a pixel 31 illustrated in FIG. 9B includes a transistor 3431, a capacitor 3233, a transistor 3232, and a light-emitting element 3125.
  • One of a source and a drain of the transistor 3431 is electrically connected to a signal line SL to which a data signal is supplied, and the other is electrically connected to a node 3435.
  • the gate of the transistor 3431 is electrically connected to the scan line GL to which a gate signal is supplied.
  • the transistor 3431 has a function of controlling writing of a data signal to the node 3435.
  • One of the pair of electrodes of the capacitor 3233 is electrically connected to the node 3435, and the other is electrically connected to the node 3437.
  • the capacitor 3233 functions as a storage capacitor that stores data written to the node 3435.
  • One of a source and a drain of the transistor 3232 is electrically connected to the potential supply line VL_a, and the other is electrically connected to the node 3437.
  • a gate of the transistor 3232 is electrically connected to the node 3435.
  • the transistor 3232 has a function of controlling current flowing to the light-emitting element 3125.
  • One of the anode and the cathode of the light-emitting element 3125 is electrically connected to the potential supply line VL_b, and the other is electrically connected to the node 3437.
  • an organic electroluminescence element also referred to as an organic EL element
  • the inorganic EL element which consists of inorganic materials.
  • the potential supply line VL_a has a function of supplying V DD .
  • the potential supply line VL_b has a function of supplying a V SS.
  • the 10A and 10B includes an electrode 4015, and the electrode 4015 is electrically connected to a terminal included in the FPC 4018 through an anisotropic conductive layer 4019.
  • the electrode 4015 is electrically connected to the wiring 4014 in an opening formed in the insulating layer 4112, the insulating layer 4111, and the insulating layer 4110.
  • the electrode 4015 is formed from the same conductive layer as the first electrode layer 4030.
  • the pixel 31 provided over the first substrate 4001 includes a transistor.
  • the transistor 3431 included in the pixel 31 is illustrated, and in FIG. The included transistor 3232 is illustrated.
  • the transistors 3431 and 3232 are provided over the insulating layer 4102.
  • the transistors 3431 and 3232 each include an electrode 517 formed over the insulating layer 4102, and the insulating layer 4103 is formed over the electrode 517.
  • a semiconductor layer 512 is formed over the insulating layer 4103.
  • An electrode 510 and an electrode 511 are formed over the semiconductor layer 512, an insulating layer 4110 and an insulating layer 4111 are formed over the electrode 510 and the electrode 511, and an electrode 516 is formed over the insulating layer 4110 and the insulating layer 4111.
  • the electrode 510 and the electrode 511 are formed using the same conductive layer as the wiring 4014.
  • the electrode 517 functions as a gate
  • the electrode 510 functions as one of a source and a drain
  • the electrode 511 functions as the other of the source and the drain
  • the electrode 516 includes It functions as a back gate.
  • the transistors 3431 and 3232 have a bottom gate structure and have a back gate, whereby the on-state current can be increased. In addition, the threshold value of the transistor can be controlled. Note that the electrode 516 may be omitted in some cases in order to simplify the manufacturing process.
  • the semiconductor layer 512 functions as a channel formation region.
  • the semiconductor layer 512 crystalline silicon, polycrystalline silicon, amorphous silicon, metal oxide, an organic semiconductor, or the like may be used. Further, an impurity may be introduced into the semiconductor layer 512 as needed in order to increase the conductivity of the semiconductor layer 512 or to control the threshold value of the transistor.
  • the semiconductor layer 512 preferably contains indium (In). In the case where the semiconductor layer 512 is a metal oxide containing indium, the semiconductor layer 512 has high carrier mobility (electron mobility).
  • the semiconductor layer 512 is preferably an oxide semiconductor including the element M.
  • the element M is preferably aluminum (Al), gallium (Ga), tin (Sn), or the like.
  • the element M may be a combination of a plurality of the aforementioned elements.
  • the element M is an element having a high binding energy with oxygen, for example. For example, it is an element whose binding energy with oxygen is higher than that of indium.
  • the semiconductor layer 512 is preferably a metal oxide containing zinc (Zn). A metal oxide containing zinc may be easily crystallized.
  • the semiconductor layer 512 is not limited to a metal oxide containing indium.
  • the semiconductor layer 512 may be, for example, a metal oxide containing zinc, a metal oxide containing gallium, a metal oxide containing tin, or the like that does not contain indium, such as zinc tin oxide and gallium tin oxide. .
  • the display panel 30 illustrated in FIGS. 10A and 10B includes a capacitor 3233.
  • the capacitor 3233 has a region where the electrode 511 and the electrode 4021 overlap with each other with the insulating layer 4103 interposed therebetween.
  • the electrode 4021 is formed using the same conductive layer as the electrode 517.
  • FIG. 10A illustrates an example of a liquid crystal display panel using a liquid crystal element as a display element.
  • a liquid crystal element 3432 which is a display element includes a first electrode layer 4030, a second electrode layer 4031, and a liquid crystal layer 4008.
  • an insulating layer 4032 and an insulating layer 4033 which function as alignment films are provided so as to sandwich the liquid crystal layer 4008.
  • the second electrode layer 4031 is provided on the second substrate 4006 side, and the first electrode layer 4030 and the second electrode layer 4031 overlap with each other with the liquid crystal layer 4008 interposed therebetween.
  • the spacer 4035 is a columnar spacer obtained by selectively etching the insulating layer, and is provided to control the distance (cell gap) between the first electrode layer 4030 and the second electrode layer 4031. Yes.
  • a spherical spacer may be used.
  • thermotropic liquid crystal When a liquid crystal element is used as the display element, a thermotropic liquid crystal, a low molecular liquid crystal, a polymer liquid crystal, a polymer dispersed liquid crystal, a ferroelectric liquid crystal, an antiferroelectric liquid crystal, or the like can be used. These liquid crystal materials exhibit a cholesteric phase, a smectic phase, a cubic phase, a chiral nematic phase, an isotropic phase, and the like depending on conditions.
  • the specific resistance of the liquid crystal material is 1 ⁇ 10 9 ⁇ ⁇ cm or more, preferably 1 ⁇ 10 11 ⁇ ⁇ cm or more, and more preferably 1 ⁇ 10 12 ⁇ ⁇ cm or more.
  • the value of the specific resistance in this specification shall be the value measured at 20 degreeC.
  • the transistor 3431 can reduce a current value in an off state (off-state current value). Therefore, the holding time of an electric signal such as a video signal can be extended, and the writing interval can be set longer in the power-on state. Therefore, since the frequency of the refresh operation can be reduced, there is an effect of suppressing power consumption.
  • an optical member such as a black matrix (light shielding layer), a polarizing member, a retardation member, or an antireflection member may be provided as appropriate.
  • a black matrix light shielding layer
  • a polarizing member such as a polarizing member
  • a retardation member such as a retardation member
  • an antireflection member such as a polarizing member, a retardation member, or an antireflection member
  • circularly polarized light using a polarizing substrate and a retardation substrate may be used.
  • a backlight, a sidelight, or the like may be used as the light source.
  • FIG. 10B illustrates an example of a display panel using a light-emitting element such as an EL element as a display element.
  • EL elements are classified into organic EL elements and inorganic EL elements.
  • the organic EL element In the organic EL element, by applying a voltage, electrons from one electrode and holes from the other electrode are injected into the EL layer. Then, these carriers (electrons and holes) recombine, whereby the light-emitting organic compound forms an excited state, and emits light when the excited state returns to the ground state. From such a mechanism, the organic EL element is called a current excitation type light emitting element.
  • the EL layer includes a substance having a high hole-injecting property, a substance having a high hole-transporting property, a hole blocking material, a substance having a high electron-transporting property, a substance having a high electron-injecting property, or a bipolar layer.
  • the EL layer can be formed by a method such as a vapor deposition method (including a vacuum vapor deposition method), a transfer method, a printing method, an ink jet method, or a coating method.
  • the inorganic EL element is classified into a dispersion type inorganic EL element and a thin film type inorganic EL element depending on the element structure.
  • the dispersion-type inorganic EL element has a light-emitting layer in which particles of a light-emitting material are dispersed in a binder, and the light emission mechanism is donor-acceptor recombination light emission using a donor level and an acceptor level.
  • the thin-film inorganic EL element has a structure in which a light emitting layer is sandwiched between dielectric layers and further sandwiched between electrodes, and the light emission mechanism is localized light emission utilizing inner-shell electron transition of metal ions.
  • FIG. 10B illustrates an example in which an organic EL element is used as the light-emitting element 3125.
  • the light-emitting element 3125 is electrically connected to the transistor 3232 provided in the pixel 31.
  • the structure of the light-emitting element 3125 is a stacked structure of the first electrode layer 4030, the light-emitting layer 4511, and the second electrode layer 4031; however, the structure is not limited to this structure.
  • the structure of the light-emitting element 3125 can be changed as appropriate depending on the direction in which light is extracted from the light-emitting element 3125, or the like.
  • the partition wall 4510 is formed using an organic insulating material or an inorganic insulating material.
  • a photosensitive resin material it is preferable to use a photosensitive resin material and form an opening on the first electrode layer 4030 so that the side surface of the opening is an inclined surface formed with a continuous curvature.
  • the light emitting layer 4511 may be composed of a single layer or a plurality of layers stacked.
  • a protective layer may be formed over the second electrode layer 4031 and the partition wall 4510 so that oxygen, hydrogen, moisture, carbon dioxide, or the like does not enter the light-emitting element 3125.
  • the protective layer silicon nitride, silicon nitride oxide, aluminum oxide, aluminum nitride, aluminum oxynitride, aluminum nitride oxide, DLC (Diamond Like Carbon), or the like can be formed.
  • a filler 4514 is provided and sealed in a space sealed by the first substrate 4001, the second substrate 4006, and the sealant 4005.
  • the protective film As described above, it is preferable to package (enclose) the protective film with a protective film (bonded film, ultraviolet curable resin film, or the like) or a cover material that has high hermeticity and little degassing so as not to be exposed to the outside air.
  • a protective film bonded film, ultraviolet curable resin film, or the like
  • a cover material that has high hermeticity and little degassing so as not to be exposed to the outside air.
  • an ultraviolet curable resin or a thermosetting resin can be used in addition to an inert gas such as nitrogen or argon.
  • PVC polyvinyl chloride
  • acrylic resin polyimide
  • epoxy resin epoxy resin
  • silicone resin silicone resin
  • PVB Polyvinyl butyral
  • EVA ethylene vinyl acetate
  • the filler 4514 may contain a desiccant.
  • a glass material such as glass frit, a resin material such as a two-component mixed resin, a curable resin that cures at room temperature, a photo-curable resin, and a thermosetting resin can be used.
  • the sealing material 4005 may contain a desiccant.
  • an optical film such as a polarizing plate, a circularly polarizing plate (including an elliptical polarizing plate), a retardation plate ( ⁇ / 4 plate, ⁇ / 2 plate), a color filter, or the like is provided on the emission surface of the light emitting element. You may provide suitably.
  • an antireflection film may be provided on the polarizing plate or the circularly polarizing plate. For example, anti-glare treatment can be performed that diffuses reflected light due to surface irregularities and reduces reflection.
  • light with high color purity can be extracted by using a light emitting element with a microcavity structure. Further, by combining the microcavity structure and the color filter, the reflection can be reduced and the visibility of the display image can be improved.
  • the first electrode layer 4030 and the second electrode layer 4031 include indium oxide containing tungsten oxide, indium zinc oxide containing tungsten oxide, indium oxide containing titanium oxide, indium tin oxide, and indium containing titanium oxide.
  • a light-transmitting conductive material such as tin oxide, indium zinc oxide, or indium tin oxide to which silicon oxide is added can be used.
  • the first electrode layer 4030 and the second electrode layer 4031 are tungsten (W), molybdenum (Mo), zirconium (Zr), hafnium (Hf), vanadium (V), niobium (Nb), and tantalum (Ta). , Chromium (Cr), cobalt (Co), nickel (Ni), titanium (Ti), platinum (Pt), aluminum (Al), copper (Cu), silver (Ag) and other metals, or alloys thereof, or One or more metal nitrides can be used.
  • the first electrode layer 4030 and the second electrode layer 4031 can be formed using a conductive composition containing a conductive high molecule (also referred to as a conductive polymer).
  • a conductive polymer a so-called ⁇ -electron conjugated conductive polymer can be used.
  • polyaniline or a derivative thereof, polypyrrole or a derivative thereof, polythiophene or a derivative thereof, a copolymer of two or more of aniline, pyrrole, and thiophene or a derivative thereof can be given.
  • the first electrode layer 4030 and the second electrode layer 4031 needs to be transparent in order for the light emitting element 3125 to extract light to the outside.
  • Display panels are classified into a top emission (top emission) structure, a bottom emission (bottom emission) structure, and a double emission (dual emission) structure depending on how light is extracted.
  • the top emission structure refers to a case where light is extracted from the substrate 4006.
  • the bottom emission structure refers to a case where light is extracted from the substrate 4001.
  • the dual emission structure refers to a case where light is extracted from both the substrate 4006 and the substrate 4001.
  • the second electrode layer 4031 may be transparent.
  • the first electrode layer 4030 may be transparent.
  • the first electrode layer 4030 and the second electrode layer 4031 may be transparent.
  • substrate 4001 A material having heat resistance high enough to withstand heat treatment in the manufacturing process can be used for the substrate 4001 or the like.
  • a material having a thickness of 0.7 mm or less and a thickness of 0.1 mm or more can be used for the substrate 4001.
  • a material polished to a thickness of about 0.1 mm can be used.
  • a large glass substrate can be used for the substrate 4001 or the like. Thus, a large display device can be manufactured.
  • An organic material, an inorganic material, or a composite material of an organic material and an inorganic material can be used for the substrate 4001 or the like.
  • an inorganic material such as glass, ceramics, or metal can be used for the substrate 4001 or the like.
  • alkali-free glass, soda-lime glass, potash glass, crystal glass, aluminosilicate glass, tempered glass, chemically tempered glass, quartz, sapphire, or the like can be used for the substrate 4001 or the like.
  • an inorganic oxide film, an inorganic nitride film, an inorganic oxynitride film, or the like can be used for the substrate 4001 or the like.
  • a silicon oxide film, a silicon nitride film, a silicon oxynitride film, an aluminum oxide film, or the like can be used for the substrate 4001 or the like.
  • Stainless steel, aluminum, or the like can be used for the substrate 4001 or the like.
  • a single crystal semiconductor substrate made of silicon or silicon carbide, a polycrystalline semiconductor substrate, a compound semiconductor substrate such as silicon germanium, an SOI substrate, or the like can be used for the substrate 4001 or the like.
  • a semiconductor element can be formed over the substrate 4001 or the like.
  • an organic material such as resin, resin film, or plastic can be used for the substrate 4001 or the like.
  • a resin film or a resin plate such as polyester, polyolefin, polyamide, polyimide, polycarbonate, or an acrylic resin can be used for the substrate 4001 or the like.
  • a metal plate, a thin glass plate, or a composite material in which a film of an inorganic material or the like is bonded to a resin film or the like can be used for the substrate 4001 or the like.
  • a composite material in which a fibrous or particulate metal, glass, inorganic material, or the like is dispersed in a resin film can be used for the substrate 4001 or the like.
  • a composite material in which a fibrous or particulate resin, an organic material, or the like is dispersed in an inorganic material can be used for the substrate 4001 or the like.
  • a single layer material or a material in which a plurality of layers are stacked can be used for the substrate 4001 or the like.
  • a material in which a base material and an insulating film that prevents diffusion of impurities contained in the base material are stacked can be used for the substrate 4001 or the like.
  • a material in which one or a plurality of films selected from a silicon oxide layer, a silicon nitride layer, a silicon oxynitride layer, or the like that prevents diffusion of impurities contained in glass is used for the substrate 4001 or the like. be able to.
  • a material in which a silicon oxide film, a silicon nitride film, a silicon oxynitride film, or the like which prevents resin and diffusion of impurities that permeate the resin is stacked can be used for the substrate 4001 or the like.
  • a resin film such as polyester, polyolefin, polyamide, polyimide, polycarbonate, or acrylic resin, a resin plate, a laminated material, or the like can be used for the substrate 4001 or the like.
  • a material containing a resin having a siloxane bond such as polyester, polyolefin, polyamide (nylon, aramid, etc.), polyimide, polycarbonate, polyurethane, acrylic resin, epoxy resin, or silicone can be used for the substrate 4001 or the like.
  • polyethylene terephthalate (PET), polyethylene naphthalate (PEN), polyethersulfone (PES), acrylic, or the like can be used for the substrate 4001 or the like.
  • PET polyethylene terephthalate
  • PEN polyethylene naphthalate
  • PES polyethersulfone
  • acrylic acrylic
  • COP cycloolefin polymer
  • COC cycloolefin copolymer
  • paper, main material, or the like can be used for the substrate 4001 or the like.
  • a flexible substrate can be used for the substrate 4001 or the like.
  • a method of directly forming a transistor, a capacitor, or the like over a substrate can be used.
  • a method can be used in which a transistor, a capacitor, or the like is formed over a substrate for a process that has heat resistance to heat applied during the manufacturing process, and the formed transistor, capacitor, or the like is transferred to the substrate 4001 or the like.
  • a transistor or a capacitor can be formed over a flexible substrate.
  • a material that can be used for the substrate 4001 can be used for the substrate 4006.
  • a material having a light-transmitting property selected from materials that can be used for the substrate 4001 can be used for the substrate 4006.
  • a material in which an antireflection film of 1 ⁇ m or less, for example, is formed on one surface can be used for the substrate 4006.
  • a material obtained by stacking three or more dielectric layers, preferably five or more layers, more preferably 15 or more layers can be used for the substrate 4006. Thereby, a reflectance can be suppressed to 0.5% or less, preferably 0.08% or less.
  • a material in which birefringence is selected from materials that can be used for the substrate 4001 can be used for the substrate 4006.
  • aluminosilicate glass, tempered glass, chemically tempered glass, sapphire, or the like can be suitably used for the substrate 4006 disposed on the side closer to the user of the display panel. Thereby, it is possible to prevent the display panel from being damaged or damaged due to use.
  • a resin film such as a cycloolefin polymer (COP), a cycloolefin copolymer (COC), or triacetyl cellulose (TAC) can be suitably used for the substrate 4006.
  • COP cycloolefin polymer
  • COC cycloolefin copolymer
  • TAC triacetyl cellulose
  • a material having a thickness of 0.7 mm or less and a thickness of 0.1 mm or more can be used for the substrate 4006.
  • a polished substrate can be used to reduce the thickness.
  • FIG. 11A illustrates a cross-sectional view in the case where a top-gate transistor is provided in the transistor 3431 illustrated in FIG.
  • FIG. 11B illustrates a cross-sectional view in the case where a top-gate transistor is provided in the transistor 3232 illustrated in FIG.
  • the electrode 517 functions as a gate
  • the electrode 510 functions as one of a source and a drain
  • the electrode 511 functions as the other of the source and the drain. As a function.
  • FIGS. 10A and 10B For details of other components shown in FIGS. 11A and 11B, the description of FIGS. 10A and 10B may be referred to.
  • FIG. 12 shows a configuration of the semiconductor device 100 that can realize various neural networks.
  • the semiconductor device 100 has a hierarchical structure including operation layers 141 [1] to 141 [N] and switch layers 142 [1] to 142 [N-1].
  • N is an integer of 2 or more.
  • the operation layer 141 [1] includes product-sum operation elements 130 [1] to 130 [S 1 ], and the operation layer 141 [N] includes product-sum operation elements 130 [1] to 130 [S N ].
  • the switch layer 142 [1] includes programmable switches 140 [1] to 140 [S 2 ], and the switch layer 142 [N ⁇ 1] includes programmable switches 140 [1] to 140 [S N ].
  • S 1 to S N are each an integer of 1 or more.
  • the switch layer 142 has a function of controlling the connection between two different calculation layers 141.
  • the programmable switch 140 has a function of controlling connection between a plurality of product-sum operation elements 130 included in the first operation layer 141 and a product-sum operation element 130 included in the second operation layer 141.
  • the programmable switch 140 [S 2 ] includes a product-sum operation element 130 [1] to 130 [S 1 ] included in the operation layer 141 [1] and a product included in the operation layer 141 [2]. It has a function of controlling connection with the sum operation element 130 [S 2 ].
  • the hierarchical structure shown in FIG. 12 can be made to correspond to the hierarchical structure shown in FIG.
  • the product-sum operation element 130 may be referred to as a neuron.
  • FIG. 13 is a block diagram illustrating a configuration example of the product-sum operation element 130.
  • the product-sum operation element 130 includes multiplication elements 131 [1] to 131 [S] corresponding to the input signals IN [1] to IN [S], an addition element 133, an activation function element 134, and CM ( Configuration memory) 132 [1] to 132 [S] and CM 135.
  • S is an integer of 1 or more.
  • the multiplication element 131 has a function of multiplying the data stored in the CM 132 and the input signal IN.
  • the CM 132 stores a weight coefficient.
  • the addition element 133 has a function of adding all the outputs (multiplication results) of the multiplication elements 131 [1] to 131 [S].
  • the activation function element 134 performs an operation on the output (product-sum operation result) of the adder 133 according to a function defined by data stored in the CM 135, and outputs an output signal OUT.
  • the function can be a sigmoid function, a tanh function, a softmax function, a ReLU function, a threshold function, or the like. These functions are implemented by a table method or a broken line approximation, and the corresponding data is stored in the CM 135 as configuration data.
  • each of the CM 132 [1: S] and the CM 135 preferably has an individual writing circuit.
  • the data update of the CM 132 [1: S] and the data update of the CM 135 can be performed independently. That is, without updating the data of the CM 135, the data update of the CM 132 [1: S] can be repeated many times. In this way, when learning the neural network, only the updating of the weighting coefficient can be repeated many times, and learning can be performed efficiently.
  • FIG. 14A is a circuit diagram illustrating a configuration of the programmable switch 140.
  • the programmable switch 140 has a suinto 160.
  • the programmable switch 140 has a function of connecting the output signals OUT [1] to OUT [S] with the input signals IN [1] to IN [S].
  • the programmable switch 140 [S 2 ] includes a product-sum operation element included in one of the output signals OUT [1] to OUT [S 1 ] of the operation layer 141 [ 1 ] and the operation layer 141 [2]. It has a function of controlling connection with an input signal IN [1: S 2 ] of 130 [S 2 ].
  • the programmable switch 140 has a function of controlling connection between the signal “0” and the input signals IN [1] to IN [S] of the product-sum operation element 130.
  • FIG. 14B is a circuit diagram illustrating a configuration example of the switch 160.
  • the switch 160 includes a CM 161 and a switch 162.
  • the switch 162 has a function of controlling conduction between OUT [i] and IN [i] (i is an integer of 1 to S).
  • the switch 162 has a function of controlling conduction between “0” and IN [i].
  • On / off of the switch 162 is controlled by configuration data stored in the CM 161.
  • a transistor can be used as the switch 162.
  • the product-sum operation element 130 When the product-sum operation element 130 does not use OUT [i] from the immediately preceding operation layer 141 as an input, the product-sum operation element 130 connects IN [i] to “0”. At this time, the multiplication element 131 [i] corresponding to IN [i] can reduce power consumption by stopping power supply (performing power gating). For example, in FIG. 12, when the product-sum operation element 130 [S 2 ] included in the operation layer 141 [ 2 ] does not use OUT [1] from the operation layer 141 [1] as an input, the product-sum operation element 130 [ S 2 ] connects its IN [1] to “0” and stops supplying power to the multiplier 131 [1].
  • the configuration memory can be configured using a flash memory, ReRAM, MRAM, PRAM, FeRAM, or the like. Further, the configuration memory can be configured by an OS memory. By using the OS memory as the configuration memory, the power consumption of the semiconductor device 100 can be significantly reduced.
  • the semiconductor device 100 can configure a low power consumption network with a small number of elements.
  • the semiconductor device 100 can configure a low power consumption network with a small number of elements.
  • the multiplication element 131 and the addition element 133 as analog product-sum operation elements, the number of transistors constituting the product-sum operation element 130 can be reduced.
  • the number of wires constituting the network can be reduced.
  • the semiconductor device 100 in FIG. 12 can generate configuration data of the programmable switch 140 having a desired network configuration, and can learn according to the configuration data.
  • a configuration in which only the weighting coefficient configuration data is repeatedly changed without changing the configuration data of the programmable switch 140 is effective. Therefore, it is preferable that the configuration data is written in the CM 132 [1: S] included in the product-sum operation element 130 and the CM 135 included in the programmable switch 140 by different circuits.
  • Embodiment 4 electronic devices to which the image processing method described in Embodiment 1 can be applied are described with reference to FIGS.
  • the electronic device described below can up-convert low-resolution image data and display it on the display unit by using the image processing method described in Embodiment 1.
  • a cellular phone 7400 illustrated in FIG. 15A includes a display portion 7402 incorporated in a housing 7401, operation buttons 7403, an external connection port 7404, a speaker 7405, a microphone 7406, and the like.
  • the mobile phone 7400 can input information by touching the display portion 7402 with a finger or the like. Any operation such as making a call or inputting a character can be performed by touching the display portion 7402 with a finger or the like. Further, by operating the operation button 7403, the power ON / OFF operation and the type of image displayed on the display portion 7402 can be switched. For example, the mail creation screen can be switched to the main menu screen.
  • FIG. 15B shows an example of a wristwatch type portable information terminal.
  • a portable information terminal 7100 illustrated in FIG. 15B includes a housing 7101, a display portion 7102, a band 7103, a buckle 7104, operation buttons 7105, an input / output terminal 7106, and the like.
  • the portable information terminal 7100 can execute various applications such as mobile phone, e-mail, text browsing and creation, music playback, Internet communication, and computer games.
  • the display portion 7102 is provided with a curved display surface, and display can be performed along the curved display surface.
  • the display portion 7102 includes a touch sensor and can be operated by touching the screen with a finger, a stylus, or the like. For example, an application can be activated by touching an icon 7107 displayed on the display portion 7102.
  • the operation button 7105 can have various functions such as power on / off operation, wireless communication on / off operation, manner mode execution and release, and power saving mode execution and release in addition to time setting. .
  • the function of the operation button 7105 can be freely set by an operating system incorporated in the portable information terminal 7100.
  • the portable information terminal 7100 can execute short-range wireless communication with a communication standard. For example, it is possible to talk hands-free by communicating with a headset capable of wireless communication.
  • the portable information terminal 7100 includes an input / output terminal 7106, and can directly exchange data with other information terminals via a connector. Charging can also be performed through the input / output terminal 7106. Note that the charging operation may be performed by wireless power feeding without using the input / output terminal 7106.
  • FIG. 15C shows a notebook personal computer (PC).
  • a PC 7200 illustrated in FIG. 15C includes a housing 7221, a display portion 7222, a keyboard 7223, a pointing device 7224, and the like.
  • FIG. 15D shows a video camera 7600, which includes a first housing 7641, a second housing 7642, a display portion 7743, operation keys 7644, a lens 7645, a connection portion 7646, and the like.
  • FIG. 16 A), (B), (C), and (D) are diagrams illustrating operations performed in the present embodiment.
  • image data img1 having a resolution (640 ⁇ 480) corresponding to VGA is prepared.
  • FIG. 16B the image data img1 was divided into 10 ⁇ 10. That is, the image data img1 is divided into image data img1 [1,1] to image data img1 [10,10].
  • the resolution of the image data img1 [1,1] to the image data img1 [10,10] is 72 ⁇ 56 as shown in FIG. 16B by method 1 or method 2 described later, and is larger than 64 ⁇ 48. did.
  • the image data img1 [1,1] to the image data img1 [10,10] were each up-converted using CNN.
  • image data img2 [1,1] to image data img2 [10,10] having a resolution of 128 ⁇ 96 are generated.
  • the filter size of the weight filter is 3 ⁇ 3
  • the number of convolution layers is 8, and ReLU is used as the activation function.
  • the image data img2 having a resolution (1280 ⁇ 960) corresponding to Quad-VGA is obtained.
  • the image corresponding to the image data img2 was generated and displayed.
  • the image data img1 having a resolution of 640 ⁇ 480 was up-converted to image data img2 having a resolution of 1280 ⁇ 960.
  • the resolution of the image data img1 [1,1] to the image data img1 [10,10] is made larger than 72 ⁇ 56, that is, 64 ⁇ 48 by the method 1 or the method 2, respectively.
  • the resolution of the image data img1 [1,1] to the image data img1 [10,10] is set to 72 by the method shown in FIGS. 1B and 1C and FIGS. X56.
  • the resolution of the image data img1 [1,1] to the image data img1 [10,10] is set to 72 ⁇ 56, respectively, by the method shown in FIGS.
  • FIGS. 17A and 17B are diagrams illustrating an example of a method for setting the resolution of the image data img1 [1,1] to 72 ⁇ 56, that is, larger than 64 ⁇ 48.
  • FIG. 17A shows a configuration example of the image data a [1, 1] among the image data a configuring the image data img1.
  • the image data a [1,1] includes pixel data De11, pixel data De21, pixel data De31, pixel data De41, pixel data De12, pixel data De22, pixel data De32, and pixel data.
  • FIG. 17B shows a configuration example of the image data img1 [1,1] generated based on the image data a [1,1] having the configuration shown in FIG.
  • the pixel data provided at the boundary of the image data a [1,1] is compensated outside the image data a [1,1], so that the resolution of the image data img1 [1,1] can be reduced. 1, 1]. That is, by performing edge padding on the image data a [1, 1], the resolution of the image data img1 [1, 1] can be made larger than the resolution of the image data a [1, 1].
  • FIG. 17A shows a case where the image data a [1, 1] has 4 ⁇ 4 pixel data, but actually has 64 ⁇ 48 pixel data.
  • FIG. 17B pixel data for one row is supplemented on the upper and lower neighbors of the image data a [1,1], and pixel data for one column is compensated for on the left and right neighbors.
  • the pixel data for 4 rows are filled in the upper and lower neighbors of the image data a [1,1], respectively, and the left and right neighbors are each for 4 columns. Fill pixel data.
  • the image data img1 [1,1] having a resolution of 72 ⁇ 56 can be generated from the image data a [1,1] having a resolution of 64 ⁇ 48.
  • the image data img1 is divided into image data img1 [1,1] to image data img1 [10,10].
  • image data other than the image data img1 [1,1] is generated in the same manner as the image data img1 [1,1]. Can do.
  • FIG. 18A shows a display result when Method 1 is applied
  • FIG. 18B shows a display result when Method 2 is applied.
  • FIG. 18A no image shift was confirmed.
  • FIG. 18B image shift was confirmed in the portion indicated by the arrow. This is due to the occurrence of pixel data misalignment in the image data combining portion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

要約書 低解像の画像データから高解像度の画像データを生成する画像処理方法、および当該画像処理方法に より動作する受像装置を提供する。 低解像度の画像データから高解像度の画像データを生成する画像処理方法であって、低解像の画像デ ータを分割することで、 複数の第１画像データを生成し、 複数の第１画像データのうち、 隣接する２ つの一方を第２画像データとし、 他方を第３画像データとし、 第２画像データの周囲を画素データで 補うことで第４画像データを生成し、 画素データは、 第３画像データの一部を含み、 第４画像データ を入力とする畳み込みニューラルネットワークを行い、畳み込みニューラルネットワークは第５画像 データを出力し、 複数の第５画像データを結合することで、 高解像度の画像データを生成する画像処 理方法、および当該画像処理方法により動作する受像装置。

Description

画像処理方法および受像装置
　本発明の一態様は、画像処理方法、および当該画像処理方法により動作する受像装置に関する。
　また、本発明の一態様は、半導体装置に関する。なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。表示装置、発光装置、記憶装置、電気光学装置、蓄電装置、半導体回路および電子機器は、半導体装置を有する場合がある。
　なお本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、蓄電装置、撮像装置、記憶装置、プロセッサ、電子機器、それらの駆動方法、それらの製造方法、それらの検査方法、またはそれらのシステムを一例として挙げることができる。
　テレビジョン（ＴＶ）は、大画面化に伴い、高精細度の映像を視聴できることが望まれている。日本国では、２０１５年に通信衛星（ＣＳ）およびケーブルテレビ等による４Ｋ実用放送が開始され、２０１６年に放送衛星（ＢＳ）による４Ｋ・８Ｋ試験放送が開始されている。今後、８Ｋ実用放送の開始が予定されている。そのため、８Ｋ放送に対応するための各種の電子機器が開発されている（非特許文献１）。８Ｋの実用放送では、４Ｋ放送、２Ｋ放送（フルハイビジョン放送）も併用される予定である。
　８Ｋ放送の映像の解像度（水平・垂直の画素数）は７６８０×４３２０であり、４Ｋ（３８４０×２１６０）の４倍、２Ｋ（１９２０×１０８０）の１６倍である。したがって、８Ｋ放送の映像を見る者は、２Ｋ放送の映像、または４Ｋ放送の映像等を見る者より高い臨場感を感じることができると期待される。
　また、テレビジョンに限らず様々な電子機器に対して人工ニューラルネットワーク等を利用した人工知能を付する開発が進められている。人工ニューラルネットワークを利用することで、従来のノイマン型コンピュータよりも高性能なコンピュータが実現できると期待されており、近年、電子回路上で人工ニューラルネットワークを構築する種々の研究が進められている。非特許文献２には、人工ニューラルネットワークによる自己学習機能を備えたチップに関する技術が記載されている。
　さらに、特許文献１には、チャネル形成領域に酸化物半導体を有するトランジスタを用いた記憶装置によって、人工ニューラルネットワークを用いた計算に必要な重みデータを保持する発明が開示されている。
米国特許公開第２０１６／０３４３４５２号公報
Ｓ．Ｋａｗａｓｈｉｍａ，ｅｔ　ａｌ．，"１３，３−Ｉｎ．８Ｋ　Ｘ　４Ｋ　６６４−ｐｐｉ　ＯＬＥＤ　Ｄｉｓｐｌａｙ　Ｕｓｉｎｇ　ＣＡＡＣ−ＯＳ　ＦＥＴｓ，"ＳＩＤ　２０１４　ＤＩＧＥＳＴ，ｐｐ．６２７−６３０． Ｙｕｔａｋａ　Ａｒｉｍａ　ｅｔ　ａｌ，"Ａ　Ｓｅｌｆ−Ｌｅａｒｎｉｎｇ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｃｈｉｐ　ｗｉｔｈ　１２５　Ｎｅｕｒｏｎｓ　ａｎｄ　１０Ｋ　Ｓｅｌｆ−Ｏｒｇａｎｉｚａｔｉｏｎ　Ｓｙｎａｐｓｅｓ"，ＩＥＥＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＳＯＬＩＤ−ＳＴＡＴＥ　ＣＩＲＣＵＩＴＳ，ＶＯＬ．２６，ＮＯ．４，ＡＰＲＩＬ　１９９１，ｐｐ．６０７−６１１
　８Ｋのような高解像度の映像は、データ量が多いため、放送局から受信機へデータの送信を行う際の通信負荷が大きい。通信負荷を減らすために、放送局が低解像度の映像を放送し、当該放送を受信した受信機側で解像度を高める技術が必要とされている。
　本発明の一態様は、低解像の画像データから高解像度の画像データを生成する画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、計算量の少ない画像処理方法を提供することを課題の１つとする。または、本発明の一態様は、高画質の画像を表示することが可能な受像装置を提供することを課題の１つとする。または、本発明の一態様は、信頼性の高い受像装置を提供することを課題の１つとする。または、本発明の一態様は、消費電力の小さい受像装置を提供することを課題の１つとする。または、本発明の一態様は、高速に動作する受像装置を提供することを課題の１つとする。または、本発明の一態様は、新規な画像処理方法、新規な受像装置、および新規な半導体装置を提供することを課題の１つとする。
　なお本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した記載、および他の課題のうち、少なくとも一つの課題を解決するものである。なお、本発明の一態様は、上記列挙した記載、および他の課題の全てを解決する必要はない。
　本発明の一態様は、低解像度の画像データから高解像度の画像データを生成する画像処理方法であって、低解像の画像データを分割することで、複数の第１画像データを生成し、複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、第２画像データの周囲を画素データで補うことで第４画像データを生成し、画素データは、第３画像データの一部を含み、第４画像データを入力とする畳み込みニューラルネットワークを行い、畳み込みニューラルネットワークは第５画像データを出力し、複数の第５画像データを結合することで、高解像度の画像データを生成する画像処理方法である。
　また、上記態様において、第５画像データの解像度が、第１画像データの解像度のｎ２倍（ｎは２以上の整数）であってもよい。
　また、本発明の一態様は、低解像度の画像データを受信して高解像度の画像を表示する受像装置であって、低解像の画像データを分割することで、複数の第１画像データを生成し、複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、第２画像データの周囲を画素データで補うことで第４画像データを生成し、画素データは、第３画像データの一部を含み、第４画像データを入力とする畳み込みニューラルネットワークを行い、畳み込みニューラルネットワークは第５画像データを出力し、複数の第５画像データを結合することで、高解像度の画像を表示する受像装置である。
　また、上記態様において、第５画像データの解像度が、第１画像データの解像度のｎ２倍（ｎは２以上の整数）であってもよい。
　また、本発明の一態様は、低解像度の画像データを受信して、高解像度の画像を表示する受像装置であって、複数の回路と、表示パネルを有し、低解像度の画像データを、複数の第１画像データに分割し、複数の回路は、それぞれ、複数の第１画像データの１つを、畳み込みニューラルネットワークを用いて、第２画像データに変換し、第２画像データは第１画像データよりも解像度が高く、表示パネルは、複数の第２画像データを結合することで、高解像度の画像を表示する受像装置である。
　また、上記態様において、複数の回路は第１乃至第Ｎの回路（Ｎは２以上の整数）からなり、低解像度の画像データは、Ｍ×Ｎ（Ｍは１以上の整数）の第１画像データに分割されてもよい。
　本発明の一態様により、低解像度の画像データから高解像度の画像データを生成する画像処理方法を提供することができる。または、本発明の一態様により、計算量の少ない画像処理方法を提供することができる。または、本発明の一態様により、高画質の画像を表示することが可能な受像装置を提供することができる。または、本発明の一態様により、信頼性の高い受像装置を提供することができる。または、本発明の一態様により、消費電力の小さい受像装置を提供することができる。または、本発明の一態様により、高速に動作する受像装置を提供することができる。または、本発明の一態様により、新規な画像処理方法、新規な受像装置、および新規な半導体装置を提供することができる。
　なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、および他の効果のうち、少なくとも一つの効果を有するものである。従って本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
画像処理方法の一例を示す図。 画像処理方法の一例を示す図。 ＣＮＮの構成例を示すブロック図。 テレビジョン装置の構成例を示す外観図およびブロック図。 表示パネルの構成例を示すブロック図。 表示パネルの構成例を示すブロック図。 表示パネルの構成例を示すブロック図。 表示パネルの構成例を示すブロック図。 画素の構成例を示す回路図。 表示パネルの構成例を示す断面図。 表示パネルの構成例を示す断面図。 半導体装置の構成例を示す回路図。 積和演算素子の構成例を示すブロック図。 プログラマブルスイッチの構成例を示す回路図。 電子機器の例を示す図。 画像処理方法の一例を示す図。 画像処理方法の一例を示す図。 表示結果を示す図。
　本明細書等において、人工ニューラルネットワーク（ＡＮＮ、以後、ニューラルネットワークと呼称する。）とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
　シナプスの結合（ニューロン同士の結合）の強度（重み係数ともいう。）は、ニューラルネットワークに既存の情報を与えることによって、変化させることができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」と呼ぶ場合がある。
　また、「学習」を行った（結合強度を定めた）ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」と呼ぶ場合がある。
　ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」（ＤＮＮ）と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。なお、ＤＮＮには、全結合ニューーラルネットワーク（ＦＣ−ＮＮ：Ｆｕｌｌ　Ｃｏｎｎｅｃｔｅｄ　−Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、再帰ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等が含まれる。
　本明細書等において、金属酸化物（ｍｅｔａｌ　ｏｘｉｄｅ）とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）等に分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも１つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳと呼ぶことができる。また、ＯＳ　ＦＥＴ（またはＯＳトランジスタ）と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
　半導体の不純物とは、例えば、半導体層を構成する主成分以外をいう。例えば、濃度が０．１原子％未満の元素は不純物である。不純物が含まれることにより、例えば、半導体にＤＯＳ（Ｄｅｎｓｉｔｙ　ｏｆ　Ｓｔａｔｅｓ）が形成されることや、キャリア移動度が低下することや、結晶性が低下すること等が起こる場合がある。半導体が酸化物半導体である場合、半導体の特性を変化させる不純物としては、例えば、第１族元素、第２族元素、第１３族元素、第１４族元素、第１５族元素、主成分以外の遷移金属等があり、特に、例えば、水素（水にも含まれる）、リチウム、ナトリウム、シリコン、ホウ素、リン、炭素、窒素等がある。酸化物半導体の場合、例えば水素等の不純物の混入によって酸素欠損を形成する場合がある。また、半導体がシリコン層である場合、半導体の特性を変化させる不純物としては、例えば、酸素、水素を除く第１族元素、第２族元素、第１３族元素、第１５族元素等がある。
　本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものである。従って、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素が、他の実施の形態、あるいは特許請求の範囲において「第２」に言及された構成要素とすることもありうる。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素を、他の実施の形態、あるいは特許請求の範囲において省略することもありうる。
　実施の形態について図面を参照しながら説明している。但し、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなく、その形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態の発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
　また、本明細書等において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている。構成同士の位置関係は、各構成を描写する方向に応じて適宜変化する。そのため、配置を示す語句は、明細書で説明した記載に限定されず、状況に応じて適切に言い換えることができる。
　また、「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層Ａ上の電極Ｂ」の表現であれば、絶縁層Ａの上に電極Ｂが直接接して形成されている必要はなく、絶縁層Ａと電極Ｂとの間に他の構成要素を含むものを除外しない。
　また、図面において、大きさ、層の厚さ、または領域は、説明の便宜上任意の大きさに示したものである。よって、必ずしもそのスケールに限定されない。なお図面は明確性を期すために模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。
　また、図面において、明確性を期すために一部の構成要素の記載を省略している場合がある。
　また、図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
　本明細書等において、トランジスタの接続関係を説明する際、ソースとドレインとの一方を、「ソースまたはドレインの一方」と表記し、ソースとドレインとの他方を「ソースまたはドレインの他方」と表記している。これは、トランジスタのソースとドレインは、トランジスタの構造または動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況に応じて適切に言い換えることができる。また、本明細書等に記載するトランジスタが２つ以上のゲートを有するとき、それらのゲートをフロントゲート、バックゲートと呼ぶ場合がある。特に、「フロントゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。また、「バックゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。なお、ボトムゲートとは、トランジスタの作製時において、チャネル形成領域よりも先に形成される端子のことをいい、「トップゲート」とは、トランジスタの作製時において、チャネル形成領域よりも後に形成される端子のことをいう。
　トランジスタは、ゲート、ソース、およびドレインと呼ばれ３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御端子として機能する端子である。ソースまたはドレインとして機能する２つの入出力端子は、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
　また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合等も含む。
　また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
　なお本明細書等において、「膜」、「層」等の語句は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。または、場合によっては、または、状況に応じて、「膜」、「層」等の語句を使わずに、別の用語に入れ替えることが可能である。例えば、「導電層」または「導電膜」という用語を、「導電体」という用語に変更することが可能な場合がある。または、例えば、「絶縁層」「絶縁膜」という用語を、「絶縁体」という用語に変更することが可能な場合がある。
　なお本明細書等において、「配線」、「信号線」、「電源線」等の用語は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「配線」という用語を、「信号線」という用語に変更することが可能な場合がある。また、例えば、「配線」という用語を、「電源線」等の用語に変更することが可能な場合がある。また、その逆も同様で、「信号線」「電源線」等の用語を、「配線」という用語に変更することが可能な場合がある。「電源線」等の用語は、「信号線」等の用語に変更することが可能な場合がある。また、その逆も同様で「信号線」等の用語は、「電源線」等の用語に変更することが可能な場合がある。また、配線に印加されている「電位」という用語を、場合によっては、または、状況に応じて、「信号」等という用語に変更することが可能な場合がある。また、その逆も同様で、「信号」等の用語は、「電位」という用語に変更することが可能な場合がある。
　各実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて、本発明の一態様とすることができる。また、１つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
　なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形態で述べる別の内容（一部の内容でもよい）と、一つ若しくは複数の別の実施の形態で述べる内容（一部の内容でもよい）との少なくとも一つの内容に対して、適用、組み合わせ、または置き換え等を行うことができる。
　なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、または明細書に記載される文章を用いて述べる内容のことである。
　なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、その実施の形態において述べる別の図（一部でもよい）と、一つ若しくは複数の別の実施の形態において述べる図（一部でもよい）との少なくとも一つの図に対して、組み合わせることにより、さらに多くの図を構成させることができる。
（実施の形態１）
　本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
＜画像処理の方法例＞
　本発明の一態様は、例えば画像データの解像度を高める、画像処理方法に関する。例えば、衛星放送または電波塔からの放送電波により送信される画像データを、テレビジョン等の受像装置が受信し、受信した画像データの解像度を、例えばニューラルネットワーク、特にＣＮＮを用いて高める。本発明の一態様の画像処理方法に対応する受像装置により、解像度を高めた画像データに対応する画像を表示することができる。例えば、ＱＶＧＡ（Ｑｕａｒｔｅｒ　Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）に対応する解像度の画像データ（３２０×２４０）を、ＶＧＡに対応する解像度の画像データ（６４０×４８０）に変換することができる。例えば、ＶＧＡに対応する解像度の画像データを、Ｑｕａｄ−ＶＧＡ（１２８０×９６０）に対応する解像度の画像データに変換することができる。例えば、２Ｋ（１９２０×１０８０）に対応する解像度の画像データを、４Ｋ（３８４０×２１６０）に対応する解像度の画像データに変換することができる。例えば、４Ｋに対応する解像度の画像データを、８Ｋ（７６８０×４３２０）に対応する解像度の画像データに変換することができる。例えば、２Ｋに対応する解像度の画像データを、８Ｋに対応する解像度の画像データに変換することができる。
　本発明の一態様の画像処理方法では、受像装置が受信した画像データを分割し、分割した画像データのそれぞれに対し、隣接する画像データに対応するデータを補填する。その後、画像データの解像度を高め、解像度を高めた各画像データを結合する。画像データを分割してから解像度を高める処理を行うことにより、受像装置が受信した画像データの容量を大きくしても、当該画像データの解像度を高める処理を行う際に要する計算量が大幅に増加することを抑制することができる。また、隣接する画像データに対応するデータを補填することにより、分割した画像データを結合した際の結合部を見えにくくすることができる。以上、本発明の一態様の画像処理方法により、高画質の画像データを生成することができる。
　図１（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）は、本発明の一態様の画像処理方法である、画像データの解像度を高める方法を示す図である。具体的には、ＱＶＧＡに対応する解像度の画像データ（３２０×２４０）を、ＶＧＡに対応する解像度の画像データ（６４０×４８０）に変換する方法を示す図である。
　図１（Ａ）に示す画像データｉｍｇ１は、解像度を高める前の画像データを表し、解像度は３２０×２４０とする。画像データｉｍｇ１として、例えば、衛星放送または電波塔からの放送電波により送信された画像データとすることができる。
　本発明の一態様の画像処理方法では、まず、受像装置が画像データｉｍｇ１を受信し、受信した画像データｉｍｇ１をマトリクス状に分割する。図１（Ｂ）では、画像データｉｍｇ１を２×２に分割する場合について示している。図１（Ｂ）では、左上の画像データを画像データａ［１，１］と表記し、右上の画像データを画像データａ［２，１］と表記し、左下の画像データを画像データａ［１，２］と表記し、右下の画像データを画像データａ［２，２］と表記している。なお、本明細書等において、他の画像データにおいても、同様の表記を用いて区別する場合がある。画像データａ［１，１］乃至画像データａ［２，２］の解像度は、それぞれ１６０×１２０（解像度３２０×２４０の１／４）とする。
　図１（Ｃ）に、分割後の画像データｉｍｇ１を示す。本発明の一態様の画像処理方法では、画像データａ［１，１］乃至画像データａ［２，２］のそれぞれに、隣接する画像データａの一部を補填するように、画像データｉｍｇ１を分割する。図１（Ｃ）において、破線部は、画像データａ［１，１］乃至画像データａ［２，２］に補填された画像データを示している。
　図１（Ｂ）、（Ｃ）に示すように、例えば分割後の画像データｉｍｇ１［１，１］は、画像データａ［１，１］の境界の外側に、画像データａ［１，１］と隣接する画像データである画像データａ［２，１］の一部、画像データａ［１，２］の一部、および画像データａ［２，２］の一部が補填された画像データｉｍｇ１［１，１］である。つまり、画像データｉｍｇ１［１，１］の解像度は、画像データａ［１，１］の解像度である１６０×１２０より大きくなる。なお、画像データｉｍｇ１［２，１］、画像データｉｍｇ１［１，２］、および画像データｉｍｇ１［２，２］も、同様の方法により生成される。以上により、画像データｉｍｇ１が画像データｉｍｇ１［１，１］、画像データｉｍｇ１［２，１］、画像データｉｍｇ１［１，２］、および画像データｉｍｇ１［２，２］に分割される。
　次に、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］のそれぞれに対して、解像度を高める処理（アップコンバート）を行う。図１（Ｄ）に、アップコンバート後の画像データである画像データｉｍｇ２［１，１］、画像データｉｍｇ２［２，１］、画像データｉｍｇ２［１，２］、および画像データｉｍｇ２［２，２］を示す。図１（Ｄ）には、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］の解像度を、それぞれ画像データａ［１，１］乃至画像データａ［２，２］の解像度の４倍とするようにアップコンバートを行った場合について示している。つまり、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］の解像度が、それぞれ３２０×２４０となる場合を示している。
　アップコンバートは、ニューラルネットワーク、特にＣＮＮを用いて行うことができる。ニューラルネットワークを用いてアップコンバートを行う場合、ニューラルネットワークが繰り返し学習を行うことにより、正確にアップコンバートを行うことができる。これにより、本発明の一態様の画像処理方法により動作する受像装置は、高画質の画像データを生成することができる。
　その後、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］を結合する。図１（Ｅ）に、結合後の画像データである画像データｉｍｇ２を示す。図１（Ｅ）に示すように、画像データｉｍｇ２の解像度は、６４０×４８０となる。以上に示す方法により、解像度３２０×２４０の画像データが、解像度６４０×４８０の画像データにアップコンバートされる。
　以上示したように、本発明の一態様の画像処理方法では、受像装置が受信した画像データを分割した後にアップコンバートを行う。これにより、受像装置が受信する画像データの容量を大きくしても、当該画像データに対してアップコンバートを行う際に要する計算量が大幅に増加することを抑制することができる。
　また、本発明の一態様の画像処理方法では、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］等、アップコンバートを行う前の分割した画像データが、それぞれ隣接する画像データの一部を有する。これにより、分割した画像データに、隣接する画像データが補填されず、例えばエッジパディングまたはゼロパディングを行う場合と比較して、アップコンバート後の画像データを結合した際の、各結合部（境界）における画像データのずれを抑制することができる。これにより、アップコンバート後の画像データに対応する画像を表示した場合に、各結合部を見えにくくすることができる。したがって、本発明の一態様の画像処理方法により、高画質の画像データを生成することができる。
　図１（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）では、画像データｉｍｇ１の解像度を３２０×２４０、画像データｉｍｇ２の解像度を６４０×４８０としたが、本発明の一態様の画像処理方法ではこれに限らない。画像データｉｍｇ１は、任意の解像度とすることができる。また、画像データｉｍｇ２の解像度は、画像データｉｍｇ１の解像度よりも大きければよい。例えば、２×２倍としてもよいし、３×３倍としてもよいし、４×４倍としてもよいし、５×５倍以上としてもよい。
　また、図１（Ｂ）、（Ｃ）では、画像データｉｍｇ１を２×２に分割したが、本発明の一態様はこれに限らない。例えば、画像データｉｍｇ１を３×３に分割してもよいし、４×４に分割してもよいし、１０×１０に分割してもよいし、１０×１０より多くの画像データに分割してもよい。また、水平方向の分割数と、垂直方向の分割数とが異なってもよい。例えば、画像データｉｍｇ１を４×３、つまり水平方向に４つ、かつ垂直方向に３つに分割してもよい。この場合、画像データｉｍｇ１は、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［４，３］に分割される。
　なお、本発明の一態様の画像処理方法により動作する受像装置が有するニューラルネットワークは、画像データをアップコンバートする機能を、例えば教師あり学習により得ることができる。
　次に、本発明の一態様の画像処理方法により動作する受像装置が有するニューラルネットワークが行う学習方法の一例として、２×２に分割した画像データｉｍｇ１を画像データｉｍｇ２にアップコンバートする機能を得るための学習方法を説明する。まず、画像データｉｍｇ２に対応する画像、つまり画像データｉｍｇ２と同じ解像度の画像を用意する。次に、当該画像データを分割して、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］に対応する画像データを生成する。次に、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］に対応する画像データの解像度を低下させ、図１（Ｃ）等に示すと同様の方法で画像データを補填することにより、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを生成する。例えば、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［２，２］に対応する画像データの解像度が３２０×２４０である場合、当該画像データの解像度を１６０×１２０に低下させた後、隣接する画像データを補填することにより、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを生成する。
　その後、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを入力データとし、画像データｉｍｇ２［１，１］乃至画像データｉｍｇ１［２，２］に対応する画像データを教師データして、学習を行う。例えば、画像データｉｍｇ１［１，１］から推論した画像データが画像データｉｍｇ２［１，１］と一致するように、ニューラルネットワークの重み係数の更新等を行う。以上が学習方法の一例である。
　次に、画像データｉｍｇ１を、ＣＮＮを用いて画像データｉｍｇ２にアップコンバートする場合における、画像データｉｍｇ１および画像データｉｍｇ２の構成例について詳細に説明する。
　図２（Ａ）では、図１（Ｂ）に示す場合と同様に、画像データｉｍｇ１が画像データａ［１，１］、画像データａ［２，１］、画像データａ［１，２］、および画像データａ［２，２］から構成される場合を示している。図２（Ａ）に示す場合において、画像データａ［１，１］は、画素データＤａ１１、画素データＤａ２１、画素データＤａ１２、および画素データＤａ２２を有する。また、画像データａ［２，１］は、画素データＤｂ１１、画素データＤｂ２１、画素データＤｂ１２、および画素データＤｂ２２を有する。また、画像データａ［１，２］は、画素データＤｃ１１、画素データＤｃ２１、画素データＤｃ１２、および画素データＤｃ２２を有する。また、画像データａ［２，２］は、画素データＤｄ１１、画素データＤｄ２１、画素データＤｄ１２、および画素データＤｄ２２を有する。つまり、図２（Ａ）に示す場合において、画像データａ［１，１］乃至画像データａ［２，２］は、それぞれ２×２の画素データを有する。なお、各画像データａは、画素データをそれぞれ３×３以上有してもよい。また、前述のように、画像データｉｍｇ１は、画像データａを３×３以上有してもよい。
　本明細書等において、画素データとは、例えば、画素が表現する階調に対応するデータを意味する。画素データ１個は、例えば１個の画素が表現する階調に対応するデータとすることができる。例えば、図１（Ｂ）に示す場合と同様に、画像データａ［１，１］の解像度が１６０×１２０である場合、画像データａ［１，１］は画素データを１６０×１２０個有するとすることができる。
　図２（Ｂ）は、図２（Ａ）に示す画像データａ［１，１］を基に生成された、画像データｉｍｇ１［１，１］の構成例を示している。図２（Ｂ）に示す場合において、画像データａ［１，１］の周囲に、画像データａ［１，１］と隣接する画素データである画素データＤｂ１１、画素データＤｂ１２、画素データＤｃ１１、画素データＤｃ２１、および画素データＤｄ１１を補填している。また、画像データａ［１，１］の上隣および左隣には画像データａが存在しないため、“０”のデータを補填している。
　なお、図２（Ｂ）に示す場合において、画像データａ［１，１］の下隣に１行分の画素データを補填し、右隣に１列分の画素データを補填しているが、２行分以上および２列分以上の画素データを補填してもよい。例えば、２行分および２列分の画素データを補填する場合、画素データＤｂ１１、画素データＤｂ１２、画素データＤｃ１１、画素データＤｃ２１、および画素データＤｄ１１の他、画素データＤｂ２１、画素データＤｂ２２、画素データＤｃ１２、画素データＤｃ２２、画素データＤｄ２１、画素データＤｄ１２、および画素データＤｄ２２を画像データａ［１，１］に補填する。
　また、図２（Ｂ）に示す場合において、画像データａ［１，１］の左隣に１列分のデータ“０”を、上隣に１行分のデータ“０”を補填しているが、例えば画像データａ［１，１］の左隣に２行分以上のデータ“０”を補填し、画像データａ［１，１］の上隣に２列分以上のデータ“０”を補填してもよい。また、データ“０”の代わりに、“０”以外の特定のデータを補填してもよいし、画像データａ［１，１］が有する画素データ（画素データＤａ１１、画素データＤａ２１、画素データＤａ１２、画素データＤａ２２）のうちいずれかを補填してもよい。なお、画像データｉｍｇ１の左隣および上隣にデータ“０”を補填しなくてもよい。
　図２（Ｃ）は、図２（Ｂ）に示す画像データｉｍｇ１［１，１］を基に生成された、画像データｉｍｇ２［１，１］の構成例を示している。図２（Ｃ）に示す場合において、画像データｉｍｇ２［１，１］は、４×４の画素データを有する。具体的には、画素データＵＰ＿Ｄａ１１、画素データＵＰ＿Ｄａ２１、画素データＵＰ＿Ｄａ３１、画素データＵＰ＿Ｄａ４１、画素データＵＰ＿Ｄａ１２、画素データＵＰ＿Ｄａ２２、画素データＵＰ＿Ｄａ３２、画素データＵＰ＿Ｄａ４２、画素データＵＰ＿Ｄａ１３、画素データＵＰ＿Ｄａ２３、画素データＵＰ＿Ｄａ３３、画素データＵＰ＿Ｄａ４３、画素データＵＰ＿Ｄａ１４、画素データＵＰ＿Ｄａ２４、画素データＵＰ＿Ｄａ３４、および画素データＵＰ＿Ｄａ４４を有する。
　ここで、図２（Ｂ）、（Ｃ）においてハッチングで示すように、画素データＵＰ＿Ｄａ１１、画素データＵＰ＿Ｄａ２１、画素データＵＰ＿Ｄａ１２、および画素データＵＰ＿Ｄａ２２は、画素データＤａ１１を基に生成された画素データということができる。また、画素データＵＰ＿Ｄａ３１、画素データＵＰ＿Ｄａ４１、画素データＵＰ＿Ｄａ３２、および画素データＵＰ＿Ｄａ４２は、画素データＤａ２１を基に生成された画素データということができる。また、画素データＵＰ＿Ｄａ１３、画素データＵＰ＿Ｄａ２３、画素データＵＰ＿Ｄａ１４、および画素データＵＰ＿Ｄａ２４は、画素データＤａ１２を基に生成された画素データということができる。また、画素データＵＰ＿Ｄａ３３、画素データＵＰ＿Ｄａ４３、画素データＵＰ＿Ｄａ３４、および画素データＵＰ＿Ｄａ４４は、画素データＤａ２２を基に生成された画素データということができる。
　以上により、２×２の画素データを有する画像データａ［１，１］が、４×４の画素データを有する画像データｉｍｇ２［１，１］にアップコンバートされる。つまり、図２（Ａ）に示す構成の画像データａ［１，１］を、４倍の解像度となるようにアップコンバートすることにより、図２（Ｃ）に示す構成の画像データｉｍｇ２［１，１］が生成される。
　図２（Ｂ）および図２（Ｃ）に示す動作を、すべての画像データａに対して行うことにより、画像データｉｍｇ１が、解像度４倍の画像データｉｍｇ２にアップコンバートされる。
＜畳み込みニューラルネットワーク＞
　次に、本発明の一態様の画像処理方法で用いる、ＣＮＮについて説明する。図３は、ＣＮＮの構成例を示す図である。ＣＮＮは、分割後の画像データｉｍｇ１が入力され、特徴抽出を行うことにより、当該画像データｉｍｇ１をアップコンバートした画像データｉｍｇ２が出力される。図３は、画像データｉｍｇ１［１，１］が入力され、画像データｉｍｇ２［１，１］が出力される場合を示している。
　畳み込み層ＣＬは、画像データに対して畳み込みを行う機能を有する。畳み込みは、画像データの一部と重みフィルタのフィルタ値との積和演算を繰り返すことにより行われる。畳み込み層ＣＬにおける畳み込みにより、画像の特徴が抽出される。
　畳み込みには、重みフィルタを用いることができる。畳み込み層ＣＬに入力された画像データには、フィルタｆｉｌを用いたフィルタ処理が施され、データＤが生成される。
　畳み込みが施されたデータＤは、活性化関数によって変換された後、プーリング層ＰＬに出力される。活性化関数としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔｓ）等を用いることができる。ＲｅＬＵは、入力値が負である場合は“０”を出力し、入力値が“０”以上である場合は入力値をそのまま出力する関数である。また、活性化関数として、シグモイド関数、ｔａｎｈ関数等を用いることもできる。
　プーリング層ＰＬは、畳み込み層ＣＬから入力された画像データに対してプーリングを行う機能を有する。プーリングは、画像データを複数の領域に分割し、当該領域ごとに所定のデータを抽出してマトリクス状に配置する処理である。プーリングにより、畳み込み層ＣＬによって抽出された特徴を残しつつ、画像データが縮小される。なお、プーリングとしては、最大プーリング、平均プーリング、Ｌｐプーリング等を用いることができる。
　ＣＮＮは、上記の畳み込み処理およびプーリング処理により特徴抽出を行う。なお、ＣＮＮは、複数の畳み込み層ＣＬおよびプーリング層ＰＬによって構成することができる。図３には、畳み込み層ＣＬおよびプーリング層ＰＬによって構成される層Ｌがｚ層（ここでのｚは１以上の整数である。）設けられ（Ｌ１乃至Ｌｚ）、畳み込み処理およびプーリング処理がｚ回行われる構成を示している。この場合、各層Ｌにおいて特徴抽出が行うことができ、より高度な特徴抽出が可能となる。
　全結合層ＦＣＬは、畳み込みおよびプーリングが行われた画像データを用いて、画像の判定を行う機能を有する。全結合層ＦＣＬは、ある層の全てのノードが、次の層の全てのノードと接続された構成を有する。畳み込み層ＣＬまたはプーリング層ＰＬから出力された画像データは２次元の特徴マップであり、全結合層ＦＣＬに入力されると１次元に展開される。そして、全結合層ＦＣＬによる推論によって得られた画像データが出力される。
　なお、ＣＮＮの構成は図３の構成に限定されない。例えば、プーリング層ＰＬが複数の畳み込み層ＣＬごとに設けられていてもよい。また、抽出された特徴の位置情報を極力残したい場合は、プーリング層ＰＬが省略されていてもよい。
　また、全結合層ＦＣＬの出力データから画像の分類を行う場合は、全結合層ＦＣＬと電気的に接続された出力層が設けられていてもよい。出力層は、尤度関数としてソフトマックス関数等を用い、分類クラスを出力することができる。
　また、ＣＮＮは、画像データを学習データおよび教師データとして用いた教師あり学習を行うことができる。教師あり学習には、例えば誤差逆伝播法を用いることができる。ＣＮＮの学習により、重みフィルタのフィルタ値、全結合層の重み係数等を最適化することができる。
　本実施の形態は、本明細書等で示す他の実施の形態と適宜組み合わせることができる。
（実施の形態２）
　本実施の形態では、実施の形態１に示す画像処理方法を備えた受像装置について説明を行う。なお、本実施の形態では受像装置の例としてテレビジョン装置について説明を行う。
＜受像装置の構成例＞
　図４（Ａ）は、受像装置１０の外観図である。受像装置１０はアンテナ１２が受信した放送信号から画像データを生成し、画像を表示する機能を有する。図４（Ａ）に示す受像装置１０は、例として、サッカーの試合中継を表示している。
　また、受像装置１０はコンピュータネットワーク１１を経由して、サーバー１３と通信することができる。
　アンテナ１２が受信できる放送電波としては、地上波、または衛星から送信される電波などが挙げられる。またアンテナ１２により受信できる放送電波として、アナログ放送、デジタル放送などがあり、また映像および音声、または音声のみの放送などがある。例えばＵＨＦ帯またはＶＨＦ帯のうちの特定の周波数帯域で送信される放送電波を受信することができる。また例えば、複数の周波数帯域で受信した複数のデータを用いることで、転送レートを高くすることができ、より多くの情報を得ることができる。これによりフルハイビジョン（画素数１９２０×１０８０）を超える解像度を有する映像を、表示パネル３０に表示させることができる。例えば、４Ｋ２Ｋ（画素数３８４０×２１６０）、８Ｋ４Ｋ（画素数７６８０×４３２０）、１６Ｋ８Ｋ、またはそれ以上の解像度を有する画像を表示させることができる。
　コンピュータネットワーク１１として、Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等が挙げられる。
　図４（Ｂ）は、受像装置１０の構成例を示すブロック図である。受像装置１０は、制御部２０、記憶部２２、通信制御部２３、画像処理回路２４、デコーダ回路２５、映像信号受信部２６、タイミングコントローラ２７、ＳＤ（ソースドライバ）２８、ＧＤ（ゲートドライバ）２９、表示パネル３０等を有する。ＳＤ２８およびＧＤ２９を表示パネル３０の駆動回路と呼ぶ。
　表示パネル３０の駆動回路が有するトランジスタは、表示パネル３０の画素を構成するトランジスタと同時に形成することができる。
　また、駆動回路部の一部または全部を他の基板上に形成して、表示パネル３０と電気的に接続してもよい。例えば、駆動回路部の一部または全部を、単結晶基板を用いたＩＣチップで形成し、表示パネル３０と電気的に接続してもよい。例えば、ＣＯＧ（Ｃｈｉｐ　ｏｎ　ｇｌａｓｓ）法またはＣＯＦ（Ｃｈｉｐ　ｏｎ　Ｆｉｌｍ）法を用いて、上記ＩＣチップを表示パネル３０に設けることができる。
　制御部２０は、例えばＣＰＵとして機能することができる。例えば制御部２０は、システムバス２１を介して記憶部２２、通信制御部２３、画像処理回路２４、デコーダ回路２５、および映像信号受信部２６等のコンポーネントを制御する機能を有する。
　制御部２０と各コンポーネントとは、システムバス２１を介して信号の伝達が行われる。また制御部２０は、システムバス２１を介して接続された各コンポーネントから入力される信号を処理する機能、各コンポーネントへ出力する信号を生成する機能等を有し、これによりシステムバス２１に接続された各コンポーネントを統括的に制御することができる。
　記憶部２２は、制御部２０および画像処理回路２４がアクセス可能なレジスタ、キャッシュメモリ、メインメモリ、二次メモリなどとして機能する。
　二次メモリとして用いることのできる記憶装置としては、例えば書き換え可能な不揮発性の記憶素子が適用された記憶装置を用いることができる。例えば、フラッシュメモリや、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ　ＲＡＭ）、ＮＯＳＲＡＭなどを用いることができる。
　なお、ＮＯＳＲＡＭ（登録商標）とは「Ｎｏｎｖｏｌａｔｉｌｅ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　ＲＡＭ」の略称であり、ゲインセル型（２Ｔ型、３Ｔ型）のメモリセルを有するＲＡＭを指す。ＮＯＳＲＡＭは、ＯＳトランジスタのオフ電流が低いことを利用したＯＳメモリの一種である。ＮＯＳＲＡＭは、フラッシュメモリのように書き換え可能回数に制限が無く、データを書き込む際の消費電力が小さい。そのため、信頼性が高く消費電力の小さい不揮発性メモリを提供することができる。
　また、レジスタ、キャッシュメモリ、メインメモリなどの一時メモリとして用いることのできる記憶装置としては、ＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）や、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＤＯＳＲＡＭなどの揮発性の記憶素子を用いてもよい。
　ＤＯＳＲＡＭ（登録商標）とは、「Ｄｙｎａｍｉｃ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　ＲＡＭ」の略称であり、１Ｔ（トランジスタ）１Ｃ（容量）型のメモリセルを有するＲＡＭを指す。ＤＯＳＲＡＭはＯＳトランジスタのオフ電流が低いことを利用したＯＳメモリの一種である。ＤＯＳＲＡＭは、ＤＲＡＭと比べて、データのリフレッシュ回数が少ない。また、周辺回路の上にメモリセルを作製することができるため、占有面積を小さくすることができる。そのため、消費電力が小さく集積度の高い揮発性メモリを提供することができる。
　メインメモリに設けられるＲＡＭとしては、例えばＤＲＡＭが用いられ、制御部２０の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部２２に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータやプログラム、プログラムモジュールは、制御部２０に直接アクセスされ、操作される。
　一方、ＲＯＭには書き換えを必要としないＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）やファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭや、ＯＴＰＲＯＭ（Ｏｎｅ　Ｔｉｍｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を用いることができる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ−ＥＰＲＯＭ（Ｕｌｔｒａ−Ｖｉｏｌｅｔ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどが挙げられる。
　また、記憶部２２の他に、取り外し可能な記憶装置を接続可能な構成としてもよい。例えばストレージデバイスとして機能するハードディスクドライブ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）などの記録メディアドライブ、フラッシュメモリ、ブルーレイディスク、ＤＶＤなどの記録媒体と接続する端子を有することが好ましい。これにより、映像を記録することができる。
　通信制御部２３は、コンピュータネットワーク１１を介して行われる通信を制御する機能を有する。例えば、制御部２０からの命令に応じてコンピュータネットワーク１１に接続するための制御信号を制御し、当該信号をコンピュータネットワーク１１に発信する。これによって、コンピュータネットワーク１１と接続し、サーバー１３と通信を行うことができる。
　また、通信制御部２３は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等の通信規格を用いてコンピュータネットワーク１１または他の電子機器と通信する機能を有していてもよい。
　映像信号受信部２６は、例えば、復調回路、およびＡ−Ｄ変換回路（アナログ−デジタル変換回路）等を有する。復調回路は、アンテナ１２から入力した信号を復調する機能を有する。またＡ−Ｄ変換回路は、復調されたアナログ信号をデジタル信号に変換する機能を有する。映像信号受信部２６で処理された信号は、デコーダ回路２５に送られる。
　デコーダ回路２５は、映像信号受信部２６から入力されるデジタル信号に含まれる映像データを、送信される放送規格の仕様に従ってデコードし、画像処理回路に送信する信号を生成する機能を有する。例えば８Ｋ放送における放送規格としては、Ｈ．２６５　｜　ＭＰＥＧ−Ｈ　Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（略称：ＨＥＶＣ）などがある。
　また、映像信号受信部２６およびデコーダ回路２５は、コンピュータネットワーク１１を介したデータ伝送技術により送信された放送のデータを用いて、画像処理回路２４に送信する信号を生成する構成としてもよい。このとき、受信する信号がデジタル信号の場合には、映像信号受信部２６は復調回路およびＡ−Ｄ変換回路等を有していなくてもよい。
　画像処理回路２４は、デコーダ回路２５から入力される映像信号に基づいて、タイミングコントローラ２７に出力する映像信号を生成する機能を有する。
　またタイミングコントローラ２７は、画像処理回路２４が処理を施した映像信号等に含まれる同期信号を基に、ＧＤ２９およびＳＤ２８に出力する信号（クロック信号、スタートパルス信号などの信号）を生成する機能を有する。また、タイミングコントローラ２７は、上記信号に加え、ＳＤ２８に映像信号を出力する機能を有する。
　表示パネル３０は、複数の画素を有する。各画素は、ＧＤ２９およびＳＤ２８から供給される信号により駆動される。表示パネル３０の解像度は、フルハイビジョン、４Ｋ２Ｋ、８Ｋ４Ｋ等の規格に応じた解像度を用いればよい。
　図４（Ｂ）に示す制御部２０や画像処理回路２４としては、例えばプロセッサを有する構成とすることができる。例えば、制御部２０は、ＣＰＵとして機能するプロセッサを用いることができる。また、画像処理回路２４として、例えばＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ等の他のプロセッサを用いることができる。また制御部２０や画像処理回路２４に、上記プロセッサをＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＦＰＡＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ａｎａｌｏｇ　Ａｒｒａｙ）といったＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）によって実現した構成としてもよい。
　プロセッサは、種々のプログラムからの命令を解釈し実行することで、各種のデータ処理やプログラム制御を行う。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域に格納されていてもよいし、別途設けられる記憶装置に格納されていてもよい。
　また、制御部２０、記憶部２２、通信制御部２３、画像処理回路２４、デコーダ回路２５、映像信号受信部２６、およびタイミングコントローラ２７のそれぞれが有する機能のうち、２つ以上の機能を１つのＩＣチップに集約させ、システムＬＳＩを構成してもよい。例えば、プロセッサ、デコーダ回路、チューナ回路、Ａ−Ｄ変換回路、ＤＲＡＭ、およびＳＲＡＭ等を有するシステムＬＳＩとしてもよい。
　なお、制御部２０や他のコンポーネントが有するＩＣ等に、ＯＳトランジスタを利用することもできる。ＯＳトランジスタは、オフ電流が極めて低いため、ＯＳトランジスタを記憶素子として機能する容量素子に流入した電荷（データ）を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を制御部２０等のレジスタやキャッシュメモリに用いることで、必要なときだけ制御部２０を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより、ノーマリーオフコンピューティングが可能となる。これにより、受像装置１０の低消費電力化を図ることができる。
　受像装置１０は、図４（Ｂ）に示す構成のほか、外部インターフェース、音声出力部、タッチパネルユニット、センサユニット、カメラユニットなどを有していてもよい。外部インターフェースとしては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）接続用端子、電源受給用端子、音声出力用端子、音声入力用端子、映像出力用端子、映像入力用端子などの外部接続端子、赤外線、可視光、紫外線などを用いた光通信用の送受信機、筐体に設けられた物理ボタンなどがある。また、例えば音声入出力部としては、サウンドコントローラ、マイクロフォン、スピーカなどがある。
　以下では、画像処理回路２４についてより詳細な説明を行う。
　画像処理回路２４は、デコーダ回路２５から入力される映像信号に基づいて、画像処理を実行する機能を有することが好ましい。
　画像処理としては、例えばノイズ除去処理、階調変換処理、色調補正処理、輝度補正処理などが挙げられる。色調補正処理や輝度補正処理としては、例えばガンマ補正などがある。
　例えば、ノイズ除去処理としては、文字などの輪郭の周辺に生じるモスキートノイズ、高速の動画で生じるブロックノイズ、ちらつきを生じるランダムノイズ、解像度のアップコンバートにより生じるドットノイズなどのさまざまなノイズを除去する。
　階調変換処理は、画像の階調を表示パネル３０の出力特性に対応した階調へ変換する処理である。例えば階調数を大きくする場合、小さい階調数で入力された画像に対して、各画素に対応する階調値を補間して割り当てることで、ヒストグラムを平滑化する処理を行うことができる。また、ダイナミックレンジを広げる、ハイダイナミックレンジ（ＨＤＲ）処理も、階調変換処理に含まれる。
　また、色調補正処理は、画像の色調を補正する処理である。また輝度補正処理は、画像の明るさ（輝度コントラスト）を補正する処理である。例えば、受像装置１０が設けられる空間に配置された照明の種類や輝度、または色純度などを検知し、それに応じて表示パネル３０に表示する画像の輝度や色調が最適となるように補正する。または、表示する画像と、あらかじめ保存してある画像リスト内の様々な場面の画像と、を照合し、最も近い場面の画像に適した輝度や色調に表示する画像を補正する機能を有していてもよい。
　また、画像処理回路２４は、解像度のアップコンバートに伴う画素間補間処理や、フレーム周波数のアップコンバートに伴うフレーム間補間などの処理を実行する機能を有していることが好ましい。
　画素間補間処理では、解像度をアップコンバートした際に、本来存在しないデータを補間する。
　フレーム間補間は、表示する映像のフレーム周波数を増大させる場合に、本来存在しないフレーム（補間フレーム）の画像を生成する。
　画像処理回路２４はニューラルネットワークの計算を行う回路（以下、ＮＮ回路）を有することが好ましい。ＮＮ回路は、実施の形態１に示す画像処理方法を用いて、上記画素間補間処理を行うことが好ましい。そうすることで、受像装置１０は低解像度の映像信号を受信し、高解像度の画像を表示することができる。
　また、ニューラルネットワークに用いる重み係数のデータは、データテーブルとして記憶部２２に格納される。当該重み係数を含むデータテーブルは、例えばコンピュータネットワーク１１を介して、サーバー１３から最新のものをダウンロードすることができる。または、画像処理回路２４が学習機能を有し、重み係数を含むデータテーブルを更新可能な構成としてもよい。
＜表示パネルの構成例１＞
　図５は、表示パネル３０とその周辺回路の構成例を説明するためのブロック図である。図５は、表示パネル３０と、ＧＤ２９と、ＳＤ２８＿１乃至２８＿ｎ（ｎは２以上の整数）と、画像処理回路２４を示している。また、表示パネル３０はマトリクス状に配置された複数の画素３１を有し、画像処理回路２４は、ＮＮ回路３２＿１乃至３２＿ｎを有する。図５において、ＧＤ２９は、表示パネル３０の左右にそれぞれ設けられている。
　表示パネル３０は、各々が略平行に配設され、且つ、ＧＤ２９にて電位が制御される複数の走査線ＧＬと、各々が略平行に配設され、且つ、ＳＤ２８＿１乃至２８＿ｎによって電位が制御される複数の信号線ＳＬと、を有する。
　各走査線ＧＬは、画素３１のうち、いずれかの行に配設された複数の画素３１と電気的に接続される。また、各信号線ＳＬは、画素３１のうら、いずれかの列に配設された複数の画素３１に電気的に接続される。
　ＮＮ回路３２＿１乃至３２＿ｎは、それぞれ、実施の形態１に示す画像処理方法で、画像データのアップコンバートを行うことができる。
　例えば、図１に示すように画像データｉｍｇ１を２×２の画像データに分割し、分割されたそれぞれの画像データに対してアップコンバートを行う場合、図５においてｎ＝２とし、ｉｍｇ１［１、１］はＮＮ回路３２＿１でアップコンバートを行い、ｉｍｇ１［２、１］はＮＮ回路３２＿２でアップコンバートを行うことが好ましい。同様に、ｉｍｇ１［１、２］はＮＮ回路３２＿１でアップコンバートを行い、ｉｍｇ１［２、２］はＮＮ回路３２＿２でアップコンバートを行うことが好ましい。アップコンバートされたそれぞれの画像は、最終的に結合された状態で表示パネル３０に表示される。
　例えば、画像データｉｍｇ１を１０×１０の画像データに分割し、分割されたそれぞれの画像データに対してアップコンバートを行う場合、図５においてｎ＝１０とし、ｉｍｇ１［１、１］、［２、１］、［３、１］、［４、１］、［５、１］、［６、１］、［７、１］、［８、１］、［９、１］、［１０、１］は、それぞれ、ＮＮ回路３２＿１、３２＿２、３２＿３、３２＿４、３２＿５、３２＿６、３２＿７、３２＿８、３２＿９、３２＿１０でアップコンバートを行うことが好ましい。
　このように、ｉｍｇ１の分割数に応じてＮＮ回路を設けることで、受像装置１０は、並列的に画像データをアップコンバードすることができる。すなわち、受像装置１０は、アンテナ１２から受信した映像信号を、少ないタイムラグで表示パネル３０に表示できる。
＜表示パネルの構成例２＞
　図６は、図５の表示パネル３０を、表示パネル３０＿Ａ、３０＿Ｂ、３０＿Ｃ、３０＿Ｄの４つに分割した例である。なお、表示パネル３０＿Ａ乃至３０＿Ｄをまとめて表示パネル３０と呼称する。表示パネル３０に表示される画像データは４つに分割され、それぞれ表示パネル３０＿Ａ乃至３０＿Ｄで表示される。
　表示パネル３０＿Ａに対して、ＮＮ回路３２＿Ａ１乃至３２＿Ａｍ（ｍは２以上の整数）が、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ａ１乃至２８＿Ａｍが、信号線ＳＬ＿Ａを介して、表示パネル３０＿Ａに画像データを供給する。
　表示パネル３０＿Ｂに対して、ＮＮ回路３２＿Ｂ１乃至３２＿Ｂｍが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｂ１乃至２８＿Ｂｍが、信号線ＳＬ＿Ｂを介して、表示パネル３０＿Ｂに画像データを供給する。
　表示パネル３０＿Ｃに対して、ＮＮ回路３２＿Ｃ１乃至３２＿Ｃｍが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｃ１乃至２８＿Ｃｍが、信号線ＳＬ＿Ｃを介して、表示パネル３０＿Ｃに画像データを供給する。
　表示パネル３０＿Ｄに対して、ＮＮ回路３２＿Ｄ１乃至３２＿Ｄｍが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｄ１乃至２８＿Ｄｍが、信号線ＳＬ＿Ｄを介して、表示パネル３０＿Ｄに画像データを供給する。
　図５と同様に、表示パネル３０＿Ａに表示される画像データは、分割され、アップコンバードされる。上記分割の数に応じて、ＮＮ回路３２＿Ａ１乃至３２＿Ａｍを設けることが好ましい。例えば、表示パネル３０＿Ａに表示される画像データを１０×１０に分割して、アップコンバードする場合、ＮＮ回路３２＿Ａ１乃至３２＿Ａ１０（ｍ＝１０）を設けることが好ましい。表示パネル３０＿Ｂ、３０＿Ｃ、３０＿Ｄに対しても同様である。
　図６に示す構成は、１本の信号線に接続される画素３１の数を少なくすることができる。すなわち、１本の信号線に接続される容量を小さくすることができる。その結果、表示パネルは信号線に画像データを書き込む時間を短縮することができる。図６に示す構成は、特に８Ｋなど、高精細な表示パネルに適用することが好ましい。例えば、４Ｋの画素数をもつ表示パネルを、表示パネル３０＿Ａ乃至３０＿Ｄにそれぞれ適用することで、受像装置１０は、８Ｋの画素数をもつ表示パネルを備えることができる。
＜表示パネルの構成例３＞
　図７は、図５の表示パネル３０を、表示パネル４１＿１乃至４１＿ｎ、表示パネル４２＿１乃至４２＿ｎ、表示パネル４３＿１乃至４３＿ｎ、および表示パネル４４＿１乃至４４＿ｎに分割した例である。これら分割された表示パネルをまとめて表示パネル３０と呼称する。表示パネル３０に表示される画像データは４×ｎに分割され、それぞれの表示パネルで表示される。なお、表示パネル３０の分割数はこれに限定されず、自由に設定することができる。
　表示パネル４１＿１、４２＿１に対して、ＮＮ回路３２＿Ｕ１が、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｕ１が、信号線ＳＬ＿Ｕ１を介して、表示パネル４１＿１、４２＿１に画像データを供給する。
　表示パネル４１＿ｎ、４２＿ｎに対して、ＮＮ回路３２＿Ｕｎが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｕｎが、信号線ＳＬ＿Ｕｎを介して、表示パネル４１＿ｎ、４２＿ｎに画像データを供給する。
　表示パネル４３＿１、４４＿１に対して、ＮＮ回路３２＿Ｂ１が、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｂ１が、信号線ＳＬ＿Ｂ１を介して、表示パネル４３＿１、４４＿１に画像データを供給する。
　表示パネル４３＿ｎ、４４＿ｎに対して、ＮＮ回路３２＿Ｂｎが、実施の形態１に示す方法で画像データのアップコンバートを行い、ＳＤ２８＿Ｂｎが、信号線ＳＬ＿Ｂｎを介して、表示パネル４３＿ｎ、４４＿ｎに画像データを供給する。
　図７は、１つの表示パネルに、１つのＮＮ回路と１つのソースドライバが接続されている点で、図６の構成と異なる。
＜表示パネルの構成例４＞
　図８は、図５の信号線ＳＬを、信号線ＳＬ１、ＳＬ２の２本に分割した例を示している。同じ列に配置された複数の画素３１は、信号線ＳＬ１または信号線ＳＬ２と、交互に、電気的に接続される。
　図８に示す構成は、１本の信号線に接続される画素３１の数を少なくすることができる。その結果、表示パネル３０は、信号線に画像データを書き込む時間を短縮することができ、高速に画像データを切り替えることができる。
　また、図６、図７に示す構成は、表示パネルと表示パネルの間に繋ぎ目が生じ、その影響が表示画像に表れてしまうが、図８に示す構成は繋ぎ目が存在しないため、上述の問題を回避することができる。その結果、表示パネル３０は、繋ぎ目のない滑らかな画像を表示することができる。
＜画素回路の構成例＞
　次に、上述の画素３１に用いることができる回路構成について、図９を用いて説明を行う。
　図９（Ａ）に示す画素３１は、トランジスタ３４３１と、容量素子３２３３と、液晶素子３４３２と、を有する。
　トランジスタ３４３１のソースまたはドレインの一方は、信号線ＳＬに電気的に接続され、他方はノード３４３６に電気的に接続される。トランジスタ３４３１のゲートは走査線ＧＬに電気的に接続される。トランジスタ３４３１は、ノード３４３６へのデータ信号の書き込みを制御する機能を有する。
　容量素子３２３３の一対の電極の一方は、特定の電位が供給される配線（以下、「容量線ＣＬ」ともいう。）に電気的に接続され、他方は、ノード３４３６に電気的に接続される。容量線ＣＬの電位は、画素３１の仕様に応じて適宜設定される。容量素子３２３３は、ノード３４３６に書き込まれたデータを保持する機能を有する。
　液晶素子３４３２の一対の電極の一方は共通の電位（コモン電位）が与えられ、他方はノード３４３６に電気的に接続される。液晶素子３４３２に含まれる液晶は、ノード３４３６に書き込まれる電位により配向状態が決定される。
　液晶素子３４３２のモードとしては、例えば、ＴＮモード、ＳＴＮモード、ＶＡモード、ＡＳＭ（Ａｘｉａｌｌｙ　Ｓｙｍｍｅｔｒｉｃ　Ａｌｉｇｎｅｄ　Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌｌｙ　Ｃｏｍｐｅｎｓａｔｅｄ　Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ　Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ　Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ）モード、ＭＶＡモード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ　Ｖｅｒｔｉｃａｌ　Ａｌｉｇｎｍｅｎｔ）モード、ＩＰＳモード、ＦＦＳモード、またはＴＢＡ（Ｔｒａｎｓｖｅｒｓｅ　Ｂｅｎｄ　Ａｌｉｇｎｍｅｎｔ）モードなどを用いてもよい。また、他の例として、ＥＣＢ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｃｏｎｔｒｏｌｌｅｄ　Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＰＤＬＣ（Ｐｏｌｙｍｅｒ　Ｄｉｓｐｅｒｓｅｄ　Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ）モード、ＰＮＬＣ（Ｐｏｌｙｍｅｒ　Ｎｅｔｗｏｒｋ　Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ）モード、ゲストホストモードなどがある。ただし、これに限定されず、様々なモードを用いることができる。
　図９（Ｂ）に示す画素３１は、トランジスタ３４３１と、容量素子３２３３と、トランジスタ３２３２と、発光素子３１２５と、を有する。
　トランジスタ３４３１のソースまたはドレインの一方はデータ信号が与えられる信号線ＳＬに電気的に接続され、他方はノード３４３５に電気的に接続される。トランジスタ３４３１のゲートはゲート信号が与えられる走査線ＧＬに電気的に接続される。トランジスタ３４３１はデータ信号のノード３４３５への書き込みを制御する機能を有する。
　容量素子３２３３の一対の電極の一方はノード３４３５に電気的に接続され、他方はノード３４３７に電気的に接続される。容量素子３２３３はノード３４３５に書き込まれたデータを保持する保持容量としての機能を有する。
　トランジスタ３２３２のソースまたはドレインの一方は電位供給線ＶＬ＿ａに電気的に接続され、他方はノード３４３７に電気的に接続される。トランジスタ３２３２のゲートはノード３４３５に電気的に接続される。トランジスタ３２３２は、発光素子３１２５に流れる電流を制御する機能を有する。
　発光素子３１２５のアノードまたはカソードの一方は電位供給線ＶＬ＿ｂに電気的に接続され、他方はノード３４３７に電気的に接続される。
　発光素子３１２５としては、例えば有機エレクトロルミネセンス素子（有機ＥＬ素子ともいう）などを用いることができる。ただし、これに限定されず、例えば無機材料からなる無機ＥＬ素子を用いても良い。
　例えば、電位供給線ＶＬ＿ａはＶＤＤを供給する機能を有する。また、電位供給線ＶＬ＿ｂはＶＳＳを供給する機能を有する。
＜断面図＞
　次に、表示パネル３０の断面の構成例について、図１０および図１１を用いて説明を行う。
　図１０（Ａ）、（Ｂ）に示す表示パネル３０は電極４０１５を有しており、電極４０１５はＦＰＣ４０１８が有する端子と異方性導電層４０１９を介して、電気的に接続されている。また、電極４０１５は、絶縁層４１１２、絶縁層４１１１、および絶縁層４１１０に形成された開口において配線４０１４と電気的に接続されている。電極４０１５は、第１の電極層４０３０と同じ導電層から形成されている。
　また第１の基板４００１上に設けられた画素３１は、トランジスタを有しており、図１０（Ａ）では、画素３１に含まれるトランジスタ３４３１を例示し、図１０（Ｂ）では、画素３１に含まれるトランジスタ３２３２を例示している。
　また、トランジスタ３４３１、３２３２は、絶縁層４１０２上に設けられている。また、トランジスタ３４３１、３２３２は、絶縁層４１０２上に形成された電極５１７を有し、電極５１７上に絶縁層４１０３が形成されている。絶縁層４１０３上に半導体層５１２が形成されている。半導体層５１２上に電極５１０および電極５１１が形成され、電極５１０および電極５１１上に絶縁層４１１０および絶縁層４１１１が形成され、絶縁層４１１０および絶縁層４１１１上に電極５１６が形成されている。電極５１０および電極５１１は、配線４０１４と同じ導電層で形成されている。
　トランジスタ３４３１、３２３２において、電極５１７はゲートとしての機能を有し、電極５１０はソースまたはドレインの一方としての機能を有し、電極５１１はソースまたはドレインの他方としての機能を有し、電極５１６はバックゲートとしての機能を有する。
　トランジスタ３４３１、３２３２はボトムゲート構造であり、かつ、バックゲートを有することで、オン電流を増大させることができる。また、トランジスタの閾値を制御することができる。なお、電極５１６は、製造工程を簡略化するため、場合によっては省略してもよい。
　トランジスタ３４３１、３２３２において、半導体層５１２はチャネル形成領域としての機能を有する。半導体層５１２として、結晶シリコン、多結晶シリコン、非晶質シリコン、金属酸化物、有機半導体などを用いればよい。また、必要に応じて、半導体層５１２の導電率を高めるため、または、トランジスタの閾値を制御するために、半導体層５１２に不純物を導入してもよい。
　半導体層５１２として金属酸化物を用いた場合、半導体層５１２はインジウム（Ｉｎ）を含むことが好ましい。半導体層５１２がインジウムを含む金属酸化物の場合、半導体層５１２はキャリア移動度（電子移動度）が高くなる。また、半導体層５１２は、元素Ｍを含む酸化物半導体であると好ましい。元素Ｍは、好ましくは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）またはスズ（Ｓｎ）などとする。そのほかの元素Ｍに適用可能な元素としては、ホウ素（Ｂ）、シリコン（Ｓｉ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）などがある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、半導体層５１２は、亜鉛（Ｚｎ）を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。
　半導体層５１２は、インジウムを含む金属酸化物に限定されない。半導体層５１２は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物などの、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物などであっても構わない。
　また、図１０（Ａ）、（Ｂ）に示す表示パネル３０は、容量素子３２３３を有する。容量素子３２３３は、電極５１１と電極４０２１が絶縁層４１０３を介して重なる領域を有する。電極４０２１は、電極５１７と同じ導電層で形成されている。
　図１０（Ａ）は、表示素子として液晶素子を用いた液晶表示パネルの一例である。図１０（Ａ）において、表示素子である液晶素子３４３２は、第１の電極層４０３０、第２の電極層４０３１、および液晶層４００８を含む。なお、液晶層４００８を挟持するように配向膜として機能する絶縁層４０３２、絶縁層４０３３が設けられている。第２の電極層４０３１は第２の基板４００６側に設けられ、第１の電極層４０３０と第２の電極層４０３１は液晶層４００８を介して重畳する。
　またスペーサ４０３５は絶縁層を選択的にエッチングすることで得られる柱状のスペーサであり、第１の電極層４０３０と第２の電極層４０３１との間隔（セルギャップ）を制御するために設けられている。なお球状のスペーサを用いていても良い。
　表示素子として、液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
　また、液晶材料の固有抵抗は、１×１０９Ω・ｃｍ以上であり、好ましくは１×１０１１Ω・ｃｍ以上であり、さらに好ましくは１×１０１２Ω・ｃｍ以上である。なお、本明細書における固有抵抗の値は、２０℃で測定した値とする。
　トランジスタ３４３１にＯＳトランジスタを用いた場合、トランジスタ３４３１は、オフ状態における電流値（オフ電流値）を低くすることができる。よって、映像信号等の電気信号の保持時間を長くすることができ、電源オン状態では書き込み間隔も長く設定できる。よって、リフレッシュ動作の頻度を少なくすることができるため、消費電力を抑制する効果を奏する。
　また、表示パネルにおいて、ブラックマトリクス（遮光層）、偏光部材、位相差部材、反射防止部材などの光学部材（光学基板）などを適宜設けてもよい。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバックライト、サイドライトなどを用いてもよい。
　図１０（Ｂ）は、表示素子としてＥＬ素子などの発光素子を用いた表示パネルの一例である。ＥＬ素子は有機ＥＬ素子と無機ＥＬ素子に区別される。
　有機ＥＬ素子は、電圧を印加することにより、一方の電極から電子、他方の電極から正孔がそれぞれＥＬ層に注入される。そして、それらキャリア（電子および正孔）が再結合することにより、発光性の有機化合物が励起状態を形成し、その励起状態が基底状態に戻る際に発光する。このようなメカニズムから、有機ＥＬ素子は、電流励起型の発光素子と呼ばれる。なお、ＥＬ層は、発光性の化合物以外に、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質（電子輸送性および正孔輸送性が高い物質）などを有していてもよい。ＥＬ層は、蒸着法（真空蒸着法を含む）、転写法、印刷法、インクジェット法、塗布法などの方法で形成することができる。
　無機ＥＬ素子は、その素子構成により、分散型無機ＥＬ素子と薄膜型無機ＥＬ素子とに分類される。分散型無機ＥＬ素子は、発光材料の粒子をバインダ中に分散させた発光層を有するものであり、発光メカニズムはドナー準位とアクセプター準位を利用するドナー−アクセプター再結合型発光である。薄膜型無機ＥＬ素子は、発光層を誘電体層で挟み込み、さらにそれを電極で挟んだ構造であり、発光メカニズムは金属イオンの内殻電子遷移を利用する局在型発光である。
　図１０（Ｂ）は、発光素子３１２５として有機ＥＬ素子を用いた例を説明する。
　図１０（Ｂ）において、発光素子３１２５は、画素３１に設けられたトランジスタ３２３２と電気的に接続されている。なお発光素子３１２５の構成は、第１の電極層４０３０、発光層４５１１、第２の電極層４０３１の積層構造であるが、この構成に限定されない。発光素子３１２５から取り出す光の方向などに合わせて、発光素子３１２５の構成は適宜変えることができる。
　隔壁４５１０は、有機絶縁材料、または無機絶縁材料を用いて形成する。特に感光性の樹脂材料を用い、第１の電極層４０３０上に開口部を形成し、その開口部の側面が連続した曲率を持って形成される傾斜面となるように形成することが好ましい。
　発光層４５１１は、単数の層で構成されていても、複数の層が積層されるように構成されていてもどちらでも良い。
　発光素子３１２５に酸素、水素、水分、二酸化炭素等が侵入しないように、第２の電極層４０３１および隔壁４５１０上に保護層を形成してもよい。保護層としては、窒化シリコン、窒化酸化シリコン、酸化アルミニウム、窒化アルミニウム、酸化窒化アルミニウム、窒化酸化アルミニウム、ＤＬＣ（Ｄｉａｍｏｎｄ　Ｌｉｋｅ　Ｃａｒｂｏｎ）などを形成することができる。また、第１の基板４００１、第２の基板４００６、およびシール材４００５によって封止された空間には充填材４５１４が設けられ密封されている。このように、外気に曝されないように気密性が高く、脱ガスの少ない保護フィルム（貼り合わせフィルム、紫外線硬化樹脂フィルム等）やカバー材でパッケージング（封入）することが好ましい。
　充填材４５１４としては窒素やアルゴンなどの不活性な気体の他に、紫外線硬化樹脂または熱硬化樹脂を用いることができ、ＰＶＣ（ポリビニルクロライド）、アクリル樹脂、ポリイミド、エポキシ樹脂、シリコーン樹脂、ＰＶＢ（ポリビニルブチラル）またはＥＶＡ（エチレンビニルアセテート）などを用いることができる。また、充填材４５１４に乾燥剤が含まれていてもよい。
　シール材４００５には、ガラスフリットなどのガラス材料や、二液混合型の樹脂などの常温で硬化する硬化樹脂、光硬化性の樹脂、熱硬化性の樹脂などの樹脂材料を用いることができる。また、シール材４００５に乾燥剤が含まれていてもよい。
　また、必要であれば、発光素子の射出面に偏光板、または円偏光板（楕円偏光板を含む）、位相差板（λ／４板、λ／２板）、カラーフィルタなどの光学フィルムを適宜設けてもよい。また、偏光板または円偏光板に反射防止膜を設けてもよい。例えば、表面の凹凸により反射光を拡散し、映り込みを低減できるアンチグレア処理を施すことができる。
　また、発光素子をマイクロキャビティ構造とすることで、色純度の高い光を取り出すことができる。また、マイクロキャビティ構造とカラーフィルタを組み合わせることで、映り込みが低減し、表示画像の視認性を高めることができる。
　第１の電極層４０３０、第２の電極層４０３１は、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、インジウム錫酸化物、酸化チタンを含むインジウム錫酸化物、インジウム亜鉛酸化物、酸化ケイ素を添加したインジウム錫酸化物などの透光性を有する導電性材料を用いることができる。
　また、第１の電極層４０３０、第２の電極層４０３１はタングステン（Ｗ）、モリブデン（Ｍｏ）、ジルコニウム（Ｚｒ）、ハフニウム（Ｈｆ）、バナジウム（Ｖ）、ニオブ（Ｎｂ）、タンタル（Ｔａ）、クロム（Ｃｒ）、コバルト（Ｃｏ）、ニッケル（Ｎｉ）、チタン（Ｔｉ）、白金（Ｐｔ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、銀（Ａｇ）などの金属、またはその合金、もしくはその金属窒化物から一種以上を用いて形成することができる。
　また、第１の電極層４０３０、第２の電極層４０３１として、導電性高分子（導電性ポリマーともいう）を含む導電性組成物を用いて形成することができる。導電性高分子としては、いわゆるπ電子共役系導電性高分子を用いることができる。例えば、ポリアニリンまたはその誘導体、ポリピロールまたはその誘導体、ポリチオフェンまたはその誘導体、もしくは、アニリン、ピロールおよびチオフェンの２種以上からなる共重合体またはその誘導体等が挙げられる。
　発光素子３１２５が光を外部に取り出すため、少なくとも第１の電極層４０３０または第２の電極層４０３１の一方が透明であればよい。表示パネルは、光の取り出し方によって、上面射出（トップエミッション）構造と、下面射出（ボトムエミッション）構造と、両面射出（デュアルエミッション）構造に分類される。上面射出構造は、基板４００６から光を取り出す場合をいう。下面射出構造は、基板４００１から光を取り出す場合をいう。両面射出構造は、基板４００６と基板４００１の両方から光を取り出す場合をいう。例えば、上面射出構造の場合、第２の電極層４０３１を透明にすればよい。例えば、下面射出構造の場合、第１の電極層４０３０を透明にすればよい。例えば、両面射出構造の場合、第１の電極層４０３０および第２の電極層４０３１を透明にすればよい。
（基板４００１）
　作製工程中の熱処理に耐えうる程度の耐熱性を有する材料を基板４００１等に用いることができる。例えば、厚さ０．７ｍｍ以下厚さ０．１ｍｍ以上の材料を基板４００１に用いることができる。具体的には、厚さ０．１ｍｍ程度まで研磨した材料を用いることができる。
　例えば、第６世代（１５００ｍｍ×１８５０ｍｍ）、第７世代（１８７０ｍｍ×２２００ｍｍ）、第８世代（２２００ｍｍ×２４００ｍｍ）、第９世代（２４００ｍｍ×２８００ｍｍ）、第１０世代（２９５０ｍｍ×３４００ｍｍ）等の面積が大きなガラス基板を基板４００１等に用いることができる。これにより、大型の表示装置を作製することができる。
　有機材料、無機材料または有機材料と無機材料等の複合材料等を基板４００１等に用いることができる。例えば、ガラス、セラミックス、金属等の無機材料を基板４００１等に用いることができる。
　具体的には、無アルカリガラス、ソーダ石灰ガラス、カリガラス、クリスタルガラス、アルミノ珪酸ガラス、強化ガラス、化学強化ガラス、石英またはサファイア等を、基板４００１等に用いることができる。具体的には、無機酸化物膜、無機窒化物膜または無機酸窒化物膜等を、基板４００１等に用いることができる。例えば、酸化シリコン膜、窒化シリコン膜、酸化窒化シリコン膜、酸化アルミニウム膜等を、基板４００１等に用いることができる。ステンレス・スチールまたはアルミニウム等を、基板４００１等に用いることができる。
　例えば、シリコンや炭化シリコンからなる単結晶半導体基板、多結晶半導体基板、シリコンゲルマニウム等の化合物半導体基板、ＳＯＩ基板等を基板４００１等に用いることができる。これにより、半導体素子を基板４００１等に形成することができる。
　例えば、樹脂、樹脂フィルムまたはプラスチック等の有機材料を基板４００１等に用いることができる。具体的には、ポリエステル、ポリオレフィン、ポリアミド、ポリイミド、ポリカーボネートまたはアクリル樹脂等の樹脂フィルムまたは樹脂板を、基板４００１等に用いることができる。
　例えば、金属板、薄板状のガラス板または無機材料等の膜を樹脂フィルム等に貼り合わせた複合材料を基板４００１等に用いることができる。例えば、繊維状または粒子状の金属、ガラスもしくは無機材料等を樹脂フィルムに分散した複合材料を、基板４００１等に用いることができる。例えば、繊維状または粒子状の樹脂もしくは有機材料等を無機材料に分散した複合材料を、基板４００１等に用いることができる。
　また、単層の材料または複数の層が積層された材料を、基板４００１等に用いることができる。例えば、基材と基材に含まれる不純物の拡散を防ぐ絶縁膜等が積層された材料を、基板４００１等に用いることができる。具体的には、ガラスとガラスに含まれる不純物の拡散を防ぐ酸化シリコン層、窒化シリコン層または酸化窒化シリコン層等から選ばれた一または複数の膜が積層された材料を、基板４００１等に用いることができる。または、樹脂と樹脂を透過する不純物の拡散を防ぐ酸化シリコン膜、窒化シリコン膜または酸化窒化シリコン膜等が積層された材料を、基板４００１等に用いることができる。
　具体的には、ポリエステル、ポリオレフィン、ポリアミド、ポリイミド、ポリカーボネート若しくはアクリル樹脂等の樹脂フィルム、樹脂板または積層材料等を基板４００１等に用いることができる。
　具体的には、ポリエステル、ポリオレフィン、ポリアミド（ナイロン、アラミド等）、ポリイミド、ポリカーボネート、ポリウレタン、アクリル樹脂、エポキシ樹脂もしくはシリコーン等のシロキサン結合を有する樹脂を含む材料を基板４００１等に用いることができる。
　具体的には、ポリエチレンテレフタレート（ＰＥＴ）、ポリエチレンナフタレート（ＰＥＮ）、ポリエーテルサルフォン（ＰＥＳ）またはアクリル等を基板４００１等に用いることができる。または、シクロオレフィンポリマー（ＣＯＰ）、シクロオレフィンコポリマー（ＣＯＣ）等を用いることができる。
　また、紙または本材などを基板４００１等に用いることができる。
　例えば、可撓性を有する基板を基板４００１等に用いることができる。
　なお、トランジスタまたは容量素子等を基板に直接形成する方法を用いることができる。また、例えば作製工程中に加わる熱に耐熱性を有する工程用の基板にトランジスタまたは容量素子等を形成し、形成されたトランジスタまたは容量素子等を基板４００１等に転置する方法を用いることができる。これにより、例えば可撓性を有する基板にトランジスタまたは容量素子等を形成できる。
（基板４００６）
　例えば、基板４００１に用いることができる材料を基板４００６に用いることができる。例えば、基板４００１に用いることができる材料から選択された透光性を備える材料を、基板４００６に用いることができる。または、片側の表面に、例えば１μｍ以下の反射防止膜が形成された材料を基板４００６に用いることができる。具体的には、誘電体を３層以上、好ましくは５層以上、より好ましくは１５層以上積層した材料を基板４００６に用いることができる。これにより、反射率を０．５％以下好ましくは０．０８％以下に抑制することができる。または、基板４００１に用いることができる材料から選択された複屈折が抑制された材料を、基板４００６に用いることができる。
　例えば、アルミノ珪酸ガラス、強化ガラス、化学強化ガラスまたはサファイア等を、表示パネルの使用者に近い側に配置される基板４００６に好適に用いることができる。これにより、使用に伴う表示パネルの破損や傷付きを防止することができる。
　例えば、シクロオレフィンポリマー（ＣＯＰ）、シクロオレフィンコポリマー（ＣＯＣ）、トリアセチルセルロース（ＴＡＣ）等の樹脂フィルムを、基板４００６に好適に用いることができる。これにより、重量を低減することができる。または、例えば、落下に伴う破損等の発生頻度を低減することができる。
　また、例えば、厚さ０．７ｍｍ以下厚さ０．１ｍｍ以上の材料を基板４００６に用いることができる。具体的には、厚さを薄くするために研磨した基板を用いることができる。
　図１１（Ａ）は、図１０（Ａ）に示すトランジスタ３４３１に、トップゲート型のトランジスタを設けた場合の断面図を示している。同様に、図１１（Ｂ）は、図１０（Ｂ）に示すトランジスタ３２３２に、トップゲート型のトランジスタを設けた場合の断面図を示している。
　図１１（Ａ）、（Ｂ）のトランジスタ３４３１、３２３２において、電極５１７はゲートとしての機能を有し、電極５１０はソースまたはドレインの一方としての機能を有し、電極５１１はソースまたはドレインの他方としての機能を有する。
　図１１（Ａ）、（Ｂ）のその他の構成要素の詳細については、図１０（Ａ）、（Ｂ）の記載を参照すればよい。
　以上、本実施の形態に示す受像装置を用いることで、効率的に低解像度の画像データをアップコンバートし、高解像度の画像を表示することができる。
（実施の形態３）
　本実施の形態では、上記実施の形態に示すＮＮ（ニューラルネットワーク）回路に用いることが可能な半導体装置について説明を行う。
《半導体装置》
　図１２は、各種ニューラルネットワークを実現することのできる半導体装置１００の構成を示している。
　半導体装置１００は、演算層１４１［１］乃至１４１［Ｎ］およびスイッチ層１４２［１］乃至１４２［Ｎ−１］から成る階層構造を有する。なお、Ｎは２以上の整数とする。
　演算層１４１［１］は積和演算素子１３０［１］乃至１３０［Ｓ１］を有し、演算層１４１［Ｎ］は積和演算素子１３０［１］乃至１３０［ＳＮ］を有する。スイッチ層１４２［１］はプログラマブルスイッチ１４０［１］乃至１４０［Ｓ２］を有し、スイッチ層１４２［Ｎ−１］はプログラマブルスイッチ１４０［１］乃至１４０［ＳＮ］を有する。なお、Ｓ１乃至ＳＮはそれぞれ１以上の整数とする。スイッチ層１４２は、異なる２つの演算層１４１どうしの接続を制御する機能を有する。
　プログラマブルスイッチ１４０は、第１の演算層１４１に含まれる複数の積和演算素子１３０と、第２の演算層１４１に含まれる積和演算素子１３０との接続を制御する機能を有する。例えば、図１２において、プログラマブルスイッチ１４０［Ｓ２］は、演算層１４１［１］が有する積和演算素子１３０［１］乃至１３０［Ｓ１］のいずれかと、演算層１４１［２］が有する積和演算素子１３０［Ｓ２］との接続を制御する機能を有する。
　図１２に示す階層構造は、図３に示す階層構造と対応させることができる。なお、本明細書において、積和演算素子１３０をニューロンと呼ぶ場合がある。
《積和演算素子》
　図１３は積和演算素子１３０の構成例を示すブロック図である。積和演算素子１３０は、入力信号ＩＮ［１］乃至ＩＮ［Ｓ］のそれぞれに対応した乗算素子１３１［１］乃至１３１［Ｓ］と、加算素子１３３と、活性化関数素子１３４と、ＣＭ（コンフィギュレーションメモリ）１３２［１］乃至１３２［Ｓ］と、ＣＭ１３５から構成される。なお、Ｓは１以上の整数とする。
　乗算素子１３１は、ＣＭ１３２に格納されているデータと入力信号ＩＮを掛け合わせる機能を有する。ＣＭ１３２には重み係数が格納されている。
　加算素子１３３は乗算素子１３１［１］乃至１３１［Ｓ］の出力（乗算結果）を全て足し合わせる機能を有する。
　活性化関数素子１３４は、加算素子１３３の出力（積和演算結果）を、ＣＭ１３５に保存されているデータで定義される関数に従って演算を実行し、出力信号ＯＵＴを出力する。当該関数は、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、閾値関数などとすることができる。これら関数を、テーブル方式または折れ線近似などにより実装し、対応するデータをコンフィギュレーションデータとして、ＣＭ１３５に格納する。
　なお、ＣＭ１３２［１：Ｓ］とＣＭ１３５とは、それぞれ個別の書き込み回路を有することが好ましい。その結果、ＣＭ１３２［１：Ｓ］のデータ更新と、ＣＭ１３５のデータ更新とは、それぞれ独立に行うことができる。つまり、ＣＭ１３５のデータ更新をすることなく、ＣＭ１３２［１：Ｓ］のデータ更新を何度も繰り返すことができる。こうすることで、ニューラルネットワークの学習の際に、重み係数の更新のみを何度も繰り返すことができ、効率的に学習ができる。
《プログラマブルスイッチ》
　図１４（Ａ）はプログラマブルスイッチ１４０の構成を示す回路図である。プログラマブルスイッチ１４０はスインチ１６０を有する。
　プログラマブルスイッチ１４０は、出力信号ＯＵＴ［１］乃至ＯＵＴ［Ｓ］を、入力信号ＩＮ［１］乃至ＩＮ［Ｓ］と接続させる機能を有する。例えば、図１２において、プログラマブルスイッチ１４０［Ｓ２］は、演算層１４１［１］の出力信号ＯＵＴ［１］乃至ＯＵＴ［Ｓ１］のいずれかと、演算層１４１［２］が有する積和演算素子１３０［Ｓ２］の入力信号ＩＮ［１：Ｓ２］との接続を制御する機能を有する。
　また、プログラマブルスイッチ１４０は、信号“０”と、積和演算素子１３０の入力信号ＩＮ［１］乃至ＩＮ［Ｓ］との接続を制御する機能を有する。
《スイッチ》
　図１４（Ｂ）はスイッチ１６０の構成例を示す回路図である。スイッチ１６０は、ＣＭ１６１とスイッチ１６２を有する。スイッチ１６２は、ＯＵＴ［ｉ］とＩＮ［ｉ］（ｉは１以上Ｓ以下の整数）との導通を制御する機能を有する。また、スイッチ１６２は、“０”とＩＮ［ｉ］との導通を制御する機能を有する。ＣＭ１６１に格納するコンフィギュレーションデータにより、スイッチ１６２のオン／オフが制御される。スイッチ１６２として、トランジスタを用いることができる。
　なお、積和演算素子１３０が直前の演算層１４１からのＯＵＴ［ｉ］を入力として使用しない場合、当該積和演算素子１３０はＩＮ［ｉ］を“０”に接続する。このとき、ＩＮ［ｉ］に対応する乗算素子１３１［ｉ］は、電力の供給を停止する（パワーゲーティングを行う）ことにより、消費電力を低減することができる。例えば、図１２において、演算層１４１［２］が有する積和演算素子１３０［Ｓ２］が、演算層１４１［１］からのＯＵＴ［１］を入力として使用しない場合、積和演算素子１３０［Ｓ２］は、そのＩＮ［１］を“０”に接続し、乗算素子１３１［１］への電力の供給を停止する。
　また、ある演算層１４１が有する積和演算素子１３０のＯＵＴ［ｉ］が、他の演算層１４１が有するどの積和演算素子１３０とも接続しない場合、ＯＵＴ［ｉ］を出力する積和演算素子１３０全体の電力供給を停止し、消費電力を低減することができる。例えば、図１２において、演算層１４１［１］が有する積和演算素子１３０［Ｓ１］が、他の演算層１４１が有するどの積和演算素子１３０とも接続しない場合、積和演算素子１３０［Ｓ１］全体の電力供給を停止する。
　上記構成において、コンフィギュレーションメモリは、フラッシュメモリ、ＲｅＲＡＭ、ＭＲＡＭ、ＰＲＡＭ、ＦｅＲＡＭ等を用いて構成することが可能である。また、コンフィギュレーションメモリはＯＳメモリで構成することも可能である。コンフィギュレーションメモリにＯＳメモリを用いることで、半導体装置１００の消費電力を大幅に低減することができる。
　例えば、図１３に示すＣＭ１３２［１］乃至１３２［Ｓ］およびＣＭ１３５をＯＳメモリで構成することで、半導体装置１００は、少ない素子数で低消費電力のネットワークを構成することができる。
　例えば、図１４（Ｂ）に示すＣＭ１６１をＯＳメモリで構成することで、半導体装置１００は、少ない素子数で低消費電力のネットワークを構成することができる。
　また、乗算素子１３１および加算素子１３３をアナログ積和演算素子とすることで、積和演算素子１３０を構成するトランジスタの数を削減することができる。
　さらに、積和演算素子１３０の入出力信号をアナログ信号とすることで、ネットワークを構成する配線数を低減することができる。
　図１２における半導体装置１００は、所望のネットワーク構成となるプログラマブルスイッチ１４０のコンフィギュレーションデータを生成し、当該コンフィギュレーションデータにしたがって、学習を行うことが可能である。学習により重み係数を更新する場合は、プログラマブルスイッチ１４０のコンフィギュレーションデータを変更せずに、重み係数のコンフィギュレーションデータのみを繰り返し変更する構成が有効である。そのため、積和演算素子１３０が有するＣＭ１３２［１：Ｓ］と、プログラマブルスイッチ１４０が有するＣＭ１３５とは、異なる回路によって、コンフィギュレーションデータが書き込まれることが好ましい。
（実施の形態４）
　本実施の形態では、実施の形態１に示す画像処理方法を適用することができる電子機器について、図１５を用いて説明を行う。以下に示す電子機器は、実施の形態１に示す画像処理方法を用いることで、低解像度の画像データをアップコンバートし、表示部に表示させることができる。
　図１５（Ａ）に示す携帯電話機７４００は、筐体７４０１に組み込まれた表示部７４０２のほか、操作ボタン７４０３、外部接続ポート７４０４、スピーカ７４０５、マイクロフォン７４０６などを備えている。携帯電話機７４００は、指などで表示部７４０２に触れることで、情報を入力することができる。また、電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指などで表示部７４０２に触れることにより行うことができる。また、操作ボタン７４０３の操作により、電源のＯＮ、ＯＦＦ動作や、表示部７４０２に表示される画像の種類を切り替えることができる。例えば、メール作成画面から、メインメニュー画面に切り替えることができる。
　図１５（Ｂ）は、腕時計型の携帯情報端末の一例を示している。図１５（Ｂ）に示す携帯情報端末７１００は、筐体７１０１、表示部７１０２、バンド７１０３、バックル７１０４、操作ボタン７１０５、入出力端子７１０６などを備える。携帯情報端末７１００は、移動電話、電子メール、文章閲覧および作成、音楽再生、インターネット通信、コンピュータゲームなどの種々のアプリケーションを実行することができる。表示部７１０２はその表示面が湾曲して設けられ、湾曲した表示面に沿って表示を行うことができる。また、表示部７１０２はタッチセンサを備え、指やスタイラスなどで画面に触れることで操作することができる。例えば、表示部７１０２に表示されたアイコン７１０７に触れることで、アプリケーションを起動することができる。
　操作ボタン７１０５は、時刻設定のほか、電源のオン、オフ動作、無線通信のオン、オフ動作、マナーモードの実行および解除、省電力モードの実行および解除など、様々な機能を持たせることができる。例えば、携帯情報端末７１００に組み込まれたオペレーティングシステムにより、操作ボタン７１０５の機能を自由に設定することもできる。携帯情報端末７１００は、通信規格された近距離無線通信を実行することが可能である。例えば無線通信可能なヘッドセットと相互通信することによって、ハンズフリーで通話することもできる。また、携帯情報端末７１００は入出力端子７１０６を備え、他の情報端末とコネクターを介して直接データのやりとりを行うことができる。また入出力端子７１０６を介して充電を行うこともできる。なお、充電動作は入出力端子７１０６を介さずに無線給電により行ってもよい。
　図１５（Ｃ）はノート型のパーソナルコンピュータ（ＰＣ）を示している。図１５（Ｃ）に示すＰＣ７２００は、筐体７２２１、表示部７２２２、キーボード７２２３、ポインティングデバイス７２２４等を有する。
　図１５（Ｄ）はビデオカメラ７６００であり、第１筐体７６４１、第２筐体７６４２、表示部７６４３、操作キー７６４４、レンズ７６４５、接続部７６４６等を有する。
　本実施例では、実施の形態１で示す方法でアップコンバートを行い、当該アップコンバートを行った画像データに対応する画像を表示した場合の表示結果について説明する。
　図１６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、本実施例で実行した動作を示す図である。本実施例では、まず、図１６（Ａ）に示すように、ＶＧＡに対応する解像度（６４０×４８０）の画像データｉｍｇ１を用意した。次に、図１６（Ｂ）に示すように、画像データｉｍｇ１を、１０×１０に分割した。つまり、画像データｉｍｇ１を、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］に分割した。なお、後述する方法１又は方法２により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度は図１６（Ｂ）に示すように７２×５６とし、６４×４８より大きくした。
　その後、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］のそれぞれについて、ＣＮＮを用いてアップコンバートを行った。これにより、図１６（Ｃ）に示すように、解像度が１２８×９６の画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［１０，１０］を生成した。なお、ＣＮＮにおいて、重みフィルタのフィルタサイズを３×３、畳み込み層の層数を８とし、活性化関数としてＲｅＬＵを用いた。画像データｉｍｇ２［１，１］乃至画像データｉｍｇ２［１０，１０］を結合することにより、図１６（Ｄ）に示すように、Ｑｕａｄ−ＶＧＡに対応する解像度（１２８０×９６０）の画像データｉｍｇ２を生成し、当該画像データｉｍｇ２に対応する画像を表示した。以上に示す方法により、解像度６４０×４８０の画像データｉｍｇ１を、解像度１２８０×９６０の画像データｉｍｇ２にアップコンバートした。
　本実施例では、方法１又は方法２により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度をそれぞれ７２×５６、つまり６４×４８より大きくした。方法１では、図１（Ｂ）、（Ｃ）および図２（Ａ）、（Ｂ）に示す方法により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度をそれぞれ７２×５６とした。方法２では、図１７（Ａ）、（Ｂ）に示す方法により、画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］の解像度をそれぞれ７２×５６とした。
　図１７（Ａ）、（Ｂ）は、画像データｉｍｇ１［１，１］の解像度を７２×５６とする、つまり６４×４８より大きくする方法の一例を示す図である。図１７（Ａ）には、画像データｉｍｇ１を構成する画像データａのうち、画像データａ［１，１］の構成例を示す。図１７（Ａ）に示す場合において、画像データａ［１，１］は、画素データＤｅ１１、画素データＤｅ２１、画素データＤｅ３１、画素データＤｅ４１、画素データＤｅ１２、画素データＤｅ２２、画素データＤｅ３２、画素データＤｅ４２、画素データＤｅ１３、画素データＤｅ２３、画素データＤｅ３３、画素データＤｅ４３、画素データＤｅ１４、画素データＤｅ２４、画素データＤｅ３４、および画素データＤｅ４４を有する。
　図１７（Ｂ）は、図１７（Ａ）に示す構成の画像データａ［１，１］を基に生成された、画像データｉｍｇ１［１，１］の構成例を示している。画像データａ［１，１］の境界部に設けられた画素データを、画像データａ［１，１］の外側に補填することにより、画像データｉｍｇ１［１，１］の解像度を画像データａ［１，１］の解像度より大きくすることができる。つまり、画像データａ［１，１］に対してエッジパディングを行うことにより、画像データｉｍｇ１［１，１］の解像度を画像データａ［１，１］の解像度より大きくすることができる。
　なお、図１７（Ａ）では、画像データａ［１，１］が４×４の画素データを有する場合を示しているが、実際には６４×４８の画素データを有する。また、図１７（Ｂ）では、画像データａ［１，１］の上隣および下隣にそれぞれ１行分の画素データを補填し、左隣および右隣にそれぞれ１列分の画素データを補填する場合を示しているが、実際には画像データａ［１，１］の上隣および下隣にはそれぞれ４行分の画素データを補填し、左隣および右隣にはそれぞれ４列分の画素データを補填する。以上により、解像度６４×４８の画像データａ［１，１］から、解像度７２×５６の画像データｉｍｇ１［１，１］を生成することができる。
　前述のように、本実施例では画像データｉｍｇ１を画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］に分割する。画像データｉｍｇ１［１，１］乃至画像データｉｍｇ１［１０，１０］のうち、画像データｉｍｇ１［１，１］以外の画像データも、画像データｉｍｇ１［１，１］と同様の方法で生成することができる。
　図１８（Ａ）に、方法１を適用した場合の表示結果を示し、図１８（Ｂ）に、方法２を適用した場合の表示結果を示す。
　図１８（Ａ）では、画像のずれは確認されなかった。一方、図１８（Ｂ）では、矢印で示した部分において、画像のずれが確認された。これは、画像データの結合部において、画素データのずれが発生したことに起因する。
１０：受像装置、１１：コンピュータネットワーク、１２：アンテナ、１３：サーバー、２０：制御部、２１：システムバス、２２：記憶部、２３：通信制御部、２４：画像処理回路、２５：デコーダ回路、２６：映像信号受信部、２７：タイミングコントローラ、２８：ＳＤ、２８＿Ａ１：ＳＤ、２８＿Ａｍ：ＳＤ、２８＿Ｂ１：ＳＤ、２８＿Ｂｍ：ＳＤ、２８＿Ｂｎ：ＳＤ、２８＿Ｃ１：ＳＤ、２８＿Ｃｍ：ＳＤ、２８＿Ｄ１：ＳＤ、２８＿Ｄｍ：ＳＤ、２８＿ｎ：ＳＤ、２８＿Ｕ１：ＳＤ、２８＿Ｕｎ：ＳＤ、２８＿１：ＳＤ、２９：ＧＤ、３０：表示パネル、３０＿Ａ：表示パネル、３０＿Ｂ：表示パネル、３０＿Ｃ：表示パネル、３０＿Ｄ：表示パネル、３１：画素、３２＿Ａ１：ＮＮ回路、３２＿Ａ１０：ＮＮ回路、３２＿Ａｍ：ＮＮ回路、３２＿Ｂ１：ＮＮ回路、３２＿Ｂｍ：ＮＮ回路、３２＿Ｂｎ：ＮＮ回路、３２＿Ｃ１：ＮＮ回路、３２＿Ｃｍ：ＮＮ回路、３２＿Ｄ１：ＮＮ回路、３２＿Ｄｍ：ＮＮ回路、３２＿ｎ：ＮＮ回路、３２＿Ｕ１：ＮＮ回路、３２＿Ｕｎ：ＮＮ回路、３２＿１：ＮＮ回路、３２＿２：ＮＮ回路、３２＿３：ＮＮ回路、３２＿４：ＮＮ回路、３２＿５：ＮＮ回路、３２＿６：ＮＮ回路、３２＿７：ＮＮ回路、３２＿８：ＮＮ回路、３２＿９：ＮＮ回路、３２＿１０：ＮＮ回路、４１＿ｎ：表示パネル、４１＿１：表示パネル、４１＿２：表示パネル、４２＿ｎ：表示パネル、４２＿１：表示パネル、４３＿ｎ：表示パネル、４３＿１：表示パネル、４４＿ｎ：表示パネル、４４＿１：表示パネル、１００：半導体装置、１３０：積和演算素子、１３１：乗算素子、１３２：ＣＭ、１３３：加算素子、１３４：活性化関数素子、１３５：ＣＭ、１４０：プログラマブルスイッチ、１４１：演算層、１４２：スイッチ層、１６０：スイッチ、１６１：ＣＭ、１６２：スイッチ、５１０：電極、５１１：電極、５１２：半導体層、５１６：電極、５１７：電極、３１２５：発光素子、３２３２：トランジスタ、３２３３：容量素子、３４３１：トランジスタ、３４３２：液晶素子、３４３５：ノード、３４３６：ノード、３４３７：ノード、４００１：基板、４００５：シール材、４００６：基板、４００８：液晶層、４０１４：配線、４０１５：電極、４０１８：ＦＰＣ、４０１９：異方性導電層、４０２１：電極、４０３０：電極層、４０３１：電極層、４０３２：絶縁層、４０３３：絶縁層、４０３５：スペーサ、４１０２：絶縁層、４１０３：絶縁層、４１１０：絶縁層、４１１１：絶縁層、４１１２：絶縁層、４５１０：隔壁、４５１１：発光層、４５１４：充填材、７１００：携帯情報端末、７１０１：筐体、７１０２：表示部、７１０３：バンド、７１０４：バックル、７１０５：操作ボタン、７１０６：入出力端子、７１０７：アイコン、７２００：ＰＣ、７２２１：筐体、７２２２：表示部、７２２３：キーボード、７２２４：ポインティングデバイス、７４００：携帯電話機、７４０１：筐体、７４０２：表示部、７４０３：操作ボタン、７４０４：外部接続ポート、７４０５：スピーカ、７４０６：マイクロフォン、７６００：ビデオカメラ、７６４１：筐体、７６４２：筐体、７６４３：表示部、７６４４：操作キー、７６４５：レンズ、７６４６：接続部

Claims (6)

  1. 　低解像の画像データを分割することで、複数の第１画像データを生成し、
    　前記複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、
    　前記第２画像データの周囲を画素データで補うことで第４画像データを生成し、
    　前記画素データは、前記第３画像データの一部を含み、
    　前記第４画像データを入力とする畳み込みニューラルネットワークを行い、
    　前記畳み込みニューラルネットワークは第５画像データを出力し、
    　複数の前記第５画像データを結合することで、高解像度の画像データを生成することを特徴とする画像処理方法。
  2. 　請求項１において、
    　前記第５画像データの解像度が、前記第１画像データの解像度のｎ２倍（ｎは２以上の整数）であることを特徴とする画像処理方法。
  3. 　低解像度の画像データを受信して高解像度の画像を表示する受像装置であって、
    　前記低解像の画像データを分割することで、複数の第１画像データを生成し、
    　前記複数の第１画像データのうち、隣接する２つの一方を第２画像データとし、他方を第３画像データとし、
    　前記第２画像データの周囲を画素データで補うことで第４画像データを生成し、
    　前記画素データは、前記第３画像データの一部を含み、
    　前記第４画像データを入力とする畳み込みニューラルネットワークを行い、
    　前記畳み込みニューラルネットワークは第５画像データを出力し、
    　複数の前記第５画像データを結合することで、前記高解像度の画像を表示することを特徴とする受像装置。
  4. 　請求項３において、前記第５画像データの解像度が、前記第１画像データの解像度のｎ２倍（ｎは２以上の整数）であることを特徴とする受像装置。
  5. 　複数の回路と、
    　表示パネルを含む受像装置であって、
    　低解像度の画像データを受信し、前記低解像度の画像データを、複数の第１画像データに分割し、
    　前記複数の回路は、それぞれ、前記複数の第１画像データの１つを、畳み込みニューラルネットワークを用いて、第２画像データに変換し、
    　前記第２画像データは前記第１画像データよりも解像度が高く、
    　前記表示パネルは、複数の前記第２画像データを結合することで、高解像度の画像を表示することを特徴とする受像装置。
  6. 　請求項５において、
    　前記複数の回路は第１乃至第Ｎの回路（Ｎは２以上の整数）からなり、
    　前記低解像度の画像データは、Ｍ×Ｎ（Ｍは１以上の整数）の第１画像データに分割されることを特徴とする受像装置。
PCT/IB2018/052435 2017-04-21 2018-04-09 画像処理方法および受像装置 WO2018193333A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/500,535 US11238559B2 (en) 2017-04-21 2018-04-09 Image processing method and image receiving apparatus
JP2019513502A JP7184488B2 (ja) 2017-04-21 2018-04-09 画像処理方法および受像装置
CN201880025822.1A CN110537369B (zh) 2017-04-21 2018-04-09 图像处理方法及图像接收装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017084603 2017-04-21
JP2017-084603 2017-04-21

Publications (1)

Publication Number Publication Date
WO2018193333A1 true WO2018193333A1 (ja) 2018-10-25

Family

ID=63856511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/052435 WO2018193333A1 (ja) 2017-04-21 2018-04-09 画像処理方法および受像装置

Country Status (4)

Country Link
US (1) US11238559B2 (ja)
JP (1) JP7184488B2 (ja)
CN (1) CN110537369B (ja)
WO (1) WO2018193333A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472732A (zh) * 2019-08-19 2019-11-19 杭州凝眸智能科技有限公司 优化特征提取方法及其神经网络结构
JP2020109897A (ja) * 2018-12-28 2020-07-16 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
WO2020159935A1 (en) * 2019-01-28 2020-08-06 Dignity Health Systems, methods, and media for automatically transforming a digital image into a simulated pathology image
JP2021124607A (ja) * 2020-02-05 2021-08-30 ラピスセミコンダクタ株式会社 表示装置及びソースドライバ
JP2022505303A (ja) * 2018-10-18 2022-01-14 ソニーグループ株式会社 Ｍｌベースのアップスケーリングのためのフレーム処理
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
CN110998703A (zh) 2017-08-24 2020-04-10 株式会社半导体能源研究所 图像处理方法
CN107729948A (zh) * 2017-10-31 2018-02-23 京东方科技集团股份有限公司 图像处理方法及装置、计算机产品和存储介质
CN111370526B (zh) * 2020-03-17 2023-12-26 南京大学 一种视网膜形态光电传感阵列及其图片卷积处理方法
US11967044B2 (en) * 2020-03-30 2024-04-23 Silicon Works Co., Ltd. Device and method for upscaling resolution based on slice image
CN111986143B (zh) * 2020-07-06 2021-09-21 南京航空航天大学 一种陶瓷基复合材料的细观结构表征方法
KR20230010155A (ko) * 2021-07-09 2023-01-18 삼성디스플레이 주식회사 표시 장치
CN113627074B (zh) * 2021-07-13 2024-04-19 西安理工大学 一种基于迁移学习的地波传播时延预测方法
CN117337461A (zh) * 2022-04-26 2024-01-02 京东方科技集团股份有限公司 信号处理方法、显示装置、电子设备和可读存储介质
CN116544146B (zh) * 2023-05-22 2024-04-09 浙江固驰电子有限公司 功率半导体器件真空烧结设备及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346639A (ja) * 2004-06-07 2005-12-15 Nec Display Solutions Ltd 画像処理装置および画像処理方法
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1117934A (ja) 1997-06-24 1999-01-22 Victor Co Of Japan Ltd 画像拡大処理装置及びその方法
ATE453903T1 (de) * 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
TWI255146B (en) 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
EP2213098A2 (en) 2007-10-16 2010-08-04 Thomson Licensing Methods and apparatus for video encoding and decoding geometrically partitioned super blocks
JP4683079B2 (ja) 2008-07-07 2011-05-11 ソニー株式会社 画像処理装置および方法
KR101498206B1 (ko) * 2008-09-30 2015-03-06 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
JP2013131042A (ja) 2011-12-21 2013-07-04 Canon Inc 画像処理装置及びその制御方法
JP5921469B2 (ja) * 2013-03-11 2016-05-24 株式会社東芝 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム
CN103810685B (zh) * 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
JP6674838B2 (ja) 2015-05-21 2020-04-01 株式会社半導体エネルギー研究所 電子装置
CN105141876B (zh) 2015-09-24 2019-02-22 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
KR102477518B1 (ko) 2015-10-23 2022-12-15 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
CN106127684B (zh) 2016-06-22 2019-03-15 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346639A (ja) * 2004-06-07 2005-12-15 Nec Display Solutions Ltd 画像処理装置および画像処理方法
WO2009130820A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAI, AKIRA ET AL.: "Review on basic of improving visual texture of natural image in which super-resolution process is applied", IMPS IMAGE MEDIA PROCESSING SYMPOSIUM 2015, 18 November 2015 (2015-11-18), pages 130 - 131 *
OHTANI, SHINYA ET AL.: "Super-Resolution with Four Output Convolutional Neural Networks", EARLY PUBLISHED THESIS OF IEICE TRANSACTIONS D, 15 January 2016 (2016-01-15), pages 1 - 6 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022505303A (ja) * 2018-10-18 2022-01-14 ソニーグループ株式会社 Ｍｌベースのアップスケーリングのためのフレーム処理
US11533413B2 (en) 2018-10-18 2022-12-20 Sony Group Corporation Enhanced color reproduction for upscaling
JP7416774B2 (ja) 2018-10-18 2024-01-17 ソニーグループ株式会社 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2020109897A (ja) * 2018-12-28 2020-07-16 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
WO2020159935A1 (en) * 2019-01-28 2020-08-06 Dignity Health Systems, methods, and media for automatically transforming a digital image into a simulated pathology image
CN110472732A (zh) * 2019-08-19 2019-11-19 杭州凝眸智能科技有限公司 优化特征提取方法及其神经网络结构
CN110472732B (zh) * 2019-08-19 2023-02-21 杭州凝眸智能科技有限公司 基于优化特征提取装置的图像特征提取系统
JP2021124607A (ja) * 2020-02-05 2021-08-30 ラピスセミコンダクタ株式会社 表示装置及びソースドライバ
JP7379194B2 (ja) 2020-02-05 2023-11-14 ラピスセミコンダクタ株式会社 表示装置及びソースドライバ
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution

Also Published As

Publication number Publication date
US11238559B2 (en) 2022-02-01
JP7184488B2 (ja) 2022-12-06
CN110537369A (zh) 2019-12-03
JPWO2018193333A1 (ja) 2020-02-27
CN110537369B (zh) 2021-07-13
US20200051211A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JP7184488B2 (ja) 画像処理方法および受像装置
JP7254994B2 (ja) 機械学習システム
US11676558B2 (en) Display system and electronic device
JP7430213B2 (ja) 表示装置
JP2020129136A (ja) 半導体装置の動作方法
JP7247316B2 (ja) 半導体装置、表示システム、電子機器
JP2018136537A (ja) 半導体装置及び表示システム
JPWO2019048966A1 (ja) 表示システム
KR102567675B1 (ko) 화상 처리 방법
JP7394197B2 (ja) 電子機器
US20190342606A1 (en) Electronic device and system including the same
JPWO2018189613A1 (ja) 半導体装置、撮像装置及び表示システム
JP2022087178A (ja) 表示装置
JP2018156077A (ja) 半導体装置、表示装置、および電子機器
JP2018146648A (ja) 表示システム及び電子機器
JP7321942B2 (ja) 表示装置
WO2018130921A1 (ja) 受像装置、およびそれを含めた受像システム
JPWO2018142238A1 (ja) 画像処理回路、表示システム及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18787614

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019513502

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18787614

Country of ref document: EP

Kind code of ref document: A1