WO2021156708A1 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
WO2021156708A1
WO2021156708A1 PCT/IB2021/050600 IB2021050600W WO2021156708A1 WO 2021156708 A1 WO2021156708 A1 WO 2021156708A1 IB 2021050600 W IB2021050600 W IB 2021050600W WO 2021156708 A1 WO2021156708 A1 WO 2021156708A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
gradation value
image
learning
bright spot
Prior art date
Application number
PCT/IB2021/050600
Other languages
English (en)
French (fr)
Inventor
秋元健吾
三嶋大地
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to JP2021575095A priority Critical patent/JPWO2021156708A1/ja
Priority to US17/794,698 priority patent/US20230067287A1/en
Priority to KR1020227028226A priority patent/KR20220139332A/ko
Priority to CN202180013116.7A priority patent/CN115104144A/zh
Publication of WO2021156708A1 publication Critical patent/WO2021156708A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays

Definitions

  • One aspect of the present invention relates to an image processing system.
  • Display devices such as liquid crystal displays and organic EL displays can be manufactured by applying a resist on a substrate and then exposing it through a mask to perform patterning.
  • a resist on a substrate
  • Patent Document 1 discloses a method of dividing the inside of a substrate surface into a plurality of exposure regions corresponding to the size of a mask and exposing each exposure region.
  • Patent Document 2 discloses a method of darkening bright spots in the process of manufacturing a display device.
  • the exposure amount at the boundary of the exposure area may be different from the exposure amount in other areas due to the position of the mask deviating from the exposure area or the like.
  • the characteristics of the element possessed by the pixels provided at the boundary of the exposure region may differ from the characteristics of the element possessed by the pixels provided in the other region.
  • the brightness of the light emitted by the pixels provided at the boundary of the exposure region and the brightness of the light emitted by the pixels provided in the other region may be different. The difference in brightness may be visually recognized as uneven display.
  • a method of performing image processing on the image data input to the display device can be considered.
  • a method of performing image processing using machine learning can be considered.
  • a method of generating a machine learning model by a generation device and performing image processing by the machine learning model on the image data input to the display device can be considered.
  • the display device performs image processing using the machine learning model generated by the generation device, it can be said that the display device and the generation device constitute an image processing system.
  • the display element, the transistor, etc. constituting the pixel deteriorate due to the long-term use of the display device, and the electrical characteristics fluctuate. It may be a point. It is difficult to remove such bright spots in the manufacturing process of the display device.
  • one aspect of the present invention provides a new image processing system, a new image processing method, a new generation device, a new machine learning model generation method, a new image processing device, a new display device, and the like. That is one of the issues.
  • One aspect of the present invention relates to an image processing system having a display device, an image pickup device, and a learning device, and a method of generating a machine learning model using the image processing system.
  • the display device pixels of m rows and n columns (m and n are integers of 2 or more) are arranged in a matrix.
  • the learning device has a database. The database is generated based on the first image data and the second image data acquired by displaying the image corresponding to the first image data on the display device and capturing the image with the imaging device.
  • the table is stored.
  • the first image data has a first gradation value of m rows and n columns
  • the second image data has a second gradation value of m rows and n columns.
  • the table represents a first gradation value and a second gradation value of coordinates corresponding to the coordinates of the first gradation value.
  • an image corresponding to the first learning image data is displayed on the display device, and the image displayed on the display device is captured by the imaging device to obtain a second learning image. Get the data.
  • the learning device performs image processing on the first learning image data based on the second learning image data, so that the learning device has a third gradation value of m rows and n columns.
  • Generate image data for learning Specifically, the learning device performs image processing on the first learning image data so as to approach the second learning image data, so that the third gradation value of m rows and n columns is obtained. Generates the third image data for learning to have.
  • the sum of the third gradation values in the 1st row, 1st column to the mth row, nth column is the gradation value in the 1st row, 1st column to mth row, nth column of the second learning image data.
  • Image processing is performed on the first learning image data so as to be equal to the total value of.
  • the learning device sets the second gradation value of the 1st row, 1st column to the mth row, nth column based on each of the 3rd gradation values of the 1st row, 1st column to the mth row and nth column. select. For example, a value that matches the third gradation value or a second gradation value that is the closest value is selected for each of the 1st row, 1st column, and m row and nth column.
  • a fourth learning image data which is image data including the first gradation value corresponding to the selected second gradation value, is generated. Then, the learning device generates a machine learning model in which the image data output when the first learning image data is input matches the fourth learning image data.
  • the machine learning model generated by the learning device is supplied to the display device.
  • the display device can perform image processing by the machine learning model on the image data input to the display device.
  • the machine learning model can perform image processing for reducing display unevenness on the image data input to the display device.
  • One aspect of the present invention includes a display device, an image pickup device, and a learning device, and the display device includes an input unit, a machine learning processing unit, and m rows and n columns (m and n are integers of 2 or more).
  • the learning device has a database, an image processing unit, an image generation unit, and a learning unit, and the database has an input unit.
  • a second image acquired by displaying the input first image data and an image corresponding to the first image data on the display unit and imaging the image so that the image pickup apparatus includes the image displayed on the display unit.
  • the image data and the table generated based on the image data are stored, the first image data has the first gradation value of m rows and n columns, and the second image data is the second image data of m rows and n columns.
  • the table represents the first gradation value and the second gradation value of the coordinates corresponding to the coordinates of the first gradation value, and the image processing unit is an input unit. It has a function of generating a third learning image data by performing image processing based on the second learning image data with respect to the first learning image data input to the second learning.
  • the image data for learning is image data acquired by displaying an image corresponding to the first learning image data on the display unit and imaging the image so that the imaging device includes the image displayed on the display unit.
  • the third learning image data has a third gradation value of m rows and n columns, and the image generation unit corresponds to a second gradation value selected based on the third gradation value. It has a function of generating a fourth learning image data, which is image data including a first gradation value, and the learning unit outputs image data output when the first learning image data is input. , Has a function of generating a machine learning model that matches the fourth learning image data and outputting the machine learning model to the machine learning processing unit, and the machine learning processing unit has a content image input to the input unit. It is an image processing system that has a function to process data by a machine learning model.
  • the first learning image data has a fourth gradation value of m rows and n columns
  • the second learning image data has a fifth gradation value of m rows and n columns.
  • the image processing unit has the difference between the total of the third gradation value and the total of the fifth gradation value of the total of the fourth gradation value and the fifth gradation value. It may have a function of performing image processing so as to be smaller than the difference between the total and the total.
  • the machine learning model may be a neural network model.
  • one aspect of the present invention is a method of generating a machine learning model by an image processing system having a display unit in which pixels of m rows and n columns (m and n are integers of 2 or more) are arranged in a matrix.
  • An image corresponding to the first image data having the first gradation value of m rows and n columns is displayed on the display unit by emitting light having a brightness corresponding to the first gradation value from the pixels.
  • the second image data having the second gradation value of m rows and n columns is acquired, and the first image data is obtained.
  • a table representing the gradation value and the second gradation value of the coordinates corresponding to the coordinates of the first gradation value is generated, and the image corresponding to the first learning image data is displayed on the display unit.
  • the second learning image data is acquired by taking an image so as to include the image corresponding to the first learning image data displayed on the display unit, and the first learning image data is subjected to the image.
  • a third learning image data having a third gradation value of m rows and n columns is generated, and based on the third gradation value, the third gradation value is generated.
  • the first learning image data has a fourth gradation value of m rows and n columns
  • the second learning image data has a fifth gradation value of m rows and n columns.
  • the difference between the total of the third gradation value and the total of the fifth gradation value is the total of the fourth gradation value and the total of the fifth gradation value. It may be performed so as to be smaller than the difference between.
  • the machine learning model may be a neural network model.
  • one aspect of the present invention includes a display device, an image pickup device, and a generation device, and the display device includes an input unit, a bright spot correction unit, and m rows and n columns (m and n are two or more). It has a display unit in which the pixels of) are arranged in a matrix, the generation device has a database and an image generation unit, and the database is a first database input to the input unit. The image data and the second database image data acquired by displaying the image corresponding to the first database image data on the display unit and taking an image so that the imaging device includes the image displayed on the display unit, and the second database image data.
  • the table generated based on is stored, the first database image data has the first gradation value of m rows and n columns, and the second database image data has the second floor of m rows and n columns. It has a tuning value, the table represents the first gradation value and the second gradation value of the coordinates corresponding to the coordinates of the first gradation value, and the imaging device is input to the input unit.
  • a function of acquiring the second bright spot correction image data by capturing the image displayed on the display unit is provided.
  • the second bright spot correction image data has a third gradation value of m rows and n columns, and the image generation unit has a second floor selected based on the third gradation value.
  • It has a function of generating a third bright spot correction image data which is image data including a first gradation value corresponding to the adjustment value, and the bright spot correction unit is a third bright spot correction image data.
  • This is an image processing system having a function of reducing the fourth gradation value having the same coordinates as the bright spot coordinates when the content image data having the fourth gradation value in rows and n columns is input to the input unit. ..
  • one aspect of the present invention includes a display device, an image pickup device, and a generation device, and the display device includes an input unit, a bright spot correction unit, and m rows and n columns (m and n are two or more). It has a display unit in which the pixels of) are arranged in a matrix, the generation device has a database and an image generation unit, and the database is a first database input to the input unit. The image data and the second database image data acquired by displaying the image corresponding to the first database image data on the display unit and taking an image so that the imaging device includes the image displayed on the display unit, and the second database image data.
  • the table generated based on is stored, the first database image data has the first gradation value of m rows and n columns, and the second database image data has the second floor of m rows and n columns. It has a tuning value, the table represents the first gradation value and the second gradation value of the coordinates corresponding to the coordinates of the first gradation value, and the imaging device is input to the input unit.
  • a function of acquiring the second bright spot correction image data by capturing the image displayed on the display unit is provided.
  • the second bright spot correction image data has a third gradation value of m rows and n columns, and the image generation unit has a second floor selected based on the third gradation value.
  • It has a function of generating a third bright spot correction image data which is image data including a first gradation value corresponding to the adjustment value, and the bright spot correction unit is a third bright spot correction image data.
  • the point correction unit sets the coordinates of the third gradation value equal to or higher than the second threshold value among the third gradation values of m rows and n columns possessed by the second bright spot correction image data.
  • the bright spot correction unit is the first or second when the content image data having the fourth gradation value of m rows and n columns is input to the input unit.
  • This is an image processing system having a function of reducing a fourth gradation value having the same coordinates as the bright spot coordinates of.
  • one aspect of the present invention includes a display device, an image pickup device, and a generation device, and the display device includes an input unit, a bright spot correction unit, and m rows and n columns (m and n are two or more). It has a display unit in which the pixels of) are arranged in a matrix, the generation device has a database and an image generation unit, and the database is a first database input to the input unit. The image data and the second database image data acquired by displaying the image corresponding to the first database image data on the display unit and taking an image so that the imaging device includes the image displayed on the display unit, and the second database image data.
  • the table generated based on is stored, the first database image data has the first gradation value of m rows and n columns, and the second database image data has the second floor of m rows and n columns. It has a tuning value, the table represents the first gradation value and the second gradation value of the coordinates corresponding to the coordinates of the first gradation value, and the imaging device is input to the input unit.
  • a function of acquiring the second bright spot correction image data by capturing the image displayed on the display unit is provided.
  • the second bright spot correction image data has a third gradation value of m rows and n columns, and the image generation unit has a second floor selected based on the third gradation value.
  • the bright spot correction unit has a function of generating a third bright spot correction image data which is image data including a first gradation value corresponding to the adjustment value, and the bright spot correction unit is a third bright spot correction image data.
  • the first gradation values of m rows and n columns the coordinates of the first gradation value below the first threshold value and above the second threshold value are used as the first bright spot coordinates.
  • the correction unit is the same as both the first bright spot coordinates and the third bright spot coordinates when the content image data having the fourth gradation value of m rows and n columns is input to the input section.
  • This is an image processing system having a function of reducing the fourth gradation value of the coordinates of the above and having a function of reducing the fourth gradation value of the same coordinates as the second bright spot coordinates.
  • the display device has a machine learning processing unit
  • the generation device has an image processing unit and a learning unit
  • the image processing unit is a first learning unit input to the input unit.
  • the image data for learning has a function of generating a third image data for learning by performing image processing based on the image data for learning, and the second image data for learning is the first image data for learning.
  • the image data corresponding to the learning image data is displayed on the display unit, and the imaging device takes an image so as to include the image displayed on the display unit.
  • the third learning image data is the image data. , M rows and n columns, and the image generation unit includes a first gradation value corresponding to a second gradation value selected based on the fifth gradation value.
  • It has a function of generating a fourth learning image data, which is image data, and the learning unit has a function that the image data output when the first learning image data is input is the fourth learning image data. It has a function to generate a machine learning model that matches with and output the machine learning model to the machine learning processing unit, and the machine learning processing unit has a machine learning model for the content image data input to the input unit. It may have a function of performing the processing by.
  • the first learning image data has a sixth gradation value of m rows and n columns
  • the second learning image data has a seventh gradation value of m rows and n columns.
  • the image processing unit has the difference between the total of the fifth gradation value and the total of the seventh gradation value of the total of the sixth gradation value and the seventh gradation value. It may have a function of performing image processing so as to be smaller than the difference between the total and the total.
  • the machine learning model may be a neural network model.
  • an image processing system capable of making display unevenness of an image displayed on a display device inconspicuous. Further, according to one aspect of the present invention, it is possible to provide an image processing system capable of improving the quality of an image displayed on a display device. Further, according to one aspect of the present invention, it is possible to provide an image processing system having a large display device. Further, according to one aspect of the present invention, it is possible to provide an image processing system having a display device capable of displaying a high-definition image. Further, according to one aspect of the present invention, it is possible to provide an image processing system capable of performing image processing in a short time. Further, according to one aspect of the present invention, it is possible to provide an image processing system having a highly reliable display device.
  • a new image processing system a new image processing method, a new generation device, a new machine learning model generation method, a new image processing device, a new display device, and the like are provided. be able to.
  • the effects of one aspect of the present invention are not limited to the effects listed above.
  • the effects listed above do not preclude the existence of other effects.
  • the other effects are the effects not mentioned in this item, which are described below. Effects not mentioned in this item can be derived from those described in the description, drawings, etc. by those skilled in the art, and can be appropriately extracted from these descriptions.
  • one aspect of the present invention has at least one of the above-listed effects and / or other effects. Therefore, one aspect of the present invention may not have the effects listed above in some cases.
  • FIG. 1 is a block diagram showing a configuration example of an image processing system.
  • FIG. 2A is a block diagram showing a configuration example of the display unit.
  • 2B1 and 2B2 are circuit diagrams showing a configuration example of pixels.
  • 3A and 3B are schematic views showing an example of an image processing method.
  • FIG. 4 is a flowchart showing an example of a table generation method.
  • 5A and 5B are schematic views showing an example of a table generation method.
  • 6A and 6B are schematic views showing an example of a table generation method.
  • FIG. 7 is a flowchart showing an example of a method for generating a machine learning model.
  • 8A and 8B are schematic views showing an example of a method for generating a machine learning model.
  • FIG. 9A and 9B are schematic views showing an example of a method for generating a machine learning model.
  • FIG. 10 is a schematic diagram showing an example of a method for generating a machine learning model.
  • 11A and 11B are schematic views showing an example of an image processing method.
  • 12A and 12B are graphs showing an example of an image processing method.
  • 13A1 and 13A2 are graphs showing an example of an image processing method.
  • FIG. 13B is a schematic diagram showing an example of an image processing method.
  • FIG. 14 is a graph showing an example of an image processing method.
  • FIG. 15A is a diagram showing a configuration example of a machine learning model.
  • FIG. 15B is a schematic diagram showing an example of the learning method.
  • 16A and 16B are schematic views showing an example of calculation by a machine learning model.
  • FIG. 17 is a graph showing the learning results according to the examples.
  • FIG. 1 is a block diagram showing a configuration example of the image processing system 10.
  • the image processing system 10 includes a display device 20, an image pickup device 30, and a generation device 40.
  • the generation device 40 is preferably provided in a device having high computing power, such as a server.
  • the display device 20 includes an input unit 21, a display unit 22, a machine learning processing unit 23, and a bright spot correction unit 50.
  • the generation device 40 includes a database 42, an image extraction unit 43, an image processing unit 44, an image generation unit 45, and a learning unit 46.
  • FIG. 2A is a block diagram showing a configuration example of the display unit 22.
  • pixels 24 in m rows and n columns are arranged in a matrix on the display unit 22. Pixels 24 in the same row are electrically connected to each other via the same wiring 134, and pixels 24 in the same column are electrically connected to each other via the same wiring 126.
  • the pixel 24 has a display element, and the display element can be used to display an image on the display unit 22.
  • pixels 24 in m rows and n columns are described as pixels 24 (1,1) to pixels 24 (m, n), respectively, to distinguish them.
  • the same description may be applied to other elements.
  • (1,1) to (m, n) may be referred to as coordinates.
  • the display element can be paraphrased as a display device.
  • the light emitting element can be paraphrased as a light emitting device
  • the liquid crystal element can be paraphrased as a liquid crystal device.
  • the “element” may be paraphrased as a “device”.
  • FIG. 1 the exchange of data between the components of the image processing system 10 is indicated by arrows.
  • the data exchange shown in FIG. 1 is an example, and there are cases where data and the like can be exchanged between components that are not connected by arrows, for example. In addition, data may not be exchanged even between the components connected by the arrows.
  • Image data is input to the input unit 21.
  • the image data input to the input unit 21 can be output to the display unit 22, the machine learning processing unit 23, the database 42, the image processing unit 44, or the learning unit 46.
  • Examples of the image data input to the input unit 21 include database image data DG IN , learning image data LG IN , bright spot correction image data BCG IN , and content image data CG IN .
  • the database image data DG IN can be supplied from the input unit 21 to the display unit 22 and the database 42.
  • the learning image data LG IN can be supplied from the input unit 21 to the display unit 22 and the image processing unit 44.
  • the bright spot correction image data BCG IN can be supplied from the input unit 21 to the display unit 22 and the image processing unit 44.
  • the content image data CG IN can be supplied from the input unit 21 to the machine learning processing unit 23.
  • the display unit 22 has a function of displaying an image corresponding to the image data.
  • the image data can be a set of gradation values.
  • the image data supplied to the display unit 22 can have a configuration having gradation values of m rows and n columns.
  • the pixel 24 can display an image on the display unit 22 by emitting light having a brightness corresponding to the gradation value.
  • the gradation value can be a digital value.
  • the value that the gradation value can take can be an integer of 0 to 255.
  • the machine learning processing unit 23 has a function of performing image processing on image data based on the machine learning model generated by the generation device 40. Specifically, it has a function of performing image processing on the content image data CG IN input from the input unit 21 based on the machine learning model MLM generated by the learning unit 46.
  • the image data processed by the machine learning processing unit 23 is supplied to the bright spot correction unit 50 as the content image data CG ML.
  • the machine learning model MLM for example, a multi-layer perceptron, a neural network model, or the like can be applied.
  • applying a neural network model is preferable because image processing can be performed efficiently and a high-quality image can be displayed on the display unit 22.
  • the neural network model for example, a generative model such as an autoencoder, U-net, or pix2pix can be used. Even if it is a machine learning model other than the above, it can be used as a machine learning model MLM as long as it can perform Bayesian inference. Further, it is preferable that the machine learning model MLM can perform learning and inference by independently handling input / output values.
  • the bright spot correction unit 50 has a function of correcting the content image data CG ML. Specifically, the bright spot correction unit 50 has a function of correcting the gradation value of the content image data CG ML. Although the details will be described later, the bright spot correction unit 50 is based on the bright spot correction image data BCG_1 generated by the image generation unit 45 or the bright spot correction image data BCG_1 generated by the image extraction unit 43, and the content image data CG. It has a function of correcting the gradation value of the ML. The corrected image data is supplied to the display unit 22 as the content image data CG COR.
  • the bright spot correction image data BCG_1, the bright spot correction image data BCG_1, and the like may be collectively referred to as a bright spot correction image data BCG.
  • the bright spot correction image data BCG indicates, for example, one of the bright spot correction image data BCG_1 and the bright spot correction image data BCG_1.
  • the same description may be applied to other data and the like.
  • the bright spot correction unit 50 has a function of correcting the content image data CG ML so that the bright spots on the display unit 22 become inconspicuous.
  • the bright spot correction unit 50 has a function of correcting the content image data CG ML so as to darken the bright spot, for example. From the above, by providing the bright spot correction unit 50 in the display device 20, the quality of the image displayed on the display unit 22 can be improved.
  • the display device 20 does not have to have the bright spot correction unit 50.
  • the bright spot correction image data BCG IN is not input to the input unit 21.
  • the content image data CG ML output by the machine learning processing unit 23 can be supplied to the display unit 22.
  • the imaging device 30 has a function of acquiring imaging data by performing imaging. Specifically, the image pickup apparatus 30 can perform imaging so as to include the image displayed on the display unit 22.
  • the acquired imaging data is supplied to the image extraction unit 43.
  • the image data acquired by the image pickup apparatus 30 by displaying the image corresponding to the database image data DG IN on the display unit 22 and taking an image so as to include the image is referred to as the image pickup data IMG DG .
  • the image data acquired by the image pickup apparatus 30 by displaying the image corresponding to the learning image data LG IN on the display unit 22 and taking an image so as to include the image is referred to as the image pickup data IMG LG .
  • the image data acquired by the image pickup apparatus 30 by displaying the image corresponding to the bright spot correction image data BCG IN on the display unit 22 and taking an image so as to include the image is referred to as the image pickup data IMG BCG .
  • the imaging data can be a set of gradation values.
  • the image extraction unit 43 has a function of extracting data of a portion representing an image displayed on the display unit 22 from the image pickup data IMG DG , the image pickup data IMG LG , the image pickup data IMG BCG, and the like.
  • an area other than the display unit 22 may also be imaged.
  • the housing of the display device 20 may be imaged.
  • the image extraction unit 43 has a function of extracting data of a portion representing an image displayed on the display unit 22 when a portion other than the image displayed on the display unit 22 is included in the imaging data. Data can be extracted by pattern matching, template matching, or the like.
  • the housing of the display device 20 A pattern representing the above can be specified, and the portion not including the pattern can be used as the data of the portion representing the image displayed on the display unit 22. Further, edge detection can be performed on the image pickup data IMG DG , the image pickup data IMG LG , the image pickup data IMG BCG , and the like, and the data of the portion representing the image displayed on the display unit 22 can be extracted.
  • the data extracted by the image extraction unit 43 from the imaged data IMG DG is referred to as database image data DG DP . Further, the data extracted by the image extraction unit 43 from the image pickup data IMG LG is used as the learning image data LG DP . Further, the data extracted from the image pickup data IMG BCG by the image extraction unit 43 is used as the bright spot correction image data BCG DP .
  • the database image data DG DP is supplied to the database 42, and the learning image data LG DP and the bright spot correction image data BCG DP are supplied to the image processing unit 44.
  • the image data BCG DP for bright spot correction may not be supplied to the image processing unit 44, but may be supplied to the image generation unit 45.
  • the image extraction unit 43 can supply the image data BCG DP for bright spot correction to the bright spot correction unit 50.
  • the image data BCG DP for bright spot correction supplied to the bright spot correction unit 50 is referred to as the bright spot correction image data BCG_2.
  • the image processing system 10 has a function of acquiring a table representing information regarding the correspondence between the database image data DG IN and the database image data DG DP. Further, the image processing system 10 has a function of comparing the learning image data LG IN and the learning image data LG DP. Further, the image processing system 10 has a function of comparing the bright spot correction image data BCG IN and the bright spot correction image data BCG DP.
  • the resolution of the image represented by the database image data DG IN and the resolution of the image represented by the database image data DG DP are equal to each other.
  • the number of rows and columns of the gradation value included in the database image data DG IN and the number of rows and columns of the gradation value included in the database image data DG DP are equal to each other.
  • the database image data DG IN includes gradation values of m rows and n columns
  • the gradation values included in the database image data DG DP are also m rows and n columns.
  • the resolution of the image represented by the training image data LG IN and the resolution of the image represented by the training image data LG DP are equal to each other.
  • the number of rows and columns of the gradation value included in the learning image data LG IN and the number of rows and columns of the gradation value included in the learning image data LG DP are equal to each other. ..
  • the learning image data LG IN includes the gradation values of m rows and n columns
  • the gradation values included in the learning image data LG DP are also m rows and n columns.
  • the image resolution represented by the bright spot correction image data BCG IN and the image resolution represented by the bright spot correction image data BCG DP are equal to each other.
  • the number of rows and columns of gradation values included in the bright spot correction image data BCG IN and the number of rows and columns of gradation values included in the bright spot correction image data BCG DP are It is preferable that they are equal.
  • the image data BCG IN for bright spot correction includes gradation values of m rows and n columns
  • the gradation values included in the image data BCG DP for bright spot correction are also m rows and n columns.
  • the gradation value possessed by the database image data DG IN may be referred to as a first gradation value.
  • the gradation value of the database image data DG DP may be referred to as a second gradation value.
  • the image extraction unit 43 can perform up-conversion or down-conversion on the data extracted from the captured data. For example, when the number of rows or columns of the gradation value contained in the data extracted by the image extraction unit 43 from the imaging data IMG DG is less than the number of rows or columns of the database image data DG IN , the image extraction unit 43 may perform the image extraction unit 43. Imaged data Up-conversion can be performed on the data extracted from the IMG DG. When the number of rows or columns of the gradation value of the data extracted by the image extraction unit 43 from the image pickup data IMG DG is larger than the number of rows or columns of the database image data DG IN, the image extraction unit 43 determines. Imaged data Down-conversion can be performed on the data extracted from the IMG DG.
  • the number of rows and columns of the gradation value included in the database image data DG DP can be made equal to the number of rows and columns of the gradation value included in the database image data DG IN.
  • the up-conversion and down-conversion can be performed by the nearest neighbor method, the bilinear method, the bicubic method, or the like.
  • the database 42 can store a table T representing information regarding the correspondence between the database image data DG IN and the database image data DG DP.
  • the table T represents information regarding the correspondence between the first gradation value of the database image data DG IN and the second gradation value of the database image data DG DP.
  • the table T represents, for example, a first gradation value and a second gradation value having coordinates corresponding to the coordinates of the first gradation value.
  • the table T represents, for example, a first gradation value and a second gradation value having the same coordinates as the coordinates of the first gradation value.
  • the image processing unit 44 has a function of generating the learning image data LG IP by performing image processing on the learning image data LG IN based on the learning image data LG DP. That is, the function of generating the learning image data LG IP by comparing the learning image data LG IN and the learning image data LG DP and performing image processing on the learning image data LG IN based on the comparison result is provided. Have. For example, it has a function of generating the learning image data LG IP by performing image processing on the learning image data LG IN so as to approach the learning image data LG DP. Further, the image processing unit 44 has a function of performing image processing on the bright spot correction image data BCG IN in the same manner and generating the bright spot correction image data BCG IP.
  • the image processing unit 44 for example, the total of the gradation values included in the learning image data LG IP, the difference between the sum of the gradation values included in the learning image data LG DP is, floors included in the learning image data LG IP It has a total regulating value, and the sum of the gradation values included in the learning image data LG iN, the to be smaller than the difference, the function of converting the image processing gradation values included in the learning image data LG iN.
  • the image processing unit 44 has, for example, a floor of the learning image data LG IN so that the total of the gradation values of the learning image data LG IP is equal to the total of the gradation values of the learning image data LG DP. It has a function to convert the adjustment price by image processing.
  • the sum of the gradation values included in the learning image data LG IP may be a sum of all of the gradation values included in the learning image data LG IP, or as the sum of the part of the gradation values .
  • the sum of the gradation values included in the learning image data LG IN may be a sum of all of the gradation values included in the learning image data LG IN, or as the sum of the part of the gradation values .
  • the sum of the gradation values included in the learning image data LG DP may be a sum of all of the gradation values included in the learning image data LG DP, or as the sum of the part of the gradation values .
  • the image processing unit 44 may, for example, have a peak signal-to-noise ratio (PSNR: Peak Signal-to-Noise Ratio) or structural similarity (SSIM: Structural) to the training image data LG DP of the training image data LG IP.
  • SIMilarity has a function of converting the gradation value of the learning image data LG IN by image processing so that the PSNR for the learning image data LG IN is larger than the SSIM.
  • the image processing unit 44 converts the gradation value of the learning image data LG IN by image processing so that the PSNR or SSIM with respect to the learning image data LG DP is maximized, for example, so that the learning image data LG It has a function to generate an IP.
  • the image processing performed by the image processing unit 44 can be, for example, gamma correction.
  • the image processing can be performed by setting the gamma value to an appropriate value.
  • the difference between the total gradation value of the bright spot correction image data BCG IP and the total gradation value of the bright spot correction image data BCG DP is the bright spot correction image.
  • the gradation value of the bright spot correction image data BCG IN is set to be smaller than the difference between the total gradation value of the data BCG IP and the total gradation value of the bright spot correction image data BCG IN. It has a function to convert by image processing.
  • the learning image data LG IP is read as the bright spot correction image data BCG IP
  • the learning image data LG DP is read as the bright spot correction image data BCG DP
  • the learning image data LG IN is read. The above description can be incorporated by reading the image data for bright spot correction BCG IN.
  • the image generation unit 45 has a function of selecting a second gradation value included in the table T based on the gradation value of the learning image data LG IP.
  • the database image data DG IN has the first gradation value of m rows and n columns
  • the database image data DG DP has the second gradation value of m rows and n columns
  • the training image data LG IP has m rows and n columns of gradation values.
  • the image generation unit 45 is the first row, first column to m row, nth column based on the gradation values of the first row, first column to m row, nth column of the learning image data LG IP. Two gradation values can be selected respectively.
  • a value that matches the gradation value of the learning image data LG IP is selected for each of the 1st row, 1st column to the mth row, nth column.
  • the table T represents information regarding the correspondence between k database image data DG IN and k database image data DG DP.
  • the value that matches the gradation value of the i-th row and j-th column of the learning image data LG IP i is an integer of 1 or more and m or less, j is an integer of 1 or more and n or less), or the closest value.
  • the 2 gradation values can be selected from the k second gradation values in the i-th row and j-th column.
  • the image generation unit 45 has a function of selecting a second gradation value included in the table T by the same method as the above method based on the gradation value of the image data BCG IP for bright spot correction. Have.
  • the bright spot correction image data BCG DP generated by the image extraction unit 43 is supplied to the image generation unit 45, the same method as described above is performed based on the gradation value of the bright spot correction image data BCG DP.
  • the second gradation value included in the table T can be selected by the method of.
  • the gradation value in the i-th row and j-th column may be referred to as "the gradation value of the coordinates (i, j)".
  • the image generation unit 45 generates the learning image data LG GEN , which is the image data including the first gradation value corresponding to the second gradation value selected based on the learning image data LG IP. Has a function.
  • the image generation unit 45 is image data for bright spot correction, which is image data including a first gradation value corresponding to a second gradation value selected based on the bright spot correction image data BCG IP. It has a function of generating BCG_1. For example, if there are a plurality of second gradation values in the i-row and j-th column of the learning image data LG IP that match the gradation values in the i-row and j-th column, and the table T includes the plurality of them.
  • one second gradation value can be selected. Then, the first gradation value corresponding to the selected second gradation value can be included in the learning image data LG GEN. The same applies to the image data BCG IP for bright spot correction and the like.
  • the i-row and j-th column which matches the gradation value of the i-row and j-th column of the learning image data LG IP, is not included in the table T, the i-row and j-th column. It is not necessary to select the second gradation value of.
  • the gradation value of the learning image data LG GEN in the i-th row and j-th column can be the same value as the gradation value of the learning image data LG IP in the i-row and j-th column. The same applies to the image data BCG IP for bright spot correction and the like.
  • the learning unit 46 has a function of generating a machine learning model MLM by using the learning image data LG IN and the learning image data LG GEN.
  • the learning unit 46 has a function of generating a machine learning model MLM such that the image data output when the learning image data LG IN is input matches the learning image data LG GEN.
  • the learning unit 46 has a function of generating such a machine learning model MLM by supervised learning using, for example, learning image data LG IN and learning image data LG GEN. In this way, the machine learning model MLM can be generated by learning. Therefore, it can be said that the machine learning model MLM generated by the learning unit 46 is a learned machine learning model.
  • the machine learning model MLM generated by the learning unit 46 is supplied to the machine learning processing unit 23.
  • the machine learning processing unit 23 can perform image processing on the image data by performing inference based on the machine learning model MLM.
  • FIG. 2B1 and 2B2 are circuit diagrams showing a configuration example of the pixel 24 shown in FIG. 2A. Specifically, it is a circuit diagram which shows the structural example of the sub-pixel which a pixel 24 has.
  • the pixel 24 shown in FIG. 2B1 includes a transistor 161, a transistor 171 and a capacitance 173, and a light emitting element 170.
  • the light emitting element 170 can be used as a display element.
  • One of the source and drain of transistor 161 is electrically connected to the gate of transistor 171.
  • the gate of transistor 171 is electrically connected to one electrode of capacitance 173.
  • One of the source or drain of the transistor 171 is electrically connected to one electrode of the light emitting element 170.
  • the other of the source or drain of the transistor 161 is electrically connected to the wiring 126.
  • the gate of the transistor 161 is electrically connected to the wiring 134.
  • the other electrode of the source or drain of the transistor 171 and the other electrode of the capacitance 173 are electrically connected to the wiring 174.
  • the other electrode of the light emitting element 170 is electrically connected to the wiring 175.
  • a constant potential can be supplied to the wiring 174 and the wiring 175.
  • the wiring 174 A high potential can be supplied to the wiring 175, and a low potential can be supplied to the wiring 175.
  • the light emitting element 170 can be, for example, an organic EL element or an inorganic EL element.
  • an image is displayed on the display unit 22 by controlling the magnitude of the current flowing through the light emitting element 170 to control the emission brightness by the light emitting element 170. can do.
  • the pixel 24 shown in FIG. 2B2 has a transistor 162, a capacitance 181 and a liquid crystal element 180.
  • the liquid crystal element 180 can be used as a display element.
  • One of the source or drain of the transistor 162 is electrically connected to one electrode of the liquid crystal element 180.
  • One electrode of the liquid crystal element 180 is electrically connected to one electrode of the capacitance 181.
  • the other of the source or drain of the transistor 162 is electrically connected to the wiring 126.
  • the gate of the transistor 162 is electrically connected to the wiring 134.
  • the other electrode of capacitance 181 is electrically connected to wiring 182.
  • the other electrode of the liquid crystal element 180 is electrically connected to the wiring 183.
  • a constant potential can be supplied to the wiring 182 and the wiring 183.
  • a low potential can be supplied to the wiring 182 and the wiring 183.
  • the liquid crystal molecules contained in the liquid crystal element 180 are oriented according to the voltage applied between both electrodes of the liquid crystal element 180.
  • the liquid crystal molecules can transmit light from the backlight unit, which can be included in the display device 20, for example, depending on the degree of orientation.
  • the other electrode of the liquid crystal element 180 is electrically connected to the wiring 183 to supply a constant potential. From the above, by controlling the potential of one electrode of the liquid crystal element 180, the pixel 24 can emit light having a brightness corresponding to the potential, so that an image can be displayed on the display unit 22.
  • FIG. 3A is a schematic diagram showing an example of the content image G_1 DP displayed on the display unit 22 when the content image data CG IN input to the input unit 21 is directly input to the display unit 22.
  • FIG. 3B shows an example of the content image G_2 DP displayed on the display unit 22 when the content image data CG IN is input to the display unit 22 via the machine learning processing unit 23 and the bright spot correction unit 50. It is a schematic diagram.
  • FIG. 3A shows how the display unevenness 25 and the bright spot 51 are generated in the image displayed on the display unit 22.
  • the machine learning processing unit 23 can generate the content image data CG ML that cancels the display unevenness.
  • the machine learning processing unit 23 generates the content image data CG ML by adding data such as canceling the display unevenness 25 to the data corresponding to the area 26 in the content image data CG IN. Shown. For example, when the brightness of the portion where the display unevenness 25 is generated is higher than the brightness of the peripheral portion of the portion, the brightness of the region 26 can be lower than the brightness of the peripheral portion of the region 26.
  • the content image data is corrected by performing image processing based on the bright spot correction image data BCG (for example, one of the bright spot correction image data BCG_1 or the bright spot correction image data BCG_1).
  • the unit 50 can generate the content image data CG COR that corrects the bright spots and makes them inconspicuous. For example, it is possible to generate content image data CG COR that darkens bright spots.
  • the bright spot correction unit 50 performs the content image data by adding data that makes the bright spot 51 inconspicuous to the data corresponding to the region 52 where the bright spot 51 is generated. It shows how to generate CG COR.
  • the machine learning processing unit 23 and the bright spot correction unit 50 perform image processing on the content image data CG IN input to the input unit 21, so that the display unit 22 displays. It is possible to display an image in which display unevenness and bright spots are inconspicuous.
  • the display unevenness displayed on the display unit 22 can be made inconspicuous. As described above, according to one aspect of the present invention, it is possible to increase the size of the display device 20 while suppressing the display unevenness from being visually recognized in the image displayed on the display unit 22. Further, it is possible to increase the density of the pixels 24 provided in the display unit 22 and display a high-definition image on the display unit 22 while suppressing the display unevenness from being visually recognized in the image displayed on the display unit 22. ..
  • the pixel 24 as a bright spot or the pixel 24 as a dark spot may be generated due to a defect in the characteristics of the display element, the transistor, or the like of the pixel 24, or deterioration.
  • the bright spots are more conspicuous than the dark spots, so that the visibility is greatly affected.
  • a high-quality image can be displayed on the display unit 22 by correcting the bright spots by the bright spot correction unit 50 or the like to make them dark spots, for example.
  • the bright spot can also be corrected by the machine learning processing unit 23.
  • a learning unit 46 having a function of generating a machine learning model MLM is provided in the generation device 40, and a machine learning processing unit 23 having a function of performing processing using the machine learning model MLM Can be provided in the display device 20.
  • the display device 20 can perform processing using the machine learning model MLM.
  • the pixels 24 having m rows and n columns are arranged in a matrix on the display unit 22.
  • the gradation value of the image data is an 8-bit digital value, and the smaller the gradation value, the smaller the brightness of the light emitted from the pixel 24.
  • the value that the gradation value can take is an integer of 0 to 255, the brightness of the light emitted from the pixel 24 becomes the smallest when the gradation value is 0.
  • FIG. 4 is a flowchart showing an example of a method of generating the table T stored in the database 42. As shown in FIG. 4, the table T is generated by the methods shown in steps S01 to S04. 5A and 5B, and 6A and 6B are schematic views showing the operation in steps S01 to S04.
  • the database image data DG IN is input to the input unit 21 of the display device 20.
  • the database image data DG IN input to the input unit 21 is input to the display unit 22, and the image corresponding to the database image data DG IN is displayed on the display unit 22 (step S01).
  • the image is displayed on the display unit 22 by the pixel 24 emitting light having a brightness corresponding to the first gradation value of m rows and n columns possessed by the database image data DG IN.
  • the database image data DG IN represents an image having the same brightness on the entire surface. That is, it is assumed that all the pixels 24 emit light having the same brightness.
  • the brightness of the light emitted from some pixels 24 is different from the brightness of the light emitted from the pixels 24 in the other portion. That is, display unevenness has occurred.
  • the generated display unevenness is shown as the display unevenness 27.
  • the image displayed on the display unit 22 is captured by the imaging device 30.
  • the image pickup apparatus 30 acquires the image pickup data IMG DG (step S02).
  • the image pickup data IMG DG includes a portion of the display device 20 shown in FIG. 5A surrounded by a broken line.
  • the image extraction unit 43 acquires the database image data DG DP from the image pickup data IMG DG (step S03). Specifically, the data of the portion representing the image displayed on the display unit 22 is extracted from the image pickup data IMG DG. For example, as shown in FIG. 5B, in addition to the image displayed on the display unit 22, when the housing of the display device 20 is included in the imaging data IMG DG , the data of the portion representing the image displayed on the display unit 22 is displayed. Image data Extracted from the IMG DG, the data of the portion representing the housing of the display device 20 is removed. As a result, the database image data DG DP is acquired. Imaging data Extraction of data from IMG DG can be performed by pattern matching, template matching, or the like as described above.
  • the image resolution represented by the database image data DG IN and the image resolution represented by the database image data DG DP are equal to each other.
  • the database image data DG IN has the first gradation value of m rows and n columns
  • the database image data DG DP preferably has the second gradation value of m rows and n columns.
  • the gradation value of the extracted data may not be m rows and n columns.
  • it may have a gradation value of less than m rows, or it may have a gradation value of more rows than m rows.
  • it may have a gradation value with a number of columns less than n columns, or it may have a gradation value with a number of columns more than n columns.
  • the image extraction unit 43 performs up-conversion or down-conversion on the data to extract the image. It is preferable that the database image data DG DP output from the unit 43 has a second gradation value of m rows and n columns. For example, when the gradation value of the data extracted from the imaged data IMG DG by the image extraction unit 43 is less than m rows or less than n columns, the image extraction unit 43 refers to the data extracted from the imaged data IMG DG. Can be up-converted.
  • the image extraction unit 43 refers to the data extracted from the imaged data IMG DG.
  • the number of rows and columns of the second gradation value included in the database image data DG DP is equal to the number of rows and columns of the first gradation value included in the database image data DG IN , and m rows n.
  • up-conversion and down-conversion can be performed by the nearest neighbor method, the bilinear method, the bicubic method, or the like.
  • the table T representing the correspondence between the database image data DG IN and the database image data DG DP is stored in the database 42 (step S04).
  • the table T specifically represents information regarding the correspondence between the first gradation value of the database image data DG IN and the second gradation value of the database image data DG DP. ..
  • the table T represents, for example, a first gradation value and a second gradation value having coordinates corresponding to the coordinates of the first gradation value.
  • the table T represents, for example, a first gradation value and a second gradation value having the same coordinates as the coordinates of the first gradation value.
  • FIG. 6A is a diagram showing an example of the table T.
  • the left side of the arrow shows the first gradation value of the database image data DG IN
  • the right side of the arrow shows the second gradation value of the database image data DG DP.
  • the pixel 24 has a function of emitting red light, green light, and blue light.
  • the image data represents a gradation value (red gradation value) representing the brightness of red light, a gradation value (green gradation value) representing the brightness of green light, and a brightness of blue light. It has a gradation value (blue gradation value).
  • red gradation value representing the brightness of red light
  • green gradation value representing the brightness of green light
  • blue gradation value blue gradation value
  • the red gradation value in the 1st row, 1st column to the m row and nth column is R
  • the green gradation value is G
  • the blue gradation value is B, that is, all the red gradation values are R, and all. It is described as [R, G, B] (1,1) to (m, n) that the green gradation value is G and all the blue gradation values are B.
  • the light emitted by the pixel 24 is not limited to red light, green light, and blue light.
  • the pixel 24 may emit white light.
  • the pixel 24 may emit cyan light, magenta light, and yellow light.
  • the pixel 24 does not have to emit red light, green light, or blue light.
  • the number of lights emitted by the pixel 24 is not limited to three colors, and for example, one color or two colors of light may be emitted, or four or more colors of light may be emitted.
  • the values that R, G, and B can take can be integers of 0 to 255, respectively.
  • the brightness of the light emitted from the pixel 24 is made smaller as the gradation value is smaller, it can be expressed by the gradation value 0 that the light is not emitted. Therefore, for example, it is described as [0,0,0] (1,1) to (m, n) that none of the red light, the green light, and the blue light is emitted in all the pixels 24. Can be shown.
  • the second gradation value of the database image data DG DP can also be set to [0,0,0] (1,1) to (m, n) .
  • the first gradation value is [1,0,0] (1,1) to (m, n) to [255,0,0] (1).
  • the data DG IN is input to the display device 20, and the second gradation value of the database image data DG DP is acquired.
  • the database image in which the first gradation value is [0,0,1] (1,1) to (m, n) to [0,0,255] (1,1) to (m, n).
  • the data DG IN is input to the display device 20, and the second gradation value of the database image data DG DP is acquired. That is, the image represented by the database image data DG IN can be, for example, an image having a single color and the same brightness on the entire surface.
  • the term "monochromatic" refers to a color represented by a pixel emitting light of one color.
  • a pixel has a function of emitting red light, green light, and blue light
  • a red image, a green image, and a blue image are referred to as a monochromatic image.
  • the red gradation value in the i-th row and j-th column in the database image data DG IN is 1, the red gradation value in the corresponding database image data DG DP is R1 DP (i, It is described as j).
  • the red gradation value in the i-th row and j-th column in the database image data DG IN is 255
  • the red gradation value in the corresponding database image data DG DP is described as R255 DP (i, j). show.
  • the green gradation value in the corresponding database image data DG DP is described as G1 DP (i, j). show.
  • the green gradation value in the i-th row and j-th column in the database image data DG IN is 255
  • the green gradation value in the corresponding database image data DG DP is described as G255 DP (i, j). show.
  • the blue gradation value in the i-th row and j-th column in the database image data DG IN is 1, the blue gradation value in the corresponding database image data DG DP is described as B1 DP (i, j). show. Further, for example, when the blue gradation value in the i-th row and j-th column in the database image data DG IN is 255, the blue gradation value in the corresponding database image data DG DP is described as B255 DP (i, j). show.
  • the first gradation value and the second gradation value corresponding to the first gradation value are not always the same.
  • R128 DP (1,1) to R128 DP are not necessarily all the same value. That is, as described above, display unevenness or the like may occur in the image represented by the database image data DG DP.
  • the database image data DG IN of the value may be input to the display device 20 to acquire the second gradation value of the database image data DG DP.
  • the database image data DG IN of the value may be input to the display device 20 to acquire the second gradation value of the database image data DG DP. Further, some gradations among the gradation values [0,0,255] (1,1) to (m, n) to [0,0,255] (1,1) to (m, n) The database image data DG IN of the value may be input to the display device 20 to acquire the second gradation value of the database image data DG DP.
  • the second gradation value of the database image data DG DP corresponding to the database image data DG IN of the adjustment price is the first gradation value of the database image data DG IN input to the display device 20 and the first gradation value. It can be calculated based on the second gradation value corresponding to the gradation value of. For example, it can be calculated by proportional interpolation. In addition, it can be calculated using a predetermined formula.
  • the database image data DG DP of gradation values [127,0,0] (1,1) to (m, n) and [129,0,0] (1,1) to (m, n) are the database image data DG DP input to the display device 20
  • a database image data DG DP gradation value [128,0,0] (1,1) ⁇ ( m, n) is the one that does not inputted to the display device 20 do.
  • the value of R127 DP (i, j) is 120
  • the value of R129 DP (i, j) is 124
  • the value of R128 DP (i, j) is R127 DP (i, j) and R129 DP (i, j).
  • Shall be calculated by proportional interpolation.
  • the value of R128 DP (i, j) can be 122.
  • the green gradation value and the blue gradation value can also be calculated by the same method.
  • the number of operations required to generate the table T can be reduced. As a result, the table T can be generated in a short time.
  • the image represented by the database image data DG IN is an image having a single color on the entire surface. That is, the red gradation value, the green gradation value, and the blue gradation value of the database image data DG IN and the database image data DG DP are acquired separately.
  • FIG. 6B is a modification of FIG. 6A, and shows in FIG. 6A that the red gradation value, the green gradation value, and the blue gradation value of the database image data DG IN and the database image data DG DP are acquired at once. Different from the case.
  • the first gradation value is [0,0,0] (1,1) to (m, n) to [255,255,255] (1,1) to (m, n).
  • the database image data DG IN is input to the display device 20, and the second gradation value of the database image data DG DP is acquired. That is, the image represented by the database image data DG IN is an image (white image) in which all of the red gradation value, the green gradation value, and the blue gradation value are the same, and the red gradation value of the database image data DG DP, Acquire the green gradation value and the blue gradation value.
  • the acquired gradation value is represented by the table T.
  • the table T represents the red gradation value of the database image data DG IN and the red gradation value of the database image data DG DP of the coordinates corresponding to the coordinates of the red gradation value. .. Further, the table T represents the green gradation value of the database image data DG IN and the green gradation value of the database image data DG DP of the coordinates corresponding to the coordinates of the green gradation value. Further, the table T represents the blue gradation value of the database image data DG IN and the blue gradation value of the database image data DG DP of the coordinates corresponding to the coordinates of the blue gradation value.
  • the table T represents, for example, a red gradation value possessed by the database image data DG IN and a red gradation value possessed by the database image data DG DP having the same coordinates as the coordinates of the red gradation value. Further, the table T represents, for example, a green gradation value possessed by the database image data DG IN and a green gradation value possessed by the database image data DG DP having the same coordinates as the coordinates of the green gradation value. Further, the table T represents, for example, a blue gradation value possessed by the database image data DG IN and a blue gradation value possessed by the database image data DG DP having the same coordinates as the coordinates of the blue gradation value.
  • a red gradation value in the database image data DG IN, green gradation value may be all the blue gradation value not identical, red gradation value of the database image data DG IN, green gradation value, and a blue Of the gradation values, the gradation value of one color may be different from the gradation value of another color. Further, the red gradation value, the green gradation value, and the blue gradation value of the database image data DG IN may be different from each other.
  • FIG. 7 is a flowchart showing an example of a method of generating a machine learning model MLM using the table T stored in the database 42. As shown in FIG. 7, the machine learning model MLM is generated by the method shown in steps S11 to S16. 8A, 8B, 9A, 9B, and 10 are schematic views showing the operation in steps S11 to S16.
  • the learning image data LG IN is input to the input unit 21 of the display device 20.
  • the learning image data LG IN input to the input unit 21 is input to the display unit 22, and the image corresponding to the learning image data LG IN is displayed on the display unit 22 (step S11).
  • the image is displayed on the display unit 22 by the pixel 24 emitting light having a brightness corresponding to the gradation value of m rows and n columns possessed by the learning image data LG IN.
  • FIG. 8A shows a state in which display unevenness 28 occurs in the image displayed on the display unit 22.
  • the image displayed on the display unit 22 is captured by the imaging device 30.
  • the image pickup apparatus 30 acquires the image pickup data IMG LG (step S12).
  • the image pickup data IMG LG includes a portion of the display device 20 shown in FIG. 8A surrounded by a broken line.
  • the image extraction unit 43 acquires the learning image data LG DP from the image pickup data IMG LG (step S13).
  • the operation in step S13 describes the operation in step S03 by reading the image pickup data IMG DG as the image pickup data IMG LG , the database image data DG DP as the learning image data LG DP , and reading FIG. 5B as FIG. 8B. You can refer to it.
  • the image processing unit 44 performs image processing on the learning image data LG IN so as to approach the learning image data LG DP.
  • the image processing unit 44 generates the learning image data LG IP (step S14).
  • FIG. 9A shows an example of the learning image data LG IN and the learning image data LG DP input to the image processing unit 44, and the learning image data LG IP output from the image processing unit 44.
  • learning image data LG IP for example, the sum of gradation values of the learning image data LG IP, the difference between the sum of the gradation values included in the learning image data LG DP is the learning image data LG and the sum of the IP of the gradation values, the sum of the gradation values included in the learning image data LG iN, to be less than the difference, it is converted by the image processing gradation values included in the learning image data LG iN
  • the gradation value of the learning image data LG IN is processed by image processing so that the total of the gradation values of the learning image data LG IP is equal to the total of the gradation values of the learning image data LG DP.
  • the image data LG IP for learning can be generated.
  • the training image data LG IN is generated so that the PSNR or SSIM for the learning image data LG DP is larger than the PSNR or SSIM for the learning image data LG IN. It can be performed by converting the gradation value possessed by the image processing.
  • the learning image data LG IP is generated by converting the gradation value of the learning image data LG IN by image processing so that the PSNR or SSIM with respect to the learning image data LG DP is maximized. Can be done.
  • the image processing performed by the image processing unit 44 can be, for example, gamma correction.
  • the image processing can be performed by setting the gamma value to an appropriate value.
  • the image processing unit 44 performs image processing on the learning image data LG IN for each color. Specifically, for example, when performing gamma correction on the learning image data LG IN , it is preferable to calculate the gamma value for each color. For example, a sum of red gradation value included in the learning image data LG IP, sum, difference in red gradation value included in the learning image data LG DP is the red gradation value included in the learning image data LG IP sum of the sum and the red gradation value included in the learning image data LG iN, to be less than the difference, it is preferable to convert the image processing red gradation value included in the learning image data LG iN.
  • the total of the green gradation value included in the learning image data LG IP, sum, difference in the green gradation value included in the learning image data LG DP is green gradation value included in the learning image data LG IP sum of the sum and the green gradation value included in the learning image data LG iN, to be less than the difference, it is preferable to convert the image processing green gradation value included in the learning image data LG iN.
  • the sum of blue tone values included in the learning image data LG IP, the total of the blue gradation value included in the learning image data LG DP, the difference is, the blue gradation value included in the learning image data LG IP sum of the total of the blue gradation value included in the learning image data LG iN, to be less than the difference, it is preferable to convert the image processing blue gradation value included in the learning image data LG iN.
  • the red gradation value of the learning image data LG IN so that the total of the red gradation values of the learning image data LG IP is equal to the total of the red gradation values of the learning image data LG DP. Is preferably converted by image processing.
  • the total of the green gradation value included in the learning image data LG IP is to be equal to the sum of the green gradation value included in the learning image data LG DP, green gradation value included in the learning image data LG IN Is preferably converted by image processing.
  • the blue gradation value of the learning image data LG IN is equal to the total of the blue gradation values of the learning image data LG DP so that the total of the blue gradation values of the learning image data LG IP is equal to the total of the blue gradation values of the learning image data LG DP. Is preferably converted by image processing.
  • the sum of the gradation values included in the learning image data LG IP for example of the tone values of m rows and n columns included in the learning image data LG IP, as the sum of all the gradation values It may be the sum of some gradation values.
  • the sum of the gradation values included in the learning image data LG IN for example of the tone values of m rows and n columns included in the learning image data LG IN, may be a sum of all the gradation values , May be the sum of some gradation values.
  • the sum of the gradation values included in the learning image data LG DP may be a sum of all the gradation values , May be the sum of some gradation values.
  • the red gradation value of the i-row and j-th column of the learning image data LG IP is described as R IP (i, j).
  • the green gradation value of the i-row and j-th column of the learning image data LG IP is described as G IP (i, j).
  • the blue gradation value of the i-row and j-th column of the learning image data LG IP is described as B IP (i, j).
  • the image represented by the learning image data LG IP output from the image processing unit 44 is an image close to the learning image data LG DP.
  • the image represented by the learning image data LG IN that is subjected to image processing by the image processing unit 44 does not include the display unevenness 28, the image represented by the learning image data LG IP also includes the display unevenness 28. do not have.
  • the image generation unit 45 After that, based on the table T, the image generation unit 45 generates the learning image data LG GEN from the learning image data LG IP (step S15).
  • FIG. 9B shows how the table T and the learning image data LG IP are input to the image generation unit 45, and the learning image data LG GEN is output.
  • the second gradation value included in the table T is selected based on the gradation value of the learning image data LG IP. For example, a value that matches the gradation value of the learning image data LG IP , or a second gradation value that is the closest value is selected for each of the 1st row, 1st column to the mth row, nth column. Specifically, for example, a red gradation value having a value that matches or is closest to R IP (i, j) is selected from R0 DP (i, j) to R255 DP (i, j).
  • a value that matches G IP (i, j) or a green gradation value that is the closest value is selected from G0 DP (i, j) to G255 DP (i, j).
  • a blue gradation value having a value matching or closest to B IP (i, j) is selected from B0 DP (i, j) to B255 DP (i, j).
  • the second gradation value of the selected 1st row and 1st column is set to [Ra DP (1,1), Gb DP (1,1), Bc DP (1,1)] (1).
  • 1) (a, b, c are integers of 0 or more and 255 or less).
  • the second gradation value of the selected m row and nth column is set to [Rs DP (m, n), Gt DP (m, n), Bu DP (m, n)] (m, n) .
  • S, t, u are integers of 0 or more and 255 or less).
  • the image generation unit 45 generates learning image data LG GEN , which is image data including the first gradation value corresponding to the selected second gradation value, based on the table T. .. Specifically, the image generation unit 45 is, for example, the first row, 1st column to m row, nth column corresponding to the second gradation value of the selected 1st row, 1st column to m row, nth column.
  • the learning image data LG GEN which is the image data including the gradation value of, is generated. For example, in the example shown in FIG.
  • the red gradation value in the first row and the first column is a
  • the green gradation value is b
  • the blue gradation value is c.
  • the red gradation value in the m-th row and n-th column is s
  • the green gradation value is t
  • the blue gradation value is u.
  • the table T does not include the second gradation value in the i-row and j-th column, which matches the gradation value in the i-row and j-th column of the learning image data LG IP, the i-row and j-th column. It is not necessary to select the second gradation value of.
  • the gradation value of the learning image data LG GEN in the i-th row and j-th column can be the same value as the gradation value of the learning image data LG IP in the i-row and j-th column.
  • the image data for learning The red gradation value in the i-th row and j-th column of LG GEN can be R IP (i, j).
  • the green gradation value matching G IP (i, j) is not included in G0 DP (i, j) to G255 DP (i, j)
  • the training image data LG GEN green gradation value of i-th row j-th column can be a G IP (i, j).
  • the training image data LG GEN blue tone value of the i-th row and j-th column can be a B IP (i, j).
  • the image represented by the learning image data LG IP does not include display unevenness or the like.
  • the database image data DG DP having the second gradation value includes display unevenness and the like.
  • the database image data DG IN having the first gradation value does not include display unevenness or the like.
  • the learning image data LG GEN which is the image data including the first gradation value corresponding to the second gradation value selected based on the gradation value of the learning image data LG IP , is the learning image data LG GEN.
  • Image data for LG DP Image data that cancels out display unevenness and the like can be used.
  • the learning unit 46 After step S15, the learning unit 46 generates a machine learning model MLM using the learning image data LG IN and the learning image data LG GEN (step 16).
  • a machine learning model MLM is generated such that the image data output when the learning image data LG IN is input matches the learning image data LG GEN.
  • Such a machine learning model MLM can be generated by supervised learning using, for example, learning image data LG IN and learning image data LG GEN as teacher data.
  • the learning image data LG IN and the learning image data LG GEN are input to the learning unit 46, and the image data output from the learning unit 46 is the same image data as the learning image data LG GEN. It shows how to generate a machine learning model MLM so as to be.
  • a neural network model can be applied as the machine learning model MLM.
  • the above is an example of a method for generating a machine learning model MLM using the image processing system 10.
  • the machine learning processing unit 23 by performing image processing on the image data input to the input unit 21 using the machine learning model MLM, the machine learning processing unit 23 generates image data that cancels the display unevenness. be able to.
  • the display unit 22 can display an image in which display unevenness is inconspicuous. Therefore, as described above, it is possible to increase the size of the display device 20 while suppressing the display unevenness from being visually recognized in the image displayed on the display unit 22. Further, it is possible to increase the density of the pixels 24 provided in the display unit 22 and display a high-definition image on the display unit 22 while suppressing the display unevenness from being visually recognized in the image displayed on the display unit 22. ..
  • the display unit 22 can display a high-quality image.
  • the display unit is displayed.
  • An image in which display unevenness or the like is inconspicuous can be displayed on the 22.
  • steps S11 to S15 high computing power is required.
  • the image processing using the generated machine learning model MLM can be performed with a lower computing power than steps S11 to S15. Therefore, by performing image processing using the machine learning model MLM, image processing can be performed in a short time. Further, image processing can be performed inside the display device 20 without using a device having high computing power such as a server.
  • the image processing for making the display unevenness inconspicuous on the image data input to the input unit 21 can be performed by, for example, a device having high computing power
  • the image processing can be performed by the machine learning model MLM. May be carried out by the same method as in steps S11 to S15 without using.
  • the computing power of the display device 20 is sufficiently high
  • the image processing for making the display unevenness of the image data input to the input unit 21 inconspicuous can be performed in steps S11 to S11 without using the machine learning model MLM. It may be carried out by the same method as in S15.
  • the generation device 40 can be configured not to have the learning unit 46.
  • FIG. 11A and 11B are diagrams showing an example of a method of detecting the pixel 24 as a bright spot.
  • the method shown in FIG. 11A is referred to as method M1
  • the method shown in FIG. 11B is referred to as method M2.
  • the image data BCG_1 IN for bright spot correction is input to the input unit 21 included in the display device 20.
  • the learning image data LG IN is the bright spot correction image data BCG_1 IN
  • the imaging data IMG LG is the imaging data IMG BCG
  • the learning image data LG DP is the bright spot correction image data BCG DP
  • the learning image is read as the bright spot correction image data BCG IP
  • the learning image data LG GEN is read as the bright spot correction image data BCG_1, and the same operations as in steps S11 to S15 shown in FIG. 7 and the like are performed (step). S11'to step S15').
  • step S11'and step S12' the image corresponding to the bright spot correction image data BCG_1 IN is displayed on the display unit 22, and the image displayed on the display unit 22 is captured by the image pickup device 30.
  • the image data IMG BCG Acquire the image data IMG BCG.
  • the bright spot correction image data BCG DP acquired in step S13' can have a gradation value of m rows and n columns.
  • step S15' an image is generated based on the table T representing information regarding the correspondence between the first gradation value of the database image data DG IN and the second gradation value of the database image data DG DP.
  • the unit 45 generates the bright spot correction image data BCG_1 from the bright spot correction image data BCG IP.
  • step S14' When the image data BCG DP for bright spot correction is not supplied to the image processing unit 44 but is supplied to the image generation unit 45, the operation shown in step S14'is not performed. In this case, in step S15', the image generation unit 45 generates the bright spot correction image data BCG_1 from the bright spot correction image data BCG DP.
  • the gradation value of m rows and n columns of the bright spot correction image data BCG DP has.
  • the gradation value of the coordinates corresponding to the coordinates of the pixel 24 that becomes the bright spot for example, the gradation value of the coordinates that are the same as the pixel 24 that becomes the bright spot is high.
  • the gradation value of the image data BCG DP for bright spot correction can take an integer value of 0 to 255
  • the gradation value of the coordinates corresponding to the coordinates of the pixel 24 as the bright spot is 255.
  • Or a value close to it can take an integer value of 0 to 255.
  • the gradation value of a certain coordinate in the image data BCG DP for bright spot correction is higher than the gradation value of the coordinates around the coordinate, the gradation value is lowered in the image data BCG_1 for bright spot correction. Can be done.
  • the bright spot correction unit 50 included in the display device 20 detects the bright spot coordinates, which are the coordinates of the pixels 24 to be bright spots, based on the bright spot correction image data BCG_1. Specifically, among the gradation values of m rows and n columns of the image data BCG_1 for bright spot correction, the coordinates of the gradation values below the threshold value can be used as the bright spot coordinates.
  • the bright spot coordinates may be detected by the generation device 40.
  • the bright spot coordinates may be detected by, for example, the image generation unit 45 included in the generation device 40.
  • the gradation value of the bright spot correction image data BCG_1 IN is preferably an intermediate gradation.
  • the gradation values of the bright spot correction image data BCG_1 IN are all set to intermediate gradation values of the same value, and the bright spot correction image data BCG DP has gradations higher than the peripheral gradation values as bright spots.
  • An example is shown in which the value 53 is included.
  • the gradation value 54 having the same coordinates as the gradation value 53 can be made lower than the peripheral gradation value.
  • the bright spot correction image data BCG_2 IN is input to the input unit 21 included in the display device 20.
  • the learning image data LG IN is read as the bright spot correction image data BCG_2 IN
  • the imaging data IMG LG is read as the imaging data IMG BCG
  • the learning image data LG DP is read as the bright spot correction image data BCG_2.
  • steps S11 to S13 shown in the above is performed (steps S11 ′′ to step S13 ′′).
  • step S11 ′′ and step S12 ′′ the image corresponding to the bright spot correction image data BCG_2 IN is displayed on the display unit 22, and the image displayed on the display unit 22 is captured by the image pickup device 30. Acquires the imaging data IMG BCG.
  • the bright spot correction image data BCG_2 acquired in step S13'' can have a gradation value of m rows and n columns.
  • the gradation value of the coordinates corresponding to the coordinates of the pixel 24 as the bright spot for example, the gradation value of the same coordinates as the pixel 24 as the bright spot is high.
  • the gradation value of the image data BCG_2 for bright spot correction can take an integer value of 0 to 255, the gradation value of the coordinates corresponding to the coordinates of the pixel 24 as the bright spot is 255. Or a value close to it.
  • the bright spot correction unit 50 included in the display device 20 detects the bright spot coordinates, which are the coordinates of the pixels 24 to be bright spots, based on the bright spot correction image data BCG_2. Specifically, among the gradation values of m rows and n columns of the bright spot correction image data BCG_2, the coordinates of the gradation value equal to or higher than the threshold value can be used as the bright spot coordinates.
  • the bright spot coordinates may be detected by the generation device 40.
  • the bright spot coordinates may be detected by, for example, the image extraction unit 43 included in the generation device 40.
  • the gradation value of the bright spot correction image data BCG_2 IN is preferably determined based on the above.
  • all the gradation values of m rows and n columns of the bright spot correction image data BCG_2 IN are 0 or more and 127 or less, 31 or more and 127 or less, or 63 or more and 127 or less.
  • FIG. 11B shows an example in which the bright spot correction image data BCG_2 includes a gradation value 55 as a bright spot, which is higher than the peripheral gradation value.
  • the bright spot correction unit 50 can have a function of correcting the bright spot. For example, among the gradation values of m rows and n columns of the content image data CG ML , the coordinates corresponding to the bright spot coordinates, for example, the gradation values of the same coordinates as the bright spot coordinates can be reduced, for example, 0. can do.
  • the bright spot correction unit 50 generates content image data CG COR in which the gradation value of the coordinates corresponding to the bright spot coordinates is reduced and supplies the content image data CG COR to the display unit 22, so that, for example, the pixel 24 that becomes the bright spot is used as a dark spot. can do.
  • the image displayed on the display unit 22 when the image displayed on the display unit 22 is visually recognized, the bright spots are more conspicuous than the dark spots, so that the visibility is greatly affected. Therefore, by displaying the image corresponding to the content image data CG COR on the display unit 22, the image displayed on the display unit 22 can be made high quality.
  • FIG. 12A is a graph showing the relationship between the measured value of the gradation value of the bright spot correction image data BCG_1 and the gradation value of the bright spot correction image data BCG_1 IN , and can be created by the method M1.
  • the gradation values of the bright spot correction image data BCG_1 IN are all the same.
  • FIG. 12A there are a plurality of plots for the gradation value of the same bright spot correction image data BCG_1 IN , and this is a plurality of coordinates of the measured value of the gradation value of the bright spot correction image data BCG_1. By plotting about.
  • the line 56 shown in FIG. 12A represents the average of the gradation values of the plotted bright spot correction image data BCG_1 at each gradation value of the bright spot correction image data BCG_1 IN.
  • the relationship between the average gradation value of the bright spot correction image data BCG_1 and the gradation value of the bright spot correction image data BCG_1 IN can be linearly approximated.
  • the gradation value of the image data BCG_1 for bright spot correction in the bright spot coordinates is lower than the gradation value that is not the bright spot coordinates. Therefore, a threshold value is set for each gradation value of the bright spot correction image data BCG_1 IN , and for example, among the gradation values of the bright spot correction image data BCG_1 of m rows and n columns, the gradation value less than the threshold value is set.
  • the coordinates can be bright spot coordinates.
  • the threshold value is shown by line 57.
  • the line 57 can be represented by a linear equation having a positive slope.
  • a plurality of bright spot correction image data BCG_1 IN having different gradation values are prepared, and bright spot correction image data BCG_1 is generated for each of them to illuminate the coordinates of the pixel 24 as the bright spot. It is possible to suppress the determination that the coordinates are not the point coordinates and the coordinates of the pixel 24 that does not become the bright spot to be determined to be the bright spot coordinates. Therefore, the bright spot correction unit 50 and the like can detect the bright spot coordinates with high accuracy.
  • FIG. 12B shows an actually measured value of the gradation value of the bright spot correction image data BCG DP generated by the image extraction unit 43 and a gradation value of the bright spot correction image data BCG IN input to the input unit 21. It is a graph which shows the relationship. As shown in FIG. 12B, the relationship between the gradation value of the bright spot correction image data BCG DP and the gradation value of the bright spot correction image data BCG IN cannot be linearly approximated, and is approximated by, for example, a sigmoid curve. NS.
  • 13A1 and 13A2 are graphs showing the relationship between the gradation value of the bright spot correction image data BCG_2 and the gradation value of the bright spot correction image data BCG_2 IN.
  • the graph 61 shown in FIG. 13A1 shows, for example, the average value of the gradation values of m rows and n columns of the bright spot correction image data BCG_2 at the time of manufacturing the display device 20, and the gradation of the bright spot correction image data BCG_2 IN . It can be a value relationship.
  • the gradation value of the bright spot correction image data BCG_2 IN can be, for example, the same value on the entire surface.
  • the pixel 24 having the behavior shown in the graph 63 is easily deteriorated, and when the pixel 24 is used for a long period of time, that is, when a voltage is supplied to the display element of the pixel 24 for a long period of time, the behavior is shown in the graph 63A shown in FIG. 13A2. It shall change to.
  • the pixel 24 that takes the behavior shown in the graph 61 is not easily deteriorated, and does not take the behavior shown in the graph 63A even if it is used for a long period of time.
  • the pixel 24 having the behavior shown in the graph 63A is a bright spot. Therefore, the pixel 24 that behaves as shown in the graph 63 of FIG. 13A1 is not a bright spot at the time of manufacturing the display device 20, but is likely to become a bright spot with the use of the display device 20. As described above, when the pixel 24 becomes a bright spot, the visibility is greatly affected. Therefore, it is preferable that the pixel 24 having the behavior shown in the graph 63 of FIG. 13A1 is set as a dark spot by, for example, reducing the voltage supplied to the display element. As a result, it is possible to prevent the pixels 24 from becoming bright spots, so that the reliability of the display device 20 can be improved.
  • FIG. 13B is a diagram showing an example of a method of detecting the pixel 24 having the behavior shown in the graph 63.
  • the gradation value of the bright spot correction image data BCG_2 IN is assumed to be high.
  • all the gradation values of m rows and n columns of the bright spot correction image data BCG_2 IN are set to 255 or its vicinity.
  • steps S11 ′′ to step S13 ′′ are performed based on the bright spot correction image data BCG_2 IN , among the gradation values of the bright spot correction image data BCG_2, the pixels 24 having the behavior shown in the graph 63.
  • the gradation value corresponding to is lower than the peripheral gradation value.
  • the bright spot correction image data BCG_2 includes a gradation value 65 lower than the peripheral gradation value.
  • the pixel 24 corresponding to the gradation value 65 can be a pixel 24 that behaves as shown in the graph 63, that is, a pixel 24 that becomes a bright spot after long-term use.
  • the method M2 not only the pixels 24 that have already become bright spots but also the pixels 24 that are likely to become bright spots due to the use of the display device 20 can be detected.
  • the method M1 among the gradation values of the bright spot correction image data BCG_1, the gradation value corresponding to the pixel 24 having the behavior shown in the graph 63 is higher than the peripheral gradation value. Therefore, if the gradation value of the bright spot correction image data BCG_1 IN input to the input unit 21 is increased, it becomes difficult to detect the pixels 24 having the behavior shown in the graph 63.
  • the graph 63 becomes closer to the graph 61, and it becomes difficult to detect the pixels 24 having the behavior shown in the graph 63. .. From the above, it is difficult for the method M1 to detect the pixel 24 having the behavior shown in the graph 63.
  • the pixel 24 which is a bright spot can be detected with high accuracy, and the pixel 24 which is likely to become a bright spot with the use of the display device 20 can be detected. Can also be detected.
  • the pixels 24 to be dark spots can be comprehensively detected.
  • FIG. 14 is a graph showing the relationship between the measured value of the gradation value of the image data BCG_1 for bright spot correction and the gradation value of the image data BCG_1 IN for bright spot correction. The point where the line 57B is drawn is different from the graph shown in FIG. 12A.
  • the gradation value indicated by line 57A is set as the first threshold value
  • the gradation value indicated by line 57B is set as the second threshold value.
  • the first threshold is less than the value shown by line 56 and the second threshold is less than the first threshold.
  • Line 57A and line 57B can be represented by a linear expression having a positive slope, similarly to line 57.
  • the graph shown in FIG. 14 is created by the method M1.
  • the coordinates of the gradation values equal to or less than the first threshold value and equal to or greater than the second threshold value are obtained. Let it be the first bright spot coordinate. Further, the coordinates of the gradation value less than the second threshold value are set as the second bright spot coordinates.
  • the bright spot coordinates are detected by the method M2. Let the bright spot coordinates be the third bright spot coordinates.
  • the content image data CG ML is input to the bright spot correction unit 50, it is the same as, for example, the first bright spot coordinates among the gradation values of m rows and n columns of the content image data CG ML. Moreover, the gradation value of the coordinates that are the same as the coordinates of the third bright spot is reduced. Further, for example, regardless of whether or not it is the same as the third bright spot coordinate, the gradation value of the same coordinate as the second bright spot coordinate is reduced. As a result, the bright spot can be corrected, and a high-quality image can be displayed on the display unit 22.
  • the pixel 24 which does not significantly affect the visibility even if it is not set as a dark point, is set as a dark point.
  • the quality of the image displayed on the display unit 22 is lowered by setting the pixel 24 as a dark spot.
  • the pixel 24 having the same coordinates as the first bright spot coordinates but different from the third bright spot coordinates is not set as a dark point.
  • the visibility is not significantly affected. Therefore, for example , among the gradation values of m rows and n columns of the content image data CG ML, the gradation values having the same coordinates as the first bright spot coordinates but different from the third bright spot coordinates are corrected. Can not be.
  • the above is an example of a bright spot correction method, which is an image processing method of one aspect of the present invention.
  • FIG. 15A is a diagram showing a configuration example of the machine learning model MLM.
  • the machine learning model MLM can be a neural network model having an input layer IL, an intermediate layer ML1, an intermediate layer ML2, an intermediate layer ML3, and an output layer OL.
  • the input layer IL, the intermediate layer ML1, the intermediate layer ML3, and the output layer OL have a plurality of layers composed of neurons, and neurons provided in each layer are connected to each other.
  • Image data can be input to the input layer IL.
  • the image data input to the input layer IL can have the same number of m rows and n columns as the number of types of sub-pixels of the display unit 22.
  • the pixel 24 has a sub-pixel that emits red (R) light, a sub-pixel that emits green (G) light, and a sub-pixel that emits blue (B) light, an image.
  • the data includes a matrix of m rows and n columns whose components are red gradation values, a matrix of m rows and n columns whose components are green gradation values, and a matrix of m rows and n columns whose components are blue gradation values.
  • the image data can be configured to have three matrices.
  • the number of neurons in the input layer IL can be the same as the number of components in the matrix. For example, when the image data has three matrices of 1200 rows and 1920 columns, the number of neurons in the input layer IL can be 1920 ⁇ 1200 ⁇ 3. Further, assuming that the image data includes a matrix, the number of neurons in the output layer OL can be the same as the number of components in the matrix. For example, when the image data has three matrices of 1200 rows and 1920 columns as described above, the number of neurons in the output layer OL can be 1920 ⁇ 1200 ⁇ 3.
  • the intermediate layer ML1 has a function of generating data D1 to be supplied to the intermediate layer ML2.
  • the data D1 can be a matrix having h components x (h is an integer of 2 or more).
  • h components x are described as component x 1 to component x h , respectively, to distinguish them.
  • the same description applies to other ingredients.
  • the number of neurons in the middle layer ML1 is greater than the number of neurons in the input layer IL. Thereby, the number of components of the data D1 can be made larger than the number of components of the image data input to the input layer IL.
  • the details of the arithmetic processing that can be performed by the intermediate layer ML1 will be described later.
  • the intermediate layer ML2 has a function of converting the component x into the component y.
  • the intermediate layer ML2 is a one-variable nonlinear function and a polynomial has a function of converting the components x 1 to component x h to component y 1 to component y h, respectively.
  • An example of the function is shown below.
  • i can be an integer of 1 or more and h or less.
  • the above formula is a function in which the component x is an independent variable, the component y is a dependent variable, and a is a coefficient.
  • the function has a term containing x to the dth power (d is an integer of 2 or more).
  • d is an integer of 2 or more.
  • the above formula is a function in which x is an independent variable, y is a dependent variable, and a and b are coefficients.
  • the function has a term containing the cosine of the component x and a term containing the sine of the component x.
  • the function does not have to have a term including the cosine of the component x. Further, the function does not have to have a term including a sine of the component x.
  • the intermediate layer ML2 may generate data having components y 1 to component y h.
  • the data is referred to as data D2.
  • the data D2 can be a matrix like the data D1.
  • the intermediate layer ML3 has a function of generating data to be supplied to the output layer OL.
  • the number of neurons in the middle layer ML3 is greater than the number of neurons in the output layer OL.
  • the number of components of the image data output from the output layer OL can be made smaller than the number of components of the data D2.
  • the details of the arithmetic processing that can be performed by the intermediate layer ML3 will be described later.
  • two or more intermediate layers may be provided between the input layer IL and the intermediate layer ML2. Further, two or more intermediate layers may be provided between the intermediate layer ML2 and the output layer OL.
  • FIG. 15B is a diagram showing an example of a method of generating a machine learning model MLM when the machine learning model MLM has the configuration shown in FIG. 15A. As shown in FIG. 7, the machine learning model MLM is generated in step S16. Therefore, it can be said that FIG. 15B is a diagram showing an example of the operation of step S16 when the machine learning model MLM has the configuration shown in FIG. 15A.
  • the machine learning model MLM can be generated by the learning unit 46.
  • the machine learning model MLM can be generated by using the learning image data LG IN and the learning image data LG GEN.
  • the values of the coefficients a 1, 0 to the coefficients an n, k and the like are acquired by learning so that the image data output when the learning image data LG IN is input matches the learning image data LG GEN.
  • the learning unit 46 can generate the machine learning model MLM.
  • the intermediate layer ML2 performs the calculation shown in Equation 2, in addition to the value of the coefficient a, the value of the coefficient b is also acquired by learning.
  • 16A and 16B are diagrams showing an example of calculation by the machine learning processing unit 23 to which the machine learning model MLM is applied.
  • the intermediate layer ML1 can perform a product-sum calculation of the content image data CG IN and the filter fa.
  • the content image data CG IN includes three matrices of 1200 rows and 1920 columns. That is, the content image data CG IN is data having a width of 1920, a height of 1200, and a number of channels of 3.
  • the number of channels of the filter fa is set to 3, and the product-sum calculation of the content image data CG IN and the nine filter fas (filter fa 1 to filter fa 9) is performed by the intermediate layer ML1.
  • data D1 having a height of 1200, a width of 1920, and a number of channels of 9 can be output from the intermediate layer ML1.
  • Data D1 is assumed to include component x 1 to component x 1920 x 1200 x 9 .
  • Component x 1 to component x 1920 ⁇ 1200 ⁇ 9 data D1 has, in the intermediate layer ML2, can be converted Equation 1, or the formula 2 or the like on the components y 1 to component y 1920 ⁇ 1200 ⁇ 9.
  • the data including the component y 1 to the component y 1920 ⁇ 1200 ⁇ 9 is referred to as data D2.
  • the intermediate layer ML3 can perform a product-sum operation of the data D2 and the filter fb.
  • the data D2 can be data having a height of 1200, a width of 1920, and a number of channels of 9, similar to the data D1.
  • the number of channels of the filter fb is set to 9, and the product-sum calculation of the data D2 and the three filters fb (filters fb 1 to filter fb 3) is performed by the intermediate layer ML3.
  • the data can be content image data CG ML .
  • the content image data CG IN can be converted into the content image data CG ML by using the machine learning model MLM.
  • the component x 1 to the component x h included in the data D1 are each component y 1 using a non-linear and polynomial one-variable function.
  • the inference using the machine learning model MLM It can be done with high accuracy.
  • the number of filter fas shown in FIG. 16A and the number of channels of the filter fb shown in FIG. 16B can be reduced, the amount of calculation required for the generation of the machine learning model MLM by learning and the inference by the machine learning model MLM can be reduced. Can be reduced. Therefore, learning and inference can be performed at high speed.
  • a machine learning model MLM was generated by supervised learning using image data having a width of 1920, a height of 1200, and the number of channels of 3 as learning data and correct answer data.
  • d 5 was set.
  • the intermediate layer ML1 is assumed to perform the calculation shown in FIG. 16A
  • the intermediate layer ML3 is assumed to perform the calculation shown in FIG. 16B.
  • the component x contained in the data D1 is converted into the component y by using the formula 1 or the formula 2
  • the product-sum calculation of the data D1 and the filters fa 1 to filter fa 3 having 9 channels is performed by the intermediate layer ML3.
  • FIG. 17 is a graph showing the relationship between the SSIM and the number of learnings (epoch).
  • the SSIM was calculated using the test data and the correct answer data. The larger the SSIM, the higher the similarity between the test data and the correct answer data, indicating that the machine learning model MLM can be inferred with high accuracy.
  • the test data was image data having a width of 1920, a height of 1200, and a number of channels of 3, similar to the learning data and the correct answer data.
  • the component x contained in the data D1 is converted into the component y using the formula 1 or 2
  • the number of filter fas and the number of channels of filter fb are small.
  • the SSIM became larger than when converted to the component y using "ax + b".

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)

Abstract

表示装置に表示される画像の表示むらを低減することができる画像処理システムを提供する。 表示装置と、撮像装置と、学習装置と、を有する。学習装置には、第1の画像データと、第1の画像データに対応する画像を表示装置に表示させ、当該画像を撮像装置で撮像することにより生成された第2の画像データと、の対応に関する情報を表すテーブルが格納されている。学習装置は、テーブルを基に教師データを生成し、生成した教師データを用いて機械学習モデルを生成する。表示装置に入力された画像データに対して機械学習モデルを用いた画像処理を行うことにより、表示装置に表示される画像の表示むらを低減することができる。

Description

画像処理システム
本発明の一態様は、画像処理システムに関する。
液晶ディスプレイ、有機ELディスプレイ等の表示装置は、基板上にレジストを塗布した後、マスクを介して露光してパターニングを行うことにより製造することができる。ここで、表示装置を大型化するためには、基板も大きくする必要があるが、マスクを基板の大きさに合わせて大きくすることができない場合がある。このような場合に表示装置を製造する方法として、基板面内をマスクの大きさに対応した複数の露光領域に分割して、露光領域ごとに露光する方法が特許文献1に開示されている。
また、表示装置の画素が有する表示素子、トランジスタ等の特性不良、又は劣化等により、欠陥画素が生じる場合がある。欠陥画素は、例えば輝点、又は暗点となる。ここで、表示装置に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。よって、輝点が多いと、表示装置に高品位な画像を表示することができなくなる場合がある。特許文献2には、表示装置の製造過程において、輝点を暗点化する方法が開示されている。
特開2017−198990号公報 特表2018−514801号公報
上記のように分割露光を行う場合、マスクの位置が露光領域からずれること等に起因して、露光領域の境界における露光量が、他の領域における露光量と異なる場合がある。これにより、露光領域の境界に設けられる画素が有する素子の特性が、他の領域に設けられる画素が有する素子の特性と異なる場合がある。これにより、階調が同一でも、露光領域の境界に設けられる画素が射出する光の輝度と、他の領域に設けられる画素が射出する光の輝度と、が異なる場合がある。当該輝度の異なりは、表示むらとして視認される場合がある。
表示むらを目立たなくするための方法として、表示装置に入力される画像データに対して画像処理を行う方法が考えられる。例えば、機械学習を用いた画像処理を行う方法が考えられる。具体的には、生成装置により機械学習モデルを生成し、表示装置に入力される画像データに対して機械学習モデルによる画像処理を行う方法が考えられる。表示装置が、生成装置により生成された機械学習モデルを用いて画像処理を行う場合、表示装置と、生成装置と、により画像処理システムが構成されるということができる。
また、表示装置の製造時は輝点ではない画素であっても、表示装置を長期間使用することにより画素を構成する表示素子、トランジスタ等が劣化して電気特性が変動すること等により、輝点となる場合がある。このような輝点は、表示装置の製造過程において除去することは難しい。
本発明の一態様は、表示装置に表示される画像の表示むらを目立たなくすることができる画像処理システムを提供することを課題の一とする。また、本発明の一態様は、表示装置に表示される画像を高品位なものとすることができる画像処理システムを提供することを課題の一とする。また、本発明の一態様は、大型の表示装置を有する画像処理システムを提供することを課題の一とする。また、本発明の一態様は、高精細な画像を表示することができる表示装置を有する画像処理システムを提供することを課題の一とする。また、本発明の一態様は、短時間で画像処理を行うことができる画像処理システムを提供することを課題の一とする。また、本発明の一態様は、信頼性の高い表示装置を有する画像処理システムを提供することを課題の一とする。
また、本発明の一態様は、新規な画像処理システム、新規な画像処理方法、新規な生成装置、新規な機械学習モデルの生成方法、新規な画像処理装置、又は新規な表示装置等を提供することを課題の一とする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、表示装置と、撮像装置と、学習装置と、を有する画像処理システム、及び当該画像処理システムを用いた機械学習モデルの生成方法に関する。表示装置には、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列されている。学習装置は、データベースを有する。データベースには、第1の画像データと、第1の画像データに対応する画像を表示装置に表示させ、当該画像を撮像装置で撮像することにより取得された第2の画像データと、に基づき生成されたテーブルが格納されている。第1の画像データは、m行n列の第1の階調値を有し、第2の画像データは、m行n列の第2の階調値を有する。テーブルは、具体的には、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表す。
機械学習モデルを生成する際は、まず、第1の学習用画像データに対応する画像を表示装置に表示し、表示装置に表示された画像を撮像装置で撮像することにより第2の学習用画像データを取得する。次に、学習装置が、第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、m行n列の第3の階調値を有する第3の学習用画像データを生成する。具体的には、学習装置が、第1の学習用画像データに対して、第2の学習用画像データに近づくように画像処理を行うことにより、m行n列の第3の階調値を有する第3の学習用画像データを生成する。例えば、1行1列目乃至m行n列目の第3の階調値を合計した値が、第2の学習用画像データの、1行1列目乃至m行n列目の階調値を合計した値と等しくなるように、第1の学習用画像データに対して画像処理を行う。
その後、学習装置が、1行1列目乃至m行n列目の第3の階調値のそれぞれを基に、1行1列目乃至m行n列目の第2の階調値をそれぞれ選択する。例えば、第3の階調値と一致する値、又は最も近い値の第2の階調値を、1行1列目乃至m行n列目のそれぞれについて選択する。次に、選択された第2の階調値に対応する第1の階調値を含む画像データである、第4の学習用画像データを生成する。そして、学習装置が、第1の学習用画像データを入力した場合に出力される画像データが第4の学習用画像データと一致するような機械学習モデルを生成する。
学習装置が生成した機械学習モデルは、表示装置に供給される。これにより、表示装置は、表示装置に入力される画像データに対して機械学習モデルによる画像処理を行うことができるようになる。例えば、表示装置に入力される画像データに対して、表示むらを低減するような画像処理を、機械学習モデルにより行うことができる。
本発明の一態様は、表示装置と、撮像装置と、学習装置と、を有し、表示装置は、入力部と、機械学習処理部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、学習装置は、データベースと、画像処理部と、画像生成部と、学習部と、を有し、データベースには、入力部に入力される第1の画像データと、第1の画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第2の画像データと、に基づき生成されたテーブルが格納され、第1の画像データは、m行n列の第1の階調値を有し、第2の画像データは、m行n列の第2の階調値を有し、テーブルは、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、画像処理部は、入力部に入力される第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、第3の学習用画像データを生成する機能を有し、第2の学習用画像データは、第1の学習用画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得された画像データであり、第3の学習用画像データは、m行n列の第3の階調値を有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調値を含む画像データである、第4の学習用画像データを生成する機能を有し、学習部は、第1の学習用画像データを入力した場合に出力される画像データが、第4の学習用画像データと一致するような機械学習モデルを生成し、機械学習処理部に機械学習モデルを出力する機能を有し、機械学習処理部は、入力部に入力されたコンテンツ画像データに対して、機械学習モデルによる処理を行う機能を有する画像処理システムである。
又は、上記態様において、第1の学習用画像データは、m行n列の第4の階調値を有し、第2の学習用画像データは、m行n列の第5の階調値を有し、画像処理部は、第3の階調値の合計と、第5の階調値の合計と、の差が、第4の階調値の合計と、第5の階調値の合計と、の差より小さくなるように画像処理を行う機能を有してもよい。
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであってもよい。
又は、本発明の一態様は、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部を有する画像処理システムによる機械学習モデルの生成方法であって、m行n列の第1の階調値を有する第1の画像データに対応する画像を、画素から第1の階調値に対応する輝度の光を射出することにより、表示部に表示し、表示部に表示した、第1の画像データに対応する画像を含むように撮像を行うことにより、m行n列の第2の階調値を有する第2の画像データを取得し、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表すテーブルを生成し、第1の学習用画像データに対応する画像を表示部に表示し、表示部に表示した、第1の学習用画像データに対応する画像を含むように撮像を行うことにより、第2の学習用画像データを取得し、第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、m行n列の第3の階調値を有する第3の学習用画像データを生成し、第3の階調値を基に、選択された第2の階調値に対応する第1の階調値を含む画像データである、第4の学習用画像データを生成し、第1の学習用画像データを入力した場合に出力される画像データが、第4の学習用画像データと一致するような機械学習モデルを生成する、機械学習モデルの生成方法である。
又は、上記態様において、第1の学習用画像データは、m行n列の第4の階調値を有し、第2の学習用画像データは、m行n列の第5の階調値を有し、画像処理は、第3の階調値の合計と、第5の階調値の合計と、の差が、第4の階調値の合計と、第5の階調値の合計と、の差より小さくなるように行われてもよい。
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであってもよい。
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、データベースには、入力部に入力される第1のデータベース画像データと、第1のデータベース画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生成されたテーブルが格納され、第1のデータベース画像データは、m行n列の第1の階調値を有し、第2のデータベース画像データは、m行n列の第2の階調値を有し、テーブルは、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、撮像装置は、入力部に入力される第1の輝点補正用画像データに対応する画像を表示部に表示させた場合に、表示部に表示させた画像を撮像することにより第2の輝点補正用画像データを取得する機能を有し、第2の輝点補正用画像データは、m行n列の第3の階調値を有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、輝点補正部は、第3の輝点補正用画像データが有する、m行n列の第1の階調値のうち、しきい値以下の第1の階調値の座標を、輝点座標として検出する機能を有し、輝点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが入力部に入力された場合に、輝点座標と同一の座標の第4の階調値を小さくする機能を有する画像処理システムである。
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、データベースには、入力部に入力される第1のデータベース画像データと、第1のデータベース画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生成されたテーブルが格納され、第1のデータベース画像データは、m行n列の第1の階調値を有し、第2のデータベース画像データは、m行n列の第2の階調値を有し、テーブルは、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、撮像装置は、入力部に入力される第1の輝点補正用画像データに対応する画像を表示部に表示させた場合に、表示部に表示させた画像を撮像することにより第2の輝点補正用画像データを取得する機能を有し、第2の輝点補正用画像データは、m行n列の第3の階調値を有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、輝点補正部は、第3の輝点補正用画像データが有する、m行n列の第1の階調値のうち、第1のしきい値以下の第1の階調値の座標を、第1の輝点座標として検出する機能を有し、輝点補正部は、第2の輝点補正用画像データが有する、m行n列の第3の階調値のうち、第2のしきい値以上の第3の階調値の座標を、第2の輝点座標として検出する機能を有し、輝点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが入力部に入力された場合に、第1又は第2の輝点座標と同一の座標の第4の階調値を小さくする機能を有する画像処理システムである。
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、データベースには、入力部に入力される第1のデータベース画像データと、第1のデータベース画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生成されたテーブルが格納され、第1のデータベース画像データは、m行n列の第1の階調値を有し、第2のデータベース画像データは、m行n列の第2の階調値を有し、テーブルは、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、撮像装置は、入力部に入力される第1の輝点補正用画像データに対応する画像を表示部に表示させた場合に、表示部に表示させた画像を撮像することにより第2の輝点補正用画像データを取得する機能を有し、第2の輝点補正用画像データは、m行n列の第3の階調値を有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、輝点補正部は、第3の輝点補正用画像データが有する、m行n列の第1の階調値のうち、第1のしきい値以下、且つ第2のしきい値以上の第1の階調値の座標を第1の輝点座標として、第2のしきい値未満の第1の階調値の座標を第2の輝点座標として、それぞれ検出する機能を有し、輝点補正部は、第2の輝点補正用画像データが有する、m行n列の第3の階調値のうち、第3のしきい値以上の第3の階調値の座標を、第3の輝点座標として検出する機能を有し、輝点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが入力部に入力された場合に、第1の輝点座標と、第3の輝点座標と、の両方と同一の座標の第4の階調値を小さくする機能を有し、且つ第2の輝点座標と同一の座標の第4の階調値を小さくする機能を有する画像処理システムである。
又は、上記態様において、表示装置は、機械学習処理部を有し、生成装置は、画像処理部と、学習部と、を有し、画像処理部は、入力部に入力される第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、第3の学習用画像データを生成する機能を有し、第2の学習用画像データは、第1の学習用画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得された画像データであり、第3の学習用画像データは、m行n列の第5の階調値を有し、画像生成部は、第5の階調値を基に選択された第2の階調値に対応する第1の階調値を含む画像データである、第4の学習用画像データを生成する機能を有し、学習部は、第1の学習用画像データを入力した場合に出力される画像データが、第4の学習用画像データと一致するような機械学習モデルを生成し、機械学習処理部に機械学習モデルを出力する機能を有し、機械学習処理部は、入力部に入力されたコンテンツ画像データに対して、機械学習モデルによる処理を行う機能を有してもよい。
又は、上記態様において、第1の学習用画像データは、m行n列の第6の階調値を有し、第2の学習用画像データは、m行n列の第7の階調値を有し、画像処理部は、第5の階調値の合計と、第7の階調値の合計と、の差が、第6の階調値の合計と、第7の階調値の合計と、の差より小さくなるように画像処理を行う機能を有してもよい。
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであってもよい。
本発明の一態様により、表示装置に表示される画像の表示むらを目立たなくすることができる画像処理システムを提供することができる。また、本発明の一態様により、表示装置に表示される画像を高品位なものとすることができる画像処理システムを提供することができる。また、本発明の一態様により、大型の表示装置を有する画像処理システムを提供することができる。また、本発明の一態様により、高精細な画像を表示することができる表示装置を有する画像処理システムを提供することができる。また、本発明の一態様により、短時間で画像処理を行うことができる画像処理システムを提供することができる。また、本発明の一態様により、信頼性の高い表示装置を有する画像処理システムを提供することができる。
また、本発明の一態様により、新規な画像処理システム、新規な画像処理方法、新規な生成装置、新規な機械学習モデルの生成方法、新規な画像処理装置、又は新規な表示装置等を提供することができる。
なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば、明細書、図面などの記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び/又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
図1は、画像処理システムの構成例を示すブロック図である。
図2Aは、表示部の構成例を示すブロック図である。図2B1、及び図2B2は、画素の構成例を示す回路図である。
図3A、及び図3Bは、画像処理方法の一例を示す模式図である。
図4は、テーブルの生成方法の一例を示すフローチャートである。
図5A、及び図5Bは、テーブルの生成方法の一例を示す模式図である。
図6A、及び図6Bは、テーブルの生成方法の一例を示す模式図である。
図7は、機械学習モデルの生成方法の一例を示すフローチャートである。
図8A、及び図8Bは、機械学習モデルの生成方法の一例を示す模式図である。
図9A、及び図9Bは、機械学習モデルの生成方法の一例を示す模式図である。
図10は、機械学習モデルの生成方法の一例を示す模式図である。
図11A、及び図11Bは、画像処理方法の一例を示す模式図である。
図12A、及び図12Bは、画像処理方法の一例を示すグラフである。
図13A1、及び図13A2は、画像処理方法の一例を示すグラフである。図13Bは、画像処理方法の一例を示す模式図である。
図14は、画像処理方法の一例を示すグラフである。
図15Aは、機械学習モデルの構成例を示す図である。図15Bは、学習方法の一例を示す模式図である。
図16A、及び図16Bは、機械学習モデルによる演算の一例を示す模式図である。
図17は、実施例に係る学習結果を示すグラフである。
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。
また、本明細書にて用いる「第1」、「第2」、「第3」という序数詞は、構成要素の混同を避けるために付したものであり、数的に限定するものではない。
(実施の形態)
本実施の形態では、本発明の一態様の画像処理システム等について、図面を用いて説明する。
<画像処理システム>
図1は、画像処理システム10の構成例を示すブロック図である。画像処理システム10は、表示装置20、撮像装置30、及び生成装置40を有する。ここで、生成装置40は、サーバ等、高い演算能力を有する機器に設けることが好ましい。
表示装置20は、入力部21、表示部22、機械学習処理部23、及び輝点補正部50を有する。生成装置40は、データベース42、画像抽出部43、画像処理部44、画像生成部45、及び学習部46を有する。
図2Aは、表示部22の構成例を示すブロック図である。図2Aに示すように、表示部22には、m行n列(m、nは2以上の整数)の画素24がマトリクス状に配列されている。同一行の画素24は、同一の配線134を介して互いに電気的に接続され、同一列の画素24は、同一の配線126を介して互いに電気的に接続される。画素24は、表示素子を有し、表示素子を用いて表示部22に画像を表示することができる。
本明細書等において、m行n列の画素24を、それぞれ画素24(1,1)乃至画素24(m,n)と記載して区別する。他の要素についても同様の記載をする場合がある。また、例えば(1,1)乃至(m,n)を、座標という場合がある。
また、本明細書等において、表示素子は表示デバイスと言い換えることができる。また、発光素子は発光デバイスと言い換えることができ、液晶素子は液晶デバイスと言い換えることができる。他の素子についても、「素子」を「デバイス」と言い換えることができる場合がある。
図1では、画像処理システム10の構成要素間のデータのやり取りを、矢印で示している。なお、図1に示すデータのやり取りは一例であり、例えば矢印によって結合されていない構成要素間でデータ等のやり取りを行うことができる場合がある。また、矢印によって結合されている構成要素間であっても、データのやり取りを行わない場合がある。
入力部21には、画像データが入力される。入力部21に入力された画像データは、表示部22、機械学習処理部23、データベース42、画像処理部44、又は学習部46に出力することができる。
入力部21に入力される画像データとして、データベース画像データDGIN、学習用画像データLGIN、輝点補正用画像データBCGIN、及びコンテンツ画像データCGIN等が挙げられる。データベース画像データDGINは、入力部21から表示部22、及びデータベース42に供給することができる。学習用画像データLGINは、入力部21から表示部22、及び画像処理部44に供給することができる。輝点補正用画像データBCGINは、入力部21から表示部22、及び画像処理部44に供給することができる。コンテンツ画像データCGINは、入力部21から機械学習処理部23に供給することができる。
表示部22は、画像データに対応する画像を表示する機能を有する。ここで、画像データは、階調値の集合とすることができる。例えば、表示部22に供給される画像データは、m行n列の階調値を有する構成とすることができる。この場合、画素24が、階調値に対応する輝度の光を射出することにより、表示部22に画像を表示することができる。ここで、階調値は、デジタル値とすることができる。例えば、階調値が8ビットのデジタル値である場合は、階調値がとり得る値は0乃至255の整数とすることができる。
機械学習処理部23は、生成装置40により生成された機械学習モデルに基づき、画像データに対して画像処理を行う機能を有する。具体的には、学習部46が生成した機械学習モデルMLMに基づき、入力部21から入力されたコンテンツ画像データCGINに対して画像処理を行う機能を有する。機械学習処理部23により画像処理が行われた画像データは、コンテンツ画像データCGMLとして輝点補正部50に供給される。
機械学習モデルMLMとして、例えば多層パーセプトロン、ニューラルネットワークモデル等を適用することができる。特にニューラルネットワークモデルを適用すると、画像処理を効率良く行うことができ、表示部22に高品位な画像を表示することができるため好ましい。ここで、ニューラルネットワークモデルとして、例えばオートエンコーダ、U−net、pix2pix等の生成モデルを用いることができる。なお、上記以外の機械学習モデルであっても、ベイズ推定ができるものであれば機械学習モデルMLMとして用いることができる。また、機械学習モデルMLMは、学習及び推論を、入出力される値を独立に扱って行えることが好ましい。
輝点補正部50は、コンテンツ画像データCGMLを補正する機能を有する。輝点補正部50は、具体的にはコンテンツ画像データCGMLが有する階調値を補正する機能を有する。詳細は後述するが、輝点補正部50は、画像生成部45が生成する輝点補正用画像データBCG_1、又は画像抽出部43が生成する輝点補正用画像データBCG_2に基づき、コンテンツ画像データCGMLが有する階調値を補正する機能を有する。補正後の画像データは、コンテンツ画像データCGCORとして表示部22に供給される。
本明細書等において、輝点補正用画像データBCG_1、及び輝点補正用画像データBCG_2等をまとめて、輝点補正用画像データBCGと記載する場合がある。具体的には、輝点補正用画像データBCGと記載した場合は、例えば輝点補正用画像データBCG_1、又は輝点補正用画像データBCG_2の一方を示す。なお、他のデータ等についても、同様の記載をする場合がある。
ここで、輝点補正部50は、表示部22における輝点が目立たなくなるように、コンテンツ画像データCGMLを補正する機能を有する。輝点補正部50は、例えば輝点を暗点化するようにコンテンツ画像データCGMLを補正する機能を有する。以上より、表示装置20に輝点補正部50を設けることで、表示部22に表示される画像の品位を高めることができる。
本明細書等において、「暗点化」及び「暗点とする」とは、輝点である画素24から射出される光の輝度を低下させることを示す。よって、暗点化した画素24であっても、当該画素24から射出される光の輝度は0でなくてもよい。
なお、表示装置20は、輝点補正部50を有さなくてもよい。この場合、輝点補正用画像データBCGINは、入力部21に入力されない。また、機械学習処理部23が出力するコンテンツ画像データCGMLは、表示部22に供給することができる。
撮像装置30は、撮像を行うことにより、撮像データを取得する機能を有する。撮像装置30は、具体的には、表示部22に表示された画像を含むように撮像を行うことができる。取得された撮像データは、画像抽出部43に供給される。ここで、データベース画像データDGINに対応する画像を表示部22に表示させ、当該画像を含むように撮像することにより撮像装置30が取得した撮像データを、撮像データIMGDGとする。また、学習用画像データLGINに対応する画像を表示部22に表示させ、当該画像を含むように撮像することにより撮像装置30が取得した撮像データを、撮像データIMGLGとする。さらに、輝点補正用画像データBCGINに対応する画像を表示部22に表示させ、当該画像を含むように撮像することにより撮像装置30が取得した撮像データを、撮像データIMGBCGとする。なお、撮像データは、階調値の集合とすることができる。
画像抽出部43は、撮像データIMGDG、撮像データIMGLG、及び撮像データIMGBCG等から、表示部22に表示された画像を表す部分のデータを抽出する機能を有する。撮像装置30が、表示部22に表示された画像を含むように撮像を行う場合、表示部22以外の領域も撮像される場合がある。例えば、表示部22の他、表示装置20の筐体が撮像される場合がある。画像抽出部43は、このように表示部22に表示された画像以外の部分が撮像データに含まれる場合に、表示部22に表示された画像を表す部分のデータを抽出する機能を有する。データの抽出は、パターンマッチング、テンプレートマッチング等により行うことができる。例えば、表示部22に表示された画像と、表示装置20の筐体と、を含む撮像データから、表示部22に表示された画像を表す部分のデータを抽出する場合、表示装置20の筐体を表すパターンを指定し、当該パターンが含まれない部分を、表示部22に表示された画像を表す部分のデータとすることができる。また、撮像データIMGDG、撮像データIMGLG、及び撮像データIMGBCG等に対してエッジ検出を行い、表示部22に表示された画像を表す部分のデータを抽出することができる。
画像抽出部43が撮像データIMGDGから抽出したデータは、データベース画像データDGDPとする。また、画像抽出部43が撮像データIMGLGから抽出したデータは、学習用画像データLGDPとする。さらに、画像抽出部43が撮像データIMGBCGから抽出したデータは、輝点補正用画像データBCGDPとする。データベース画像データDGDPはデータベース42に供給され、学習用画像データLGDP、及び輝点補正用画像データBCGDPは画像処理部44に供給される。なお、輝点補正用画像データBCGDPを画像処理部44に供給せず、画像生成部45に供給してもよい。
また、画像抽出部43は、輝点補正用画像データBCGDPを、輝点補正部50に供給することができる。輝点補正部50に供給する輝点補正用画像データBCGDPを、輝点補正用画像データBCG_2とする。
ここで、詳細は後述するが、画像処理システム10は、データベース画像データDGINと、データベース画像データDGDPと、の対応に関する情報を表すテーブルを取得する機能を有する。また、画像処理システム10は、学習用画像データLGINと、学習用画像データLGDPを比較する機能を有する。さらに、画像処理システム10は、輝点補正用画像データBCGINと、輝点補正用画像データBCGDPを比較する機能を有する。
よって、データベース画像データDGINが表す画像の解像度と、データベース画像データDGDPが表す画像の解像度と、は等しいことが好ましい。具体的には、データベース画像データDGINに含まれる階調値の行数及び列数と、データベース画像データDGDPに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば、データベース画像データDGINにm行n列の階調値が含まれる場合、データベース画像データDGDPに含まれる階調値もm行n列とすることが好ましい。また、学習用画像データLGINが表す画像の解像度と、学習用画像データLGDPが表す画像の解像度と、は等しいことが好ましい。具体的には、学習用画像データLGINに含まれる階調値の行数及び列数と、学習用画像データLGDPに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば学習用画像データLGINにm行n列の階調値が含まれる場合、学習用画像データLGDPに含まれる階調値もm行n列とすることが好ましい。さらに、輝点補正用画像データBCGINが表す画像の解像度と、輝点補正用画像データBCGDPが表す画像の解像度と、は等しいことが好ましい。具体的には、輝点補正用画像データBCGINに含まれる階調値の行数及び列数と、輝点補正用画像データBCGDPに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば輝点補正用画像データBCGINにm行n列の階調値が含まれる場合、輝点補正用画像データBCGDPに含まれる階調値もm行n列とすることが好ましい。
本明細書等において、データベース画像データDGINが有する階調値を、第1の階調値という場合がある。また、データベース画像データDGDPが有する階調値を、第2の階調値という場合がある。
画像抽出部43は、撮像データから抽出したデータに対して、アップコンバージョン、又はダウンコンバージョンを行うことができる。例えば、画像抽出部43が撮像データIMGDGから抽出したデータが有する階調値の行数又は列数が、データベース画像データDGINの行数又は列数より少ない場合は、画像抽出部43が、撮像データIMGDGから抽出したデータに対してアップコンバージョンを行うことができる。また、画像抽出部43が撮像データIMGDGから抽出したデータが有する階調値の行数又は列数が、データベース画像データDGINの行数又は列数より多い場合は、画像抽出部43が、撮像データIMGDGから抽出したデータに対してダウンコンバージョンを行うことができる。以上により、データベース画像データDGDPに含まれる階調値の行数及び列数を、データベース画像データDGINに含まれる階調値の行数及び列数と等しくすることができる。撮像データIMGLG、及び撮像データIMGBCGに対しても同様である。なお、アップコンバージョン及びダウンコンバージョンは、ニアレストネイバー法、バイリニア法、バイキュービック法等により行うことができる。
データベース42には、データベース画像データDGINと、データベース画像データDGDPと、の対応に関する情報を表すテーブルTを格納することができる。テーブルTは、具体的には、データベース画像データDGINが有する第1の階調値と、データベース画像データDGDPが有する第2の階調値と、の対応に関する情報を表す。テーブルTは、例えば、第1の階調値と、当該第1の階調値の座標に対応する座標の第2の階調値と、を表す。テーブルTは、例えば、第1の階調値と、当該第1の階調値の座標と同一の座標の第2の階調値と、を表す。
画像処理部44は、学習用画像データLGINに対して、学習用画像データLGDPに基づき画像処理を行うことにより、学習用画像データLGIPを生成する機能を有する。つまり、学習用画像データLGINと学習用画像データLGDPを比較し、比較結果に基づき学習用画像データLGINに対して画像処理を行うことにより、学習用画像データLGIPを生成する機能を有する。例えば、学習用画像データLGINに対して、学習用画像データLGDPに近づくように画像処理を行うことにより、学習用画像データLGIPを生成する機能を有する。また、画像処理部44は、輝点補正用画像データBCGINに対しても同様に画像処理を行い、輝点補正用画像データBCGIPを生成する機能を有する。
画像処理部44は、例えば学習用画像データLGIPが有する階調値の合計と、学習用画像データLGDPが有する階調値の合計と、の差が、学習用画像データLGIPが有する階調値の合計と、学習用画像データLGINが有する階調値の合計と、の差より小さくなるように、学習用画像データLGINが有する階調値を画像処理により変換する機能を有する。画像処理部44は、例えば学習用画像データLGIPが有する階調値の合計が、学習用画像データLGDPが有する階調値の合計と等しくなるように、学習用画像データLGINが有する階調値を画像処理により変換する機能を有する。なお、「学習用画像データLGIPが有する階調値の合計」は、学習用画像データLGIPが有するすべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。また、「学習用画像データLGINが有する階調値の合計」は、学習用画像データLGINが有するすべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。さらに、「学習用画像データLGDPが有する階調値の合計」は、学習用画像データLGDPが有するすべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。
また、画像処理部44は、例えば、学習用画像データLGIPの学習用画像データLGDPに対するピーク信号対雑音比(PSNR:Peak Signal−to−Noise Ratio)、又は構造的類似性(SSIM:Structural SIMilarity)が、学習用画像データLGINに対するPSNR、又はSSIMより大きくなるように、学習用画像データLGINが有する階調値を画像処理により変換する機能を有する。画像処理部44は、例えば学習用画像データLGDPに対するPSNR、又はSSIMが最大となるように、学習用画像データLGINが有する階調値を画像処理により変換することで、学習用画像データLGIPを生成する機能を有する。
画像処理部44が行う画像処理は、例えばガンマ補正とすることができる。この場合、ガンマ値を適切な値に設定することにより、上記画像処理を行うことができる。
画像処理部44は、例えば輝点補正用画像データBCGIPが有する階調値の合計と、輝点補正用画像データBCGDPが有する階調値の合計と、の差が、輝点補正用画像データBCGIPの階調値の合計と、輝点補正用画像データBCGINが有する階調値の合計と、の差より小さくなるように、輝点補正用画像データBCGINが有する階調値を画像処理により変換する機能を有する。当該画像処理等については、学習用画像データLGIPを輝点補正用画像データBCGIPと読み替え、学習用画像データLGDPを輝点補正用画像データBCGDPと読み替え、学習用画像データLGINを輝点補正用画像データBCGINと読み替えることにより、上記説明を援用することができる。
画像生成部45は、学習用画像データLGIPが有する階調値を基に、テーブルTに含まれる第2の階調値を選択する機能を有する。例えば、データベース画像データDGINがm行n列の第1の階調値を有し、データベース画像データDGDPがm行n列の第2の階調値を有し、学習用画像データLGIPがm行n列の階調値を有するものとする。この場合、画像生成部45は、学習用画像データLGIPの1行1列目乃至m行n列目の階調値のそれぞれを基に、1行1列目乃至m行n列目の第2の階調値をそれぞれ選択することができる。具体的には、学習用画像データLGIPの階調値と一致する値、又は最も近い値の第2の階調値を、1行1列目乃至m行n列目のそれぞれについて選択することができる。例えば、テーブルTが、k個(kは2以上の整数)のデータベース画像データDGINと、k個のデータベース画像データDGDPと、の対応に関する情報を表すものとする。この場合、例えば学習用画像データLGIPのi行j列目(iは1以上m以下の整数、jは1以上n以下の整数)の階調値と一致する値、又は最も近い値の第2の階調値を、k個のi行j列目の第2の階調値から選択することができる。また、画像生成部45は、輝点補正用画像データBCGIPが有する階調値を基にして、上記方法と同様の方法により、テーブルTに含まれる第2の階調値を選択する機能を有する。なお、画像抽出部43が生成した輝点補正用画像データBCGDPを画像生成部45に供給する場合は、輝点補正用画像データBCGDPが有する階調値を基にして、上記方法と同様の方法により、テーブルTに含まれる第2の階調値を選択することができる。
本明細書等において、例えばi行j列目の階調値を、「座標(i,j)の階調値」という場合がある。
また、画像生成部45は、学習用画像データLGIPに基づき選択された第2の階調値に対応する第1の階調値を含む画像データである、学習用画像データLGGENを生成する機能を有する。同様に、画像生成部45は、輝点補正用画像データBCGIPに基づき選択された第2の階調値に対応する第1の階調値を含む画像データである、輝点補正用画像データBCG_1を生成する機能を有する。なお、例えば学習用画像データLGIPのi行j列目の階調値と一致する値の、i行j列目の第2の階調値が複数、テーブルTに含まれる場合は、当該複数の第2の階調値のうち、1つの第2の階調値を選択することができる。そして、選択した第2の階調値に対応する第1の階調値を、学習用画像データLGGENに含めることができる。輝点補正用画像データBCGIP等についても同様である。
また、例えば学習用画像データLGIPのi行j列目の階調値と一致する、i行j列目の第2の階調値がテーブルTに含まれない場合は、i行j列目の第2の階調値を選択しなくてもよい。この場合、学習用画像データLGGENのi行j列目の階調値は、学習用画像データLGIPのi行j列目の階調値と同一の値とすることができる。輝点補正用画像データBCGIP等についても同様である。
学習部46は、学習用画像データLGINと、学習用画像データLGGENと、を用いて、機械学習モデルMLMを生成する機能を有する。例えば、学習部46は、学習用画像データLGINを入力した場合に出力される画像データが、学習用画像データLGGENと一致するような機械学習モデルMLMを生成する機能を有する。学習部46は、このような機械学習モデルMLMを、例えば学習用画像データLGINと、学習用画像データLGGENと、を用いた教師あり学習により生成する機能を有する。このように、機械学習モデルMLMは、学習により生成することができる。よって、学習部46が生成した機械学習モデルMLMは、学習済みの機械学習モデルであるということができる。
学習部46が生成した機械学習モデルMLMは、機械学習処理部23に供給される。機械学習処理部23は、機械学習モデルMLMに基づき推論を行うことにより、画像データに対して画像処理を行うことができる。
図2B1、及び図2B2は、図2Aに示す画素24の構成例を示す回路図である。具体的には、画素24が有する副画素の構成例を示す回路図である。図2B1に示す画素24は、トランジスタ161と、トランジスタ171と、容量173と、発光素子170と、を有する。図2B1に示す画素24では、発光素子170を表示素子とすることができる。
トランジスタ161のソース又はドレインの一方は、トランジスタ171のゲートと電気的に接続される。トランジスタ171のゲートは、容量173の一方の電極と電気的に接続される。トランジスタ171のソース又はドレインの一方は、発光素子170の一方の電極と電気的に接続される。
トランジスタ161のソース又はドレインの他方は、配線126と電気的に接続される。トランジスタ161のゲートは、配線134と電気的に接続される。トランジスタ171のソース又はドレインの他方、及び容量173の他方の電極は、配線174と電気的に接続される。発光素子170の他方の電極は、配線175と電気的に接続される。
配線174、及び配線175には、定電位を供給することができる。例えば、図2B1に示すように、発光素子170のアノードがトランジスタ171のソース又はドレインの一方と電気的に接続され、発光素子170のカソードが配線175と電気的に接続される場合は、配線174に高電位を供給し、配線175に低電位を供給することができる。
発光素子170は、例えば有機EL素子、又は無機EL素子とすることができる。
表示部22に設けられる画素24が図2B1に示す構成である場合、発光素子170に流れる電流の大きさを制御して発光素子170による発光輝度を制御することにより、表示部22に画像を表示することができる。発光素子170に流れる電流が大きいほど、発光素子による発光輝度を大きくすることができる。
図2B2に示す画素24は、トランジスタ162と、容量181と、液晶素子180と、を有する。図2B2に示す画素24では、液晶素子180を表示素子とすることができる。
トランジスタ162のソース又はドレインの一方は、液晶素子180の一方の電極と電気的に接続される。液晶素子180の一方の電極は、容量181の一方の電極と電気的に接続される。
トランジスタ162のソース又はドレインの他方は、配線126と電気的に接続される。トランジスタ162のゲートは、配線134と電気的に接続される。容量181の他方の電極は、配線182と電気的に接続される。液晶素子180の他方の電極は、配線183と電気的に接続される。
配線182、及び配線183には、定電位を供給することができる。配線182、及び配線183には、例えば低電位を供給することができる。
表示部22に設けられる画素24が図2B2に示す構成である場合、液晶素子180に含まれる液晶分子が、液晶素子180の両電極間に印加される電圧に従って配向する。液晶分子は、例えば表示装置20に含むことができるバックライトユニットからの光を、配向の程度に応じて透過することができる。前述のように、液晶素子180の他方の電極は配線183と電気的に接続され、定電位が供給される。以上より、液晶素子180の一方の電極の電位を制御することにより、当該電位に応じた輝度の光を画素24が射出することができるため、表示部22に画像を表示することができる。
図3Aは、入力部21に入力されたコンテンツ画像データCGINを、直接表示部22に入力した場合に、表示部22に表示されるコンテンツ画像G_1DPの一例を示す模式図である。図3Bは、コンテンツ画像データCGINを、機械学習処理部23、及び輝点補正部50を介して表示部22に入力した場合に、表示部22に表示されるコンテンツ画像G_2DPの一例を示す模式図である。
コンテンツ画像データCGINを、画像処理等を行わずに表示部22に入力した場合、前述のように表示むら、及び輝点等が発生する場合がある。図3Aでは、表示部22に表示された画像に表示むら25、及び輝点51が発生している様子を示している。
コンテンツ画像データCGINに対して、機械学習モデルMLMを用いて画像処理を行うことにより、機械学習処理部23は、表示むらを打ち消すようなコンテンツ画像データCGMLを生成することができる。図3Bでは、機械学習処理部23が、コンテンツ画像データCGINのうち、領域26に対応するデータに表示むら25を打ち消すようなデータを付加することにより、コンテンツ画像データCGMLを生成する様子を示している。例えば、表示むら25が発生している部分の輝度が、当該部分の周辺部の輝度より高い場合、領域26の輝度は、領域26の周辺部の輝度より低くすることができる。
また、コンテンツ画像データに対して、輝点補正用画像データBCG(例えば、輝点補正用画像データBCG_1、又は輝点補正用画像データBCG_2の一方)に基づき画像処理を行うことにより、輝点補正部50は、輝点を補正して目立たなくするようなコンテンツ画像データCGCORを生成することができる。例えば、輝点を暗点化するようなコンテンツ画像データCGCORを生成することができる。図3Bでは、コンテンツ画像データCGMLのうち、輝点51が生じる領域52に対応するデータに、輝点51を目立たなくするようなデータを付加することにより、輝点補正部50がコンテンツ画像データCGCORを生成する様子を示している。
以上、図3Bに示すように、入力部21に入力されたコンテンツ画像データCGINに対して、機械学習処理部23、及び輝点補正部50が画像処理を行うことで、表示部22は、表示むら、及び輝点が目立たない画像を表示することができる。
前述のように、表示装置20が大型化し、表示部22の面積が大きくなると、表示むらが発生しやすくなる。また、表示部22に設けられる画素24が微細化し、表示部22の画素密度が高くなると、画素24が有する表示素子、及びトランジスタ等の特性の、画素24間のばらつきが大きくなり、表示むらが発生しやすくなる。本発明の一態様では、表示部22に表示される表示むらを目立たなくすることができる。以上、本発明の一態様により、表示部22に表示される画像に表示むらが視認されることを抑制しつつ、表示装置20を大型化することができる。また、表示部22に表示される画像に表示むらが視認されることを抑制しつつ、表示部22に設けられる画素24の密度を高め、表示部22に高精細な画像を表示することができる。
また、前述のように、画素24が有する表示素子、トランジスタ等の特性不良、又は劣化等により、輝点となる画素24、又は暗点となる画素24が生じる場合がある。ここで、表示部22に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。本発明の一態様では、輝点補正部50等により輝点を補正して例えば暗点とすることにより、表示部22に高品位な画像を表示することができる。なお、輝点の補正は、機械学習処理部23によっても行うことができる。
図1に示す構成の画像処理システム10では、機械学習モデルMLMを生成する機能を有する学習部46を生成装置40に設け、機械学習モデルMLMを用いた処理を行う機能を有する機械学習処理部23を表示装置20に設けることができる。これにより、表示装置20が機械学習モデルMLMを生成しなくても、表示装置20は機械学習モデルMLMを用いた処理を行うことができる。機械学習モデルMLMの生成には、多くの学習用画像データLGIN、及び学習用画像データLGGEN等を用いる必要があり、高い演算能力が求められる。以上より、学習部46を生成装置40に設けることにより、表示装置20の演算能力を、生成装置40の演算能力より低いものとすることができる。
<機械学習モデルの生成方法>
以下では、機械学習モデルMLMの生成方法について、図面を用いて説明する。なお、表示部22には、図2Aに示すように、m行n列の画素24がマトリクス状に配列されているものとする。また、画像データが有する階調値は、8ビットのデジタル値とし、階調値が小さいほど画素24から射出される光の輝度が小さいものとする。例えば、階調値がとり得る値を0乃至255の整数とする場合、階調値0の場合に、画素24から射出される光の輝度が最も小さくなる。
[テーブルの生成方法]
図4は、データベース42に格納されるテーブルTの生成方法の一例を示すフローチャートである。図4に示すように、テーブルTは、ステップS01乃至ステップS04に示す方法により生成される。図5A及び図5B、並びに図6A及び図6Bは、ステップS01乃至ステップS04における動作を示す模式図である。
テーブルTを生成するためには、まず、データベース画像データDGINを、表示装置20が有する入力部21に入力する。入力部21に入力されたデータベース画像データDGINは、表示部22に入力され、表示部22にはデータベース画像データDGINに対応する画像が表示される(ステップS01)。具体的には、データベース画像データDGINが有する、m行n列の第1の階調値に対応する輝度の光を画素24が射出することにより、表示部22に画像を表示する。
図5Aでは、データベース画像データDGINは、全面が同一輝度の画像を表すものとしている。つまり、全ての画素24が同一輝度の光を射出することを想定している。一方、表示部22に表示される画像は、一部の画素24から射出される光の輝度が、他の部分の画素24から射出される光の輝度と異なっている。つまり、表示むらが発生している。図5Aでは、発生した表示むらを表示むら27として示している。
次に、表示部22に表示された画像を、撮像装置30で撮像する。これにより、撮像装置30が、撮像データIMGDGを取得する(ステップS02)。
ここで、表示装置20が有する表示部22に表示された画像を撮像装置30で撮像する場合、表示部22以外の物体が撮像される場合がある。例えば、表示装置20の筐体が撮像される場合がある。図5Aでは、撮像データIMGDGには、図5Aに示す表示装置20のうち、破線で囲んだ部分が含まれるとしている。
その後、画像抽出部43が、撮像データIMGDGからデータベース画像データDGDPを取得する(ステップS03)。具体的には、撮像データIMGDGから、表示部22に表示された画像を表す部分のデータを抽出する。例えば、図5Bに示すように、表示部22に表示された画像の他、表示装置20の筐体が撮像データIMGDGに含まれる場合、表示部22に表示された画像を表す部分のデータを撮像データIMGDGから抽出し、表示装置20の筐体を表す部分のデータを除去する。これにより、データベース画像データDGDPを取得する。撮像データIMGDGからのデータの抽出は、前述のように、パターンマッチング、テンプレートマッチング等により行うことができる。
前述のように、データベース画像データDGINが表す画像の解像度と、データベース画像データDGDPが表す画像の解像度と、は等しいことが好ましい。例えば、データベース画像データDGINがm行n列の第1の階調値を有する場合、データベース画像データDGDPはm行n列の第2の階調値を有することが好ましい。しかしながら、例えば表示部22に表示された画像を表す部分のデータを撮像データIMGDGから抽出した場合、抽出したデータが有する階調値は、m行n列ではない場合がある。例えば、m行より少ない行数の階調値しか有しない場合、又はm行より多くの行数の階調値を有する場合がある。また、n列より少ない列数の階調値しか有しない場合、又はn列より多くの列数の階調値を有する場合がある。
上記のように、撮像データIMGDGから抽出したデータが有する階調値がm行n列ではない場合、当該データに対してアップコンバージョン、又はダウンコンバージョンを画像抽出部43が行うことにより、画像抽出部43から出力されるデータベース画像データDGDPが、m行n列の第2の階調値を有するようにすることが好ましい。例えば、画像抽出部43が撮像データIMGDGから抽出したデータが有する階調値がm行より少ない、又はn列より少ない場合は、画像抽出部43が、撮像データIMGDGから抽出したデータに対してアップコンバージョンを行うことができる。また、画像抽出部43が撮像データIMGDGから抽出したデータが有する階調値がm行より多い、又はn列より多い場合は、画像抽出部43が、撮像データIMGDGから抽出したデータに対してダウンコンバージョンを行うことができる。以上により、データベース画像データDGDPに含まれる第2の階調値の行数及び列数を、データベース画像データDGINに含まれる第1の階調値の行数及び列数と等しくm行n列とすることができる。なお、前述のように、アップコンバージョン及びダウンコンバージョンは、ニアレストネイバー法、バイリニア法、バイキュービック法等により行うことができる。
そして、データベース画像データDGINと、データベース画像データDGDPと、の対応に関する情報を表すテーブルTを、データベース42に格納する(ステップS04)。前述のように、テーブルTは、具体的には、データベース画像データDGINが有する第1の階調値と、データベース画像データDGDPが有する第2の階調値と、の対応に関する情報を表す。テーブルTは、例えば、第1の階調値と、当該第1の階調値の座標に対応する座標の第2の階調値と、を表す。テーブルTは、例えば、第1の階調値と、当該第1の階調値の座標と同一の座標の第2の階調値と、を表す。
図6Aは、テーブルTの一例を示す図である。図6Aでは、矢印の左側に、データベース画像データDGINが有する第1の階調値を示し、矢印の右側に、データベース画像データDGDPが有する第2の階調値を示している。
ここで、画素24が、赤色の光と、緑色の光と、青色の光と、を射出する機能を有するものとする。この場合、画像データは、赤色の光の輝度を表す階調値(赤色階調値)と、緑色の光の輝度を表す階調値(緑色階調値)と、青色の光の輝度を表す階調値(青色階調値)を有する。そして、例えばi行j列目の赤色階調値がR、緑色階調値がG、青色階調値がBであることを、[R,G,B](i,j)と記載して示す。また、例えば1行1列目乃至m行n列目の赤色階調値がR、緑色階調値がG、青色階調値がBである、つまりすべての赤色階調値がR、すべての緑色階調値がG、全ての青色階調値がBであることを、[R,G,B](1,1)~(m,n)と記載して示す。なお、画素24が射出する光は、赤色の光と、緑色の光と、青色の光と、に限られない。例えば、画素24が、白色の光を射出してもよい。また、画素24が、シアンの光と、マゼンタの光と、黄色の光と、を射出してもよい。また、画素24が、赤色の光、緑色の光、又は青色の光を射出しなくてもよい。さらに、画素24が射出する光の数は、3色に限られず、例えば1色又は2色の光を射出してもよいし、4色以上の光を射出してもよい。
赤色階調値、緑色階調値、及び青色階調値がそれぞれ8ビットのデジタルデータである場合、R、G、Bがとり得る値はそれぞれ0乃至255の整数とすることができる。ここで、階調値が小さいほど画素24から射出される光の輝度を小さいものとする場合、光が射出されないことを階調値0で表すことができる。よって、例えば全ての画素24において、赤色の光、緑色の光、及び青色の光のいずれもが射出されないことを、[0,0,0](1,1)~(m,n)と記載して示すことができる。
上記より、データベース画像データDGINが有する第1の階調値が[0,0,0](1,1)~(m,n)である場合、画素24(1,1)乃至画素24(m,n)からは光が射出されないものとすることができる。よって、データベース画像データDGDPが有する第2の階調値も、[0,0,0](1,1)~(m,n)とすることができる。
画像処理システム10を用いた機械学習モデルの生成方法では、第1の階調値が[1,0,0](1,1)~(m,n)乃至[255,0,0](1,1)~(m,n)であるデータベース画像データDGINをそれぞれ表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得する。また、第1の階調値が[0,1,0](1,1)~(m,n)乃至[0,255,0](1,1)~(m,n)であるデータベース画像データDGINをそれぞれ表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得する。さらに、第1の階調値が[0,0,1](1,1)~(m,n)乃至[0,0,255](1,1)~(m,n)であるデータベース画像データDGINをそれぞれ表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得する。つまり、データベース画像データDGINが表す画像は、例えば全面が単色且つ同一輝度の画像とすることができる。
本明細書等において、「単色」という用語は、画素が一の色の光を射出することにより表される色を示す。例えば、画素が赤色の光と、緑色の光と、青色の光と、を射出する機能を有する場合、赤色の画像、緑色の画像、及び青色の画像を、単色の画像という。
また、本明細書等において、例えばデータベース画像データDGINにおける、i行j列目の赤色階調値が1である場合、対応するデータベース画像データDGDPにおける赤色階調値をR1DP(i,j)と記載して示す。また、例えばデータベース画像データDGINにおける、i行j列目の赤色階調値が255である場合、対応するデータベース画像データDGDPにおける赤色階調値をR255DP(i,j)と記載して示す。また、例えばデータベース画像データDGINにおける、i行j列目の緑色階調値が1である場合、対応するデータベース画像データDGDPにおける緑色階調値をG1DP(i,j)と記載して示す。また、例えばデータベース画像データDGINにおける、i行j列目の緑色階調値が255である場合、対応するデータベース画像データDGDPにおける緑色階調値をG255DP(i,j)と記載して示す。また、例えばデータベース画像データDGINにおける、i行j列目の青色階調値が1である場合、対応するデータベース画像データDGDPにおける青色階調値をB1DP(i,j)と記載して示す。さらに、例えばデータベース画像データDGINにおける、i行j列目の青色階調値が255である場合、対応するデータベース画像データDGDPにおける青色階調値をB255DP(i,j)と記載して示す。
ここで、第1の階調値と、当該第1の階調値と対応する第2の階調値と、は同一とは限らない。例えば、データベース画像データDGINが有する第1の階調値が[128,0,0](1,1)~(m,n)であったとしても、R128DP(1,1)乃至R128DP(m,n)がすべて128であるとは限らない。128より大きい場合もあり、また小さい場合もある。また、例えばR128DP(1,1)乃至R128DP(m,n)がすべて同一の値であるとも限らない。つまり、前述のように、データベース画像データDGDPが表す画像には、表示むら等が発生する場合がある。
なお、すべての階調値についてデータベース画像データDGINを表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得しなくてもよい。例えば、階調値[1,0,0](1,1)~(m,n)乃至[255,0,0](1,1)~(m,n)のうち、一部の階調値のデータベース画像データDGINを表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得してもよい。また、階調値[0,1,0](1,1)~(m,n)乃至[0,1,0](1,1)~(m,n)のうち、一部の階調値のデータベース画像データDGINを表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得してもよい。さらに、階調値[0,0,255](1,1)~(m,n)乃至[0,0,255](1,1)~(m,n)のうち、一部の階調値のデータベース画像データDGINを表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得してもよい。
上記のように、一部の階調値のデータベース画像データDGINを表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得する場合、表示装置20に入力しない階調値のデータベース画像データDGINに対応するデータベース画像データDGDPが有する第2の階調値は、表示装置20に入力したデータベース画像データDGINが有する第1の階調値と、当該第1の階調値に対応する第2の階調値と、を基に算出することができる。例えば、比例補間により算出することができる。また、所定の式を用いて算出することができる。
例えば、階調値[127,0,0](1,1)~(m,n)のデータベース画像データDGDPと、[129,0,0](1,1)~(m,n)のデータベース画像データDGDPは表示装置20に入力するが、階調値[128,0,0](1,1)~(m,n)のデータベース画像データDGDPは表示装置20に入力しないものとする。そして、例えばR127DP(i,j)の値を120、R129DP(i,j)の値を124とし、R128DP(i,j)をR127DP(i,j)とR129DP(i,j)の比例補間により算出するものとする。この場合、R128DP(i,j)の値は122とすることができる。なお、緑色階調値、及び青色階調値についても同様の方法で算出することができる。
一部の階調値についてデータベース画像データDGINを表示装置20に入力することにより、テーブルTを生成するために必要となる演算回数を少なくすることができる。これにより、テーブルTを短時間で生成することができる。
図6Aでは、データベース画像データDGINが表す画像は、全面が単色の画像とした。つまり、データベース画像データDGINとデータベース画像データDGDPの赤色階調値、緑色階調値、及び青色階調値を、別個に取得するものとしている。しかしながら、本発明の一態様はこれに限らない。図6Bは図6Aの変形例であり、データベース画像データDGINとデータベース画像データDGDPの赤色階調値、緑色階調値、及び青色階調値を一度に取得する点が、図6Aに示す場合と異なる。
図6Bに示す場合では、第1の階調値が[0,0,0](1,1)~(m,n)乃至[255,255,255](1,1)~(m,n)であるデータベース画像データDGINをそれぞれ表示装置20に入力し、データベース画像データDGDPが有する第2の階調値を取得する。つまり、データベース画像データDGINが表す画像を、赤色階調値、緑色階調値、及び青色階調値の全てが同一の画像(白色画像)とし、データベース画像データDGDPの赤色階調値、緑色階調値、及び青色階調値を取得する。取得された階調値を、テーブルTにより表す。テーブルTは、具体的には、データベース画像データDGINが有する赤色階調値と、当該赤色階調値の座標と対応する座標の、データベース画像データDGDPが有する赤色階調値と、を表す。また、テーブルTは、データベース画像データDGINが有する緑色階調値と、当該緑色階調値の座標と対応する座標の、データベース画像データDGDPが有する緑色階調値と、を表す。さらに、テーブルTは、データベース画像データDGINが有する青色階調値と、当該青色階調値の座標と対応する座標の、データベース画像データDGDPが有する青色階調値と、を表す。テーブルTは、例えばデータベース画像データDGINが有する赤色階調値と、当該赤色階調値の座標と同一の座標の、データベース画像データDGDPが有する赤色階調値と、を表す。また、テーブルTは、例えばデータベース画像データDGINが有する緑色階調値と、当該緑色階調値の座標と同一の座標の、データベース画像データDGDPが有する緑色階調値と、を表す。さらに、テーブルTは、例えばデータベース画像データDGINが有する青色階調値と、当該青色階調値の座標と同一の座標の、データベース画像データDGDPが有する青色階調値と、を表す。
データベース画像データDGINが表す画像を白色画像とすることにより、表示装置20に入力するデータベース画像データDGINの数を少なくすることができる。よって、テーブルTを生成するために必要となる演算回数を少なくすることができる。これにより、テーブルTを短時間で生成することができる。なお、データベース画像データDGINの赤色階調値、緑色階調値、及び青色階調値をすべて同一としなくてもよく、データベース画像データDGINの赤色階調値、緑色階調値、及び青色階調値のうち、一の色の階調値が他の色の階調値と異なってもよい。また、データベース画像データDGINの赤色階調値、緑色階調値、及び青色階調値が互いに異なっていてもよい。
[機械学習モデルの生成方法]
図7は、データベース42に格納したテーブルTを用いて、機械学習モデルMLMを生成する方法の一例を示すフローチャートである。図7に示すように、機械学習モデルMLMは、ステップS11乃至ステップS16に示す方法により生成される。図8A、図8B、図9A、図9B、及び図10は、ステップS11乃至ステップS16における動作を示す模式図である。
機械学習モデルMLMを生成するためには、まず、学習用画像データLGINを、表示装置20が有する入力部21に入力する。入力部21に入力された学習用画像データLGINは、表示部22に入力され、表示部22には学習用画像データLGINに対応する画像が表示される(ステップS11)。具体的には、学習用画像データLGINが有する、m行n列の階調値に対応する輝度の光を画素24が射出することにより、表示部22に画像を表示する。図8Aは、表示部22に表示される画像に、表示むら28が発生している状態を示している。
次に、表示部22に表示された画像を、撮像装置30で撮像する。これにより、撮像装置30が、撮像データIMGLGを取得する(ステップS12)。
前述のように、表示装置20が有する表示部22に表示された画像を撮像装置30で撮像する場合、表示部22以外の物体が撮像される場合がある。例えば、表示装置20の筐体が撮像される場合がある。図8Aでは、撮像データIMGLGには、図8Aに示す表示装置20のうち、破線で囲んだ部分が含まれるとしている。
その後、画像抽出部43が、撮像データIMGLGから学習用画像データLGDPを取得する(ステップS13)。ステップS13における動作は、撮像データIMGDGを撮像データIMGLGと読み替え、データベース画像データDGDPを学習用画像データLGDPと読み替え、図5Bを図8Bと読み替えることにより、ステップS03における動作の説明を参照することができる。
次に、学習用画像データLGINに対して、学習用画像データLGDPに近づくように画像処理部44が画像処理を行う。これにより、画像処理部44が、学習用画像データLGIPを生成する(ステップS14)。図9Aは、画像処理部44に入力される学習用画像データLGIN及び学習用画像データLGDPと、画像処理部44から出力される学習用画像データLGIPと、の一例を示す。
学習用画像データLGIPの生成は、例えば、学習用画像データLGIPの階調値の合計と、学習用画像データLGDPが有する階調値の合計と、の差が、学習用画像データLGIPの階調値の合計と、学習用画像データLGINが有する階調値の合計と、の差より小さくなるように、学習用画像データLGINが有する階調値を画像処理により変換することにより行うことができる。例えば、学習用画像データLGIPの階調値の合計が、学習用画像データLGDPが有する階調値の合計と等しくなるように、学習用画像データLGINが有する階調値を画像処理により変換することにより、学習用画像データLGIPを生成することができる。
また、学習用画像データLGIPの生成は、例えば、学習用画像データLGDPに対するPSNR、又はSSIMが、学習用画像データLGINに対するPSNR、又はSSIMより大きくなるように、学習用画像データLGINが有する階調値を画像処理により変換することで行うことができる。例えば、学習用画像データLGDPに対するPSNR、又はSSIMが最大となるように、学習用画像データLGINが有する階調値を画像処理により変換することで、学習用画像データLGIPを生成することができる。
前述のように、画像処理部44が行う画像処理は、例えばガンマ補正とすることができる。この場合、ガンマ値を適切な値に設定することにより、上記画像処理を行うことができる。
ここで、画像処理部44は、学習用画像データLGINに対する画像処理を、色ごとに行うことが好ましい。具体的には、例えば学習用画像データLGINに対してガンマ補正を行う場合、色ごとにガンマ値を算出することが好ましい。例えば、学習用画像データLGIPが有する赤色階調値の合計と、学習用画像データLGDPが有する赤色階調値の合計と、の差が、学習用画像データLGIPが有する赤色階調値の合計と、学習用画像データLGINが有する赤色階調値の合計と、の差より小さくなるように、学習用画像データLGINが有する赤色階調値を画像処理により変換することが好ましい。また、学習用画像データLGIPが有する緑色階調値の合計と、学習用画像データLGDPが有する緑色階調値の合計と、の差が、学習用画像データLGIPが有する緑色階調値の合計と、学習用画像データLGINが有する緑色階調値の合計と、の差より小さくなるように、学習用画像データLGINが有する緑色階調値を画像処理により変換することが好ましい。さらに、学習用画像データLGIPが有する青色階調値の合計と、学習用画像データLGDPが有する青色階調値の合計と、の差が、学習用画像データLGIPが有する青色階調値の合計と、学習用画像データLGINが有する青色階調値の合計と、の差より小さくなるように、学習用画像データLGINが有する青色階調値を画像処理により変換することが好ましい。例えば、学習用画像データLGIPが有する赤色階調値の合計が、学習用画像データLGDPが有する赤色階調値の合計と等しくなるように、学習用画像データLGINが有する赤色階調値を画像処理により変換することが好ましい。また、学習用画像データLGIPが有する緑色階調値の合計が、学習用画像データLGDPが有する緑色階調値の合計と等しくなるように、学習用画像データLGINが有する緑色階調値を画像処理により変換することが好ましい。さらに、学習用画像データLGIPが有する青色階調値の合計が、学習用画像データLGDPが有する青色階調値の合計と等しくなるように、学習用画像データLGINが有する青色階調値を画像処理により変換することが好ましい。
前述のように、「学習用画像データLGIPが有する階調値の合計」は、例えば学習用画像データLGIPが有するm行n列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。また、「学習用画像データLGINが有する階調値の合計」は、例えば学習用画像データLGINが有するm行n列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。さらに、「学習用画像データLGDPが有する階調値の合計」は、例えば学習用画像データLGDPが有するm行n列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。
本明細書等において、学習用画像データLGIPが有する、i行j列目の赤色階調値をRIP(i,j)と記載して示す。また、学習用画像データLGIPが有する、i行j列目の緑色階調値をGIP(i,j)と記載して示す。さらに、学習用画像データLGIPが有する、i行j列目の青色階調値をBIP(i,j)と記載して示す。
前述のように、画像処理部44から出力される学習用画像データLGIPが表す画像は、学習用画像データLGDPに近い画像となる。一方、画像処理部44による画像処理が行われる学習用画像データLGINが表す画像には表示むら28が含まれないことから、学習用画像データLGIPが表す画像にも表示むら28は含まれない。
その後、テーブルTに基づき、画像生成部45が、学習用画像データLGIPから学習用画像データLGGENを生成する(ステップS15)。図9Bは、画像生成部45にテーブルT及び学習用画像データLGIPが入力され、学習用画像データLGGENが出力される様子を示している。
具体的には、まず、学習用画像データLGIPの階調値を基に、テーブルTに含まれる第2の階調値を選択する。例えば、学習用画像データLGIPの階調値と一致する値、又は最も近い値の第2の階調値を、1行1列目乃至m行n列目のそれぞれについて選択する。具体的には、例えばRIP(i,j)と一致する値、又は最も近い値の赤色階調値を、R0DP(i,j)乃至R255DP(i,j)の中から選択する。また、例えばGIP(i,j)と一致する値、又は最も近い値の緑色階調値を、G0DP(i,j)乃至G255DP(i,j)の中から選択する。さらに、例えばBIP(i,j)と一致する値、又は最も近い値の青色階調値を、B0DP(i,j)乃至B255DP(i,j)の中から選択する。なお、図9Bでは、選択された1行1列目の第2の階調値を、[RaDP(1,1),GbDP(1,1),BcDP(1,1)](1,1)とする(a、b、cは0以上255以下の整数)。また、選択されたm行n列目の第2の階調値を、[RsDP(m,n),GtDP(m,n),BuDP(m,n)](m,n)とする(s、t、uは0以上255以下の整数)。
次に、画像生成部45が、テーブルTを基にして、選択された第2の階調値に対応する第1の階調値を含む画像データである、学習用画像データLGGENを生成する。具体的には、画像生成部45は、例えば選択された1行1列目乃至m行n列目の第2の階調値に対応する1行1列目乃至m行n列目の第1の階調値を含む画像データである、学習用画像データLGGENを生成する。例えば、図9Bに示す例では、学習用画像データLGGENにおける、1行1列目の赤色階調値はa、緑色階調値はb、青色階調値はcとなる。また、m行n列目の赤色階調値はs、緑色階調値はt、青色階調値はuとなる。
なお、例えば学習用画像データLGIPのi行j列目の階調値と一致する、i行j列目の第2の階調値がテーブルTに含まれない場合は、i行j列目の第2の階調値を選択しなくてもよい。この場合、学習用画像データLGGENのi行j列目の階調値は、学習用画像データLGIPのi行j列目の階調値と同一の値とすることができる。具体的には、例えばRIP(i,j)と一致する赤色階調値が、R0DP(i,j)乃至R255DP(i,j)の中に含まれない場合は、学習用画像データLGGENのi行j列目の赤色階調値は、RIP(i,j)とすることができる。また、例えばGIP(i,j)と一致する緑色階調値が、G0DP(i,j)乃至G255DP(i,j)の中に含まれない場合は、学習用画像データLGGENのi行j列目の緑色階調値は、GIP(i,j)とすることができる。さらに、例えばBIP(i,j)と一致する青色階調値が、B0DP(i,j)乃至B255DP(i,j)の中に含まれない場合は、学習用画像データLGGENのi行j列目の青色階調値は、BIP(i,j)とすることができる。
前述のように、学習用画像データLGIPが表す画像には、表示むら等が含まれない。一方、第2の階調値を有するデータベース画像データDGDPには、表示むら等が含まれる。また、第1の階調値を有するデータベース画像データDGINには、表示むら等が含まれない。以上より、学習用画像データLGIPの階調値を基に選択された第2の階調値に対応する第1の階調値を含む画像データである、学習用画像データLGGENは、学習用画像データLGDPに表れている表示むら等を打ち消すような画像データとすることができる。図9B等では、学習用画像データLGGENのうち、領域29に対応するデータに、表示むら28を打ち消すようなデータを付加している様子を示している。例えば、表示むら28が発生している部分の輝度が、当該部分の周辺部の輝度より高い場合、領域29の輝度は、領域29の周辺部の輝度より低くすることができる。
ステップS15の後、学習部46が、学習用画像データLGINと、学習用画像データLGGENと、を用いて、機械学習モデルMLMを生成する(ステップ16)。例えば、学習用画像データLGINを入力した場合に出力される画像データが、学習用画像データLGGENと一致するような機械学習モデルMLMを生成する。このような機械学習モデルMLMは、例えば学習用画像データLGINと、学習用画像データLGGENと、を教師データとする教師あり学習により生成することができる。図10は、学習用画像データLGINと、学習用画像データLGGENと、を学習部46に入力し、学習部46から出力される画像データが学習用画像データLGGENと同一の画像データとなるように機械学習モデルMLMを生成する様子を示している。なお、前述のように、機械学習モデルMLMとして、例えばニューラルネットワークモデルを適用することができる。
以上が画像処理システム10を用いた機械学習モデルMLMの生成方法の一例である。前述のように、入力部21に入力された画像データに対して、機械学習モデルMLMを用いて画像処理を行うことにより、機械学習処理部23は、表示むらを打ち消すような画像データを生成することができる。機械学習処理部23から出力された画像データを表示部22に入力することにより、表示部22は、表示むらを目立たなくした画像を表示することができる。よって、前述のように、表示部22に表示される画像に表示むらが視認されることを抑制しつつ、表示装置20を大型化することができる。また、表示部22に表示される画像に表示むらが視認されることを抑制しつつ、表示部22に設けられる画素24の密度を高め、表示部22に高精細な画像を表示することができる。
また、機械学習モデルMLMを用いて画像処理を行うことにより、前述のように表示むらの他にも、表示される画像の画質を低下させる要素を打ち消すことができる。例えば、線欠陥、点欠陥等を打ち消すことができる。よって、表示部22は、高品位な画像を表示することができる。
ここで、画像データを入力部21に入力し、ステップS11乃至ステップS15と同様の処理を行うことにより画像生成部45が生成した画像データを表示部22に入力した場合であっても、表示部22には、表示むら等を目立たなくした画像を表示することができる。しかしながら、ステップS11乃至ステップS15を行うには、高い演算能力が求められる。一方、生成済みの機械学習モデルMLMを用いた画像処理は、ステップS11乃至ステップS15より低い演算能力で行うことができる。よって、機械学習モデルMLMを用いて画像処理を行うことにより、短時間で画像処理を行うことができる。また、サーバのような演算能力の高い装置を用いずに、表示装置20の内部で画像処理を行うことができる。
なお、入力部21に入力された画像データに対する、表示むらを目立たなくするための画像処理を、例えば高い演算能力を有する装置により行うことができるのであれば、当該画像処理を、機械学習モデルMLMを用いずに、ステップS11乃至ステップS15と同様の方法により行ってもよい。また、例えば表示装置20の演算能力が十分高ければ、入力部21に入力された画像データに対する、表示むらを目立たなくするための画像処理を、機械学習モデルMLMを用いずに、ステップS11乃至ステップS15と同様の方法により行ってもよい。機械学習モデルMLMを用いずに画像処理を行う場合、生成装置40は学習部46を有しない構成とすることができる。
<輝点補正方法>
以下では、本発明の一態様の画像処理方法である、輝点補正方法について、図面を用いて説明する。
本発明の一態様の輝点補正方法では、輝点となる画素24を検出した後、検出した画素24に対して補正を行う。図11A、及び図11Bは、輝点となる画素24を検出する方法の一例を示す図である。ここで、図11Aに示す方法を方法M1とし、図11Bに示す方法を方法M2とする。なお、図11A、及び図11Bにおいて、表示むら等はないものとしている。
方法M1では、まず、輝点補正用画像データBCG_1INを、表示装置20が有する入力部21に入力する。その後、学習用画像データLGINを輝点補正用画像データBCG_1INと、撮像データIMGLGを撮像データIMGBCGと、学習用画像データLGDPを輝点補正用画像データBCGDPと、学習用画像データLGIPを輝点補正用画像データBCGIPと、学習用画像データLGGENを輝点補正用画像データBCG_1とそれぞれ読み替え、図7等に示すステップS11乃至ステップS15と同様の動作を行う(ステップS11’乃至ステップS15’)。例えば、ステップS11’、及びステップS12’において、輝点補正用画像データBCG_1INに対応する画像を表示部22に表示し、表示部22に表示された画像を撮像装置30で撮像することにより、撮像データIMGBCGを取得する。また、ステップS13’において取得された輝点補正用画像データBCGDPは、m行n列の階調値を有することができる。さらに、ステップS15’において、データベース画像データDGINが有する第1の階調値と、データベース画像データDGDPが有する第2の階調値と、の対応に関する情報を表すテーブルTに基づき、画像生成部45が、輝点補正用画像データBCGIPから輝点補正用画像データBCG_1を生成する。なお、輝点補正用画像データBCGDPを画像処理部44に供給せず、画像生成部45に供給する場合、ステップS14’に示す動作は行わない。この場合、ステップS15’において、画像生成部45は、輝点補正用画像データBCGDPから輝点補正用画像データBCG_1を生成する。
ここで、輝点となる画素が画素24(1,1)乃至画素24(m,n)の中に含まれる場合、輝点補正用画像データBCGDPが有するm行n列の階調値のうち、輝点となる画素24の座標に対応する座標の階調値、例えば輝点となる画素24と同一の座標の階調値は、高いものとなる。例えば、輝点補正用画像データBCGDPが有する階調値が、0乃至255のいずれかの整数値を取り得る場合、輝点となる画素24の座標に対応する座標の階調値は、255、又はそれに近い値となる。ここで、輝点補正用画像データBCGDPにおけるある座標の階調値が、当該座標の周辺の座標の階調値より高い場合、輝点補正用画像データBCG_1においては階調値を低くすることができる。
ステップS15’の後、表示装置20が有する輝点補正部50は、輝点補正用画像データBCG_1に基づき、輝点となる画素24の座標である輝点座標を検出する。具体的には、輝点補正用画像データBCG_1が有するm行n列の階調値のうち、しきい値以下の階調値の座標を輝点座標とすることができる。なお、輝点座標の検出は、生成装置40により行ってもよい。輝点座標の検出は、例えば生成装置40が有する画像生成部45により行ってもよい。
ここで、輝点補正用画像データBCGDP、及び輝点補正用画像データBCG_1の両方において、輝点座標の階調値と、輝点座標の周辺の座標の階調値と、の差が大きいと、輝点座標を高い精度で検出することができるため好ましい。よって、輝点補正用画像データBCG_1INが有する階調値は、中間階調であることが好ましい。例えば、輝点補正用画像データBCG_1INが有するm行n列の階調値の全てを、127、又はその近傍とすることが好ましい。図11Aでは、輝点補正用画像データBCG_1INの階調値をすべて同一の値の中間階調値とし、輝点補正用画像データBCGDPに、輝点として周辺の階調値より高い階調値53が含まれる例を示している。図11Aに示す例では、輝点補正用画像データBCG_1が有する階調値のうち、階調値53と同一座標の階調値54を、周辺の階調値より低くすることができる。
方法M2では、まず、輝点補正用画像データBCG_2INを、表示装置20が有する入力部21に入力する。その後、学習用画像データLGINを輝点補正用画像データBCG_2INと、撮像データIMGLGを撮像データIMGBCGと、学習用画像データLGDPを輝点補正用画像データBCG_2と読み替え、図7等に示すステップS11乃至ステップS13と同様の動作を行う(ステップS11’’乃至ステップS13’’)。例えば、ステップS11’’、及びステップS12’’において、輝点補正用画像データBCG_2INに対応する画像を表示部22に表示し、表示部22に表示された画像を撮像装置30で撮像することにより、撮像データIMGBCGを取得する。また、ステップS13’’において取得された輝点補正用画像データBCG_2は、m行n列の階調値を有することができる。
ここで、輝点となる画素が画素24(1,1)乃至画素24(m,n)の中に含まれる場合、輝点補正用画像データBCG_2が有するm行n列の階調値のうち、輝点となる画素24の座標に対応する座標の階調値、例えば輝点となる画素24と同一の座標の階調値は、高いものとなる。例えば、輝点補正用画像データBCG_2が有する階調値が、0乃至255のいずれかの整数値を取り得る場合、輝点となる画素24の座標に対応する座標の階調値は、255、又はそれに近い値となる。
ステップS13’’の後、表示装置20が有する輝点補正部50は、輝点補正用画像データBCG_2に基づき、輝点となる画素24の座標である輝点座標を検出する。具体的には、輝点補正用画像データBCG_2が有するm行n列の階調値のうち、しきい値以上の階調値の座標を輝点座標とすることができる。なお、輝点座標の検出は、生成装置40により行ってもよい。輝点座標の検出は、例えば生成装置40が有する画像抽出部43により行ってもよい。
ここで、輝点補正用画像データBCG_2において、輝点座標の階調値と、輝点座標の周辺の階調値と、の差が大きいと、輝点座標を高い精度で検出することができるため好ましい。一方、表示部22に入力される画像データが有する階調値が小さすぎると、階調値次第で輝点となり得る画素24であっても輝点とならず、輝点座標を高い精度で検出することができない場合がある。輝点補正用画像データBCG_2INの階調値は、以上を踏まえて決定することが好ましい。例えば、輝点補正用画像データBCG_2INが有するm行n列の階調値の全てを、0以上127以下、又は31以上127以下、又は63以上127以下とすることが好ましい。図11Bでは、輝点補正用画像データBCG_2に、輝点として周辺の階調値より高い階調値55が含まれる例を示している。
輝点座標を検出することにより、輝点補正部50は、輝点を補正する機能を有することができる。例えば、コンテンツ画像データCGMLが有するm行n列の階調値のうち、輝点座標に対応する座標、例えば輝点座標と同一の座標の階調値を小さくすることができ、例えば0とすることができる。輝点補正部50が、輝点座標に対応する座標の階調値を小さくしたコンテンツ画像データCGCORを生成して表示部22に供給することにより、例えば輝点となる画素24を暗点とすることができる。前述のように、表示部22に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。よって、コンテンツ画像データCGCORに対応する画像を表示部22に表示させることにより、表示部22に表示される画像を高品位なものとすることができる。
図12Aは、輝点補正用画像データBCG_1の階調値の実測値と、輝点補正用画像データBCG_1INの階調値との関係を示すグラフであり、方法M1により作成できるものである。ここで、輝点補正用画像データBCG_1INの階調値は、全面同一とした。図12Aにおいて、同一の輝点補正用画像データBCG_1INの階調値に対して複数のプロットが存在するが、これは輝点補正用画像データBCG_1の階調値の実測値を、複数の座標についてプロットしたことによる。
図12Aに示す線56は、輝点補正用画像データBCG_1INの各階調値における、プロットした輝点補正用画像データBCG_1の階調値の平均を表す。図12Aに示すように、輝点補正用画像データBCG_1の階調値の平均と、輝点補正用画像データBCG_1INの階調値と、の関係は、線形近似することができる。
ここで、前述のように、輝点座標における輝点補正用画像データBCG_1の階調値は、輝点座標ではない階調値より低くなる。よって、輝点補正用画像データBCG_1INの階調値ごとにしきい値を設け、例えばm行n列の輝点補正用画像データBCG_1の階調値のうち、しきい値未満の階調値の座標を輝点座標とすることができる。図12Aにおいて、しきい値を線57により示している。線57は、傾きが正の1次式により表すことができる。
方法M1において、階調値が異なる複数の輝点補正用画像データBCG_1INを用意し、それぞれに対して輝点補正用画像データBCG_1を生成することにより、輝点となる画素24の座標を輝点座標ではないと判定すること、及び輝点とならない画素24の座標を輝点座標であると判定することを抑制することができる。よって、輝点補正部50等は、輝点座標を高い精度で検出することができる。
図12Bは、画像抽出部43が生成する輝点補正用画像データBCGDPの階調値の実測値と、入力部21に入力される輝点補正用画像データBCGINの階調値と、の関係を示すグラフである。図12Bに示すように、輝点補正用画像データBCGDPの階調値と、輝点補正用画像データBCGINの階調値の関係は線形近似することはできず、例えばシグモイド曲線により近似される。
次に、方法M2で検出することができる画素24の一例について説明する。図13A1、及び図13A2は、輝点補正用画像データBCG_2の階調値と、輝点補正用画像データBCG_2INの階調値の関係を示すグラフである。
図13A1に示すグラフ61は、例えば表示装置20の製造時における、輝点補正用画像データBCG_2が有するm行n列の階調値の平均値と、輝点補正用画像データBCG_2INの階調値の関係とすることができる。なお、輝点補正用画像データBCG_2INが有する階調値は、例えば全面同一の値とすることができる。ここで、輝点補正用画像データBCG_2が有する階調値のうち、一部の階調値において、グラフ63に示す挙動をとるものとする。つまり、表示部22に入力される画像データの階調値が高くなると、一部の画素24から射出される光の輝度が、低下するものとする。そして、グラフ63に示す挙動をとる画素24は劣化しやすく、当該画素24を長期間使用する、つまり例えば当該画素24が有する表示素子に電圧を長期間供給すると、挙動が図13A2に示すグラフ63Aに変化するものとする。一方、グラフ61に示す挙動をとる画素24は劣化しにくく、長期間使用してもグラフ63Aに示す挙動をとらないものとする。
グラフ63Aに示す挙動をとる画素24は、輝点であるということができる。よって、図13A1のグラフ63に示す挙動をとる画素24は、例えば表示装置20の製造時点では輝点ではないが、表示装置20の使用に伴い輝点になる可能性が高い画素である。前述のように、画素24が輝点となると、視認性への影響が大きい。よって、図13A1のグラフ63に示す挙動をとる画素24は、例えば表示素子に供給する電圧を小さくして、暗点とすることが好ましい。これにより、画素24が輝点となることを抑制することができるため、表示装置20の信頼性を高めることができる。
図13Bは、グラフ63に示す挙動をとる画素24を検出する方法の一例を示す図である。図13Bに示すように、輝点補正用画像データBCG_2INの階調値は、高いものとする。例えば、輝点補正用画像データBCG_2INが有するm行n列の階調値の全てを、255、又はその近傍とする。このような輝点補正用画像データBCG_2INに基づき、ステップS11’’乃至ステップS13’’を行うと、輝点補正用画像データBCG_2の階調値のうち、グラフ63に示す挙動をとる画素24に対応する階調値は、周辺の階調値より低くなる。図13Bでは、輝点補正用画像データBCG_2に、周辺の階調値より低い階調値65が含まれる例を示している。階調値65に対応する画素24を、グラフ63に示す挙動をとる画素24、つまり長期間の使用により輝点となる画素24とすることができる。
よって、方法M2により、既に輝点となっている画素24だけでなく、表示装置20の使用に伴い輝点となる可能性が高い画素24を検出することができる。一方、方法M1では、輝点補正用画像データBCG_1の階調値のうち、グラフ63に示す挙動をとる画素24に対応する階調値は、周辺の階調値より高くなる。よって、入力部21に入力する輝点補正用画像データBCG_1INの階調値を高くすると、グラフ63に示す挙動をとる画素24を検出することが難しくなる。一方、入力部21に入力する輝点補正用画像データBCG_1INの階調値を低くすると、グラフ63がグラフ61に近くなるため、グラフ63に示す挙動をとる画素24を検出することが難しくなる。以上より、方法M1では、グラフ63に示す挙動をとる画素24を検出することは難しい。
以上より、方法M1と方法M2の両方を行うことで、例えば輝点となっている画素24を高い精度で検出できるだけでなく、表示装置20の使用に伴い輝点となる可能性が高い画素24も検出することができる。このように、方法M1と方法M2の両方を行うことで、例えば暗点とすべき画素24を網羅的に検出することができる。
図14は、輝点補正用画像データBCG_1の階調値の実測値と、輝点補正用画像データBCG_1INの階調値との関係を示すグラフであり、線57の代わりに線57A、及び線57Bが記載されている点が図12Aに示すグラフと異なる。
図14において、輝点補正用画像データBCG_1の階調値のうち、線57Aで示される階調値を第1のしきい値とし、線57Bで示される階調値を第2のしきい値とする。第1のしきい値は線56で示される値より小さく、第2のしきい値は第1のしきい値より小さい。線57A、及び線57Bは、線57と同様に傾きが正の1次式により表すことができる。
画像処理システム10を用いた画像処理方法の一例を、図14を用いて説明する。まず、方法M1により、図14に示すグラフを作成する。図14に示すグラフにおいて、例えばm行n列の輝点補正用画像データBCG_1の階調値のうち、第1のしきい値以下、且つ第2のしきい値以上の階調値の座標を第1の輝点座標とする。また、第2のしきい値未満の階調値の座標を第2の輝点座標とする。
また、方法M2により、輝点座標を検出する。当該輝点座標を、第3の輝点座標とする。
そして、コンテンツ画像データCGMLが輝点補正部50に入力された場合は、コンテンツ画像データCGMLが有するm行n列の階調値のうち、例えば第1の輝点座標と同一であり、且つ第3の輝点座標とも同一である座標の階調値を小さくする。また、例えば第3の輝点座標と同一であるか否かにかかわらず、第2の輝点座標と同一の座標の階調値を小さくする。これにより、輝点を補正することができ、表示部22に高品位な画像を表示させることができる。
以上のような方法で画像処理を行うことにより、例えば暗点としなくても視認性に大きな影響を及ぼさない画素24を暗点とすることを抑制することができる。これにより、表示部22に表示される画像の品位を、画素24を暗点とすることでかえって低下させることを抑制することができる。図14に示す例では、m行n列の画素24のうち、例えば第1の輝点座標とは同一であるが第3の輝点座標とは異なる座標の画素24は、暗点としなくても視認性に大きな影響を及ぼさないものとすることができる。よって、例えばコンテンツ画像データCGMLが有するm行n列の階調値のうち、第1の輝点座標とは同一であるが第3の輝点座標とは異なる座標の階調値は、補正しないものとすることができる。
以上が本発明の一態様の画像処理方法である、輝点補正方法の一例である。
<機械学習モデルの構成例>
図15Aは、機械学習モデルMLMの構成例を示す図である。図15Aに示すように、機械学習モデルMLMは、入力層ILと、中間層ML1と、中間層ML2と、中間層ML3と、出力層OLと、を有するニューラルネットワークモデルとすることができる。入力層ILと、中間層ML1と、中間層ML3と、出力層OLは、ニューロンにより構成されている層を複数有し、各層に設けられているニューロン同士が結合されている。入力層ILには、画像データを入力することができる。
入力層ILに入力される画像データは、m行n列の行列を、表示部22が有する副画素の種類の数と同数有することができる。例えば、画素24が、赤色(R)の光を射出する副画素と、緑色(G)の光を射出する副画素と、青色(B)の光を射出する副画素と、を有する場合、画像データは、赤色階調値を成分としたm行n列の行列と、緑色階調値を成分としたm行n列の行列と、青色階調値を成分としたm行n列の行列と、を有する。つまり、当該画像データは、3個の行列を有する構成とすることができる。
上記のように画像データが行列を含むものとすると、入力層ILが有するニューロンの数は、当該行列が有する成分の数と同数とすることができる。例えば、画像データが、1200行1920列の行列を3個有する場合、入力層ILが有するニューロンの数は、1920×1200×3とすることができる。また、画像データが行列を含むものとすると、出力層OLが有するニューロンの数は、当該行列が有する成分の数と同数とすることができる。例えば、画像データが、前述のように1200行1920列の行列を3個有する場合、出力層OLが有するニューロンの数は、1920×1200×3とすることができる。
中間層ML1は、中間層ML2に供給するデータD1を生成する機能を有する。データD1は、h個(hは2以上の整数)の成分xを有する行列とすることができる。
本明細書等において、例えばh個の成分xを、それぞれ成分x乃至成分xと記載して区別する。他の成分においても、同様の記載をする。
中間層ML1が有するニューロンの数は、入力層ILが有するニューロンの数より多くする。これにより、データD1が有する成分数を、入力層ILに入力される画像データが有する成分数より多くすることができる。中間層ML1が行うことができる演算処理の詳細については後述する。
中間層ML2は、成分xを、成分yに変換する機能を有する。例えば、中間層ML2は、非線形且つ多項式の1変数関数により、成分x乃至成分xをそれぞれ成分y乃至成分yに変換する機能を有する。当該関数の一例を以下に示す。
Figure JPOXMLDOC01-appb-M000001
ここで、iは1以上h以下の整数とすることができる。上記数式は、成分xを独立変数、成分yを従属変数とし、aを係数とする関数である。当該関数は、xのd乗(dは2以上の整数)を含む項を有する。図15Aでは、中間層ML2が上記数式で示される演算処理を行うとしている。
非線形且つ多項式の1変数関数の他の一例を以下に示す。
Figure JPOXMLDOC01-appb-M000002
上記数式は、xを独立変数、yを従属変数とし、aとbを係数とする関数である。当該関数は、成分xの余弦を含む項と、成分xの正弦を含む項と、を有する。なお、当該関数は、成分xの余弦を含む項を有していなくてもよい。また、当該関数は、成分xの正弦を含む項を有していなくてもよい。
以上により、中間層ML2は、成分y乃至成分yを有するデータを生成することができる。当該データを、データD2とする。データD2は、データD1と同様に行列とすることができる。
中間層ML3は、出力層OLに供給するデータを生成する機能を有する。中間層ML3が有するニューロンの数は、出力層OLが有するニューロンの数より多くする。これにより、出力層OLから出力される画像データが有する成分数を、データD2が有する成分数より少なくすることができる。中間層ML3が行うことができる演算処理の詳細については後述する。
なお、入力層ILと、中間層ML2と、の間に中間層を2つ以上設けてもよい。また、中間層ML2と、出力層OLと、の間に中間層を2つ以上設けてもよい。
図15Bは、機械学習モデルMLMが図15Aで示す構成である場合の、機械学習モデルMLMの生成方法の一例を示す図である。図7に示すように、機械学習モデルMLMは、ステップS16で生成される。よって、図15Bは、機械学習モデルMLMが図15Aで示す構成である場合の、ステップS16の動作の一例を示す図であるということができる。
前述のように、機械学習モデルMLMは、学習部46が生成することができる。具体的には、例えば学習用画像データLGINと、学習用画像データLGGENと、を用いて、機械学習モデルMLMを生成することができる。例えば、学習用画像データLGINを入力した場合に出力される画像データが学習用画像データLGGENと一致するように係数a1,0乃至係数an,kの値等を学習により取得することで、学習部46は機械学習モデルMLMを生成することができる。なお、中間層ML2が数式2に示す演算を行う場合は、係数aの値のほか、係数bの値も学習により取得する。
図16A、及び図16Bは、機械学習モデルMLMが適用された機械学習処理部23による演算の一例を示す図である。図16Aに示すように、中間層ML1により、コンテンツ画像データCGINと、フィルタfaと、の積和演算を行うことができる。ここで、図16Aに示す例では、コンテンツ画像データCGINは、1200行1920列の行列を3個含むものとする。つまり、コンテンツ画像データCGINは、横幅1920、高さ1200、チャネル数3のデータとする。また、フィルタfaのチャネル数は3とし、中間層ML1により、コンテンツ画像データCGINと、9個のフィルタfa(フィルタfa乃至フィルタfa)と、の積和演算を行うものとする。このような積和演算を行うことにより、中間層ML1からは、高さ1200、横幅1920、チャネル数9のデータD1を出力することができる。データD1は、成分x乃至成分x1920×1200×9を含むものとする。
データD1が有する成分x乃至成分x1920×1200×9は、中間層ML2において、数式1、又は数式2等により成分y乃至成分y1920×1200×9に変換することができる。成分y乃至成分y1920×1200×9を含むデータを、データD2とする。
図16Bに示すように、中間層ML3により、データD2と、フィルタfbと、の積和演算を行うことができる。ここで、データD2は、データD1と同様に、高さ1200、横幅1920、チャネル数9のデータとすることができる。また、フィルタfbのチャネル数は9とし、中間層ML3により、データD2と、3個のフィルタfb(フィルタfb乃至フィルタfb)と、の積和演算を行うものとする。このような積和演算を行うことにより、中間層ML3からは、横幅1920、高さ1200、チャネル数3のデータを出力することができる。当該データは、コンテンツ画像データCGMLとすることができる。
以上より、機械学習モデルMLMを用いて、例えばコンテンツ画像データCGINをコンテンツ画像データCGMLに変換することができる。
以上のように、図15Aに示す構成の機械学習モデルMLMでは、中間層ML2において、データD1に含まれる成分x乃至成分xを、非線形且つ多項式の1変数関数を用いてそれぞれ成分y乃至成分yに変換する。これにより、例えば線形の1変数関数、又は単項式の1変数関数を用いて成分x乃至成分xをそれぞれ成分y乃至成分yに変換する場合より、機械学習モデルMLMを用いた推論を高い精度で行うことができる。また、図16Aに示すフィルタfaの個数、及び図16Bに示すフィルタfbのチャネル数を少なくすることができるため、学習による機械学習モデルMLMの生成、及び機械学習モデルMLMによる推論に要する演算量を少なくすることができる。よって、学習、及び推論を高速に行うことができる。
本実施例では、図15Aに示す機械学習モデルMLMを取得するために学習を行った結果について説明する。
本実施例では、横幅1920、高さ1200、チャネル数3の画像データを学習データ、及び正解データとした教師あり学習により、機械学習モデルMLMを生成した。データD1に含まれる成分xは、中間層ML2により、数式1、数式2、又は数式“y=ax+b”を用いて、成分yに変換した。数式1、及び数式2において、d=5とした。
また、中間層ML1は図16Aに示す演算を行うものとし、中間層ML3は図16Bに示す演算を行うものとした。データD1に含まれる成分xを数式1、又は数式2を用いて成分yに変換する場合は、中間層ML1により画像データと、チャネル数3のフィルタfa乃至フィルタfaと、の積和演算を行うものとし、中間層ML3によりデータD1と、チャネル数9のフィルタfa乃至フィルタfaと、の積和演算を行うものとした。また、データD1に含まれる成分xを数式“y=ax+b”を用いて成分yに変換する場合は、中間層ML1により画像データと、チャネル数3のフィルタfa乃至フィルタfa162と、の積和演算を行うものとし、中間層ML3によりデータD2と、チャネル数が162のフィルタfb乃至フィルタfbと、の積和演算を行うものとした。
図17は、SSIMと、学習回数(epoch)と、の関係を示すグラフである。SSIMは、テストデータと、正解データと、を用いて算出した。SSIMが大きいほど、テストデータと、正解データと、の類似度が高いため、機械学習モデルMLMが高い精度で推論できることを示す。テストデータは、学習データ、及び正解データと同様に、横幅1920、高さ1200、チャネル数3の画像データとした。
前述のように、データD1に含まれる成分xを、数式1、又は数式2を用いて成分yに変換した場合は、成分xを数式“y=ax+b”を用いて成分yに変換した場合よりフィルタfaの個数、及びフィルタfbのチャネル数が少ない。これにもかかわらず、図17に示すように、学習回数が200以上である場合において、成分xを数式1、又は数式2を用いて成分yに変換した場合は、成分xを数式“y=ax+b”を用いて成分yに変換した場合よりSSIMが大きくなった。
10:画像処理システム、20:表示装置、21:入力部、22:表示部、23:機械学習処理部、24:画素、26:領域、29:領域、30:撮像装置、33:画素、40:生成装置、42:データベース、43:画像抽出部、44:画像処理部、45:画像生成部、46:学習部、50:輝点補正部、51:輝点、52:領域、53:階調値、54:階調値、55:階調値、56:線、57:線、57A:線、57B:線、61:グラフ、63:グラフ、63A:グラフ、65:階調値、126:配線、134:配線、161:トランジスタ、162:トランジスタ、170:発光素子、171:トランジスタ、173:容量、174:配線、175:配線、180:液晶素子、181:容量、182:配線、183:配線

Claims (8)

  1.  表示装置と、撮像装置と、学習装置と、を有し、
     前記表示装置は、入力部と、機械学習処理部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、
     前記学習装置は、データベースと、画像処理部と、画像生成部と、学習部と、を有し、
     前記データベースには、前記入力部に入力される第1の画像データと、前記第1の画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得した第2の画像データと、に基づき生成されたテーブルが格納され、
     前記第1の画像データは、m行n列の第1の階調値を有し、
     前記第2の画像データは、m行n列の第2の階調値を有し、
     前記テーブルは、前記第1の階調値と、前記第1の階調値の座標に対応する座標の前記第2の階調値と、を表し、
     前記画像処理部は、前記入力部に入力される第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、第3の学習用画像データを生成する機能を有し、
     前記第2の学習用画像データは、前記第1の学習用画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得された画像データであり、
     前記第3の学習用画像データは、m行n列の第3の階調値を有し、
     前記画像生成部は、前記第3の階調値を基に選択された前記第2の階調値に対応する前記第1の階調値を含む画像データである、第4の学習用画像データを生成する機能を有し、
     前記学習部は、前記第1の学習用画像データを入力した場合に出力される画像データが、前記第4の学習用画像データと一致するような機械学習モデルを生成し、前記機械学習処理部に前記機械学習モデルを出力する機能を有し、
     前記機械学習処理部は、前記入力部に入力されたコンテンツ画像データに対して、前記機械学習モデルによる処理を行う機能を有する画像処理システム。
  2.  請求項1において、
     前記第1の学習用画像データは、m行n列の第4の階調値を有し、
     前記第2の学習用画像データは、m行n列の第5の階調値を有し、
     前記画像処理部は、前記第3の階調値の合計と、前記第5の階調値の合計と、の差が、前記第4の階調値の合計と、前記第5の階調値の合計と、の差より小さくなるように前記画像処理を行う機能を有する画像処理システム。
  3.  請求項1又は2において、
     前記機械学習モデルは、ニューラルネットワークモデルである画像処理システム。
  4.  表示装置と、撮像装置と、生成装置と、を有し、
     前記表示装置は、入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、
     前記生成装置は、データベースと、画像生成部と、を有し、
     前記データベースには、前記入力部に入力される第1のデータベース画像データと、前記第1のデータベース画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生成されたテーブルが格納され、
     前記第1のデータベース画像データは、m行n列の第1の階調値を有し、
     前記第2のデータベース画像データは、m行n列の第2の階調値を有し、
     前記テーブルは、前記第1の階調値と、前記第1の階調値の座標に対応する座標の前記第2の階調値と、を表し、
     前記撮像装置は、前記入力部に入力される第1の輝点補正用画像データに対応する画像を前記表示部に表示させた場合に、前記表示部に表示させた画像を撮像することにより第2の輝点補正用画像データを取得する機能を有し、
     前記第2の輝点補正用画像データは、m行n列の第3の階調値を有し、
     前記画像生成部は、前記第3の階調値を基に選択された前記第2の階調値に対応する前記第1の階調値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、
     前記輝点補正部は、前記第3の輝点補正用画像データが有する、m行n列の前記第1の階調値のうち、しきい値以下の前記第1の階調値の座標を、輝点座標として検出する機能を有し、
     前記輝点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが前記入力部に入力された場合に、前記輝点座標と同一の座標の前記第4の階調値を小さくする機能を有する画像処理システム。
  5.  表示装置と、撮像装置と、生成装置と、を有し、
     前記表示装置は、入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列された表示部と、を有し、
     前記生成装置は、データベースと、画像生成部と、を有し、
     前記データベースには、前記入力部に入力される第1のデータベース画像データと、前記第1のデータベース画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生成されたテーブルが格納され、
     前記第1のデータベース画像データは、m行n列の第1の階調値を有し、
     前記第2のデータベース画像データは、m行n列の第2の階調値を有し、
     前記テーブルは、前記第1の階調値と、前記第1の階調値の座標に対応する座標の前記第2の階調値と、を表し、
     前記撮像装置は、前記入力部に入力される第1の輝点補正用画像データに対応する画像を前記表示部に表示させた場合に、前記表示部に表示させた画像を撮像することにより第2の輝点補正用画像データを取得する機能を有し、
     前記第2の輝点補正用画像データは、m行n列の第3の階調値を有し、
     前記画像生成部は、前記第3の階調値を基に選択された前記第2の階調値に対応する前記第1の階調値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、
     前記輝点補正部は、前記第3の輝点補正用画像データが有する、m行n列の前記第1の階調値のうち、第1のしきい値以下の前記第1の階調値の座標を、第1の輝点座標として検出する機能を有し、
     前記輝点補正部は、前記第2の輝点補正用画像データが有する、m行n列の前記第3の階調値のうち、第2のしきい値以上の前記第3の階調値の座標を、第2の輝点座標として検出する機能を有し、
     前記輝点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが前記入力部に入力された場合に、前記第1又は第2の輝点座標と同一の座標の前記第4の階調値を小さくする機能を有する画像処理システム。
  6.  請求項4又は5において、
     前記表示装置は、機械学習処理部を有し、
     前記生成装置は、画像処理部と、学習部と、を有し、
     前記画像処理部は、前記入力部に入力される第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、第3の学習用画像データを生成する機能を有し、
     前記第2の学習用画像データは、前記第1の学習用画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得された画像データであり、
     前記第3の学習用画像データは、m行n列の第5の階調値を有し、
     前記画像生成部は、前記第5の階調値を基に選択された前記第2の階調値に対応する前記第1の階調値を含む画像データである、第4の学習用画像データを生成する機能を有し、
     前記学習部は、前記第1の学習用画像データを入力した場合に出力される画像データが、前記第4の学習用画像データと一致するような機械学習モデルを生成し、前記機械学習処理部に前記機械学習モデルを出力する機能を有し、
     前記機械学習処理部は、前記入力部に入力された前記コンテンツ画像データに対して、前記機械学習モデルによる処理を行う機能を有する画像処理システム。
  7.  請求項6において、
     前記第1の学習用画像データは、m行n列の第6の階調値を有し、
     前記第2の学習用画像データは、m行n列の第7の階調値を有し、
     前記画像処理部は、前記第5の階調値の合計と、前記第7の階調値の合計と、の差が、前記第6の階調値の合計と、前記第7の階調値の合計と、の差より小さくなるように前記画像処理を行う機能を有する画像処理システム。
  8.  請求項6又は7において、
     前記機械学習モデルは、ニューラルネットワークモデルである画像処理システム。
PCT/IB2021/050600 2020-02-07 2021-01-27 画像処理システム WO2021156708A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021575095A JPWO2021156708A1 (ja) 2020-02-07 2021-01-27
US17/794,698 US20230067287A1 (en) 2020-02-07 2021-01-27 Image processing system
KR1020227028226A KR20220139332A (ko) 2020-02-07 2021-01-27 화상 처리 시스템
CN202180013116.7A CN115104144A (zh) 2020-02-07 2021-01-27 图像处理系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020020034 2020-02-07
JP2020-020034 2020-02-07
JP2020085322 2020-05-14
JP2020-085322 2020-05-14

Publications (1)

Publication Number Publication Date
WO2021156708A1 true WO2021156708A1 (ja) 2021-08-12

Family

ID=77199254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2021/050600 WO2021156708A1 (ja) 2020-02-07 2021-01-27 画像処理システム

Country Status (6)

Country Link
US (1) US20230067287A1 (ja)
JP (1) JPWO2021156708A1 (ja)
KR (1) KR20220139332A (ja)
CN (1) CN115104144A (ja)
TW (1) TW202147277A (ja)
WO (1) WO2021156708A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036571A (ko) * 2021-09-06 2023-03-15 삼성디스플레이 주식회사 감마 보정 방법 및 이를 채용한 표시 장치
US11763776B1 (en) * 2022-08-02 2023-09-19 Novatek Microelectronics Corp. Display device, processor, and image processing method
TWI831688B (zh) * 2023-05-04 2024-02-01 和碩聯合科技股份有限公司 監控圖像中亮度改變的方法及其裝置
CN117197128B (zh) * 2023-11-02 2024-01-30 宁波明禾新能源科技有限公司 一种折弯机的产品图像检测方法、系统和折弯机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166191A (ja) * 2004-12-09 2006-06-22 National Univ Corp Shizuoka Univ 多原色表示装置における色変換の高速化方式
JP2008014790A (ja) * 2006-07-05 2008-01-24 Sharp Corp 輝度算出方法、輝度算出装置、検査装置、輝度算出プログラムおよびコンピュータ読み取り可能な記録媒体
US20160189612A1 (en) * 2014-12-31 2016-06-30 Lg Display Co., Ltd. Organic light emitting diode display device and driving method thereof
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统
JP2018194719A (ja) * 2017-05-19 2018-12-06 株式会社半導体エネルギー研究所 表示システム及び電子機器
JP2019020714A (ja) * 2017-06-27 2019-02-07 株式会社半導体エネルギー研究所 表示システム及びデータ処理方法
US20190373206A1 (en) * 2018-06-05 2019-12-05 Samsung Electronics Co., Ltd. Mobile terminal adjusting image quality of display, and method of operating the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104730790B (zh) 2015-03-25 2018-05-11 深圳市华星光电技术有限公司 液晶显示装置、液晶显示器及其制作方法和暗点作业方法
KR102567319B1 (ko) 2016-04-28 2023-08-16 엘지디스플레이 주식회사 분할노광 장치 및 이를 이용한 액정표시장치의 제조방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166191A (ja) * 2004-12-09 2006-06-22 National Univ Corp Shizuoka Univ 多原色表示装置における色変換の高速化方式
JP2008014790A (ja) * 2006-07-05 2008-01-24 Sharp Corp 輝度算出方法、輝度算出装置、検査装置、輝度算出プログラムおよびコンピュータ読み取り可能な記録媒体
US20160189612A1 (en) * 2014-12-31 2016-06-30 Lg Display Co., Ltd. Organic light emitting diode display device and driving method thereof
JP2018194719A (ja) * 2017-05-19 2018-12-06 株式会社半導体エネルギー研究所 表示システム及び電子機器
JP2019020714A (ja) * 2017-06-27 2019-02-07 株式会社半導体エネルギー研究所 表示システム及びデータ処理方法
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统
US20190373206A1 (en) * 2018-06-05 2019-12-05 Samsung Electronics Co., Ltd. Mobile terminal adjusting image quality of display, and method of operating the same

Also Published As

Publication number Publication date
JPWO2021156708A1 (ja) 2021-08-12
US20230067287A1 (en) 2023-03-02
TW202147277A (zh) 2021-12-16
KR20220139332A (ko) 2022-10-14
CN115104144A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
WO2021156708A1 (ja) 画像処理システム
JP4602942B2 (ja) 平板表示装置とその画質制御装置及び方法
CN107369408B (zh) 调色方法、调色装置、显示驱动器和显示系统
US7639849B2 (en) Methods, apparatus, and devices for noise reduction
JP5010814B2 (ja) 有機el表示装置の製造方法
KR102023184B1 (ko) 표시장치, 데이터 처리장치 및 그 방법
CN108877631B (zh) 显示屏的Mura补偿方法、装置、计算机设备及存储介质
JP2005527861A (ja) 画素欠陥マスキング
JP4617076B2 (ja) 表示補正回路及び表示装置
KR102025184B1 (ko) 데이터 변환 장치 및 이를 이용한 디스플레이 장치
TWI443639B (zh) 影像顯示裝置及驅動該影像顯示裝置的方法
JP5174837B2 (ja) 表示装置、輝度ムラ補正方法、補正データ作成装置、および補正データ作成方法
US11017701B2 (en) Correction data generating device, computer program, method for generating correction data, and method for producing display panel
JP2011039451A (ja) 表示装置、輝度ムラ補正方法、補正データ作成装置、および補正データ作成方法
DE102015211677A1 (de) System und verfahren zum extrahieren von korrelationskurven für eine organische leuchtvorrichtung
JP6480669B2 (ja) 表示装置、表示装置の駆動方法及び電子機器
CN109935206B (zh) 基于神经网络的显示器件亮度补偿方法、装置及设备
CN111312172A (zh) 一种图像处理方法
CN110599943A (zh) 显示面板像素补偿方法及补偿装置、显示面板
CN115019744A (zh) 电压确定方法和电压确定装置
JP2005070080A (ja) 階調補正方法およびプログラム
KR100658261B1 (ko) 라인 무라 결함을 검출하는 방법
CN117392930B (zh) 一种基于CIEXYZ数据进行高效Demura处理的方法和系统
CN114495839B (zh) 一种显示面板的面外压降补偿方法及装置
US20240089400A1 (en) Color adjustment apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21750195

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575095

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227028226

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21750195

Country of ref document: EP

Kind code of ref document: A1