TW202147277A - 影像處理系統 - Google Patents

影像處理系統 Download PDF

Info

Publication number
TW202147277A
TW202147277A TW110103789A TW110103789A TW202147277A TW 202147277 A TW202147277 A TW 202147277A TW 110103789 A TW110103789 A TW 110103789A TW 110103789 A TW110103789 A TW 110103789A TW 202147277 A TW202147277 A TW 202147277A
Authority
TW
Taiwan
Prior art keywords
image data
image
learning
grayscale value
bright spot
Prior art date
Application number
TW110103789A
Other languages
English (en)
Inventor
秋元健吾
三嶋大地
Original Assignee
日商半導體能源研究所股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商半導體能源研究所股份有限公司 filed Critical 日商半導體能源研究所股份有限公司
Publication of TW202147277A publication Critical patent/TW202147277A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)

Abstract

提供一種能夠減少顯示在顯示裝置上的影像的顯示不均勻的影像處理系統。該影像處理系統包括顯示裝置、攝像裝置及學習裝置。學習裝置容納有示出有關第一影像資料與第二影像資料的對應的資訊的表，第二影像資料是藉由將與第一影像資料對應的影像顯示在顯示裝置上，由攝像裝置拍攝該影像來生成的影像資料。學習裝置基於表生成監督資料，使用所生成的監督資料生成機器學習模型。藉由對輸入到顯示裝置的影像資料進行使用機器學習模型的影像處理，可以減少顯示裝置所顯示的影像的顯示不均勻。

Description

影像處理系統
本發明的一個實施方式係關於一種影像處理系統。
液晶顯示器、有機EL顯示器等顯示裝置可以在基板上塗佈光阻劑之後隔著遮罩進行曝光及構圖來製造。為了使顯示裝置大型化，基板也需要變大，但是有時不能夠隨著基板的尺寸使遮罩變大。作為在此情況下製造顯示裝置的方法，專利文獻1公開了將基板面內分割成與遮罩的尺寸對應的多個曝光區域，對各曝光區域進行曝光的方法。
此外，有時由於顯示裝置的像素所包括的顯示元件、電晶體等的特性不良或劣化等而產生缺陷像素。缺陷像素例如變為亮點或暗點。在看到顯示裝置所顯示的影像時，亮點比暗點顯眼，給可見度帶來的影響很大。因此，在亮點較多時，有時不能夠在顯示裝置上顯示高品質的影像。專利文獻2公開了在顯示裝置的製程中使亮點變為暗點的方法。
[專利文獻1]日本專利申請公開第2017-198990號公報 [專利文獻2]日本PCT國際申請翻譯第2018-514801號公報
在進行上述分割曝光時，由於遮罩從曝光區域錯位，有時曝光區域的邊界的曝光量與其他區域的曝光量不同。因此，有時曝光區域的邊界的像素所包括的元件的特性與其他區域的像素所包括的元件的特性不同。由此，有時曝光區域的邊界的像素所發射的光的亮度有時在灰階同一的情況下也與其他區域的像素所發射的光的亮度不同。有時該亮度的不同作為顯示不均勻被看到。
作為使顯示不均勻變得不顯眼的方法，有對輸入到顯示裝置的影像資料進行影像處理的方法。例如，有進行使用機器學習的影像處理的方法。明確而言，使用生成裝置生成機器學習模型，對輸入到顯示裝置的影像資料進行利用機器學習模型的影像處理。當顯示裝置利用生成裝置所生成的機器學習模型進行影像處理時，可以說由顯示裝置和生成裝置構成影像處理系統。
即便為在製造顯示裝置時不是亮點的像素，有時顯示裝置的長期使用導致構成像素的顯示元件、電晶體等的劣化，其電特性變動，從而該像素變為亮點。難以在顯示裝置的製程中去除這種亮點。
本發明的一個實施方式的目的之一是提供一種能夠使顯示裝置所顯示的影像的顯示不均勻變得不顯眼的影像處理系統。本發明的另一個實施方式的目的之一是提供一種能夠使顯示裝置所顯示的影像變得高品質的影像處理系統。本發明的另一個實施方式的目的之一是提供一種包括大型顯示裝置的影像處理系統。本發明的另一個實施方式的目的之一是提供一種包括能夠顯示高清晰度影像的顯示裝置的影像處理系統。本發明的另一個實施方式的目的之一是提供一種能夠以短時間進行影像處理的影像處理系統。本發明的另一個實施方式的目的之一是提供一種包括可靠性高的顯示裝置的影像處理系統。
本發明的另一個實施方式的目的之一是提供一種新穎影像處理系統、新穎影像處理方法、新穎生成裝置、新穎機器學習模型的生成方法、新穎影像處理裝置或新穎顯示裝置等。
注意，這些目的的記載不妨礙其他目的的存在。另外，本發明的一個實施方式不一定需要實現所有上述目的。另外，從說明書、圖式、申請專利範圍等的記載中可明顯看出這些目的以外的目的，而可以從說明書、圖式、申請專利範圍等的記載中衍生這些目的以外的目的。
本發明的一個實施方式係關於一種包括顯示裝置、攝像裝置及學習裝置的影像處理系統、以及使用該影像處理系統的機器學習模型的生成方法。在顯示裝置中，將m行n列(m、n為2以上的整數)的像素排列為矩陣狀。學習裝置包括資料庫。資料庫容納有基於第一影像資料及第二影像資料生成的表，第二影像資料是藉由將與第一影像資料對應的影像顯示在顯示裝置上，由攝像裝置拍攝該影像來取得的影像資料。第一影像資料具有m行n列的第一灰階值，第二影像資料具有m行n列的第二灰階值。明確而言，表示出第一灰階值及與第一灰階值的座標對應的座標的第二灰階值。
當生成機器學習模型時，首先，將與第一學習用影像資料對應的影像顯示在顯示裝置上，由攝像裝置拍攝顯示裝置所顯示的影像來取得第二學習用影像資料。接著，學習裝置藉由對第一學習用影像資料基於第二學習用影像資料進行影像處理來生成具有m行n列的第三灰階值的第三學習用影像資料。明確而言，學習裝置藉由對第一學習用影像資料以靠近第二學習用影像資料的方式進行影像處理來生成具有m行n列的第三灰階值的第三學習用影像資料。例如，以第一行第一列至第m行第n列的第三灰階值的總和與第二學習用影像資料的第一行第一列至第m行第n列的灰階值的總和相等的方式對第一學習用影像資料進行影像處理。
然後，學習裝置基於第一行第一列至第m行第n列的各第三灰階值分別選擇第一行第一列至第m行第n列的第二灰階值。例如，分別選擇第一行第一列至第m行第n列的與第三灰階值一致或最靠近的第二灰階值。接著，生成具有與所選擇的第二灰階值對應的第一灰階值的影像資料的第四學習用影像資料。並且，學習裝置生成在輸入第一學習用影像資料時輸出的影像資料與第四學習用影像資料一致的機器學習模型。
學習裝置所生成的機器學習模型被供應到顯示裝置。因此，顯示裝置可以對輸入到顯示裝置的影像資料進行利用機器學習模型的影像處理。例如，可以利用機器學習模型對輸入到顯示裝置的影像資料進行用來減少顯示不均勻的影像處理。
本發明的一個實施方式是一種包括顯示裝置、攝像裝置及學習裝置的影像處理系統，顯示裝置包括輸入部、機器學習處理部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部，學習裝置包括資料庫、影像處理部、影像生成部及學習部，資料庫容納有基於第一影像資料及第二影像資料生成的表，第一影像資料是向輸入部輸入的影像資料，第二影像資料是藉由將與第一影像資料對應的影像顯示在顯示部上，攝像裝置以具有顯示部所顯示的影像的方式拍攝來取得的影像資料，第一影像資料具有m行n列的第一灰階值，第二影像資料具有m行n列的第二灰階值，表示出第一灰階值及與第一灰階值的座標對應的座標的第二灰階值，影像處理部具有藉由對向輸入部輸入的第一學習用影像資料基於第二學習用影像資料進行影像處理來生成第三學習用影像資料的功能，第二學習用影像資料是藉由將與第一學習用影像資料對應的影像顯示在顯示部上，攝像裝置以具有顯示部所顯示的影像的方式拍攝來取得的影像資料，第三學習用影像資料具有m行n列的第三灰階值，影像生成部具有生成第四學習用影像資料的功能，第四學習用影像資料是具有與基於第三灰階值選擇的第二灰階值對應的第一灰階值的影像資料，學習部具有生成在輸入第一學習用影像資料時輸出的影像資料與第四學習用影像資料一致的機器學習模型並將機器學習模型輸出到機器學習處理部的功能，機器學習處理部具有對向輸入部輸入的內容影像資料進行利用機器學習模型的處理的功能。
在上述實施方式中，第一學習用影像資料也可以具有m行n列的第四灰階值，第二學習用影像資料也可以具有m行n列的第五灰階值，影像處理部也可以具有以第三灰階值的總和與第五灰階值的總和之差小於第四灰階值的總和與第五灰階值的總和之差的方式進行影像處理的功能。
在上述實施方式中，機器學習模型也可以為神經網路模型。
本發明的另一個實施方式是一種使用包括將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部的影像處理系統的機器學習模型的生成方法，藉由從像素發射與第一灰階值對應的亮度的光，將與具有m行n列的第一灰階值的第一影像資料對應的影像顯示在顯示部上，藉由以具有顯示部所顯示的與第一影像資料對應的影像的方式拍攝來取得具有m行n列的第二灰階值的第二影像資料，生成示出第一灰階值及與第一灰階值的座標對應的座標的第二灰階值的表，藉由將與第一學習用影像資料對應的影像顯示在顯示部上，以具有顯示部所顯示的與第一學習用影像資料對應的影像的方式拍攝來取得第二學習用影像資料，藉由對第一學習用影像資料基於第二學習用影像資料進行影像處理來生成具有m行n列的第三灰階值的第三學習用影像資料，生成第四學習用影像資料，第四學習用影像資料是具有與基於第三灰階值選擇的第二灰階值對應的第一灰階值的影像資料，生成在輸入第一學習用影像資料時輸出的影像資料與第四學習用影像資料一致的機器學習模型。
在上述實施方式中，第一學習用影像資料也可以具有m行n列的第四灰階值，第二學習用影像資料也可以具有m行n列的第五灰階值，影像處理也可以以第三灰階值的總和與第五灰階值的總和之差小於第四灰階值的總和與第五灰階值的總和之差的方式進行影像處理。
在上述實施方式中，機器學習模型也可以為神經網路模型。
本發明的另一個實施方式是一種包括顯示裝置、攝像裝置及生成裝置的影像處理系統，顯示裝置包括輸入部、亮點校正部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部，生成裝置包括資料庫及影像生成部，資料庫容納有基於第一資料庫影像資料及第二資料庫影像資料生成的表，第一資料庫影像資料是向輸入部輸入的影像資料，第二資料庫影像資料是藉由將與第一資料庫影像資料對應的影像顯示在顯示部上，攝像裝置以具有顯示部所顯示的影像的方式拍攝來取得的影像資料，第一資料庫影像資料具有m行n列的第一灰階值，第二資料庫影像資料具有m行n列的第二灰階值，表示出第一灰階值及與第一灰階值的座標對應的座標的第二灰階值，攝像裝置具有藉由在將與向輸入部輸入的第一亮點校正用影像資料對應的影像顯示於顯示部上時拍攝顯示於顯示部上的影像來取得第二亮點校正用影像資料的功能，第二亮點校正用影像資料具有m行n列的第三灰階值，影像生成部具有生成第三亮點校正用影像資料的功能，第三亮點校正用影像資料是具有與基於第三灰階值選擇的第二灰階值對應的第一灰階值的影像資料，亮點校正部具有將第三亮點校正用影像資料所具有的m行n列的第一灰階值中的臨界值以下的第一灰階值的座標檢測為亮點座標的功能，亮點校正部具有在具有m行n列的第四灰階值的內容影像資料被輸入到輸入部時減小與亮點座標同一座標的第四灰階值的功能。
本發明的另一個實施方式是一種包括顯示裝置、攝像裝置及生成裝置的影像處理系統，顯示裝置包括輸入部、亮點校正部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部，生成裝置包括資料庫及影像生成部，資料庫容納有基於第一資料庫影像資料及第二資料庫影像資料生成的表，第一資料庫影像資料是向輸入部輸入的影像資料，第二資料庫影像資料是藉由將與第一資料庫影像資料對應的影像顯示在顯示部上，攝像裝置以具有顯示部所顯示的影像的方式拍攝來取得的影像資料，第一資料庫影像資料具有m行n列的第一灰階值，第二資料庫影像資料具有m行n列的第二灰階值，表示出第一灰階值及與第一灰階值的座標對應的座標的第二灰階值，攝像裝置具有藉由在將與向輸入部輸入的第一亮點校正用影像資料對應的影像顯示於顯示部上時拍攝顯示於顯示部上的影像來取得第二亮點校正用影像資料的功能，第二亮點校正用影像資料具有m行n列的第三灰階值，影像生成部具有生成第三亮點校正用影像資料的功能，第三亮點校正用影像資料是具有與基於第三灰階值選擇的第二灰階值對應的第一灰階值的影像資料，亮點校正部具有將第三亮點校正用影像資料所具有的m行n列的第一灰階值中的第一臨界值以下的第一灰階值的座標檢測為第一亮點座標的功能，亮點校正部具有將第二亮點校正用影像資料所具有的m行n列的第三灰階值中的第二臨界值以上的第三灰階值的座標檢測為第二亮點座標的功能，亮點校正部具有在具有m行n列的第四灰階值的內容影像資料被輸入到輸入部時減小與第一或第二亮點座標同一座標的第四灰階值的功能。
本發明的另一個實施方式是一種包括顯示裝置、攝像裝置及生成裝置的影像處理系統，顯示裝置包括輸入部、亮點校正部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部，生成裝置包括資料庫及影像生成部，資料庫容納有基於第一資料庫影像資料及第二資料庫影像資料生成的表，第一資料庫影像資料是向輸入部輸入的影像資料，第二資料庫影像資料是藉由將與第一資料庫影像資料對應的影像顯示在顯示部上，攝像裝置以具有顯示部所顯示的影像的方式拍攝來取得的影像資料，第一資料庫影像資料具有m行n列的第一灰階值，第二資料庫影像資料具有m行n列的第二灰階值，表示出第一灰階值及與第一灰階值的座標對應的座標的第二灰階值，攝像裝置具有藉由在將與向輸入部輸入的第一亮點校正用影像資料對應的影像顯示於顯示部上時拍攝顯示於顯示部上的影像來取得第二亮點校正用影像資料的功能，第二亮點校正用影像資料具有m行n列的第三灰階值，影像生成部具有生成第三亮點校正用影像資料的功能，第三亮點校正用影像資料是具有與基於第三灰階值選擇的第二灰階值對應的第一灰階值的影像資料，亮點校正部具有將第三亮點校正用影像資料所具有的m行n列的第一灰階值中的第一臨界值以下且第二臨界值以上的第一灰階值的座標及小於第二臨界值的第一灰階值的座標分別檢測為第一亮點座標及第二亮點座標的功能，亮點校正部具有將第二亮點校正用影像資料所具有的m行n列的第三灰階值中的第三臨界值以上的第三灰階值的座標檢測為第三亮點座標的功能，亮點校正部具有在具有m行n列的第四灰階值的內容影像資料被輸入到輸入部時減小與第一亮點座標及第三亮點座標的兩者同一座標的第四灰階值的功能，且具有減小與第二亮點座標同一座標的第四灰階值的功能。
在上述實施方式中，顯示裝置也可以包括機器學習處理部，生成裝置也可以包括影像處理部及學習部，影像處理部也可以具有藉由對向輸入部輸入的第一學習用影像資料基於第二學習用影像資料進行影像處理來生成第三學習用影像資料的功能，第二學習用影像資料也可以是藉由將與第一學習用影像資料對應的影像顯示在顯示部上，攝像裝置以具有顯示部所顯示的影像的方式拍攝來取得的影像資料，第三學習用影像資料也可以具有m行n列的第五灰階值，影像生成部也可以具有生成第四學習用影像資料的功能，第四學習用影像資料也可以是具有與基於第五灰階值選擇的第二灰階值對應的第一灰階值的影像資料，學習部也可以具有生成在輸入第一學習用影像資料時輸出的影像資料與第四學習用影像資料一致的機器學習模型並將機器學習模型輸出到機器學習處理部的功能，機器學習處理部也可以具有對向輸入部輸入的內容影像資料進行利用機器學習模型的處理的功能。
在上述實施方式中，第一學習用影像資料也可以具有m行n列的第六灰階值，第二學習用影像資料也可以具有m行n列的第七灰階值，影像處理部也可以具有以第五灰階值的總和與第七灰階值的總和之差小於第六灰階值的總和與第七灰階值的總和之差的方式進行影像處理的功能。
在上述實施方式中，機器學習模型也可以為神經網路模型。
根據本發明的一個實施方式，可以提供一種能夠使顯示裝置所顯示的影像的顯示不均勻變得不顯眼的影像處理系統。根據本發明的另一個實施方式，可以提供一種能夠使顯示裝置所顯示的影像變得高品質的影像處理系統。根據本發明的另一個實施方式，可以提供一種包括大型顯示裝置的影像處理系統。根據本發明的另一個實施方式，可以提供一種包括能夠顯示高清晰度影像的顯示裝置的影像處理系統。根據本發明的另一個實施方式，可以提供一種能夠以短時間進行影像處理的影像處理系統。根據本發明的另一個實施方式，可以提供一種包括可靠性高的顯示裝置的影像處理系統。
根據本發明的另一個實施方式，可以提供一種新穎影像處理系統、新穎影像處理方法、新穎生成裝置、新穎機器學習模型的生成方法、新穎影像處理裝置或新穎顯示裝置等。
注意，本發明的一個實施方式的效果不侷限於上述效果。上述效果並不妨礙其他效果的存在。另外，其他效果是指將在下面的記載中描述的上述以外的效果。本領域技術人員可以從說明書、圖式等的記載中導出並適當衍生上述以外的效果。此外，本發明的一個實施方式具有上述效果及/或其他效果中的至少一個效果。因此，本發明的一個實施方式根據情況而有時沒有上述效果。
參照圖式對實施方式進行詳細說明。注意，本發明不侷限於下面說明，所屬技術領域的通常知識者可以很容易地理解一個事實就是其方式及詳細內容在不脫離本發明的精神及其範圍的情況下可以被變換為各種各樣的形式。因此，本發明不應該被解釋為僅限定在以下所示的實施方式所記載的內容中。
另外，在下面所說明的發明的結構中，在不同的圖式中共同使用相同的元件符號來表示相同的部分或具有相同功能的部分，而省略其重複說明。此外，當表示具有相同功能的部分時有時使用相同的陰影線，而不特別附加元件符號。
另外，為了便於理解，有時圖式中示出的各構成的位置、大小及範圍等並不表示其實際的位置、大小及範圍等。因此，所公開的發明不一定侷限於圖式所公開的位置、大小、範圍等。
另外，在本說明書中使用的“第一”、“第二”、“第三”等序數詞是為了避免組件的混淆而附記的，而不是為了在數目方面上進行限定的。
實施方式 在本實施方式中，參照圖式說明本發明的一個實施方式的影像處理系統等。
＜影像處理系統＞ 圖1是示出影像處理系統10的結構例子的方塊圖。影像處理系統10包括顯示裝置20、攝像裝置30及生成裝置40。生成裝置40較佳為設置在伺服器等具有高運算能力的設備中。
顯示裝置20包括輸入部21、顯示部22、機器學習處理部23及亮點校正部50。生成裝置40包括資料庫42、影像抽出部43、影像處理部44、影像生成部45及學習部46。
圖2A是示出顯示部22的結構例子的方塊圖。如圖2A所示，在顯示部22中，將m行n列(m、n為2以上的整數)的像素24排列為矩陣狀。同一行的像素24藉由同一佈線134彼此電連接，同一列的像素24藉由同一佈線126彼此電連接。像素24包括顯示元件，可以使用顯示元件在顯示部22上顯示影像。
在本說明書等中，將m行n列的像素24各自稱為像素24(1，1)至像素24(m，n)而互相區別。有時也對其他組件進行相同記載。此外，例如有時將(1，1)至(m，n)稱為座標。
在本說明書等中，可以將顯示元件換稱為顯示器件。此外，可以將發光元件換稱為發光器件，可以將液晶元件換稱為液晶器件。有時也可以將其他元件的“元件”換稱為“器件”。
在圖1中，以箭頭示出影像處理系統10的組件間的資料通訊。注意，圖1所示的資料通訊只是一個例子，有時例如可以在沒有以箭頭結合的組件間進行資料通訊等。此外，有時在以箭頭結合的組件間也不進行資料通訊。
輸入部21被輸入影像資料。可以將輸入到輸入部21的影像資料輸出到顯示部22、機器學習處理部23、資料庫42、影像處理部44或學習部46。
作為輸入到輸入部21的影像資料，可以舉出資料庫影像資料DGIN 、學習用影像資料LGIN 、亮點校正用影像資料BCGIN 及內容影像資料CGIN 等。資料庫影像資料DGIN 可以從輸入部21供應到顯示部22及資料庫42。學習用影像資料LGIN 可以從輸入部21供應到顯示部22及影像處理部44。亮點校正用影像資料BCGIN 可以從輸入部21供應到顯示部22及影像處理部44。內容影像資料CGIN 可以從輸入部21供應到機器學習處理部23。
顯示部22具有顯示與影像資料對應的影像的功能。影像資料可以為灰階值的集合。例如，供應到顯示部22的影像資料可以具有m行n列的灰階值。此時，像素24藉由發射與灰階值對應的亮度的光，可以在顯示部22上顯示影像。灰階值可以為數位值。例如，在灰階值為8位元的數位值時，灰階值可取的值可以為0至255的整數。
機器學習處理部23具有基於生成裝置40所生成的機器學習模型對影像資料進行影像處理的功能。明確而言，具有基於學習部46所生成的機器學習模型MLM對從輸入部21輸入的內容影像資料CGIN 進行影像處理的功能。由機器學習處理部23進行了影像處理的影像資料作為內容影像資料CGML 被供應到亮點校正部50。
作為機器學習模型MLM，例如可以利用多層感知器、神經網路模型等。尤其是，當利用神經網路模型時，可以高效地進行影像處理而在顯示部22上顯示高品質的影像，所以是較佳的。作為神經網路模型，例如可以使用自編碼器、U-net、pix2pix等生成模型。注意，即使是上述以外的機器學習模型，只要進行貝葉斯推理(Bayesian inference)，則可以將其用作機器學習模型MLM。此外，機器學習模型MLM較佳為獨立地處理輸入值及輸出值進行學習及推論。
亮點校正部50具有校正內容影像資料CGML 的功能。明確而言，亮點校正部50具有校正內容影像資料CGML 所具有的灰階值的功能。雖然將在後面進行說明，亮點校正部50具有基於影像生成部45所生成的亮點校正用影像資料BCG_1或影像抽出部43所生成的亮點校正用影像資料BCG_2校正內容影像資料CGML 所具有的灰階值的功能。校正後的影像資料作為內容影像資料CGCOR 被供應到顯示部22。
在本說明書等中，有時將亮點校正用影像資料BCG_1及亮點校正用影像資料BCG_2等總稱為亮點校正用影像資料BCG。明確而言，在記載有亮點校正用影像資料BCG時，例如示出亮點校正用影像資料BCG_1和亮點校正用影像資料BCG_2中的一個。注意，有時也對其他資料等進行相同記載。
亮點校正部50具有為了使顯示部22的亮點變得不顯眼而校正內容影像資料CGML 的功能。亮點校正部50例如具有以使亮點暗點化的方式校正內容影像資料CGML 的功能。如上所述，藉由在顯示裝置20中設置亮點校正部50，可以提高顯示部22所顯示的影像的品質。
在本說明書等中，“暗點化”及“變為暗點”是指降低從作為亮點的像素24發射的光的亮度。因此，即便是暗點化了的像素24，從該像素24發射的光的亮度也可以不是0。
顯示裝置20也可以不包括亮點校正部50。此時，亮點校正用影像資料BCGIN 不輸入到輸入部21。另外，機器學習處理部23所輸出的內容影像資料CGML 可以被供應到顯示部22。
攝像裝置30具有藉由拍攝來取得攝像資料的功能。明確而言，攝像裝置30可以以具有顯示部22所顯示的影像的方式拍攝。所取得的攝像資料被供應到影像抽出部43。在此，攝像資料IMGDG 是如下攝像資料：將與資料庫影像資料DGIN 對應的影像顯示在顯示部22上，攝像裝置30以具有該影像的方式拍攝來取得的攝像資料。此外，攝像資料IMGLG 是如下攝像資料：將與學習用影像資料LGIN 對應的影像顯示在顯示部22上，攝像裝置30以具有該影像的方式拍攝來取得的攝像資料。另外，攝像資料IMGBCG 是如下攝像資料：將與亮點校正用影像資料BCGIN 對應的影像顯示在顯示部22上，攝像裝置30以具有該影像的方式拍攝來取得的攝像資料。注意，攝像資料可以為灰階值的集合。
影像抽出部43具有從攝像資料IMGDG 、攝像資料IMGLG 及攝像資料IMGBCG 等抽出表示顯示部22所顯示的影像的部分的資料的功能。當攝像裝置30以具有顯示部22所顯示的影像的方式拍攝時，有時也拍攝顯示部22之外的區域。例如，有時除了顯示部22之外還拍攝顯示裝置20的外殼。如此，影像抽出部43具有在攝像資料具有顯示部22所顯示的影像之外的部分時抽出表示顯示部22所顯示的影像的部分的資料的功能。資料的抽出可以藉由模式匹配法、範本匹配法等進行。例如，當從具有顯示部22所顯示的影像和顯示裝置20的外殼的攝像資料抽出表示顯示部22所顯示的影像的部分的資料時，可以指定表示顯示裝置20的外殼的模式並將不具有該模式的部分設定為表示顯示部22所顯示的影像的部分的資料。此外，藉由對攝像資料IMGDG 、攝像資料IMGLG 及攝像資料IMGBCG 等進行邊緣檢測，可以抽出表示顯示部22所顯示的影像的部分的資料。
由影像抽出部43從攝像資料IMGDG 抽出的資料為資料庫影像資料DGDP 。由影像抽出部43從攝像資料IMGLG 抽出的資料為學習用影像資料LGDP 。由影像抽出部43從攝像資料IMGBCG 抽出的資料為亮點校正用影像資料BCGDP 。資料庫影像資料DGDP 被供應到資料庫42，學習用影像資料LGDP 及亮點校正用影像資料BCGDP 被供應到影像處理部44。此外，也可以將亮點校正用影像資料BCGDP 不供應到影像處理部44而供應到影像生成部45。
影像抽出部43可以將亮點校正用影像資料BCGDP 供應到亮點校正部50。供應到亮點校正部50的亮點校正用影像資料BCGDP 為亮點校正用影像資料BCG_2。
雖然將在後面進行說明，但是影像處理系統10具有取得示出有關資料庫影像資料DGIN 與資料庫影像資料DGDP 的對應的資訊的表的功能。另外，影像處理系統10具有對學習用影像資料LGIN 和學習用影像資料LGDP 進行比較的功能。此外，影像處理系統10具有對亮點校正用影像資料BCGIN 和亮點校正用影像資料BCGDP 進行比較的功能。
因此，資料庫影像資料DGIN 所表示的影像的清晰度較佳為與資料庫影像資料DGDP 所表示的影像的清晰度相等。明確而言，資料庫影像資料DGIN 所具有的灰階值的行數及列數較佳為與資料庫影像資料DGDP 所具有的灰階值的行數及列數相等。例如，在資料庫影像資料DGIN 具有m行n列的灰階值時，較佳為資料庫影像資料DGDP 所具有的灰階值也是m行n列的灰階值。另外，學習用影像資料LGIN 所表示的影像的清晰度較佳為與學習用影像資料LGDP 所表示的影像的清晰度相等。明確而言，學習用影像資料LGIN 所具有的灰階值的行數及列數較佳為與學習用影像資料LGDP 所具有的灰階值的行數及列數相等。例如，在學習用影像資料LGIN 具有m行n列的灰階值時，較佳為學習用影像資料LGDP 所具有的灰階值也是m行n列的灰階值。另外，亮點校正用影像資料BCGIN 所表示的影像的清晰度較佳為與亮點校正用影像資料BCGDP 所表示的影像的清晰度相等。明確而言，亮點校正用影像資料BCGIN 所具有的灰階值的行數及列數較佳為與亮點校正用影像資料BCGDP 所具有的灰階值的行數及列數相等。例如，在亮點校正用影像資料BCGIN 具有m行n列的灰階值時，較佳為亮點校正用影像資料BCGDP 所具有的灰階值也是m行n列的灰階值。
在本說明書等中，有時將資料庫影像資料DGIN 所具有的灰階值稱為第一灰階值。此外，有時將資料庫影像資料DGDP 所具有的灰階值稱為第二灰階值。
影像抽出部43可以對從攝像資料抽出的資料進行上變頻(up-conversion)或下變頻(down-conversion)。例如，當由影像抽出部43從攝像資料IMGDG 抽出的資料所具有的灰階值的行數或列數少於資料庫影像資料DGIN 的行數或列數時，可以對由影像抽出部43從攝像資料IMGDG 抽出的資料進行上變頻。此外，當由影像抽出部43從攝像資料IMGDG 抽出的資料所具有的灰階值的行數或列數多於資料庫影像資料DGIN 的行數或列數時，可以對由影像抽出部43從攝像資料IMGDG 抽出的資料進行下變頻。如上所述，可以使資料庫影像資料DGDP 所具有的灰階值的行數及列數與資料庫影像資料DGIN 所具有的灰階值的行數及列數相等。攝像資料IMGLG 及攝像資料IMGBCG 也是相同的。上變頻及下變頻可以藉由最近鄰插值法、雙線性插值法、雙三次插值法等進行。
資料庫42可以容納示出有關資料庫影像資料DGIN 與資料庫影像資料DGDP 的對應的資訊的表T。明確而言，表T示出有關資料庫影像資料DGIN 所具有的第一灰階值與資料庫影像資料DGDP 所具有的第二灰階值的對應的資訊。表T例如示出第一灰階值及與該第一灰階值的座標對應的座標的第二灰階值。表T例如示出第一灰階值及與該第一灰階值的座標同一的座標的第二灰階值。
影像處理部44具有藉由對學習用影像資料LGIN 基於學習用影像資料LGDP 進行影像處理來生成學習用影像資料LGIP 的功能。就是說，具有如下功能：藉由對學習用影像資料LGIN 與學習用影像資料LGDP 進行比較，根據比較結果對學習用影像資料LGIN 進行影像處理，由此生成學習用影像資料LGIP 。例如，具有藉由對學習用影像資料LGIN 以靠近學習用影像資料LGDP 的方式進行影像處理來生成學習用影像資料LGIP 的功能。此外，影像處理部44具有對亮點校正用影像資料BCGIN 也相同地進行影像處理來生成亮點校正用影像資料BCGIP 的功能。
影像處理部44例如具有以學習用影像資料LGIP 所具有的灰階值的總和與學習用影像資料LGDP 所具有的灰階值的總和之差小於學習用影像資料LGIP 所具有的灰階值的總和與學習用影像資料LGIN 所具有的灰階值的總和之差的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換的功能。影像處理部44例如具有以學習用影像資料LGIP 所具有的灰階值的總和與學習用影像資料LGDP 所具有的灰階值的總和相等的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換的功能。注意，“學習用影像資料LGIP 所具有的灰階值的總和”既可以為學習用影像資料LGIP 所具有的所有灰階值的總和，又可以為部分灰階值的總和。此外，“學習用影像資料LGIN 所具有的灰階值的總和”既可以為學習用影像資料LGIN 所具有的所有灰階值的總和，又可以為部分灰階值的總和。另外，“學習用影像資料LGDP 所具有的灰階值的總和”既可以為學習用影像資料LGDP 所具有的所有灰階值的總和，又可以為部分灰階值的總和。
影像處理部44例如具有以學習用影像資料LGIP 的相對於學習用影像資料LGDP 的峰值信噪比(PSNR：Peak Signal-to-Noise Ratio)或結構相似性(SSIM：Structural SIMilarity)比相對於學習用影像資料LGIN 的PSNR或SSIM更大的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換的功能。影像處理部44例如具有以相對於學習用影像資料LGDP 的PSNR或SSIM最大的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換來生成學習用影像資料LGIP 的功能。
由影像處理部44進行的影像處理例如可以為伽瑪校正。此時，藉由將伽瑪值設定為適當值，可以進行上述影像處理。
影像處理部44例如具有以亮點校正用影像資料BCGIP 所具有的灰階值的總和與亮點校正用影像資料BCGDP 所具有的灰階值的總和之差小於亮點校正用影像資料BCGIP 的灰階值的總和與亮點校正用影像資料BCGIN 所具有的灰階值的總和之差的方式藉由影像處理對亮點校正用影像資料BCGIN 所具有的灰階值進行變換的功能。關於該影像處理等，藉由將學習用影像資料LGIP 換稱為亮點校正用影像資料BCGIP ，將學習用影像資料LGDP 換稱為亮點校正用影像資料BCGDP ，將學習用影像資料LGIN 換稱為亮點校正用影像資料BCGIN ，可以援用上述說明。
影像生成部45具有基於學習用影像資料LGIP 所具有的灰階值選擇表T所具有的第二灰階值的功能。例如，資料庫影像資料DGIN 具有m行n列的第一灰階值，資料庫影像資料DGDP 具有m行n列的第二灰階值，學習用影像資料LGIP 具有m行n列的灰階值。此時，影像生成部45可以基於學習用影像資料LGIP 的第一行第一列至第m行第n列的灰階值分別選擇第一行第一列至第m行第n列的第二灰階值。明確而言，可以分別選擇第一行第一列至第m行第n列的與學習用影像資料LGIP 的灰階值一致或最靠近的第二灰階值。例如，表T示出有關k個(k為2以上的整數)資料庫影像資料DGIN 與k個資料庫影像資料DGDP 的對應的資訊。此時，例如可以將與學習用影像資料LGIP 的第i行第j列(i為1以上且m以下的整數，j為1以上且n以下的整數)的灰階值一致或最靠近的第二灰階值選自k個第i行第j列的第二灰階值中。此外，影像生成部45具有基於亮點校正用影像資料BCGIP 所具有的灰階值藉由與上述方法相同的方法選擇表T所具有的第二灰階值的功能。另外，在將影像抽出部43所生成的亮點校正用影像資料BCGDP 供應到影像生成部45時，可以基於亮點校正用影像資料BCGDP 所具有的灰階值藉由與上述方法相同的方法選擇表T所具有的第二灰階值。
在本說明書等中，例如有時將第i行第j列的灰階值稱為“座標(i，j)的灰階值”。
影像生成部45具有生成學習用影像資料LGGEN 的功能，學習用影像資料LGGEN 是具有與基於學習用影像資料LGIP 選擇的第二灰階值對應的第一灰階值的影像資料。與此相同，影像生成部45具有生成亮點校正用影像資料BCG_1的功能，亮點校正用影像資料BCG_1是具有與基於亮點校正用影像資料BCGIP 選擇的第二灰階值對應的第一灰階值的影像資料。注意，例如在表T具有與學習用影像資料LGIP 的第i行第j列的灰階值一致的第i行第j列的多個第二灰階值時，可以選擇該多個第二灰階值中的一個第二灰階值。並且，可以將與所選擇的第二灰階值對應的第一灰階值包括在學習用影像資料LGGEN 中。亮點校正用影像資料BCGIP 等也是相同的。
另外，例如在表T不具有與學習用影像資料LGIP 的第i行第j列的灰階值一致的第i行第j列的第二灰階值時，也可以不選擇第i行第j列的第二灰階值。此時，學習用影像資料LGGEN 的第i行第j列的灰階值可以為與學習用影像資料LGIP 的第i行第j列的灰階值同一的值。亮點校正用影像資料BCGIP 等也是相同的。
學習部46具有使用學習用影像資料LGIN 和學習用影像資料LGGEN 生成機器學習模型MLM的功能。例如，學習部46具有生成在輸入學習用影像資料LGIN 時輸出的影像資料與學習用影像資料LGGEN 一致的機器學習模型MLM的功能。學習部46例如具有藉由使用學習用影像資料LGIN 和學習用影像資料LGGEN 的監督學習生成這種機器學習模型MLM的功能。如此，機器學習模型MLM可以藉由學習來生成。由此，學習部46所生成的機器學習模型MLM可以為已學習了的機器學習模型。
學習部46所生成的機器學習模型MLM被供應到機器學習處理部23。機器學習處理部23可以藉由基於機器學習模型MLM進行推論來對影像資料進行影像處理。
圖2B1及圖2B2是示出圖2A所示的像素24的結構例子的電路圖。明確而言，圖2B1及圖2B2是示出像素24所具有的子像素的結構例子的電路圖。圖2B1所示的像素24包括電晶體161、電晶體171、電容器173及發光元件170。在圖2B1所示的像素24中，發光元件170可以為顯示元件。
電晶體161的源極和汲極中的一個與電晶體171的閘極電連接。電晶體171的閘極與電容器173的一個電極電連接。電晶體171的源極和汲極中的一個與發光元件170的一個電極電連接。
電晶體161的源極和汲極中的另一個與佈線126電連接。電晶體161的閘極與佈線134電連接。電晶體171的源極和汲極中的另一個及電容器173的另一個電極與佈線174電連接。發光元件170的另一個電極與佈線175電連接。
佈線174及佈線175可以被供應恆電位。例如，如圖2B1所示，在發光元件170的陽極與電晶體171的源極和汲極中的一個電連接且發光元件170的陰極與佈線175電連接時，佈線174可以被供應高電位，佈線175可以被供應低電位。
發光元件170例如可以為有機EL元件或無機EL元件。
在設置於顯示部22中的像素24具有圖2B1所示的結構時，藉由控制流過發光元件170的電流的大小而控制發光元件170的發光亮度，可以在顯示部22上顯示影像。流過發光元件170的電流越大，發光元件的發光亮度越大。
圖2B2所示的像素24包括電晶體162、電容器181及液晶元件180。在圖2B2所示的像素24中，液晶元件180可以為顯示元件。
電晶體162的源極和汲極中的一個與液晶元件180的一個電極電連接。液晶元件180的一個電極與電容器181的一個電極電連接。
電晶體162的源極和汲極中的另一個與佈線126電連接。電晶體162的閘極與佈線134電連接。電容器181的另一個電極與佈線182電連接。液晶元件180的另一個電極與佈線183電連接。
佈線182及佈線183可以被供應恆電位。佈線182及佈線183例如可以被供應低電位。
在設置於顯示部22中的像素24具有圖2B2所示的結構時，包含在液晶元件180中的液晶分子根據液晶元件180的一對電極間的電壓配向。液晶分子例如可以根據配向程度透過來自能夠包括在顯示裝置20中的背光單元的光。如上所述，液晶元件180的另一個電極與佈線183電連接，被供應恆電位。如上所述，藉由控制液晶元件180的一個電極的電位，像素24可以發射與該電位對應的亮度的光，由此可以在顯示部22上顯示影像。
圖3A是一種示意圖，其示出將輸入到輸入部21的內容影像資料CGIN 直接輸入到顯示部22時的顯示部22所顯示的內容影像G_1DP 的一個例子。圖3B是一種示意圖，其示出將內容影像資料CGIN 經過機器學習處理部23及亮點校正部50輸入到顯示部22時的顯示部22所顯示的內容影像G_2DP 的一個例子。
在不進行影像處理等而將內容影像資料CGIN 輸入到顯示部22時，有時如上所述那樣產生顯示不均勻及亮點等。圖3A示出在顯示部22所顯示的影像中產生顯示不均勻25及亮點51的狀態。
藉由機器學習模型MLM對內容影像資料CGIN 進行影像處理，機器學習處理部23可以生成抵消顯示不均勻的內容影像資料CGML 。在圖3B中，機器學習處理部23藉由對內容影像資料CGIN 中的與區域26對應的資料附上抵消顯示不均勻25的資料來生成內容影像資料CGML 。例如，在產生顯示不均勻25的部分的亮度高於該部分的周邊部的亮度時，區域26的亮度可以低於區域26的周邊部的亮度。
另外，藉由基於亮點校正用影像資料BCG(例如，亮點校正用影像資料BCG_1和亮點校正用影像資料BCG_2中的一個)對內容影像資料進行影像處理，亮點校正部50可以生成校正亮點而使該亮點變得不顯眼的內容影像資料CGCOR 。例如，可以生成使亮點暗點化的內容影像資料CGCOR 。在圖3B中，藉由對內容影像資料CGML 中的與產生亮點51的區域52對應的資料如上使亮點51變得不顯眼的資料，亮點校正部50生成內容影像資料CGCOR 。
以上，如圖3B所示，藉由機器學習處理部23及亮點校正部50對輸入到輸入部21的內容影像資料CGIN 進行影像處理，顯示部22可以顯示使顯示不均勻及亮點變得不顯眼的影像。
如上所述，在使顯示裝置20大型化而顯示部22的面積變大時，容易產生顯示不均勻。此外，在使設置於顯示部22中的像素24微型化而顯示部22的像素密度變高時，像素24所包括的顯示元件及電晶體等的特性中的像素24間的偏差變大，由此容易產生顯示不均勻。在本發明的一個實施方式中，可以使顯示部22所顯示的顯示不均勻變得不顯眼。以上，藉由本發明的一個實施方式，可以抑制在顯示部22所顯示的影像中看到顯示不均勻並使顯示裝置20大型化。另外，可以抑制在顯示部22所顯示的影像中看到顯示不均勻，提高設置在顯示部22中的像素24的密度，並且在顯示部22上顯示高清晰度的影像。
如上所述，有時由於像素24所包括的顯示元件、電晶體等的特性不良或劣化等而產生變為亮點的像素24或變為暗點的像素24。在看到顯示部22所顯示的影像時，亮點比暗點顯眼，給可見度帶來的影響很大。在本發明的一個實施方式中，藉由由亮點校正部50等校正亮點變為暗點等，可以在顯示部22上顯示高品質的影像。注意，亮點的校正也可以藉由機器學習處理部23進行。
在圖1所示的影像處理系統10中，可以將具有生成機器學習模型MLM的功能的學習部46設置在生成裝置40中，將具有進行利用機器學習模型MLM的處理的功能的機器學習處理部23設置在顯示裝置20中。因此，即便顯示裝置20不生成機器學習模型MLM，顯示裝置20也可以進行利用機器學習模型MLM的處理。為了生成機器學習模型MLM需要使用較多的學習用影像資料LGIN 及學習用影像資料LGGEN 等，而且被要求高運算能力。以上，藉由將學習部46設置在生成裝置40中，可以使顯示裝置20的運算能力低於生成裝置40的運算能力。
＜機器學習模型的生成方法＞ 以下，參照圖式說明機器學習模型MLM的生成方法。如圖2A所示，顯示部22中以矩陣狀排列有m行n列的像素24。影像資料所具有的灰階值為8位元的數位值，灰階值越小從像素24發射的光的亮度越小。例如，當灰階值可取的值為0至255的整數時，在灰階值0的情況下，從像素24發射的光的亮度最小。
[表的生成方法] 圖4是示出容納在資料庫42中的表T的生成方法的一個例子的流程圖。如圖4所示，表T藉由步驟S01至步驟S04所示的方法來生成。圖5A、圖5B、圖6A及圖6B是示出步驟S01至步驟S04的工作的示意圖。
為了生成表T，首先將資料庫影像資料DGIN 輸入到顯示裝置20所包括的輸入部21。輸入到輸入部21的資料庫影像資料DGIN 被輸入到顯示部22，在顯示部22上顯示與資料庫影像資料DGIN 對應的影像(步驟S01)。明確而言，藉由由像素24發射資料庫影像資料DGIN 所具有的與m行n列的第一灰階值對應的亮度的光，在顯示部22上顯示影像。
在圖5A中，資料庫影像資料DGIN 表示整個面的亮度同一的影像。就是說，假設所有像素24發射同一亮度的光。另一方面，在顯示部22所顯示的影像中，從部分像素24發射的光的亮度與從其他像素24發射的光的亮度不同。就是說，產生顯示不均勻。在圖5A中，示出所發生的顯示不均勻作為顯示不均勻27。
接著，由攝像裝置30拍攝顯示部22所顯示的影像。因此，攝像裝置30取得攝像資料IMGDG (步驟S02)。
在此，當由攝像裝置30拍攝顯示裝置20中的顯示部22所顯示的影像時，有時拍攝顯示部22以外的物體。例如，有時拍攝顯示裝置20的外殼。在圖5A中，攝像資料IMGDG 具有圖5A所示的顯示裝置20中的由虛線圍繞的部分。
然後，影像抽出部43從攝像資料IMGDG 取得資料庫影像資料DGDP (步驟S03)。明確而言，從攝像資料IMGDG 抽出表示顯示部22所顯示的影像的部分的資料。例如，如圖5B所示，在攝像資料IMGDG 具有顯示部22所顯示的影像及顯示裝置20的外殼時，從攝像資料IMGDG 抽出表示顯示部22所顯示的影像的部分的資料，去除表示顯示裝置20的外殼的部分的資料。因此，取得資料庫影像資料DGDP 。如上所述，可以藉由模式匹配法、範本匹配法等從攝像資料IMGDG 抽出資料。
如上所述，資料庫影像資料DGIN 所表示的影像的清晰度較佳為與資料庫影像資料DGDP 所表示的影像的清晰度相等。例如，當資料庫影像資料DGIN 具有m行n列的第一灰階值時，資料庫影像資料DGDP 較佳為具有m行n列的第二灰階值。然而，例如在從攝像資料IMGDG 抽出表示顯示部22所顯示的影像的部分的資料時，有時所抽出的資料的灰階值不是m行n列的灰階值。例如，有時在灰階值的行數比m行少或比m行多。另外，有時在灰階值的列數比n列少或比n列多。
如上所述，在從攝像資料IMGDG 抽出的資料的灰階值不是m行n列的灰階值時，較佳為藉由由影像抽出部43對該資料進行上變頻或下變頻，從影像抽出部43輸出的資料庫影像資料DGDP 具有m行n列的第二灰階值。例如，當由影像抽出部43從攝像資料IMGDG 抽出的資料所具有的灰階值少於m行或n列時，可以對由影像抽出部43從攝像資料IMGDG 抽出的資料進行上變頻。此外，當由影像抽出部43從攝像資料IMGDG 抽出的資料所具有的灰階值多於m行或n列時，可以對由影像抽出部43從攝像資料IMGDG 抽出的資料進行下變頻。如上所述，可以使資料庫影像資料DGDP 所具有的第二灰階值的行數及列數與資料庫影像資料DGIN 所具有的第一灰階值的行數及列數相等，亦即m行n列的灰階值。如上所述，上變頻及下變頻可以藉由最近鄰插值法、雙線性插值法、雙三次插值法等進行。
並且，資料庫42容納示出有關資料庫影像資料DGIN 與資料庫影像資料DGDP 的對應的資訊的表T(步驟S04)。如上所述，明確而言，表T示出有關資料庫影像資料DGIN 所具有的第一灰階值與資料庫影像資料DGDP 所具有的第二灰階值的對應的資訊。表T例如示出第一灰階值及與該第一灰階值的座標對應的座標的第二灰階值。表T例如示出第一灰階值及與該第一灰階值的座標同一的座標的第二灰階值。
圖6A示出表T的一個例子。圖6A在箭頭的左側示出資料庫影像資料DGIN 所具有的第一灰階值，在箭頭的右側示出資料庫影像資料DGDP 所具有的第二灰階值。
在此，像素24具有發射紅色光、綠色光及藍色光的功能。此時，影像資料包括表示紅色光的亮度的灰階值(紅色灰階值)、表示綠色光的亮度的灰階值(綠色灰階值)及表示藍色光的亮度的灰階值(藍色灰階值)。另外，例如將第i行第j列的紅色灰階值為R、綠色灰階值為G、藍色灰階值為B的情況記載為[R，G，B](i ， j) 。此外，例如將第一行第一列至第m行第n列的紅色灰階值為R、綠色灰階值為G、藍色灰階值為B的情況，亦即所有紅色灰階值為R、所有綠色灰階值為G、所有藍色灰階值為B的情況記載為[R，G，B](1 ， 1) 至 (m ， n) 。注意，像素24所發射的光不侷限於紅色光、綠色光及藍色光。例如，像素24也可以發射白色光。此外，像素24也可以發射青色(cyan)光、洋紅色(magenta)光及黃色光。此外，像素24也可以不發射紅色光、綠色光或藍色光。另外，像素24所發射的光不侷限於三個顏色，既可以發射一個顏色或兩個顏色的光，又可以發射四個顏色以上的光。
當紅色灰階值、綠色灰階值及藍色灰階值各自為8位元的數位資料時，R、G、B可取的值各自可以為0至255的整數。這裡，在灰階值越小從像素24發射的光的亮度越小的情況下，可以由灰階值0表示不發射光的情況。由此，例如可以將在所有像素24中都不發射紅色光、綠色光及藍色光的情況記載為[0，0，0](1 ， 1) 至 (m ， n) 。
如上所述，在資料庫影像資料DGIN 所具有的第一灰階值為[0，0，0](1 ， 1) 至 (m ， n) 時，可以不從像素24(1，1)至像素24(m，n)發射光。因此，資料庫影像資料DGDP 所具有的第二灰階值也可以為[0，0，0](1 ， 1) 至 (m ， n) 。
在利用影像處理系統10的機器學習模型的生成方法中，將第一灰階值為[1，0，0](1 ， 1) 至 (m ， n) 至[255，0，0](1 ， 1) 至 (m ， n) 的資料庫影像資料DGIN 各自輸入到顯示裝置20，取得資料庫影像資料DGDP 所具有的第二灰階值。另外，將第一灰階值為[0，1，0](1 ， 1) 至 (m ， n) 至[0，255，0](1 ， 1) 至 (m ， n) 的資料庫影像資料DGIN 各自輸入到顯示裝置20，取得資料庫影像資料DGDP 所具有的第二灰階值。此外，將第一灰階值為[0，0，1](1 ， 1) 至 (m ， n) 至[0，0，255](1 ， 1) 至 (m ， n) 的資料庫影像資料DGIN 各自輸入到顯示裝置20，取得資料庫影像資料DGDP 所具有的第二灰階值。就是說，資料庫影像資料DGIN 所表示的影像例如可以為整個面是單色且亮度同一的影像。
在本說明書等中，“單色”的詞句示出像素發射一個顏色的光來呈現的顏色。例如，當像素具有發射紅色光、綠色光及藍色光的功能時，將紅色影像、綠色影像及藍色影像稱為單色影像。
在本說明書等中，例如在將資料庫影像資料DGIN 的第i行第j列的紅色灰階值為1時，將所對應的資料庫影像資料DGDP 的紅色灰階值記載為R1DP (i，j)。此外，例如在將資料庫影像資料DGIN 的第i行第j列的紅色灰階值為255時，將所對應的資料庫影像資料DGDP 的紅色灰階值記載為R255DP (i，j)。此外，例如在將資料庫影像資料DGIN 的第i行第j列的綠色灰階值為1時，將所對應的資料庫影像資料DGDP 的綠色灰階值記載為G1DP (i，j)。此外，例如在將資料庫影像資料DGIN 的第i行第j列的綠色灰階值為255時，將所對應的資料庫影像資料DGDP 的綠色灰階值記載為G255DP (i，j)。此外，例如在將資料庫影像資料DGIN 的第i行第j列的藍色灰階值為1時，將所對應的資料庫影像資料DGDP 的藍色灰階值記載為B1DP (i，j)。此外，例如在將資料庫影像資料DGIN 的第i行第j列的藍色灰階值為255時，將所對應的資料庫影像資料DGDP 的藍色灰階值記載為B255DP (i，j)。
在此，第一灰階值及與該第一灰階值對應的第二灰階值不侷限於同一值。例如，即便是資料庫影像資料DGIN 所具有的第一灰階值為[128，0，0](1 ， 1) 至 (m ， n) ，R128DP (1，1)至R128DP (m，n)的所有值不侷限於128，有時大於或小於128。此外，例如R128DP (1，1)至R128DP (m，n)不侷限於同一值。就是說，如上所述，由資料庫影像資料DGDP 表示的影像有時產生顯示不均勻等。
注意，也可以不將所有灰階值的資料庫影像資料DGIN 輸入到顯示裝置20並取得資料庫影像資料DGDP 所具有的第二灰階值。例如，也可以將灰階值[1，0，0](1 ， 1) 至 (m ， n) 至[255，0，0](1 ， 1) 至 (m ， n) 中的部分灰階值的資料庫影像資料DGIN 輸入到顯示裝置20並取得資料庫影像資料DGDP 所具有的第二灰階值。另外，也可以將灰階值[0，1，0](1 ， 1) 至 (m ， n) 至[0，1，0](1 ， 1) 至 (m ， n) 中的部分灰階值的資料庫影像資料DGIN 輸入到顯示裝置20並取得資料庫影像資料DGDP 所具有的第二灰階值。另外，也可以將灰階值[0，0，255](1 ， 1) 至 (m ， n) 至[0，0，255](1 ， 1) 至 (m ， n) 中的部分灰階值的資料庫影像資料DGIN 輸入到顯示裝置20並取得資料庫影像資料DGDP 所具有的第二灰階值。
如上所述，當將部分灰階值的資料庫影像資料DGIN 輸入到顯示裝置20並取得資料庫影像資料DGDP 所具有的第二灰階值時，與不輸入到顯示裝置20的灰階值的資料庫影像資料DGIN 對應的資料庫影像資料DGDP 所具有的第二灰階值可以根據輸入到顯示裝置20的資料庫影像資料DGIN 所具有的第一灰階值及與該第一灰階值對應的第二灰階值算出。例如，可以藉由比例補充算出。此外，可以利用規定數學式算出。
例如，灰階值[127，0，0](1 ， 1) 至 (m ， n) 的資料庫影像資料DGDP 和[129，0，0](1 ， 1) 至 (m ， n) 的資料庫影像資料DGDP 被輸入到顯示裝置20，灰階值[128，0，0](1 ， 1) 至 (m ， n) 的資料庫影像資料DGDP 不被輸入到顯示裝置20。例如，R127DP (i，j)的值為120，R129DP (i，j)的值為124，藉由R127DP (i，j)與R129DP (i，j)的比例補充算出R128DP (i，j)。此時，R128DP (i，j)的值可以為122。注意，綠色灰階值及藍色灰階值也可以藉由相同方法來算出。
藉由將部分灰階值的資料庫影像資料DGIN 輸入到顯示裝置20，可以減少表T的生成所需要的運算次數。因此，可以以短時間生成表T。
在圖6A中，資料庫影像資料DGIN 所表示的影像是整個面為單色的影像。就是說，個別取得資料庫影像資料DGIN 和資料庫影像資料DGDP 的紅色灰階值、綠色灰階值及藍色灰階值。然而，本發明的一個實施方式不侷限於此。圖6B是圖6A的變形例子，圖6B與圖6A的不同之處是同時取得資料庫影像資料DGIN 和資料庫影像資料DGDP 的紅色灰階值、綠色灰階值及藍色灰階值。
在圖6B中，將第一灰階值為[0，0，0](1 ， 1) 至 (m ， n) 至[255，255，255](1 ， 1) 至 (m ， n) 的資料庫影像資料DGIN 各自輸入到顯示裝置20，取得資料庫影像資料DGDP 所具有的第二灰階值。就是說，資料庫影像資料DGIN 所表示的影像為紅色灰階值、綠色灰階值及藍色灰階值的所有灰階值同一的影像(白色影像)，取得資料庫影像資料DGDP 的紅色灰階值、綠色灰階值及藍色灰階值。由表T表示所取得的灰階值。明確而言，表T表示資料庫影像資料DGIN 所具有的紅色灰階值及與該紅色灰階值的座標對應的座標的資料庫影像資料DGDP 所具有的紅色灰階值。此外，表T表示資料庫影像資料DGIN 所具有的綠色灰階值及與該綠色灰階值的座標對應的座標的資料庫影像資料DGDP 所具有的綠色灰階值。此外，表T表示資料庫影像資料DGIN 所具有的藍色灰階值及與該藍色灰階值的座標對應的座標的資料庫影像資料DGDP 所具有的藍色灰階值。表T例如表示資料庫影像資料DGIN 所具有的紅色灰階值及與該紅色灰階值的座標同一座標的資料庫影像資料DGDP 所具有的紅色灰階值。此外，表T例如表示資料庫影像資料DGIN 所具有的綠色灰階值及與該綠色灰階值的座標同一座標的資料庫影像資料DGDP 所具有的綠色灰階值。此外，表T例如表示資料庫影像資料DGIN 所具有的藍色灰階值及與該藍色灰階值的座標同一座標的資料庫影像資料DGDP 所具有的藍色灰階值。
藉由使資料庫影像資料DGIN 所表示的影像為白色影像，可以減少輸入到顯示裝置20的資料庫影像資料DGIN 的數量。由此，可以減少表T的生成所需要的運算次數。因此，可以以短時間生成表T。注意，資料庫影像資料DGIN 的紅色灰階值、綠色灰階值及藍色灰階值也可以不是同一的，資料庫影像資料DGIN 的紅色灰階值、綠色灰階值及藍色灰階值中的一個顏色的灰階值也可以與其他顏色的灰階值不同。此外，資料庫影像資料DGIN 的紅色灰階值、綠色灰階值及藍色灰階值也可以互不相同。
[機器學習模型的生成方法] 圖7是一種流程圖，其示出使用容納在資料庫42中的表T生成機器學習模型MLM的方法的一個例子。如圖7所示，機器學習模型MLM藉由步驟S11至步驟S16所示的方法來生成。圖8A、圖8B、圖9A、圖9B及圖10是示出步驟S11至步驟S16的工作的示意圖。
為了生成機器學習模型MLM，首先將學習用影像資料LGIN 輸入到顯示裝置20所包括的輸入部21。輸入到輸入部21的學習用影像資料LGIN 被輸入到顯示部22，在顯示部22上顯示與學習用影像資料LGIN 對應的影像(步驟S11)。明確而言，藉由由像素24發射學習用影像資料LGIN 所具有的與m行n列的灰階值對應的亮度的光，在顯示部22上顯示影像。在圖8A中，顯示不均勻28產生在顯示部22所顯示的影像中。
接著，由攝像裝置30拍攝顯示部22所顯示的影像。因此，攝像裝置30取得攝像資料IMGLG (步驟S12)。
如上所述，當由攝像裝置30拍攝顯示裝置20中的顯示部22所顯示的影像時，有時拍攝顯示部22以外的物體。例如，又是拍攝顯示裝置20的外殼。在圖8A中，攝像資料IMGLG 具有圖8A所示的顯示裝置20中的由虛線圍繞的部分。
然後，影像抽出部43從攝像資料IMGLG 取得學習用影像資料LGDP (步驟S13)。關於步驟S13的工作，藉由將攝像資料IMGDG 換稱為攝像資料IMGLG ，將資料庫影像資料DGDP 換稱為學習用影像資料LGDP ，將圖5B換稱為圖8B，可以參照步驟S03的工作說明。
接著，影像處理部44以靠近學習用影像資料LGDP 的方式對學習用影像資料LGIN 進行影像處理。因此，影像處理部44生成學習用影像資料LGIP (步驟S14)。圖9A示出向影像處理部44輸入的學習用影像資料LGIN 及學習用影像資料LGDP 、以及從影像處理部44輸出的學習用影像資料LGIP 的一個例子。
例如，以學習用影像資料LGIP 的灰階值的總和與學習用影像資料LGDP 所具有的灰階值的總和之差小於學習用影像資料LGIP 的灰階值的總和與學習用影像資料LGIN 所具有的灰階值的總和之差的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換，由此可以生成學習用影像資料LGIP 。例如，以學習用影像資料LGIP 的灰階值的總和與學習用影像資料LGDP 所具有的灰階值的總和相等的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換，由此可以生成學習用影像資料LGIP 。
此外，例如以相對於學習用影像資料LGDP 的PSNR或SSIM比相對於學習用影像資料LGIN 的PSNR或SSIM更大的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換，由此可以生成學習用影像資料LGIP 。例如，以相對於學習用影像資料LGDP 的PSNR或SSIM最大的方式利用影像處理對學習用影像資料LGIN 所具有的灰階值進行變換，由此可以生成學習用影像資料LGIP 。
如上所述，由影像處理部44進行的影像處理例如可以為伽瑪校正。此時，藉由將伽瑪值設定為適當值，可以進行上述影像處理。
在此，影像處理部44較佳為按每個顏色對學習用影像資料LGIN 進行影像處理。明確而言，例如在對學習用影像資料LGIN 進行伽瑪校正時，較佳為按每個顏色算出伽瑪值。例如，較佳為以學習用影像資料LGIP 所具有的紅色灰階值的總和與學習用影像資料LGDP 所具有的紅色灰階值的總和之差小於學習用影像資料LGIP 所具有的紅色灰階值的總和與學習用影像資料LGIN 所具有的紅色灰階值的總和之差的方式利用影像處理對學習用影像資料LGIN 所具有的紅色灰階值進行變換。此外，較佳為以學習用影像資料LGIP 所具有的綠色灰階值的總和與學習用影像資料LGDP 所具有的綠色灰階值的總和之差小於學習用影像資料LGIP 所具有的綠色灰階值的總和與學習用影像資料LGIN 所具有的綠色灰階值的總和之差的方式利用影像處理對學習用影像資料LGIN 所具有的綠色灰階值進行變換。此外，較佳為以學習用影像資料LGIP 所具有的藍色灰階值的總和與學習用影像資料LGDP 所具有的藍色灰階值的總和之差小於學習用影像資料LGIP 所具有的藍色灰階值的總和與學習用影像資料LGIN 所具有的藍色灰階值的總和的方式利用影像處理對學習用影像資料LGIN 所具有的藍色灰階值進行變換。例如，較佳為以學習用影像資料LGIP 所具有的紅色灰階值的總和與學習用影像資料LGDP 所具有的紅色灰階值的總和相等的方式利用影像處理對學習用影像資料LGIN 所具有的紅色灰階值進行變換。此外，較佳為以學習用影像資料LGIP 所具有的綠色灰階值的總和與學習用影像資料LGDP 所具有的綠色灰階值的總和相等的方式利用影像處理對學習用影像資料LGIN 所具有的綠色灰階值進行變換。此外，較佳為以學習用影像資料LGIP 所具有的藍色灰階值的總和與學習用影像資料LGDP 所具有的藍色灰階值的總和相等的方式利用影像處理對學習用影像資料LGIN 所具有的藍色灰階值進行變換。
如上所述，“學習用影像資料LGIP 所具有的灰階值的總和”例如既可以為學習用影像資料LGIP 所具有的m行n列的灰階值中的所有灰階值的總和，又可以為部分灰階值的總和。此外，“學習用影像資料LGIN 所具有的灰階值的總和”例如既可以為學習用影像資料LGIN 所具有的m行n列的灰階值中的所有灰階值的總和，又可以為部分灰階值的總和。另外，“學習用影像資料LGDP 所具有的灰階值的總和”例如既可以為學習用影像資料LGDP 所具有的m行n列的灰階值中的所有灰階值的總和，又可以為部分灰階值的總和。
在本說明書等中，將學習用影像資料LGIP 所具有的第i行第j列的紅色灰階值記載為RIP (i，j)。另外，將學習用影像資料LGIP 所具有的第i行第j列的綠色灰階值記載為GIP (i，j)。另外，將學習用影像資料LGIP 所具有的第i行第j列的藍色灰階值記載為BIP (i，j)。
如上所述，從影像處理部44輸出的學習用影像資料LGIP 所表示的影像是靠近於學習用影像資料LGDP 的影像。另一方面，因為由影像處理部44進行影像處理的學習用影像資料LGIN 所表示的影像不具有顯示不均勻28，所以學習用影像資料LGIP 所表示的影像也不具有顯示不均勻28。
然後，影像生成部45基於表T從學習用影像資料LGIP 生成學習用影像資料LGGEN (步驟S15)。在圖9B中，影像生成部45被輸入表T及學習用影像資料LGIP 並輸出學習用影像資料LGGEN 。
明確而言，首先基於學習用影像資料LGIP 的灰階值選擇表T所具有的第二灰階值。例如，可以分別選擇第一行第一列至第m行第n列的與學習用影像資料LGIP 的灰階值一致或最靠近的第二灰階值。明確而言，例如將與RIP (i，j)一致或最靠近的紅色灰階值選自R0DP (i，j)至R255DP (i，j)中。另外，例如將與GIP (i，j)一致或最靠近的綠色灰階值選自G0DP (i，j)至G255DP (i，j)中。另外，例如將與BIP (i，j)一致或最靠近的藍色灰階值選自B0DP (i，j)至B255DP (i，j)中。注意，在圖9B中，使所選擇的第一行第一列的第二灰階值為[RaDP (1，1)，GbDP (1，1)，BcDP (1，1)](1 ， 1) (a、b、c為0以上且255以下的整數)。此外，使所選擇的第m行第n列的第二灰階值為[RsDP (m，n)，GtDP (m，n)，BuDP (m，n)](m ， n) (s、t、u為0以上且255以下的整數)。
接著，影像生成部45生成學習用影像資料LGGEN ，學習用影像資料LGGEN 是具有與基於表T選擇的第二灰階值對應的第一灰階值的影像資料。明確而言，影像生成部45例如生成學習用影像資料LGGEN ，學習用影像資料LGGEN 是具有與所選擇的第一行第一列至第m行第n列的第二灰階值對應的第一行第一列至第m行第n列的第一灰階值的影像資料。在圖9B所示的例子中，學習用影像資料LGGEN 中的第一行第一列的紅色灰階值為a，綠色灰階值為b，藍色灰階值為c。此外，第m行第n列的紅色灰階值為s，綠色灰階值為t，藍色灰階值為u。
另外，例如在表T不具有與學習用影像資料LGIP 的第i行第j列的灰階值一致的第i行第j列的第二灰階值時，也可以不選擇第i行第j列的第二灰階值。此時，學習用影像資料LGGEN 的第i行第j列的灰階值可以為與學習用影像資料LGIP 的第i行第j列的灰階值同一的值。明確而言，例如在與RIP (i，j)一致的紅色灰階值不包括在R0DP (i，j)至R255DP (i，j)中時，學習用影像資料LGGEN 的第i行第j列的紅色灰階值可以為RIP (i，j)。此外，例如與GIP (i，j)一致的綠色灰階值不包括在G0DP (i，j)至G255DP (i，j)中時，學習用影像資料LGGEN 的第i行第j列的綠色灰階值可以為GIP (i，j)。此外，例如與BIP (i，j)一致的藍色灰階值不包括在B0DP (i，j)至B255DP (i，j)中時，學習用影像資料LGGEN 的第i行第j列的藍色灰階值可以為BIP (i，j)。
如上所述，學習用影像資料LGIP 所表示的影像不具有顯示不均勻等。另一方面，具有第二灰階值的資料庫影像資料DGDP 具有顯示不均勻等。此外，具有第一灰階值的資料庫影像資料DGIN 不具有顯示不均勻等。如上所述，學習用影像資料LGGEN 是具有與基於學習用影像資料LGIP 的灰階值選擇的第二灰階值對應的第一灰階值的影像資料，學習用影像資料LGGEN 可以為抵消學習用影像資料LGDP 所表示的顯示不均勻等的影像資料。在圖9B等中，對學習用影像資料LGGEN 中的與區域29對應的資料附上抵消顯示不均勻28的資料。例如，在產生顯示不均勻28的部分的亮度高於該部分的周邊部的亮度時，區域29的亮度可以低於區域29的周邊部的亮度。
在步驟S15之後，學習部46使用學習用影像資料LGIN 和學習用影像資料LGGEN 生成機器學習模型MLM(步驟16)。例如，生成在輸入學習用影像資料LGIN 時輸出的影像資料與學習用影像資料LGGEN 一致的機器學習模型MLM。例如，藉由以學習用影像資料LGIN 和學習用影像資料LGGEN 為監督資料的監督學習可以生成機器學習模型MLM。在圖10中，將學習用影像資料LGIN 和學習用影像資料LGGEN 輸入到學習部46，以從學習部46輸出的影像資料為與學習用影像資料LGGEN 同一的影像資料的方式生成機器學習模型MLM。如上所述，作為機器學習模型MLM例如可以使用神經網路模型。
以上是使用影像處理系統10的機器學習模型MLM的生成方法的一個例子。如上所述，藉由機器學習模型MLM對輸入到輸入部21的影像資料進行影像處理，機器學習處理部23可以生成抵消顯示不均勻的影像資料。藉由將從機器學習處理部23輸出的影像資料輸入到顯示部22，顯示部22可以顯示使顯示不均勻變得不顯眼的影像。由此，如上所述，可以抑制在顯示部22所顯示的影像中看到顯示不均勻並使顯示裝置20大型化。另外，可以抑制在顯示部22所顯示的影像中看到顯示不均勻，提高設置在顯示部22中的像素24的密度，並且在顯示部22上顯示高清晰度的影像。
此外，藉由使用機器學習模型MLM進行影像處理，如上所述，除了顯示不均勻之外還可以抵消降低所顯示的影像的品質的要素。例如，可以抵消線缺陷、點缺陷等。因此，顯示部22可以顯示高品質的影像。
在此，即便在將影像資料輸入到輸入部21並將藉由與步驟S11至步驟S15相同的處理由影像生成部45生成的影像資料輸入到顯示部22的情況下，顯示部22也可以顯示使顯示不均勻等變得不顯眼的影像。然而，步驟S11至步驟S15需要高運算能力。另一方面，使用已生成了的機器學習模型MLM的影像處理可以以比步驟S11至步驟S15所需要的運算能力低的運算能力進行。由此，藉由使用機器學習模型MLM進行影像處理，可以以短時間進行影像處理。此外，不使用伺服器等運算能力高的裝置而可以在顯示裝置20的內部進行影像處理。
注意，只要可以使用高運算能力的裝置對輸入到輸入部21的影像資料進行使顯示不均勻變得不顯眼的影像處理，則可以藉由與步驟S11至步驟S15相同的方法進行該影像處理，而不使用機器學習模型MLM。此外，只要顯示裝置20的運算能力充分高，則可以藉由與步驟S11至步驟S15相同的方法對輸入到輸入部21的影像資料進行使顯示不均勻變得不顯眼的影像處理，而不使用機器學習模型MLM。當進行不使用機器學習模型MLM的影像處理時，生成裝置40可以不包括學習部46。
＜亮點校正方法＞ 以下，參照圖式說明本發明的一個實施方式的影像處理方法的亮點校正方法。
在本發明的一個實施方式的亮點校正方法中，在檢測變為亮點的像素24之後，對所檢測的像素24進行校正。圖11A及圖11B示出檢測變為亮點的像素24的方法的一個例子。圖11A所示的方法為方法M1，圖11B所示的方法為方法M2。在圖11A及圖11B中沒有顯示不均勻等。
在方法M1中，首先將亮點校正用影像資料BCG_1IN 輸入到顯示裝置20所包括的輸入部21。然後，將學習用影像資料LGIN 換稱為亮點校正用影像資料BCG_1IN ，將攝像資料IMGLG 換稱為攝像資料IMGBCG ，將學習用影像資料LGDP 換稱為亮點校正用影像資料BCGDP ，將學習用影像資料LGIP 換稱為亮點校正用影像資料BCGIP ，將學習用影像資料LGGEN 換稱為亮點校正用影像資料BCG_1，進行與圖7等所示的步驟S11至步驟S15相同的工作(步驟S11’至步驟S15’)。例如，在步驟S11’及步驟S12’中，將與亮點校正用影像資料BCG_1IN 對應的影像顯示在顯示部22上，由攝像裝置30拍攝顯示部22所顯示的影像，由此取得攝像資料IMGBCG 。此外，步驟S13’所取得的亮點校正用影像資料BCGDP 可以具有m行n列的灰階值。另外，在步驟S15’中，影像生成部45基於示出有關資料庫影像資料DGIN 所具有的第一灰階值與資料庫影像資料DGDP 所具有的第二灰階值的對應的資訊的表T從亮點校正用影像資料BCGIP 生成亮點校正用影像資料BCG_1。此外，在將亮點校正用影像資料BCGDP 不供應到影像處理部44而供應到影像生成部45時，不進行步驟S14’所示的工作。此時，在步驟S15’中，影像生成部45從亮點校正用影像資料BCGDP 生成亮點校正用影像資料BCG_1。
在此，當變為亮點的像素包括在像素24(1，1)至像素24(m，n)中時，亮點校正用影像資料BCGDP 所具有的m行n列的灰階值中的與變為亮點的像素24的座標對應的座標的灰階值很高，例如與變為亮點的像素24同一座標的灰階值很高。例如，在亮點校正用影像資料BCGDP 所具有的灰階值可以為0至255中的任何整數值時，與變為亮點的像素24的座標對應的座標的灰階值為255或與其靠近的值。在此，在亮點校正用影像資料BCGDP 中的某個座標的灰階值高於該座標周邊的座標的灰階值時，可以減少亮點校正用影像資料BCG_1的灰階值。
在步驟S15’之後，顯示裝置20所包括的亮點校正部50基於亮點校正用影像資料BCG_1檢測作為變為亮點的像素24的座標的亮點座標。明確而言，可以使亮點校正用影像資料BCG_1所具有的m行n列的灰階值中的臨界值以下的灰階值的座標為亮點座標。亮點座標也可以使用生成裝置40檢測。例如，亮點座標也可以使用生成裝置40所包括的影像生成部45檢測。
在此，在亮點校正用影像資料BCGDP 及亮點校正用影像資料BCG_1的兩者中，當亮點座標的灰階值與亮點座標周邊的座標的灰階值之差較大時，可以以高精度檢測亮點座標，所以是較佳的。因此，亮點校正用影像資料BCG_1IN 所具有的灰階值較佳為中間灰階。例如，較佳為使亮點校正用影像資料BCG_1IN 所具有的m行n列的所有灰階值為127或其附近。在圖11A的例子中，使亮點校正用影像資料BCG_1IN 的所有灰階值為同一值的中間灰階值，亮點校正用影像資料BCGDP 作為亮點具有比周邊的灰階值高的灰階值53。在圖11A的例子中，可以使亮點校正用影像資料BCG_1所具有的灰階值中的與灰階值53同一座標的灰階值54低於周邊的灰階值。
在方法M2中，首先將亮點校正用影像資料BCG_2IN 輸入到顯示裝置20所包括的輸入部21。然後，將學習用影像資料LGIN 換稱為亮點校正用影像資料BCG_2IN ，將攝像資料IMGLG 換稱為攝像資料IMGBCG ，將學習用影像資料LGDP 換稱為亮點校正用影像資料BCG_2，進行與圖7等所示的步驟S11至步驟S13相同的工作(步驟S11’’至步驟S13’’)。例如，在步驟S11’’及步驟S12’’中，將與亮點校正用影像資料BCG_2IN 對應的影像顯示在顯示部22上，由攝像裝置30拍攝顯示部22所顯示的影像，由此取得攝像資料IMGBCG 。此外，步驟S13’’所取得的亮點校正用影像資料BCG_2可以具有m行n列的灰階值。
在此，當變為亮點的像素包括在像素24(1，1)至像素24(m，n)中時，亮點校正用影像資料BCG_2所具有的m行n列的灰階值中的與變為亮點的像素24的座標對應的座標的灰階值很高，例如與變為亮點的像素24同一座標的灰階值很高。例如，在亮點校正用影像資料BCG_2所具有的灰階值可以為0至255中的任何整數值時，與變為亮點的像素24的座標對應的座標的灰階值為255或與其靠近的值。
在步驟S13’’之後，顯示裝置20所包括的亮點校正部50基於亮點校正用影像資料BCG_2檢測作為變為亮點的像素24的座標的亮點座標。明確而言，可以使亮點校正用影像資料BCG_2所具有的m行n列的灰階值中的臨界值以上的灰階值的座標為亮點座標。亮點座標也可以使用生成裝置40檢測。例如，亮點座標也可以使用生成裝置40所包括的影像抽出部43檢測。
在此，在亮點校正用影像資料BCG_2中，當亮點座標的灰階值與亮點座標周邊的灰階值之差較大時，可以以高精度檢測亮點座標，所以是較佳的。另一方面，當輸入到顯示部22的影像資料所具有的灰階值過小時，有時根據灰階值有可能變為亮點的像素24也不變為亮點，而不能夠以高精度檢測亮點座標。亮點校正用影像資料BCG_2IN 的灰階值較佳為根據上述決定。例如，較佳為使亮點校正用影像資料BCG_2IN 所具有的m行n列的所有灰階值為0以上且127以下、31以上且127以下或63以上且127以下。在圖11B的例子中，亮點校正用影像資料BCG_2作為亮點具有比周邊的灰階值高的灰階值55。
藉由檢測亮點座標，亮點校正部50可以具有校正亮點的功能。例如，可以減小內容影像資料CGML 所具有的m行n列的灰階值中的與亮點座標對應的座標如與亮點座標同一的座標等的灰階值，該灰階值例如可以為0。亮點校正部50藉由生成減小與亮點座標對應的座標的灰階值的內容影像資料CGCOR 並將其供應到顯示部22，例如可以使變為亮點的像素24變為暗點。如上所述，在看到顯示部22所顯示的影像時，亮點比暗點顯眼，給可見度帶來的影響很大。因此，藉由將與內容影像資料CGCOR 對應的影像顯示在顯示部22上，可以使顯示部22所顯示的影像變得高品質。
圖12A是示出亮點校正用影像資料BCG_1的灰階值的實測值與亮點校正用影像資料BCG_1IN 的灰階值的關係的圖表，該圖表可以藉由方法M1製作。亮點校正用影像資料BCG_1IN 的灰階值在整個面是同一的。在圖12A中，對同一亮點校正用影像資料BCG_1IN 的灰階值存在有多個標繪，這是因為對多個座標標繪出亮點校正用影像資料BCG_1的灰階值的實測值。
圖12A所示的線56示出亮點校正用影像資料BCG_1IN 的各灰階值中的所標繪的亮點校正用影像資料BCG_1的平均灰階值。如圖12A所示，可以對亮點校正用影像資料BCG_1的平均灰階值與亮點校正用影像資料BCG_1IN 的灰階值的關係進行線性近似。
這裡，如上所述，亮點座標的亮點校正用影像資料BCG_1的灰階值低於不是亮點座標的灰階值。因此，可以對亮點校正用影像資料BCG_1IN 的各灰階值設定臨界值，例如可以使m行n列的亮點校正用影像資料BCG_1的灰階值中的小於臨界值的灰階值的座標為亮點座標。在圖12A中，由線57表示臨界值。線57的傾斜可以由正的線性運數學式表示。
在方法M1中，準備灰階值不同的多個亮點校正用影像資料BCG_1IN ，對各影像資料生成亮點校正用影像資料BCG_1，由此可以抑制變為亮點的像素24的座標被判斷為不是亮點座標以及不變為亮點的像素24的座標被判斷為亮點座標。由此，亮點校正部50等可以以高精度檢測亮點座標。
圖12B是示出影像抽出部43所生成的亮點校正用影像資料BCGDP 的灰階值的實測值與輸入到輸入部21的亮點校正用影像資料BCGIN 的灰階值的關係的圖表。如圖12B所示，不能夠對亮點校正用影像資料BCGDP 的灰階值與亮點校正用影像資料BCGIN 的灰階值的關係進行線性近似，例如由sigmoid曲線近似。
接著，說明可以利用方法M2檢測的像素24的一個例子。圖13A1及圖13A2是示出亮點校正用影像資料BCG_2的灰階值與亮點校正用影像資料BCG_2IN 的灰階值的關係的圖表。
圖13A1所示的圖表61例如可以為製造顯示裝置20時的亮點校正用影像資料BCG_2所具有的m行n列的灰階值的平均值與亮點校正用影像資料BCG_2IN 的灰階值的關係。注意，亮點校正用影像資料BCG_2IN 所具有的灰階值例如可以是在整個面同一的值。在此，亮點校正用影像資料BCG_2所具有的灰階值中的部分灰階值呈現由圖表63表示的舉動。就是說，當輸入到顯示部22的影像資料的灰階值變高時，從部分像素24發射的光的亮度下降。呈現由圖表63表示的舉動的像素24容易劣化，當長期使用該像素24，例如向該像素24所包括的顯示元件長期供應電壓時，其舉動變化為圖13A2所示的圖表63A的舉動。另一方面，呈現由圖表61表示的舉動的像素24不容易劣化，即便長期使用該像素24也不呈現由圖表63A表示的舉動。
呈現由圖表63A表示的舉動的像素24可以說是亮點。由此，呈現由圖13A1的圖表63表示的舉動的像素24例如為如下像素：在製造顯示裝置20時不是亮點，隨著顯示裝置20的使用而變為亮點的可能性較高。如上所述，在像素24變為亮點時，給可見度帶來的影響很大。因此，較佳為作為呈現由圖13A1的圖表63表示的舉動的像素24，例如減小供應到顯示元件的電壓而使該像素24變為暗點。因此，可以抑制像素24變為亮點，所以可以提高顯示裝置20的可靠性。
圖13B示出檢測呈現由圖表63表示的舉動的像素24的方法的一個例子。如圖13B所示，亮點校正用影像資料BCG_2IN 的灰階值很高。例如，使亮點校正用影像資料BCG_2IN 所具有的m行n列的所有灰階值為255或其附近。當基於這種亮點校正用影像資料BCG_2IN 進行步驟S11’’至步驟S13’’時，亮點校正用影像資料BCG_2的灰階值中的與呈現由圖表63表示的舉動的像素24對應的灰階值比周邊的灰階值低。在圖13B的例子中，亮點校正用影像資料BCG_2具有比周邊的灰階值低的灰階值65。可以使與灰階值65對應的像素24為呈現由圖表63表示的舉動的像素24，亦即經過長期使用而變為亮點的像素24。
由此，藉由方法M2，除了已變了亮點的像素24之外還可以檢測隨著顯示裝置20的使用而變為亮點的可能性高的像素24。另一方面，在方法M1中，亮點校正用影像資料BCG_1的灰階值中的與呈現由圖表63表示的舉動的像素24對應的灰階值比周邊的灰階值高。因此，當輸入到輸入部21的亮點校正用影像資料BCG_1IN 的灰階值變高時，難以檢測出呈現由圖表63表示的舉動的像素24。另一方面，當輸入到輸入部21的亮點校正用影像資料BCG_1IN 的灰階值變低時，圖表63靠近圖表61，由此難以檢測出呈現由圖表63表示的舉動的像素24。如上所述，在方法M1中，難以檢測出呈現由圖表63表示的舉動的像素24。
如上所述，藉由進行方法M1和方法M2的兩者，例如除了以高精度檢測出變為亮點的像素24之外還可以檢測出隨著顯示裝置20的使用而變為亮點的可能性高的像素24。如此，藉由進行方法M1和方法M2的兩者，例如可以全面檢測出應該變為暗點的像素24。
圖14是示出亮點校正用影像資料BCG_1的灰階值的實測值與亮點校正用影像資料BCG_1IN 的灰階值的關係的圖表，圖14與圖12A所示的圖表不同之處是代替線57記載有線57A及線57B。
在圖14中，亮點校正用影像資料BCG_1的灰階值中的由線57A表示的灰階值為第一臨界值，由線57B表示的灰階值為第二臨界值。第一臨界值小於由線56表示的值，第二臨界值小於第一臨界值。與線57相同，線57A及線57B的傾斜可以由正的線性運數學式表示。
參照圖14說明使用影像處理系統10的影像處理方法的一個例子。首先，藉由方法M1，制作圖14所示的圖表。在圖14所示的圖表中，例如使m行n列的亮點校正用影像資料BCG_1的灰階值中的第一臨界值以下且第二臨界值以上的灰階值的座標為第一亮點座標。此外，使小於第二臨界值的灰階值的座標為第二亮點座標。
另外，藉由方法M2檢測亮點座標。使該亮點座標為第三亮點座標。
當內容影像資料CGML 被輸入到亮點校正部50時，例如減小內容影像資料CGML 所具有的m行n列的灰階值中的與第一亮點座標及第三亮點座標同一的座標的灰階值。此外，例如無論與第三亮點座標同一如何，減小與第二亮點座標同一座標的灰階值。因此，可以校正亮點而在顯示部22上顯示高品質的影像。
藉由利用上述方法進行影像處理，例如可以抑制使像素24變為暗點，該像素24不變為暗點也不給可見度受到很大的影響。因此，可以抑制使像素24變為暗點而降低顯示部22所顯示的影像的品質。在圖14所示的例子中，例如即便不使m行n列的像素24中的與第一亮點座標同一但與第三亮點座標不同的座標的像素24變為暗點，也可以不給可見度帶來很大的影響。由此，例如可以不校正內容影像資料CGML 所具有的m行n列的灰階值中的與第一亮點座標同一但與第三亮點座標不同座標的灰階值。
以上是作為本發明的一個實施方式的影像處理方法的亮點校正方法的一個例子。
＜機器學習模型的結構例子＞ 圖15A示出機器學習模型MLM的結構例子。如圖15A所示，機器學習模型MLM可以為包括輸入層IL、中間層ML1、中間層ML2、中間層ML3及輸出層OL的神經網路模型。輸入層IL、中間層ML1、中間層ML3及輸出層OL包括由神經元構成的多個層，設置在各層中的神經元彼此結合。輸入層IL可以被輸入影像資料。
輸入到輸入層IL的影像資料可以具有m行n列的行列，其數量與顯示部22所包括的子像素的種類相同。例如，在像素24包括發射紅色(R)的光的子像素、發射綠色(G)的光的子像素及發射藍色(B)的光的子像素時，影像資料具有以紅色灰階值為成分的m行n列的行列、以綠色灰階值為成分的m行n列的行列及以藍色灰階值為成分的m行n列的行列。就是說，該影像資料可以具有三個行列。
如上所述，在影像資料具有行列時，輸入層IL所包括的神經元的數量可以與該行列所具有的成分的數量相同。例如，在影像資料具有1200行1920列的三個行列時，輸入層IL所包括的神經元的數量可以為1920×1200×3。此外，在影像資料具有行列時，輸出層OL所包括的神經元的數量可以與該行列所具有的成分的數量相同。如上所述，例如在影像資料具有1200行1920列的三個行列時，輸出層OL所包括的神經元的數量可以為1920×1200×3。
中間層ML1具有生成供應到中間層ML2的資料D1的功能。資料D1可以為具有h個(h為2以上的整數)成分x的行列。
在本說明書等中，例如將h個成分x各自記載為成分x1 至成分xh 而互相區別。對其他成分也進行相同記載。
中間層ML1所包括的神經元的數量多於輸入層IL所包括的神經元的數量。因此，可以使資料D1所具有的成分數多於輸入到輸入層IL的影像資料所具有的成分數。將在後面詳細地說明中間層ML1能夠進行的運算處理。
中間層ML2具有將成分x變換為成分y的功能。例如，中間層ML2具有藉由非線性且多項式的一變數函數將成分x1 至成分xh 分別變換為成分y1 至成分yh 的功能。以下示出該函數的一個例子。
[數學式1]
Figure 02_image001
在此，i可以為1以上且h以下的整數。上述數學式是一種函數，其中成分x為獨立變數，成分y為從屬變數，a為係數。該函數包括具有x的d乘(d為2以上的整數)的項。在圖15A中，中間層ML2進行由上述數學式表示的運算處理。
以下示出非線性且多項式的一變數函數的另一個例子。
[數學式2]
Figure 02_image003
上述數學式是一種函數，其中x為獨立變數，y為從屬變數，a和b為係數。該函數包括具有成分x的餘弦的項及具有成分x的正弦的項。注意，該函數也可以不包括具有成分x的餘弦的項。此外，該函數也可以不包括具有成分x的正弦的項。
如上所述，中間層ML2可以生成具有成分y1 至成分yh 的資料。該資料為資料D2。資料D2可以為與資料D1相同的行列。
中間層ML3具有生成供應到輸出層OL的資料的功能。中間層ML3所包括的神經元的數量多於輸出層OL所包括的神經元的數量。因此，可以使從輸出層OL輸出的影像資料所具有的成分數少於資料D2所具有的成分數。將在後面詳細地說明中間層ML3能夠進行的運算處理。
另外，也可以在輸入層IL與中間層ML2之間設置兩個以上的中間層。此外，也可以在中間層ML2與輸出層OL之間設置兩個以上的中間層。
圖15B是示出機器學習模型MLM具有圖15A所示的結構時的機器學習模型MLM的生成方法的一個例子的圖。如圖7所示，在步驟S16中生成機器學習模型MLM。由此，圖15B可以說是示出機器學習模型MLM具有圖15A所示的結構時的步驟S16的工作的一個例子的圖。
如上所述，學習部46可以生成機器學習模型MLM。明確而言，例如可以使用學習用影像資料LGIN 和學習用影像資料LGGEN 生成機器學習模型MLM。例如，以在輸入學習用影像資料LGIN 時輸出的影像資料與學習用影像資料LGGEN 一致的方式藉由學習取得係數a1 ， 0 至係數an ， k 的值等，學習部46可以生成機器學習模型MLM。注意，在中間層ML2進行由數學式2表示的運算時，藉由學習取得係數a和係數b的值。
圖16A及圖16B示出使用了機器學習模型MLM的機器學習處理部23進行運算的一個例子。如圖16A所示，可以由中間層ML1進行內容影像資料CGIN 與過濾器fa的積和運算。在圖16A所示的例子中，內容影像資料CGIN 具有1200行1920列的三個行列。就是說，內容影像資料CGIN 是橫寬為1920、高度為1200、頻道數為3的資料。此外，過濾器fa的頻道數為3，由中間層ML1進行內容影像資料CGIN 與九個過濾器fa(過濾器fa1 至過濾器fa9 )的積和運算。藉由進行這種積和運算，可以從中間層ML1輸出高度為1200、橫寬為1920、頻道數為9的資料D1。資料D1具有成分x1 至成分x1920 × 1200 × 9 。
資料D1所具有的成分x1 至成分x1920 × 1200 × 9 可以在中間層ML2中根據數學式1或數學式2等被變換為成分y1 至成分y1920 × 1200 × 9 。具有成分y1 至成分y1920 × 1200 × 9 的資料為資料D2。
如圖16B所示，可以由中間層ML3進行資料D2與過濾器fb的積和運算。這裡，與資料D1相同，資料D2是高度為1200、橫寬為1920、頻道數為9的資料。另外，過濾器fb的頻道數為9，由中間層ML3進行資料D2與三個過濾器fb(過濾器fb1 至過濾器fb3 )的積和運算。藉由進行這種積和運算，可以從中間層ML3輸出橫寬為1920、高度為1200、頻道數為3的資料。該資料可以為內容影像資料CGML 。
如上所述，例如可以使用機器學習模型MLM將內容影像資料CGIN 變換為內容影像資料CGML 。
如上所述，在圖15A所示的機器學習模型MLM中，中間層ML2藉由非線性且多項式的一變數函數將資料D1所具有的成分x1 至成分xh 分別變換為成分y1 至成分yh 。因此，例如與藉由線性或單項式的一變數函數將成分x1 至成分xh 分別變換為成分y1 至成分yh 的情況相比，可以以高精度進行使用機器學習模型MLM的推論。此外，由於可以減少圖16A所示的過濾器fa的個數及圖16B所示的過濾器fb的頻道數，所以可以減少在利用學習生成機器學習模型MLM時需要的運算量及在利用機器學習模型MLM進行推論時需要的運算量。由此，可以高速進行學習及推論。 實施例
在本實施例中，說明為了取得圖15A所示的機器學習模型MLM而進行學習的結果。
在本實施例中，藉由將橫寬為1920、高度為1200、頻道數為3的影像資料用作學習資料及正確資料的監督學習來生成機器學習模型MLM。中間層ML2根據數學式1、數學式2或數學式“y=ax+b”將資料D1所具有的成分x變換為成分y。在數學式1及數學式2中，d=5。
中間層ML1進行圖16A所示的運算，中間層ML3進行圖16B所示的運算。當根據數學式1或數學式2將資料D1所具有的成分x變換為成分y時，由中間層ML1進行影像資料與頻道數為3的過濾器fa1 至過濾器fa9 的積和運算，由中間層ML3進行資料D1與頻道數為9的過濾器fa1 至過濾器fa3 的積和運算。另外，當根據數學式“y=ax+b”將資料D1所具有的成分x變換為成分y時，由中間層ML1進行影像資料與頻道數為3的過濾器fa1 至過濾器fa162 的積和運算，由中間層ML3進行資料D2與頻道數為162的過濾器fb1 至過濾器fb3 的積和運算。
圖17是示出SSIM與學習次數(epoch)的關係的圖表。SSIM使用測試資料及正確資料來算出。SSIM越大，測試資料與正確資料的相似度越高，由此示出機器學習模型MLM可以以高精度進行推論。與學習資料及正確資料相同，測試資料是橫寬為1920、高度為1200、頻道數為3的影像資料。
如上所述，在根據數學式1或數學式2將資料D1所具有的成分x變換為成分y的情況下，與根據數學式“y=ax+b”將成分x變換為成分y的情況相比，過濾器fa的個數及過濾器fb的頻道數更少。儘管如此，如圖17所示，當學習次數為200以上時，在根據數學式1或數學式2將成分x變換為成分y的情況下，與根據數學式“y=ax+b”將成分x變換為成分y的情況相比，SSIM更大。
10:影像處理系統 20:顯示裝置 21:輸入部 22:顯示部 23:機器學習處理部 24:像素 26:區域 29:區域 30:攝像裝置 33:像素 40:生成裝置 42:資料庫 43:影像抽出部 44:影像處理部 45:影像生成部 46:學習部 50:亮點校正部 51:亮點 52:區域 53:灰階值 54:灰階值 55:灰階值 56:線 57:線 57A:線 57B:線 61:圖表 63:圖表 63A:圖表 65:灰階值 126:佈線 134:佈線 161:電晶體 162:電晶體 170:發光元件 171:電晶體 173:電容器 174:佈線 175:佈線 180:液晶元件 181:電容器 182:佈線 183:佈線
[圖1]是示出影像處理系統的結構例子的方塊圖； [圖2A]是示出顯示部的結構例子的方塊圖，[圖2B1]及[圖2B2]是示出像素的結構例子的電路圖； [圖3A]及[圖3B]是示出影像處理方法的一個例子的示意圖； [圖4]是示出表的生成方法的一個例子的流程圖； [圖5A]及[圖5B]是示出表的生成方法的一個例子的示意圖； [圖6A]及[圖6B]是示出表的生成方法的一個例子的示意圖； [圖7]是示出機器學習模型的生成方法的一個例子的流程圖； [圖8A]及[圖8B]是示出機器學習模型的生成方法的一個例子的示意圖； [圖9A]及[圖9B]是示出機器學習模型的生成方法的一個例子的示意圖； [圖10]是示出機器學習模型的生成方法的一個例子的示意圖； [圖11A]及[圖11B]是示出影像處理方法的一個例子的示意圖； [圖12A]及[圖12B]是示出影像處理方法的一個例子的圖表； [圖13A1]及[圖13A2]是示出影像處理方法的一個例子的圖表，[圖13B]是示出影像處理方法的一個例子的示意圖； [圖14]是示出影像處理方法的一個例子的圖表； [圖15A]是示出機器學習模型的結構例子的圖，[圖15B]是示出學習方法的一個例子的示意圖； [圖16A]及[圖16B]是示出利用機器學習模型的運算的一個例子的示意圖； [圖17]是示出根據實施例的學習結果的圖表。
10:影像處理系統
20:顯示裝置
21:輸入部
22:顯示部
23:機器學習處理部
30:攝像裝置
40:生成裝置
42:資料庫
43:影像抽出部
44:影像處理部
45:影像生成部
46:學習部
50:亮點校正部

Claims (8)

  1. 一種影像處理系統，包括： 顯示裝置、攝像裝置及學習裝置， 其中，該顯示裝置包括輸入部、機器學習處理部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部， 該學習裝置包括資料庫、影像處理部、影像生成部及學習部， 該資料庫容納有基於第一影像資料及第二影像資料生成的表，該第一影像資料是向該輸入部輸入的影像資料，該第二影像資料是藉由將與該第一影像資料對應的影像顯示在該顯示部上，該攝像裝置以具有該顯示部所顯示的影像的方式拍攝來取得的影像資料， 該第一影像資料具有m行n列的第一灰階值， 該第二影像資料具有m行n列的第二灰階值， 該表示出該第一灰階值及與該第一灰階值的座標對應的座標的該第二灰階值， 該影像處理部具有藉由對向該輸入部輸入的第一學習用影像資料基於第二學習用影像資料進行影像處理來生成第三學習用影像資料的功能， 該第二學習用影像資料是藉由將與該第一學習用影像資料對應的影像顯示在該顯示部上，該攝像裝置以具有該顯示部所顯示的影像的方式拍攝來取得的影像資料， 該第三學習用影像資料具有m行n列的第三灰階值， 該影像生成部具有生成第四學習用影像資料的功能，該第四學習用影像資料是具有與基於該第三灰階值選擇的該第二灰階值對應的該第一灰階值的影像資料， 該學習部具有生成在輸入該第一學習用影像資料時輸出的影像資料與該第四學習用影像資料一致的機器學習模型並將該機器學習模型輸出到該機器學習處理部的功能， 並且，該機器學習處理部具有對向該輸入部輸入的內容影像資料進行利用該機器學習模型的處理的功能。
  2. 如請求項1之影像處理系統， 其中該第一學習用影像資料具有m行n列的第四灰階值， 該第二學習用影像資料具有m行n列的第五灰階值， 並且該影像處理部具有以該第三灰階值的總和與該第五灰階值的總和之差小於該第四灰階值的總和與該第五灰階值的總和之差的方式進行該影像處理的功能。
  3. 如請求項1或2之影像處理系統， 其中該機器學習模型為神經網路模型。
  4. 一種影像處理系統，包括： 顯示裝置、攝像裝置及生成裝置， 其中，該顯示裝置包括輸入部、亮點校正部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部， 該生成裝置包括資料庫及影像生成部， 該資料庫容納有基於第一資料庫影像資料及第二資料庫影像資料生成的表，該第一資料庫影像資料是向該輸入部輸入的影像資料，該第二資料庫影像資料是藉由將與該第一資料庫影像資料對應的影像顯示在該顯示部上，該攝像裝置以具有該顯示部所顯示的影像的方式拍攝來取得的影像資料， 該第一資料庫影像資料具有m行n列的第一灰階值， 該第二資料庫影像資料具有m行n列的第二灰階值， 該表示出該第一灰階值及與該第一灰階值的座標對應的座標的該第二灰階值， 該攝像裝置具有藉由在將與向該輸入部輸入的第一亮點校正用影像資料對應的影像顯示於該顯示部上時拍攝顯示於該顯示部上的影像來取得第二亮點校正用影像資料的功能， 該第二亮點校正用影像資料具有m行n列的第三灰階值， 該影像生成部具有生成第三亮點校正用影像資料的功能，該第三亮點校正用影像資料是具有與基於該第三灰階值選擇的該第二灰階值對應的該第一灰階值的影像資料， 該亮點校正部具有將該第三亮點校正用影像資料所具有的m行n列的該第一灰階值中的臨界值以下的該第一灰階值的座標檢測為亮點座標的功能， 並且，該亮點校正部具有在具有m行n列的第四灰階值的內容影像資料被輸入到該輸入部時減小與該亮點座標同一座標的該第四灰階值的功能。
  5. 一種影像處理系統，包括： 顯示裝置、攝像裝置及生成裝置， 其中，該顯示裝置包括輸入部、亮點校正部及將m行n列(m、n為2以上的整數)的像素排列為矩陣狀的顯示部， 該生成裝置包括資料庫及影像生成部， 該資料庫容納有基於第一資料庫影像資料及第二資料庫影像資料生成的表，該第一資料庫影像資料是向該輸入部輸入的影像資料，該第二資料庫影像資料是藉由將與該第一資料庫影像資料對應的影像顯示在該顯示部上，該攝像裝置以具有該顯示部所顯示的影像的方式拍攝來取得的影像資料， 該第一資料庫影像資料具有m行n列的第一灰階值， 該第二資料庫影像資料具有m行n列的第二灰階值， 該表示出該第一灰階值及與該第一灰階值的座標對應的座標的該第二灰階值， 該攝像裝置具有藉由在將與向該輸入部輸入的第一亮點校正用影像資料對應的影像顯示於該顯示部上時拍攝顯示於該顯示部上的影像來取得第二亮點校正用影像資料的功能， 該第二亮點校正用影像資料具有m行n列的第三灰階值， 該影像生成部具有生成第三亮點校正用影像資料的功能，該第三亮點校正用影像資料是具有與基於該第三灰階值選擇的該第二灰階值對應的該第一灰階值的影像資料， 該亮點校正部具有將該第三亮點校正用影像資料所具有的m行n列的該第一灰階值中的第一臨界值以下的該第一灰階值的座標檢測為第一亮點座標的功能， 該亮點校正部具有將該第二亮點校正用影像資料所具有的m行n列的該第三灰階值中的第二臨界值以上的該第三灰階值的座標檢測為第二亮點座標的功能， 並且，該亮點校正部具有在具有m行n列的第四灰階值的內容影像資料被輸入到該輸入部時減小與該第一或第二亮點座標同一座標的該第四灰階值的功能。
  6. 如請求項4或5之影像處理系統， 其中該顯示裝置包括機器學習處理部， 該生成裝置包括影像處理部及學習部， 該影像處理部具有藉由對向該輸入部輸入的第一學習用影像資料基於第二學習用影像資料進行影像處理來生成第三學習用影像資料的功能， 該第二學習用影像資料是藉由將與該第一學習用影像資料對應的影像顯示在該顯示部上，該攝像裝置以具有該顯示部所顯示的影像的方式拍攝來取得的影像資料， 該第三學習用影像資料具有m行n列的第五灰階值， 該影像生成部具有生成第四學習用影像資料的功能，該第四學習用影像資料是具有與基於該第五灰階值選擇的該第二灰階值對應的該第一灰階值的影像資料， 該學習部具有生成在輸入該第一學習用影像資料時輸出的影像資料與該第四學習用影像資料一致的機器學習模型並將該機器學習模型輸出到該機器學習處理部的功能， 並且該機器學習處理部具有對向該輸入部輸入的該內容影像資料進行利用該機器學習模型的處理的功能。
  7. 如請求項6之影像處理系統， 其中該第一學習用影像資料具有m行n列的第六灰階值， 該第二學習用影像資料具有m行n列的第七灰階值， 並且該影像處理部具有以該第五灰階值的總和與該第七灰階值的總和之差小於該第六灰階值的總和與該第七灰階值的總和之差的方式進行該影像處理的功能。
  8. 如請求項6或7之影像處理系統， 其中該機器學習模型為神經網路模型。
TW110103789A 2020-02-07 2021-02-02 影像處理系統 TW202147277A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-020034 2020-02-07
JP2020020034 2020-02-07
JP2020-085322 2020-05-14
JP2020085322 2020-05-14

Publications (1)

Publication Number Publication Date
TW202147277A true TW202147277A (zh) 2021-12-16

Family

ID=77199254

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110103789A TW202147277A (zh) 2020-02-07 2021-02-02 影像處理系統

Country Status (6)

Country Link
US (1) US20230067287A1 (zh)
JP (1) JPWO2021156708A1 (zh)
KR (1) KR20220139332A (zh)
CN (1) CN115104144A (zh)
TW (1) TW202147277A (zh)
WO (1) WO2021156708A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815672B (zh) * 2022-08-02 2023-09-11 聯詠科技股份有限公司 顯示裝置、處理器以及影像處理方法
TWI831688B (zh) * 2023-05-04 2024-02-01 和碩聯合科技股份有限公司 監控圖像中亮度改變的方法及其裝置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230036571A (ko) * 2021-09-06 2023-03-15 삼성디스플레이 주식회사 감마 보정 방법 및 이를 채용한 표시 장치
CN117197128B (zh) * 2023-11-02 2024-01-30 宁波明禾新能源科技有限公司 一种折弯机的产品图像检测方法、系统和折弯机

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166191A (ja) * 2004-12-09 2006-06-22 National Univ Corp Shizuoka Univ 多原色表示装置における色変換の高速化方式
JP4053571B2 (ja) * 2006-07-05 2008-02-27 シャープ株式会社 輝度算出方法、輝度算出装置、検査装置、輝度算出プログラムおよびコンピュータ読み取り可能な記録媒体
KR101789602B1 (ko) * 2014-12-31 2017-10-26 엘지디스플레이 주식회사 유기발광 표시장치 및 그의 구동 방법
CN104730790B (zh) 2015-03-25 2018-05-11 深圳市华星光电技术有限公司 液晶显示装置、液晶显示器及其制作方法和暗点作业方法
KR102567319B1 (ko) 2016-04-28 2023-08-16 엘지디스플레이 주식회사 분할노광 장치 및 이를 이용한 액정표시장치의 제조방법
JP2018194719A (ja) * 2017-05-19 2018-12-06 株式会社半導体エネルギー研究所 表示システム及び電子機器
WO2019003026A1 (en) * 2017-06-27 2019-01-03 Semiconductor Energy Laboratory Co., Ltd. DISPLAY SYSTEM AND METHOD FOR PROCESSING DATA
CN108596226A (zh) * 2018-04-12 2018-09-28 武汉精测电子集团股份有限公司 一种基于深度学习的显示面板缺陷训练方法及系统
US10841529B2 (en) * 2018-06-05 2020-11-17 Samsung Electronics Co., Ltd. Mobile terminal adjusting image quality of display, and method of operating the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815672B (zh) * 2022-08-02 2023-09-11 聯詠科技股份有限公司 顯示裝置、處理器以及影像處理方法
US11763776B1 (en) 2022-08-02 2023-09-19 Novatek Microelectronics Corp. Display device, processor, and image processing method
TWI831688B (zh) * 2023-05-04 2024-02-01 和碩聯合科技股份有限公司 監控圖像中亮度改變的方法及其裝置

Also Published As

Publication number Publication date
JPWO2021156708A1 (zh) 2021-08-12
KR20220139332A (ko) 2022-10-14
WO2021156708A1 (ja) 2021-08-12
US20230067287A1 (en) 2023-03-02
CN115104144A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
TW202147277A (zh) 影像處理系統
US11037523B2 (en) Display method of display panel that uses different display algorithms for different display areas, display panel and display device
CN113724652B (zh) OLED显示面板Mura的补偿方法、装置及可读介质
JP2007018876A (ja) 有機ｅｌ表示装置の製造方法
TWI443639B (zh) 影像顯示裝置及驅動該影像顯示裝置的方法
CN110349537B (zh) 显示补偿方法、装置、计算机设备和存储介质
US20150116384A1 (en) Display device and compensation method for the same
CN109872668B (zh) 图像显示总电流预测方法、显示装置及存储介质
JP2015031874A (ja) 表示装置、表示装置の制御方法、及び、プログラム
TW201824245A (zh) 不均勻性修正系統、不均勻性修正裝置及面板驅動電路
CN117975907B (zh) 一种提升低亮度Demura效果的方法和装置
KR20220048943A (ko) 상이한 픽셀 레이아웃들의 영역들을 포함하는 디스플레이 패널에 대한 ir 드롭 보상
KR20100076342A (ko) 이미지센서의 불량 픽셀 검출 및 보정 방법
WO2005064584A1 (ja) 表示システム
JP6480669B2 (ja) 表示装置、表示装置の駆動方法及び電子機器
Farrell Image quality evaluation
JP2015222332A (ja) 表示パネルの製造方法
JP5293923B2 (ja) 画像処理方法及び装置、画像表示装置並びにプログラム
JP4798446B2 (ja) 撮影画像補正方法及び撮影画像補正モジュール
CN110599943A (zh) 显示面板像素补偿方法及补偿装置、显示面板
JP5317803B2 (ja) 表示機器の検査装置および検査方法
JP4642678B2 (ja) カラーマッチング方法および画像処理装置
JP4533989B2 (ja) 球面平均多原色分解法およびそれを用いた画像表示法
JP2021097278A (ja) 画像処理装置および画像処理方法ならびにプログラム
CN116744122A (zh) 图像处理方法、光学补偿方法以及光学补偿系统