WO2023095417A1 - 画像のコントラスト強調方法及び情報処理装置 - Google Patents

画像のコントラスト強調方法及び情報処理装置 Download PDF

Info

Publication number
WO2023095417A1
WO2023095417A1 PCT/JP2022/033761 JP2022033761W WO2023095417A1 WO 2023095417 A1 WO2023095417 A1 WO 2023095417A1 JP 2022033761 W JP2022033761 W JP 2022033761W WO 2023095417 A1 WO2023095417 A1 WO 2023095417A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
machine learning
unit
contrast enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/033761
Other languages
English (en)
French (fr)
Inventor
暁 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display Inc
Original Assignee
Japan Display Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Display Inc filed Critical Japan Display Inc
Priority to CN202280077007.6A priority Critical patent/CN118339607A/zh
Priority to JP2023563525A priority patent/JPWO2023095417A1/ja
Priority to KR1020247015971A priority patent/KR20240074005A/ko
Publication of WO2023095417A1 publication Critical patent/WO2023095417A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast

Definitions

  • the present disclosure relates to an image contrast enhancement method and an information processing apparatus.
  • Patent Document 1 A method of evaluating luminance unevenness of a display device that displays an image is known (for example, Patent Document 1).
  • Contrast enhancement is performed to make the features caused by display defects clearer in the evaluation of display defects such as luminance unevenness.
  • simply enhancing the contrast does not make the features caused by display defects clearer. Therefore, there has been a demand for an image contrast enhancement method capable of setting more appropriate parameters for sharpening features caused by display defects.
  • the present disclosure has been made in view of the above problems, and aims to provide an image contrast enhancement method and an information processing apparatus capable of setting more appropriate parameters for making features caused by display defects clearer. aim.
  • An image contrast enhancement method is a contrast enhancement method for an image obtained by imaging an image display surface of a display device, the information processing device comprising a step of performing contrast enhancement on the image,
  • a graph showing the relationship between the value before contrast enhancement and the value after contrast enhancement of the gradation value of the included pixel is a curve having two inflection points.
  • FIG. 1 is a block diagram showing the main configuration of an information processing apparatus.
  • FIG. 2 is a block diagram showing the main functional configuration of the information processing device.
  • FIG. 3 is a diagram showing classification of images in the determination processing by the determination unit and a schematic example of images of each classification.
  • FIG. 4 is a graph showing the relationship between the gradation values of pixels before contrast enhancement and the gradation values of pixels after contrast enhancement.
  • FIG. 5 is a block diagram showing an example of a more specific functional configuration example of the determination unit.
  • FIG. 6 is a schematic diagram showing the concept of holdout verification.
  • FIG. 7 is a schematic diagram showing the concept of cross-validation.
  • FIG. 8 is a diagram showing, in the form of a table, an idea about the accuracy of determination using machine learning.
  • FIG. 9 is a flow chart showing the flow of machine learning to which multi-step processing is applied.
  • FIG. 10 is a diagram showing the flow of machine learning to which multi-stage processing is applied.
  • FIG. 11 is a diagram showing the correspondence relationship between the actual class of verification data included in the reference data and the output (predicted class) of the first verification process by the process of step S3 described with reference to FIG. is.
  • FIG. 12 shows the actual class of verification data included in the "reference data corresponding to a specific output" input to the machine learning unit in the process of step S6 described with reference to FIG. 9, and the process of step S6.
  • FIG. 10 is a diagram showing the correspondence relationship with the output (predicted class) of the second verification process (first time) by .
  • FIG. 13 shows the actual class of the verification data extracted in the process of step S4 described with reference to FIG. It is a figure which shows the correspondence with the output (predicted class) of a process (2nd time).
  • FIG. 14 is a diagram showing the correspondence relationship between the actual classes of verification data included in the reference data and the final output (predicted classes) obtained by the processing in step S8 described with reference to FIG. is.
  • FIG. 15 is a flowchart showing the flow of determination processing by a machine learning unit in which multi-step processing is applied to image data classification determination using machine learning.
  • FIG. 16 is a graph showing the relationship between the gradation values of pixels before contrast enhancement and the gradation values of pixels after contrast enhancement.
  • FIG. 17 is a diagram showing the relationship between the distribution of gradation values of an image of a display panel with "diagonal unevenness” and the distribution of gradation values of an image of a "non-defective" display panel.
  • FIG. 18 is a diagram showing the difference between Formula (1) and Formula (2) and the relationship between the graph corresponding to Formula (2) and gain_1, gain_2, Inflection_1, Inflection_2, height_1, and height_2.
  • FIG. 19 is a diagram showing an image of a display panel classified as "non-defective” and an example of application of image processing to the image.
  • FIG. 20 is a diagram showing an image of a display panel corresponding to both "scanning line defect" and “signal line defect” and an example of application of image processing to the image.
  • FIG. 21 is a diagram showing an image captured of a display panel classified as "oblique unevenness” and an example of application of image processing to the image.
  • FIG. 22 is a diagram showing an image captured of a display panel classified as "white unevenness” and an example of applying image processing to the image.
  • FIG. 23 is a diagram showing the relationship between a histogram showing the distribution of gradation values of pixels included in an image of the display panel and the position (b) of the point of inflection.
  • FIG. 1 is a block diagram showing the main configuration of the information processing device 1.
  • the information processing device 1 includes a communication section 11 , an input section 12 , a calculation section 21 , a storage section 22 and an output section 30 .
  • the communication unit 11 communicates with external devices.
  • the communication unit 11 has, for example, a circuit that functions as a NIC (Network Interface Controller).
  • the communication unit 11 outputs data received from an external device to the calculation unit 21 .
  • the communication section 11 transmits the data to the external device.
  • the external device may be, for example, a stationary information processing device such as a server different from the information processing device 1 or a PC (Personal Computer), or a mobile terminal such as a smartphone.
  • the information processing apparatus according to another form not exemplified here may be used.
  • the input unit 12 has an interface that allows data to be input.
  • the interface is, for example, a USB (Universal Serial Bus) or a bus interface compatible with other standards, but is not limited to these, and specific standards can be changed as appropriate.
  • An external device is connected to the bus interface, for example, via a cable for inputting data from the external device.
  • Input devices such as a keyboard and a mouse for the operator to operate the information processing apparatus 1 may be further connected to the bus interface.
  • At least one of the communication unit 11 and the input unit 12 functions as an acquisition unit 40 .
  • the arithmetic unit 21 has an arithmetic circuit that functions as a CPU (Central Processing Unit).
  • the calculation unit 21 reads out the software program and data referred to during execution processing of the software program from the storage unit 22 and performs calculation processing corresponding to various functions provided by the information processing apparatus 1 .
  • program, etc. refers to a software program read and executed by the computing unit 21 and data referred to when the software program is executed.
  • the storage unit 22 has a storage device that stores programs and the like.
  • the storage device includes, for example, one or more of solid state drives (SSD: Solid State Drive), hard disk drives (HDD: Hard Disk Drive), and other rewritable storage devices. It may also include a non-rewritable storage device.
  • FIG. 1 shows a machine learning program 221, an image processing program 222, reference data 223, and setting data 224 as programs and the like stored in the storage unit 22.
  • the calculation unit 21 and the storage unit 22 that stores programs and the like read by the calculation unit 21 function as a processing unit 50 .
  • the machine learning program 221 is a program or the like for performing machine learning.
  • the output unit 30 outputs according to the processing content of the processing unit 50 .
  • the output unit 30 is, for example, a monitor that displays an image, but is not limited to this.
  • the output unit 30 may further include a configuration that performs output in another form, such as a speaker that outputs audio, and when the communication unit 11 transmits data to an external device, the communication unit 11 It can be said that it functions as the output unit 30 .
  • the input unit 12 conforms to a standard that allows bi-directional data transmission, the input unit 12 also functions as the output unit 30 .
  • FIG. 2 is a block diagram showing the main functional configuration of the information processing device 1.
  • the information processing device 1 functions as an acquisition unit 40 , a processing unit 50 and an output unit 30 .
  • the acquisition unit 40 acquires the determination target image data 100 .
  • the communication unit 11 can acquire the determination target image data 100 from an external device through communication.
  • the input unit 12 can acquire determination target image data 100 input from an external device.
  • the processing unit 50 functions as an image processing unit 51 and a determination unit 60.
  • the image processing unit 51 performs image processing on the determination target image data 100 .
  • a program or the like for the calculation unit 21 to function as the image processing unit 51 is an image processing program 222 .
  • the determination unit 60 performs determination processing for classifying images using a neural network NN.
  • a machine learning program 221 is a program or the like for the operation unit 21 to function as the determination unit 60 .
  • An image to be determined by the determination unit 60 is an image obtained by reading image data included in the determination target image data 100 .
  • the output unit 30 outputs the results of the determination processing by the determination unit 60.
  • the output unit 30 performs display output indicating the result of determination processing by the determination unit 60 .
  • FIG. 3 is a diagram showing the classification of images in the determination processing by the determination unit 60 and a schematic example of images of each classification. As shown in FIG. 3, the image is classified into, for example, non-defective product, defective circuit, defective signal line, defective scanning line, oblique unevenness, vertical stripe, cluster, or white unevenness by the determination processing by the determination unit 60. .
  • oblique unevenness refers to a defect in which an area with a luminance difference with respect to the surroundings appears to extend in the shape of a long axis. Although it is written as "diagonal", it also includes cases where it extends horizontally or vertically with respect to the screen.
  • a vertical stripe refers to a defect in which a luminance difference appears to occur corresponding to a divided block of a signal line or the like.
  • a cluster refers to a defect that is found concentrated in an area where point defects exist.
  • White unevenness refers to a defect in which an area that is brighter/darker than the surrounding area appears to occur irregularly when in-plane uniform gradation display is performed. The present invention is not limited to detection of these types of unevenness per se, and failure modes not included in the above may be further defined.
  • the determination target image data 100 includes a plurality of image data.
  • the image data is image data obtained by imaging the image display surface of the display panel displaying a white or halftone solid image.
  • the state in which a white solid image is displayed refers to the state in which all the pixels perform display output with the maximum white gradation value.
  • a state in which a halftone solid image is displayed means a state in which display output is performed with a gradation value in which all pixels are less than the maximum gradation value and exceed the minimum gradation value.
  • the display panel is, for example, an OLED (Organic Light Emitting Diode) display panel, but is not limited to this, and may be a display panel of another type.
  • Each of the plurality of image data included in the determination target image data 100 is obtained by capturing an image display surface of a different display panel.
  • the determination processing performed by the determination unit 60 in the embodiment is for confirming whether or not a plurality of display panels, which are imaged when the determination target image data 100 is generated, can perform display output with the expected quality. This process is intended to automatically inspect products.
  • a display panel when simply referred to as a display panel, it refers to one of a plurality of display panels that have been imaged when generating the determination target image data 100 .
  • an image when simply described as an image, it means an image obtained by reading image data, unless otherwise specified.
  • the determination target image data 100 and the reference data 223 are either an image obtained by cutting an image captured in the state of the Mother Glass substrate for each panel, or an image captured for each panel after cutting the Mother Glass substrate for each panel. It's okay.
  • the images of the image data included in the determination target image data 100 and the reference data 223 are grayscale or black and white images.
  • the image processing unit 51 which will be described later, may sequentially perform grayscale processing based on each primary color.
  • a good product is one that can be displayed and output with the expected quality. That is, the display panel on which the image determined to be non-defective is captured is a non-defective product.
  • a circuit defect refers to a characteristic display defect caused by a defect in part or all of the drive circuit that supplies video signals and scanning signals to the pixels that make up the display screen.
  • FIG. 3 shows a model example in which part or all of an image is a black area BA that is extremely dark or a white area WA that is too bright for white or halftone solid image display as the characteristic display defect.
  • a circuit failure occurs in the display panel on which the image determined as the circuit failure is captured.
  • a signal line defect refers to a characteristic display defect caused by a defect in a portion of a plurality of signal lines that transmit image signals to a plurality of pixels provided on a display panel.
  • a black area BA that is extremely dark for white or halftone solid image display or a white area WA that is too bright occurs linearly along the longitudinal direction of the rectangular image.
  • a model example is shown. Further, in the rightmost schematic example, a black area BA is generated along the direction perpendicular to the longitudinal direction.
  • a scanning line defect refers to a characteristic display defect caused by a defective part of a plurality of scanning lines that transmit drive signals to a plurality of pixels provided on a display panel.
  • a black area BA that is extremely dark as a white or halftone solid image display, or a dark area GA that is brighter than the black area BA but darker than its surroundings is a rectangular image. shows a schematic example of linearly occurring along the direction orthogonal to the longitudinal direction of the .
  • the determination target image data 100 is an image that falls under any of the classifications described with reference to FIG.
  • the reference data 223 is prepared in advance on the assumption that images of image data included in the determination target image data 100 are classified.
  • the reference data 223 is, for example, image data obtained by imaging the image display surface of a display panel that corresponds to one of the classifications shown in FIG. 3 and whose classification has been determined in advance.
  • the image data included in the reference data 223 is added with information that can specify which classification it belongs to when read by the calculation unit 21 .
  • the image processing unit 51 individually performs image processing on a plurality of image data included in the determination target image data 100 . Specifically, the image processing unit 51 performs a process of enhancing the contrast of the image.
  • FIG. 4 is a graph showing the relationship between the gradation values of pixels before contrast enhancement and the gradation values of pixels after contrast enhancement.
  • the gradation value of each of a plurality of pixels included in the image before being processed by the image processing unit 51 is represented by 8 bits, the gradation value ranges from 0 to Takes any value in the range of 255. If the contrast is not changed by image processing by the image processing unit 51, the determination target image data 100 has no difference in the gradation values of the pixels before and after the contrast enhancement, as shown in the graph L4 shown in FIG. .
  • the gradation value after contrast enhancement is indicated by the vertical axis in FIG.
  • the image processing unit 51 changes the gradation value of each of the plurality of pixels included in the image so that the relationship between before and after contrast enhancement can be represented, for example, by one of the graphs L1, L2, and L3 shown in FIG. to enhance the contrast of the image.
  • Graphs L1, L2, and L3 are sigmoid curves represented by the sigmoid function shown in Equation (1).
  • y in Expression (1) indicates the gradation value of the pixel after image processing by the image processing unit 51 .
  • x in equation (1) indicates the gradation value of the pixel before image processing by the image processing unit 51 .
  • Equation (1) indicates the value of x corresponding to the point of inflection of the sigmoid curve, that is, x among the coordinates (x, y) at which the slope of the sigmoid curve is the largest. With b in between, the sigmoid curve is downwardly convex when x ⁇ b, and is upwardly convex when x>b.
  • a in Equation (1) is a coefficient corresponding to the magnitude of the slope of the sigmoid curve. Note that exp[ ] in Equation (1) and Equation (2) to be described later indicates an exponential function.
  • the description of the embodiment, formula (1), and formula (2) to be described later assume that the image of the image data included in the reference data 223 and the determination target image data 100 is an 8-bit image. That is, in the description of the embodiment and formulas (1) and (2), it is assumed that the maximum gradation value of the pixels included in the image is 255.
  • the numerical value "255" described as the numerator of formulas (1) and (2) assumes the highest grayscale value of pixels included in an 8-bit image.
  • images that can be handled by the information processing apparatus 1 are not limited to 8-bit images.
  • the information processing device 1 can handle r-bit images. r is any natural number.
  • the highest grayscale value for an r-bit image is 2 r ⁇ 1.
  • the image handled by the information processing device 1 is an r-bit image
  • the numerical value "255" described as the numerator of the equations (1) and (2) is replaced with "2 r -1". be.
  • the image of the image data included in the reference data 223 of the embodiment is previously subjected to image processing by the image processing unit 51 .
  • FIG. 5 is a block diagram showing an example of a more specific functional configuration example of the determination unit 60.
  • the determination unit 60 includes a machine learning unit 70 , a verification unit 61 and a restrictive classification processing unit 62 .
  • the machine learning section 70 performs machine learning according to a predetermined algorithm.
  • CNN Convolutional Neural Network
  • the machine learning unit 70 includes a feature extraction unit 71 and an identification unit 72.
  • the processing included in CNN is roughly divided into two processings.
  • One of the two processes is extraction of the feature amount of an image to be processed using CNN, and is performed by the feature amount extraction unit 71 .
  • the other one of the two processes is the process of obtaining the output of the neural network NN from the input of the data indicating the feature amount of the image.
  • the output of the neural network NN is a probability value (in the range 0 to 1) falling within each of the categories described with reference to FIG.
  • the feature quantity extraction unit 71 includes a convolution processing unit 711 and a pooling processing unit 712 .
  • the convolution processing unit 711 performs convolution processing on the image.
  • the convolution processing here is the same as the convolution processing employed in general CNN.
  • each gradation value of a plurality of pixels included in an image is regarded as a matrix value.
  • the two-dimensional image can be regarded as a matrix with p rows and q columns.
  • Each tone value of a plurality of pixels of the two-dimensional image can be regarded as a matrix component. Assuming that the matrix is ⁇ and the component of the matrix ⁇ is ⁇ , the component at the e-th position in the X direction and the f-th position in the Y direction in the matrix ⁇ can be expressed as ⁇ ef .
  • a reference matrix called a kernel or filter is set as a matrix separate from the two-dimensional image described above.
  • the reference matrix is hereinafter referred to as a kernel.
  • the number of rows of the kernel is smaller than the number of rows of the image to be convolved (for example, the two-dimensional image described above).
  • the number of columns of the kernel is smaller than the number of columns of the image to be convolved (for example, the two-dimensional image described above).
  • the matrix elements included in the kernel are predetermined weighting number values (generally integers).
  • the convolution processing unit 711 treats one of the images included in the determination target image data 100 as a matrix, and performs extraction processing of extracting a part of the matrix corresponding to the number of rows and columns of the kernel. That is, the part can be regarded as a matrix having the same number of rows and columns as the kernel.
  • the convolution processing unit 711 performs multiplication processing to obtain a matrix product obtained by multiplying the part and the kernel.
  • the convolution processing unit 711 performs addition processing for obtaining one value by adding the values of the components included in the product of the matrices.
  • the convolution processing unit 711 treats the one value as one feature amount.
  • the convolution processing unit 711 sets a plurality of ranges to be subjected to extraction processing in one image regarded as a matrix.
  • the convolution processing unit 711 performs extraction processing, multiplication processing, and addition processing on each range to obtain the feature amount of each range.
  • one image is converted into data (first feature amount matrix) in which values indicating feature amounts are arranged in a matrix. More specifically, padding (complementation of pixels) or the like may be performed during the extraction process, but since this is well known, a detailed description thereof will be omitted here.
  • the pooling processing unit 712 performs pooling processing on the image on which the convolution processing has been performed by the convolution processing unit 711 .
  • the pooling process referred to here is the same as the pooling process employed in general CNN.
  • the components of the first feature matrix obtained by the convolution process described above are divided into multiple groups. For example, assume that the first feature matrix is a matrix with 10 rows and 10 columns. Here, when the first feature amount matrix is segmented for each range of 2 rows and 2 columns, a 5 ⁇ 5 range can be set for the first feature amount matrix. Here each range is considered a separate group.
  • the components of the first feature amount matrix obtained by the convolution process can be divided into a plurality of groups based on such a concept. The pooling process derives one value for each group. Methods for deriving the one value include, for example, maximum value pooling, average value pooling, and the like.
  • Maximum value pooling is a method of deriving the maximum value among matrix elements included in a group.
  • Mean pooling is a method of deriving the mean of the matrix elements included in a group.
  • the second feature amount matrix is regarded as data representing the feature amount of one image (for example, one of a plurality of images included in the determination target image data 100) regarded as a matrix by the convolution processing unit 711. be able to.
  • the processing of the convolution processing unit 711 and the pooling processing unit 712 for one image may be performed once or more, and may be repeated a predetermined number of times.
  • the processing performed by the feature amount extraction unit 71 may further include an operation that is the reverse of the convolution processing (deconvolution) and an operation that is the reverse of the pooling processing (unpooling).
  • the identification unit 72 includes a neural network generation unit 721 and a probability conversion unit 722.
  • the neural network generator 721 generates a neural network NN.
  • the probability conversion unit 722 performs arithmetic processing to convert the output of the neural network NN generated by the neural network generation unit 721 into a probability value (a value within the range of 0 to 1).
  • the inputs to the neural network NN when CNN is adopted are the components of the matrix (second feature matrix) obtained as the output of the pooling process described above.
  • the number of elements included in the matrix corresponds to the number of input nodes of the neural network NN.
  • a neural network NN is similar to a neural network in general machine learning and includes one or more fully connected layers. In the fully connected layer, weighting processing is performed on the input. In general, among the one or more fully connected layers of the neural network NN, the number of biases of the fully connected layer (final stage) closest to the output side is the type of discrimination performed using the neural network NN (for example, , the number of classifications described with reference to FIG. 3).
  • the output of a neural network NN can take any value (number greater than 1). Therefore, in order to treat the output of the neural network NN as "a value indicating likelihood that can be used to determine which class it belongs to", calculation by the probability conversion unit 722 is performed.
  • the calculation by the probability conversion unit 722 is, for example, calculation using a Softmax function, but is not limited to this and can be changed as appropriate.
  • the verification unit 61 gives the machine learning by the machine learning unit 70 a validation function.
  • the verification unit 61 suppresses over-learning in machine learning, and makes it easier to improve the accuracy of determination by machine learning.
  • Examples of verification functions by the verification unit 61 include holdout verification, cross-validation, and the like.
  • FIG. 6 is a schematic diagram showing the concept of holdout verification.
  • a data set DS including m pieces of image data is indicated by a rectangle. 6 and 7, from the first image data to the m-th image data among m pieces of image data from one end side to the other end side in the longitudinal direction along the longitudinal direction of the rectangle. Assume they are lined up in order. m is a natural number.
  • the data set DS is divided into teacher data TD and verification data CD, as shown in FIG.
  • the teacher data TD is used as teacher data in machine learning.
  • the verification data CD is used as verification data in machine learning.
  • One data set DS includes multiple image data corresponding to one decision result by machine learning.
  • the "non-defective" data set DS for explaining FIG. 3 includes m image data obtained by individually imaging the image display surfaces of m display panels corresponding to the "non-defective".
  • n pieces of image data are extracted from the m pieces of image data and used as teacher data TD, and the determination unit 60 performs machine learning using the teacher data TD.
  • n is a natural number less than m.
  • the determination unit 60 after learning with the teacher data TD determines the verification data CD which is (mn) pieces of image data excluding the teacher data TD in the data set DS.
  • the verification data CD is a part of the data set DS and includes only image data corresponding to one decision result by machine learning. Therefore, ideally, the determination unit 60 after learning with the teacher data TD determines that all image data included in the verification data CD are image data corresponding to the one determination result. However, in practice, part of the verification data CD may be determined to be image data corresponding to other determination results. Therefore, the determination unit 60 after machine learning using the teacher data TD determines the verification data CD to verify the determination accuracy of the determination unit 60, and further enhance the determination accuracy based on the learning using the teacher data TD. It is done so that it can be done.
  • the verification unit 61 divides the data set DS into the teacher data TD and the verification data CD, and the learning of the machine learning unit 70 with the teacher data TD and the judgment accuracy based on the verification data CD. verification and
  • FIG. 7 is a schematic diagram showing the concept of cross-validation.
  • the verification unit 61 treats the data set DS as a data set DSS1, as shown in FIG. 7, for example.
  • Data set DSS1 includes data sets DSa, DSb, DSc, DSd and DSe.
  • Data set DSa is data obtained by dividing data set DS into verification data CD1 and teacher data TD1.
  • Data set DSb is data obtained by dividing data set DS into verification data CD2 and teacher data TD21 and TD22.
  • Data set DSc is data obtained by dividing data set DS into verification data CD3 and teacher data TD31 and TD32.
  • Data set DSd is data obtained by dividing data set DS into verification data CD4 and teacher data TD41 and TD42.
  • Data set DSe is data obtained by dividing data set DS into verification data CD5 and teacher data TD5.
  • Teacher data TD1, TD21, TD22, TD31, TD32, TD41, TD42, and TD5 are used as teacher data in machine learning.
  • Verification data CD1, CD2, CD3, CD4, and CD5 are used as verification data in machine learning.
  • the verification data CD1, the verification data CD2, the verification data CD3, the verification data CD4, and the verification data CD5 each include different image data.
  • cross-validation sets a plurality of patterns (for example, data sets DSa, DSb, DSc, DSd, and DSe) regarding which part of the m pieces of image data included in the data set DS is regarded as verification data.
  • the holdout verification (see FIG. 6) is repeated by the number of the plurality of patterns.
  • the verification unit 61 that performs cross-validation is employed in the embodiment, it is not limited to this, and the specific verification algorithm performed by the verification unit 61 can be changed as appropriate.
  • the reference data 223 of the embodiment includes multiple data sets corresponding to the number of classifications described with reference to FIG. Specifically, the reference data 223 includes data sets DS1, DS2, DS3, DS4, DS5, DS6, DS7 and DS8 (see FIG. 10).
  • the data set DS1 is a data set DS including m image data obtained by individually imaging the image display surfaces of m display panels corresponding to "non-defective products”.
  • the data set DS2 is a data set DS including m image data obtained by individually imaging the image display surfaces of the m display panels corresponding to "oblique unevenness".
  • the data set DS3 is a data set DS including m image data obtained by individually imaging the image display surfaces of the m display panels corresponding to the "signal line defect”.
  • the data set DS4 is a data set DS including m image data obtained by individually imaging the image display surfaces of m display panels corresponding to "scanning line defects”.
  • the data set DS5 is a data set DS including m image data obtained by individually imaging the image display surfaces of the m display panels corresponding to "circuit failure”.
  • the data set DS6 is a data set DS including m image data obtained by individually imaging the image display surfaces of the m display panels corresponding to the "vertical stripes”.
  • the data set DS7 is a data set DS including m image data obtained by individually imaging the image display surfaces of the m display panels corresponding to the "cluster”.
  • the data set DS8 is a data set DS including m image data obtained by individually imaging the image display surfaces of the m display panels corresponding to "white unevenness”.
  • the verification unit 61 of the embodiment performs cross-validation individually on each of the data sets DS1, DS2, DS3, DS4, DS5, DS6, DS7 and DS8.
  • Fig. 8 is a table showing the concept of the accuracy of judgment using machine learning. Those with a condition where 1 (Positive) is given when an image "corresponds to an image in which a specific target is captured", and -1 (Negative) is given when "it does not correspond to an image in which a specific target is captured”. and Under this condition, all images are considered to be images that can give a rating of 1 or -1.
  • machine learning it is possible to obtain an output indicating whether or not an image based on input data (feature amount) "corresponds to an image in which a specific target is captured”.
  • the machine learning unit 70 outputs the result of determination as to whether or not the image corresponds to an image in which a specific target is captured.
  • the machine learning unit 70 of the embodiment in response to the input of the determination target image data 100 or the verification data (for example, verification data CD etc.)
  • the resulting image falls under any of the following categories: "good product”, “diagonal unevenness”, “signal line failure”, “scanning line failure”, “circuit failure”, “vertical stripes”, “cluster” or “white unevenness”.
  • an image determined to fall under a category other than "non-defective" can be said to be an image determined to be "non-defective”.
  • the "actual class” column shown in Fig. 8 shows the results of the visual inspection by the inspector. For example, an image in which a specific target is actually captured is an image corresponding to an image in which a specific target is captured, and 1 is given. In addition, an image ⁇ not capturing a specific target'' is an image ⁇ does not correspond to an image capturing a specific target'' and is given -1.
  • the "predicted class” shown in FIG. 8 indicates the result of determination using machine learning. That is, 1 is given to an image that is determined to be an image in which a specific target is captured. In addition, ⁇ 1 is given to an image that is determined as “not corresponding to an image in which a specific object is imaged” in the determination.
  • the value indicating the accuracy rate is the value of (TP+TN)/(TP+TN+FN+FP).
  • the value indicating the recall is the value of TP/(TP+FN).
  • the value indicating the matching rate is the value of TP/(TP+FP).
  • a value indicating the false positive rate is the value of FP/(TN+FP). If Q is the detection rate and R is the precision rate, the F value is 2 ⁇ Q ⁇ R/(Q+R).
  • the limited classification processing unit 62 performs multi-stage processing.
  • the multi-stage processing referred to here means extracting, from the plurality of images, some of the input data corresponding to some of the judgment results indicated by the output of the machine learning unit 70 for the plurality of input data, and extracting It refers to a process of inputting the part of the input data thus obtained to the machine learning unit 70 and causing the machine learning part 70 to further determine which of the part of the determination result is.
  • the determination target image data 100 includes a plurality of image data (for example, 1600 image data).
  • a plurality of image data for example, 1600 image data.
  • the limited classification processing unit 62 extracts the partial image data from the plurality of image data.
  • the limited classification processing unit 62 inputs the extracted part of the input data to the machine learning unit 70 again, and causes the machine learning unit 70 to output the determination again.
  • the classification by the judgment is limited to a part of the classification (for example, "non-defective item" or "diagonal unevenness").
  • simply inputting the part of the input data to the machine learning unit 70 causes the part of the input data to be processed again by the convolution processing unit 711 and the pooling processing unit 712 .
  • the data to be used may be used as it is, and the processing by the convolution processing unit 711 and the pooling processing unit 712 may not be repeated.
  • FIG. 9 and 10 The flow of machine learning by the machine learning unit 70 to which the multi-stage processing by the restrictive classification processing unit 62 is applied will be described below with reference to FIGS. 9 and 10.
  • FIG. 9 and 10 The processing flow described with reference to FIGS. 9 and 10 is the processing flow of supervised learning using the image data included in the reference data 223 as teacher data.
  • FIG. 9 is a flow chart showing the flow of machine learning to which multi-stage processing is applied.
  • FIG. 10 is a diagram showing the flow of machine learning to which multi-stage processing is applied.
  • the reference data 223 is acquired (step S1).
  • the computing unit 21 that is executing the machine learning program 221 reads the reference data 223 from the storage unit 22 .
  • part of the image data included in the reference data 223 is used as teacher data, and the other part is used as verification data.
  • TD a portion treated as teacher data
  • CD a portion treated as verification data
  • step S2 the first stage of machine learning processing is performed by the machine learning unit 70 (step S2).
  • the processing of step S2 is machine learning processing using teacher data included in data sets DS1, DS2, DS3, DS4, DS5, DS6, DS7, and DS8 included in reference data 223.
  • FIG. In the machine learning process, for example, when the data indicating the feature amount of the image of the verification data included in the reference data 223 is input to the neural network NN, the image of the data is the eight types described with reference to FIG. This is a machine learning process for determining a weighting value in a neuron of the neural network NN for the purpose of allowing the machine learning unit 70 to determine which of the classifications it is.
  • the first-stage machine learning process is described as "8-class CNN" and is labeled with step ST1.
  • step S3 the first stage verification process is performed (step S3).
  • the calculation unit 21 inputs the verification data included in the data sets DS1, DS2, DS3, DS4, DS5, DS6, DS7, and DS8 included in the reference data 223 to the machine learning unit 70, step This is the process of obtaining the output of the machine learning unit 70 in which the machine learning by the process of S2 is reflected. That is, the process of step S3 is a process of obtaining an output indicating which of the eight classifications described with reference to FIG. The output obtained by the process of step S3 is indicated as output OP1 in FIG.
  • the limited classification processing unit 62 extracts verification data for which a specific output (verification result) was obtained in the first-stage verification process (step S4).
  • the verification data extracted in the process of step S4 is part of the verification data handled as input to the machine learning unit 70 in the process of step S3, and is one of the eight classifications described with reference to FIG. It is the verification data obtained with the output indicating that it is determined to be part of the classification (for example, “non-defective product” or “oblique unevenness”).
  • the “specific output” refers to the output indicating that it has been determined to be the partial classification.
  • step S5 the second-stage machine learning process is performed using the image data corresponding to the specific output among the image data contained in the reference data 223 (step S5).
  • Image data corresponding to a specific output among the image data contained in the reference data 223 or “reference data corresponding to a specific output” are part of the reference data 223, and " A data set (for example, data set DS1 and data set DS2) including image data corresponding to a part of classification (for example, "non-defective product" or "oblique unevenness") treated as "specific output”.
  • the process of step S5 is a machine learning process using teacher data included in the above-described "reference data corresponding to a specific output”.
  • the image of the data is the eight types described with reference to FIG.
  • a machine learning process that determines weight values in neurons of the neural network NN for the purpose of allowing the machine learning unit 70 to determine which of the partial classifications corresponding to the "specific output" among the classifications. be.
  • the second-stage machine learning process is described as "2-class CNN" and is labeled with step ST2.
  • step S6 the second-stage verification process (first time) is performed (step S6).
  • the calculation unit 21 inputs the verification data included in the above-described "reference data corresponding to the specific output” to the machine learning unit 70, and the machine learning reflected by the process of step S5 is performed.
  • This is processing for obtaining the output of the learning unit 70 . That is, in the process of step S6, the image of the verification data included in the above-described "reference data corresponding to a specific output" is classified by the machine learning unit 70 into the eight types described with reference to FIG. This is the process of obtaining an output that is determined to be any of the partial classifications that correspond to the "specific output” in the process of S4.
  • step S7 feedback to the machine learning by the process of step S5 may be performed based on the output obtained by the process of step S6. That is, based on the process of step S6, the accuracy of machine learning may be improved by the process of step S5.
  • step S7 After the process of step S7, the output obtained in the second stage verification process (second time) and the output other than the specific output (verification result) among the outputs obtained in the first stage verification process are combined.
  • a process is performed to make the object the final output (step S8).
  • the calculation unit 21 receives the output obtained in the process of step S7 and the verification data that was not extracted by the process of step S4 among the outputs obtained in the process of step S3.
  • the obtained output and are integrated, and the integrated output is used as the final output of the machine learning unit 70 .
  • the output obtained by the process of step S8 is shown as output OP3 in FIG.
  • steps S2 to S7 are repeated according to the number of data sets generated by cross-validation.
  • the number of data sets is 5 because the data sets DSa, .
  • each data set DS of the data sets DS1, DS2, is taken as an example in which 200 are treated as training data and 200 are treated as verification data (the number of objects to be judged). Also, the "number of correct answers" in the tables of FIGS. 11 to 14 corresponds to TP in FIG. Also, “prediction accuracy” in the tables of FIGS. 11 to 14 is the ratio of the number of correct answers to the number of verification data corresponding to each classification (the number of actual classes), and corresponds to the above-described recall rate.
  • FIG. 11 shows the correspondence relationship between the actual class of verification data included in the reference data 223 and the output (predicted class) of the first verification process by the process of step S3 described with reference to FIG. It is a diagram.
  • FN 44/200
  • whose actual class is "non-defective” but whose predicted class is other than “non-defective” will be described.
  • those whose predicted class was "diagonal unevenness" (21/44) accounted for nearly half of the FNs, which was significant compared to the number of each of the other classes in the FNs. to big.
  • a TP whose actual class matches the predicted class will be described.
  • the TP (111/200) of "oblique unevenness” is significantly smaller than the TPs of other classifications.
  • FN 89/200 in which the actual class is "diagonal unevenness” but the predicted class is other than "diagonal unevenness” will be described. Of those FNs, more than half of the FNs (62/89) were assigned the predicted class of "good", significantly greater than the number of each of the other categories in the FNs. .
  • FIG. 12 shows the actual class of verification data included in the “reference data corresponding to a specific output” input to the machine learning unit 70 in the process of step S6 described with reference to FIG. It is a figure which shows the correspondence with the output (predicted class) of the 2nd verification process (1st time) by a process.
  • FIG. 11 and FIG. 12 by limiting the actual class and the predicted class to "non-defective product" and "diagonal unevenness", the degree of matching between the actual class and the predicted class is be heightened.
  • 156/200 of both the actual class and the predicted class are "non-defective", which is 78.0% when converted to prediction accuracy.
  • FIG. 11 shows the example shown in FIG. 11
  • the actual class and the predicted class are both “non-defective” at 180/200, which is 90.0% when converted to prediction accuracy.
  • the actual class and the predicted class are both "oblique unevenness" at 111/200, which is 55.5% when converted to prediction accuracy.
  • the actual class and the predicted class are both "non-defective" at 160/200, which is 80.0% when converted to prediction accuracy.
  • FIG. 13 shows the actual class of the verification data extracted in the process of step S4 described with reference to FIG. 9 and input to the machine learning unit 70 in the process of step S7, and the second It is a figure which shows the correspondence with the output (predicted class) of verification processing (2nd time).
  • the degree of matching between the actual class and the predicted class is be heightened.
  • 156/200 of both the actual class and the predicted class are "non-defective", which is 78.0% when converted to prediction accuracy.
  • FIG. 11 shows the example shown in FIG. 11
  • FIG. 14 shows the correspondence relationship between the actual classes of verification data included in the reference data 223 and the final outputs (predicted classes) obtained by the processing of step S8 described with reference to FIG. It is a diagram.
  • the table shown in FIG. 14 is obtained by updating some of the various values contained in the table shown in FIG. 11 with the values contained in the table shown in FIG. By updating the part of the values, among the values shown in FIG. TP (140) of "diagonal unevenness" and FN of "diagonal unevenness", i.e., the actual class is "diagonal unevenness” but the predicted class is "non-defective product". ' (33) is reflected.
  • the final output obtained by the process of step S8 has higher prediction accuracy of "non-defective product” and "diagonal unevenness” than the output of the first verification process. rising. Therefore, even when looking at overall prediction accuracy using machine learning, the final output obtained by the process of step S8 naturally has higher prediction accuracy than the output of the first verification process.
  • the prediction accuracy that is, the match between the actual class and the predicted class can be improved. You can increase the degree.
  • the multi-stage processing by the limited classification processing unit 62 can be applied not only to machine learning but also to image data classification determination using machine learning.
  • the flow of determination processing by the machine learning unit 70 in which multi-stage processing is applied to image data classification determination using machine learning will be described below with reference to FIG. 15 .
  • Image data classification determination using machine learning is performed after machine learning described with reference to FIGS. 9 to 14 .
  • FIG. 10 the flow of input of the determination target image data 100 based on FIG. 15 is indicated by broken lines.
  • FIG. 15 is a flow chart showing the flow of determination processing by the machine learning unit 70 in which multi-stage processing is applied to image data classification determination using machine learning.
  • acquisition of determination target image data 100 is performed (step S11).
  • the acquisition unit 40 acquires the determination target image data 100 from an external device, and outputs the determination target image data 100 to the calculation unit 21 .
  • step S12 image processing is performed by the image processing unit 51 (step S12). Specifically, as described with reference to FIG. 4 , the image processing unit 51 performs image processing for further enhancing the contrast of the image data included in the determination target image data 100 .
  • step S13 the machine learning unit 70 performs the first stage of determination processing.
  • the calculation unit 21 inputs the image data included in the determination target image data 100 to the machine learning unit 70, and the machine learning unit 70 reflects the machine learning described with reference to FIG. This is the process to get the output. That is, the process of step S13 determines which of the eight types of classification described with reference to FIG. This is the process to get the output.
  • the limited classification processing unit 62 extracts the determination target image data 100 for which a specific output (determination result) was obtained in the first-stage determination process (step S14).
  • the verification data extracted in the process of step S14 is part or all of the image data included in the determination target image data 100 handled as input to the machine learning unit 70 in the process of step S13. This is the image data for which an output was obtained indicating that it was determined to be in some of the eight types of classification (for example, "non-defective product" or "oblique unevenness”).
  • the “specific output” refers to the output indicating that it has been determined to be the partial classification.
  • step S15 the machine learning unit 70 classifies the images of the image data from which the specific output (determination result) extracted in the process of step S14 into the eight types described with reference to FIG. Among them, this is a process of obtaining an output indicating which of the partial classifications corresponding to the "specific output" is determined in the process of step S14.
  • step S15 After the process of step S15, the output obtained in the second stage determination process and the output other than the specific output (verification result) among the outputs obtained in the first stage determination process are finally combined. Then, a process for producing an output is performed (step S16).
  • the calculation unit 21 receives the output obtained in the process of step S15 and the image data that was not extracted by the process of step S14 among the outputs obtained in the process of step S13. The obtained output and , are integrated, and the integrated output is used as the final output of the machine learning unit 70 .
  • Classification accuracy can be further improved in the same manner as described with reference to .
  • graphs L1, L2, and L3 are illustrated as graphs showing the relationship between tone values before and after contrast enhancement, but the relationship between tone values before and after contrast enhancement is limited to these graphs. It is not something that can be done.
  • FIG. 16 is a graph showing the relationship between the gradation values of pixels before contrast enhancement and the gradation values of pixels after contrast enhancement.
  • the image processing unit 51 changes the gradation value of each of the plurality of pixels included in the image so that the relationship between before and after contrast enhancement can be expressed as one of the graphs L11, L12, and L13 shown in FIG. 16, for example. By doing so, the contrast of the image may be further emphasized.
  • the image processing performed by the image processing unit 51 in the processing of step S12 is not limited to the one corresponding to the above equation (1).
  • a more advanced concept of contrast enhancement performed by the image processing unit 51 will be described below. The relationship between the distribution of the gradation values of the captured image and the relationship will be described with reference to FIG. 17 .
  • FIG. 17 is a diagram showing the relationship between the distribution of gradation values of an image of an "oblique" display panel and the distribution of gradation values of an image of a "non-defective" display panel.
  • the histogram Hs1 is a histogram showing the gradation values of the pixels included in one image of the display panel with "oblique unevenness".
  • the histograms referred to in the description of the embodiments, including the histogram Hs1 indicate the range of gradation values of pixels included in an image (range from 0 to the maximum value that can be represented by the number of bits of the gradation value) along the horizontal axis. , the number of pixels of each gradation value is shown in the direction of the vertical axis.
  • the histogram Hs2 is a histogram indicating the gradation values of pixels included in one image of a "non-defective" display panel.
  • Histogram Hs3 is a histogram showing the gradation values of pixels included in one image obtained by imaging a display panel that is a "non-defective" display panel and is different from that of histogram Hs2.
  • Each histogram shown in FIG. 17 is a histogram showing the gradation values of the image before image processing by the image processing unit 51 is performed.
  • the distribution of the gradation values of an image of a "good" display panel displaying a white or halftone solid image shows the most frequent appearance of the gradation values.
  • the histogram corresponding to .
  • the fluctuation range of the gradation value of the peak of the histogram is roughly the number of bits of the pixel (the lowest gradation value that the pixel can take). It is often less than 10% of the difference from the highest gradation value). For example, if the bit number of a pixel is 8 bits, the gradation value takes values from 0 to 255.
  • the fluctuation range of the gradation value of the peak of the histogram rarely exceeds 25.
  • the gradation value is relatively low with respect to the gradation value corresponding to the peak of the histogram corresponding to the most frequent appearance of the gradation value.
  • the number of pixels with gradation values included in the low gradation value band F11 is significantly generated to such an extent that it cannot be ignored.
  • pixels included in the high gradation value band F12 which is relatively high with respect to the gradation value corresponding to the histogram peak, are on the opposite side of the histogram peak to the low gradation value band F11. In the case of a display panel in which there is little or no oblique unevenness that is visually recognized with relatively higher luminance than the surroundings, pixels included in the high gradation value band F12 are generated.
  • the difference between the histogram Hs1 and the histogram Hs2 is that the histogram Hs1 has a significant number of pixels included in the low tone value band F11, while the histogram Hs2 has few or no pixels included in the low tone value band F21.
  • the "base of the histogram" such as the low gradation value bands F11, F21, F31 and the high gradation value bands F12, F22, F32 is, for example, a gradation value within 30% of the number of bits of pixels centered on the peak of the histogram. fit in the range.
  • FIG. 17 for the purpose of showing that the low gradation value band F11 and the low gradation value band F21 are substantially the same gradation value band, the lowest gradation value of the low gradation value band F11 and the low gradation value A broken line F1a connecting the lowest gradation value of the tone value band F21 and a broken line F1b connecting the highest gradation value of the low gradation value band F11 and the highest gradation value of the low gradation value band F21 are illustrated.
  • the lowest gradation value of the high gradation value band F12 and the lowest gradation value of the high gradation value band F22 are shown.
  • dashed line F2a connecting the gradation values and a dashed line F2b connecting the highest gradation value of the high gradation value band F12 and the highest gradation value of the high gradation value band F22 are shown.
  • Dashed lines F1a, F1b, F2a, and F2b run substantially along the vertical axis of the graph.
  • the image processing unit 51 may perform contrast enhancement based on the following equation (2) instead of the above equation (1). Contrast enhancement based on equation (2) makes it easier to clearly distinguish whether or not pixels included in the above-described "histogram foot" are significantly present, compared to equation (1).
  • gain_1, gain_2, Inflection_1, Inflection_2, and height_1 of formula (2) will be described with reference to FIG.
  • FIG. 18 is a diagram showing the difference between formula (1) and formula (2) and the relationship between the graph corresponding to formula (2) and gain_1, gain_2, Inflection_1, Inflection_2, height_1, and height_2.
  • a graph L21 shown in FIG. 18 is a graph showing the relationship between the gradation values before and after contrast enhancement based on Equation (1), and is a graph corresponding to Equation (1).
  • Graph L22 is a graph showing the relationship between tone values before and after contrast enhancement based on equation (2), and is a graph corresponding to equation (2).
  • the graph L22 has two inflection points.
  • One of the two inflection points is located at Inflection_1 along the horizontal axis.
  • the other of the two inflection points is located at Inflection_2 in the horizontal axis direction.
  • the values of Inflection_1 and Inflection_2 reflect the setting of the two inflection points in contrast enhancement based on equation (2).
  • Inflection_2 is greater than Inflection_1.
  • gain_1 indicates the magnitude of the slope of one of the two points of inflection.
  • gain_2 indicates the magnitude of the slope of the other of the two inflection points.
  • gain_1 and gain_2 are values similar to a described above.
  • height_1 indicates the upper limit of the gradation value after contrast enhancement by one of the two inflection points and the lower limit of the gradation value after contrast enhancement by the other of the two inflection points. Note that the lower limit of the gradation value after contrast enhancement by one of the two inflection points is zero. Also, the upper limit value of the gradation value after contrast enhancement by the other of the two inflection points is the maximum gradation value of the pixel. Inflection_1, Inflection_2, and height_1 take values that can be taken by the gradation value of the pixel, and are generally integers of 0 or more.
  • gain_1 0.5
  • gain_2 0.5
  • Inflection_1 90
  • Inflection_2 13
  • height_1 128.
  • a histogram Hs4 shown in FIG. 18 is a histogram of an image of a display panel classified as "non-defective". As shown in FIG. 18, an image of a display panel classified as a “non-defective product” is captured within a gradation value range whose lower limit is the gradation value corresponding to the value of Inflection_1 and whose upper limit is the gradation value corresponding to the value of Inflection_2. Inflection_1 and Inflection_2 are desirably set so that the gradation value range is such that the peaks of the histogram of the resulting image are sufficiently contained.
  • FIG. 19 is a diagram showing an image of a display panel classified as "non-defective" and an example of application of image processing to the image.
  • An unprocessed image Be1 shown in FIG. 19 is an image before image processing by the image processing unit 51.
  • FIG. The histogram Hs5 is a histogram showing the distribution of gradation values of pixels included in the unprocessed image Be1.
  • the gradation values of the pixels included in the pre-processing image Be1 are the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship between before and after contrast enhancement shown in graph L21 is obtained. This is a broken image.
  • the post-processing image Af12 uses the gradation values of the pixels included in the pre-processing image Be1 as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L31 is obtained.
  • This is a broken image.
  • FIG. 20 is a diagram showing an image of a display panel corresponding to both "scanning line defect" and "signal line defect” and an example of application of image processing to the image.
  • An unprocessed image Be2 shown in FIG. 20 is an image before image processing by the image processing unit 51 .
  • the histogram Hs6 is a histogram showing the distribution of gradation values of pixels included in the unprocessed image Be2.
  • the post-processing image Af21 the gradation values of the pixels included in the pre-processing image Be2 are used as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L21 is obtained. This is a broken image.
  • the post-processing image Af22 uses the gradation values of the pixels included in the pre-processing image Be2 as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L41 is obtained.
  • This is a broken image.
  • the post-processing image Af21 shown in FIG. 20 is dark overall, and it is more difficult to confirm the black area BA indicating the scanning line defect compared to the pre-processing image Be2 before contrast enhancement.
  • the post-processing image Af22 is brighter as a whole, making it easier to confirm the black area BA indicating the scanning line defect.
  • the processed image Af22 is in a state in which it is possible to sufficiently confirm the white area WA indicating the signal line failure.
  • equation (2) functions substantially the same as equation (1).
  • FIG. 21 is a diagram showing an image captured of a display panel classified as "oblique unevenness" and an example of applying image processing to the image.
  • An unprocessed image Be3 shown in FIG. 21 is an image before image processing by the image processing unit 51 .
  • the histogram Hs7 is a histogram showing the distribution of the gradation values of the pixels included in the unprocessed image Be3.
  • the post-processing image Af31 uses the gradation values of the pixels included in the pre-processing image Be3 as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L21 is obtained. This is a broken image.
  • the post-processing image Af32 uses the gradation values of the pixels included in the pre-processing image Be3 as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L51 is obtained.
  • This is a broken image.
  • FIG. 22 is a diagram showing an image captured of a display panel classified as "white unevenness" and an example of applying image processing to the image.
  • An unprocessed image Be4 shown in FIG. 22 is an image before image processing by the image processing unit 51 .
  • the histogram Hs8 is a histogram showing the distribution of the gradation values of the pixels included in the unprocessed image Be4.
  • the post-processing image Af41 uses the gradation values of the pixels included in the pre-processing image Be4 as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L21 is obtained. This is a broken image.
  • the post-processing image Af42 uses the gradation values of the pixels included in the pre-processing image Be4 as the gradation values before contrast enhancement, and contrast enhancement is performed by the image processing unit 51 so that the relationship before and after contrast enhancement shown in the graph L61 is obtained.
  • This is a broken image.
  • FIG. 23 is a diagram showing the relationship between the histogram Hs9 showing the distribution of the gradation values of the pixels included in the captured image of the display panel and the position (b) of the point of inflection.
  • the histogram Hs9 is a histogram of an image of a display panel classified as "oblique unevenness”.
  • a range UN shown in FIG. 23 is a gradation value range of pixels having less than 2000 pixels, starting with the number of pixels having lower gradation values.
  • the width of the gradation values in the range UN with the lowest gradation value (0) of the pixel as the origin in the horizontal direction, that is, the maximum value of the gradation values in the range UN is set as the value of b.
  • the inflection point of the graph can be more preferably set when formula (1) is employed for contrast enhancement of an image from which a histogram from which UN is derived (for example, histogram Hs9) is derived.
  • formula (2) is employed for image contrast enhancement
  • the highest value of the gradation values in the range UN may be set as the value of Inflection_1.
  • the fact that the number of pixels included in the range UN is less than 2000 is merely an example and is not limited to this.
  • the number of pixels included in the range UN is desirably determined as a ratio (for example, 15%) to the number of pixels in the image obtained by imaging the display panel.
  • an information processing apparatus for example, information processing apparatus 1 generates an image based on training data (for example, reference data 223) that includes image data corresponding to the j types of classification prepared in advance. includes a first machine learning step (for example, step S2) for performing machine learning for determining to which of the j kinds of classifications is applied.
  • the information processing apparatus generates teacher data (for example, data sets DS1, DS2), a second machine learning step (for example, step S5) for performing machine learning for determining to which of the k types of classification the image belongs.
  • j and k are two or more natural numbers.
  • k is smaller than j.
  • teacher data eg, data sets DS1 and DS2 of the reference data 223) used in the second machine learning step (eg, step S5) is used in the first machine learning step (eg, step S2) It is a part of teacher data (for example, reference data 223). Thereby, the teacher data used in the first machine learning step and the second machine learning step can be shared.
  • the information processing apparatus performs a second inspection after the second machine learning step to determine which of the k types of classification the image data extracted in the first extraction step corresponds to.
  • a step eg, step S7 is included. From these, it is possible to confirm the classification accuracy when an image classified as one of the k types in the first machine learning step is reclassified after the second machine learning. Therefore, by reflecting the classification result of the second inspection step, the classification accuracy of the k types of classification can be further improved compared to the case of only the first machine learning step.
  • the information processing device eg, information processing device 1
  • a second extraction step (eg, step S14) of extracting the data of
  • the method according to the embodiment includes a second determination step (for example, step S15) in which the information processing apparatus determines to which of the k types of classification the image data extracted in the second extraction step belongs. .
  • step S15 the image classification accuracy can be further improved for the k types of classification among the j types. Therefore, images on the display device can be classified with higher accuracy.
  • a machine for determining which of the k types of classification the image belongs to based on a part of the teacher data (for example, the data sets DS1 and DS2 of the reference data 223) including the data of the image corresponding to do the learning.
  • j and k are natural numbers of 2 or more.
  • k is smaller than j.
  • a curve containing one of the two inflection points (eg, Inflection_1) and a curve containing the other of the two inflection points (eg, Inflection_2) are sigmoid curves. Therefore, the gradation value of the contrast-enhanced image increases stepwise across each inflection point, and a contrast-enhanced image having three gradation levels of gradation values as a whole is obtained.
  • one of the two inflection points (for example, Inflection_1) is included in the image (for example, the image of the image data included in the determination target image data 100 or the reference data 223) in the graph (for example, the graph L31).
  • the other of the two inflection points (for example, Inflection_2) is located at the most frequent gradation value of the pixels included in the image in the graph. It is located at a tone value higher than the value. Therefore, by contrast enhancement, pixels with gradation values lower than the most frequent gradation value and pixels with gradation values higher than the most frequent gradation value of the pixels included in the imaged pixels of the non-defective display device are increased. can be made clear.
  • the information processing apparatus 1 of the embodiment can perform contrast enhancement of an image captured on the image display surface of the display device (for example, an image of image data included in the determination target image data 100 or the reference data 223). processing equipment.
  • the information processing apparatus 1 includes an image processing section (for example, the image processing section 51) that performs contrast enhancement.
  • a graph showing the relationship between the pre-contrast enhancement value and the post-contrast enhancement value of the gradation value of a pixel included in the image is a curve having two inflection points (eg, Inflection_1, Inflection_2).
  • the second inspection step and the second determination step for the types less than j among the j types may be performed multiple times.
  • classification limited to k different types from j types is performed.
  • one of the second inspection steps (or second determination steps) performed multiple times targets k types out of j types, and the other one targets h types out of j types.
  • the number of classifications may be different in each of the second inspection step and the second determination step that are performed.
  • the teacher data used in the second machine learning step is part of the teacher data used in the first machine learning step, but the teacher data used in the first machine learning step and teacher data used in the second machine learning step may be separate.
  • the determination target image data 100 and the reference data 223 include a plurality of image data captured using a device called a large-format lighting inspection device capable of capturing images of a plurality of display panels at once.
  • a device called a large-format lighting inspection device capable of capturing images of a plurality of display panels at once.
  • the image obtained by imaging the image display surface of the display device may be an image obtained by imaging the image display surface of the display device other than the display panel only, such as an image obtained by imaging the image display surface of a smartphone.
  • CNN is adopted, but this is only a specific example of a machine learning algorithm and is not limited to this.
  • Machine learning based on other machine learning algorithms may be employed instead of CNN in the above-described embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

画像のコントラスト強調方法は、表示装置の画像表示面を撮像した画像のコントラスト強調方法であって、情報処理装置が、画像のコントラスト強調を行うステップを含み、画像に含まれる画素の階調値のコントラスト強調前の値とコントラスト強調後の値との関係を示すグラフが２つの変曲点を有する曲線である。

Description

画像のコントラスト強調方法及び情報処理装置
　本開示は、画像のコントラスト強調方法及び情報処理装置に関する。
　画像を表示する表示装置の輝度ムラを評価する方法が知られている（例えば特許文献１）。
特開２００９－１８０５８３号公報
　輝度ムラのような表示装置の表示不良に関する評価では、表示不良によって生じる特徴をより鮮明にするためのコントラスト強調が行われる。しかしながら、単にコントラスト強調をすれば表示不良によって生じる特徴をより鮮明にできるわけではない。従って、表示不良によって生じる特徴をより鮮明にするためのより適切なパラメータの設定が可能な画像のコントラスト強調方法が求められていた。
　本開示は、上記の課題に鑑みてなされたもので、表示不良によって生じる特徴をより鮮明にするためのより適切なパラメータの設定が可能な画像のコントラスト強調方法及び情報処理装置を提供することを目的とする。
　本開示の一態様による画像のコントラスト強調方法は、表示装置の画像表示面を撮像した画像のコントラスト強調方法であって、情報処理装置が、前記画像のコントラスト強調を行うステップを含み、前記画像に含まれる画素の階調値のコントラスト強調前の値とコントラスト強調後の値との関係を示すグラフが２つの変曲点を有する曲線である。
図１は、情報処理装置の主要構成を示すブロック図である。 図２は、情報処理装置の主要機能構成を示すブロック図である。 図３は、判定部による判定処理における画像の分類と、各分類の画像の模式例を示す図である。 図４は、コントラスト強調前の画素の階調値と、コントラスト強調後の画素の階調値と、の関係を示すグラフである。 図５は、判定部のより具体的な機能構成例の一例を示すブロック図である。 図６は、ホールドアウト検証の考え方を示す模式図である。 図７は、交差検証の考え方を示す模式図である。 図８は、機械学習を利用した判定の精度に関する考え方を表で示した図である。 図９は、複数段階処理が適用された機械学習の流れを示すフローチャートである。 図１０は、複数段階処理が適用された機械学習の流れを示す図である。 図１１は、参照データに含まれる検証データの実際のクラスと、図９を参照して説明したステップＳ３の処理による１回目の検証処理の出力（予測されたクラス）との対応関係を示す図である。 図１２は、図９を参照して説明したステップＳ６の処理で機械学習部に入力された「特定の出力に対応する参照データ」に含まれる検証データの実際のクラスと、当該ステップＳ６の処理による２回目の検証処理（１回目）の出力（予測されたクラス）との対応関係を示す図である。 図１３は、図９を参照して説明したステップＳ４の処理で抽出されてステップＳ７の処理で機械学習部に入力された検証データの実際のクラスと、当該ステップＳ７の処理による２回目の検証処理（２回目）の出力（予測されたクラス）との対応関係を示す図である。 図１４は、参照データに含まれる検証データの実際のクラスと、図９を参照して説明したステップＳ８の処理によって得られた最終的な出力（予測されたクラス）との対応関係を示す図である。 図１５は、機械学習を利用した画像データの分類判定に複数段階処理が適用された機械学習部による判定処理の流れを示すフローチャートである。 図１６は、コントラスト強調前の画素の階調値と、コントラスト強調後の画素の階調値と、の関係を示すグラフである。 図１７は、「斜めムラ」の表示パネルを撮像した画像の階調値の分布と、「良品」の表示パネルを撮像した画像の階調値の分布と、の関係を示す図である。 図１８は、式（１）と式（２）の差異及び式（２）に対応したグラフとｇａｉｎ＿１，ｇａｉｎ＿２，Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２，ｈｅｉｇｈｔ＿１，ｈｅｉｇｈｔ＿２との関係を示す図である。 図１９は、「良品」と分類される表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。 図２０は、「走査線不良」及び「信号線不良」の両方に該当する表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。 図２１は、「斜めムラ」に分類される表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。 図２２は、「白ムラ」に分類される表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。 図２３は、表示パネルを撮像した画像に含まれる画素の階調値の分布を示すヒストグラムと、変曲点の位置（ｂ）と、の関係を示す図である。
　以下に、本開示の各実施の形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本開示の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本開示の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
　図１は、情報処理装置１の主要構成を示すブロック図である。情報処理装置１は、通信部１１、入力部１２、演算部２１、記憶部２２及び出力部３０を備える。情報処理装置１は、機械学習を利用して、表示装置の画像表示面を撮像した画像（例えば、後述する判定対象画像データ１００又は参照データ２２３に含まれる画像データの画像）がｊ種類（例えば、ｊ＝８）の分類のいずれに該当するか判定することができる情報処理装置である。また、情報処理装置１は、当該画像のコントラスト強調を行うことができる情報処理装置である。
　通信部１１は、外部の機器との間で通信を行う。具体的には、通信部１１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ　ｉｎｔｅｒｆａｃｅ　ｃｏｎｔｒｏｌｌｅｒ）として機能する回路を有する。通信部１１は、外部の機器から受信したデータを演算部２１へ出力する。また、情報処理装置１が外部の機器へデータを送信する処理を行う場合、通信部１１は、当該データを外部の機器へ送信する。なお、外部の機器は、例えば情報処理装置１とは異なるサーバ又はＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）のような据え置きの情報処理装置であってもよいし、スマートフォンのような携帯端末であってもよいし、ここで例示していない他の形態による情報処理装置であってもよい。
　入力部１２は、データを入力可能に設けられたインタフェースを有する。当該インタフェースは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）又はその他の規格に対応したバスインタフェースであるが、これらに限られるものでなく、具体的な規格については適宜変更可能である。当該バスインタフェースには、例えば、外部の機器からデータを入力するためのケーブルを介して、外部の機器が接続される。当該バスインタフェースには、キーボードやマウス等、オペレータが情報処理装置１を操作するための入力機器がさらに接続されてもよい。通信部１１と入力部１２の少なくとも一方は、取得部４０として機能する。
　演算部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）として機能する演算回路を有する。演算部２１は、ソフトウェア・プログラム及びソフトウェア・プログラムの実行処理に際して参照されるデータを記憶部２２から読み出して実行処理することで、情報処理装置１が奏する各種の機能に対応した演算処理を行う。以下、プログラム等と記載した場合、演算部２１が読み出して実行処理するソフトウェア・プログラム及びソフトウェア・プログラムの実行処理に際して参照されるデータをさす。
　記憶部２２は、プログラム等を記憶する記憶装置を有する。当該記憶装置は、例えばソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、その他の書き換え可能な記憶装置のうちいずれか１つ以上を含むが、プログラム等が記録された書き換え不能な記憶装置を含んでいてもよい。図１では、記憶部２２が記憶するプログラム等として、機械学習プログラム２２１、画像処理プログラム２２２、参照データ２２３及び設定データ２２４を示している。演算部２１と、演算部２１に読み出されるプログラム等を記憶する記憶部２２と、は、処理部５０として機能する。機械学習プログラム２２１は、機械学習を行うためのプログラム等である。画像処理プログラム２２２は、判定対象画像データ１００に画像処理を施すためのプログラム等である。参照データ２２３は、機械学習の教師データ及び検証データを含む。設定データ２２４は、機械学習プログラム２２１、画像処理プログラム２２２の実行処理に関する各種のパラメータを含む。
　出力部３０は、処理部５０の処理内容に応じた出力を行う。出力部３０は、例えば画像を表示するモニタであるが、これに限られるものでない。出力部３０は、音声出力を行うスピーカのように他の形態による出力を行う構成をさらに含んでいてもよいし、上述した通信部１１がデータを外部の機器へ送信する場合、通信部１１は出力部３０として機能しているといえる。また、入力部１２が双方向のデータ伝送を可能な規格である場合、入力部１２は、出力部３０としても機能する。
　図２は、情報処理装置１の主要機能構成を示すブロック図である。情報処理装置１は、取得部４０、処理部５０、出力部３０として機能する。取得部４０は、判定対象画像データ１００を取得する。通信部１１は、通信によって外部の機器から判定対象画像データ１００を取得できる。入力部１２は、外部の機器から入力される判定対象画像データ１００を取得できる。
　処理部５０は、画像処理部５１及び判定部６０として機能する。画像処理部５１は、判定対象画像データ１００に画像処理を施す。演算部２１が画像処理部５１として機能するためのプログラム等は、画像処理プログラム２２２である。判定部６０は、ニューラルネットワークＮＮを利用して画像を分類する判定処理を行う。演算部２１が判定部６０として機能するためのプログラム等は、機械学習プログラム２２１である。判定部６０による判定の対象となる画像は、判定対象画像データ１００に含まれる画像データの読み出しによって得られる画像である。
　出力部３０は、判定部６０による判定処理の結果に関する出力を行う。例えば、出力部３０は、判定部６０による判定処理の結果を示す表示出力を行う。
　図３は、判定部６０による判定処理における画像の分類と、各分類の画像の模式例を示す図である。図３に示すように、画像は、例えば、良品、回路不良、信号線不良、走査線不良、斜めムラ、縦縞、クラスター、白ムラ、のいずれかに、判定部６０による判定処理で分類される。
　前述の不良モードにおいて、斜めムラとは、周囲に対して輝度差がある領域が長軸状に延在して見える不良を指す。「斜め」と表記しているが、画面に対して水平方向、垂直方向に延在するような場合も含む。立縞とは、信号線の分割ブロック等に対応して輝度差が生じて見える不良を指す。クラスターとは、点欠陥がある領域に集中して群在して確認される不良を指す。白ムラとは、面内均一な階調表示を行った場合に、周囲よりも明るい／暗い領域が不規則に発生して見える不良を指す。本発明において、これらのムラの種類そのものの検出に限定するものではなく、前述に含まれないような不良モードがさらに定義されていても良い。
　判定対象画像データ１００は、複数の画像データを含む。当該画像データは、白色又は中間調のベタ画像を表示している状態の表示パネルの画像表示面を撮像した画像データである。ここで、白色のベタ画像を表示している状態とは、全画素が白色の最高階調値で表示出力を行っている状態をさす。中間調のベタ画像を表示している状態とは、全画素が最高階調値未満であって最低階調値を超える階調値で表示出力を行っている状態をさす。当該表示パネルは、例えば、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイパネルであるが、これに限られるものでなく、他の方式による表示パネルであってもよい。判定対象画像データ１００に含まれる複数の画像データの各々は、それぞれ異なる表示パネルの画像表示面を撮像したものである。実施形態で判定部６０が行う判定処理は、判定対象画像データ１００の生成に際して撮像の対象になった複数の表示パネルが、それぞれ想定された品質で表示出力を行うことができるかを確認するための検品を自動的に行うことを意図した処理である。以下、単に表示パネルと記載した場合、判定対象画像データ１００の生成に際して撮像の対象になった複数の表示パネルのうち１つをさす。また、単に画像と記載した場合、特筆しない限り、画像データの読み出しによって得られる画像をさす。
　判定対象画像データ１００及び参照データ２２３は、Ｍｏｔｈｅｒ　Ｇｌａｓｓ基板の状態で撮像した画像をパネル毎に切り取った画像である場合と、Ｍｏｔｈｅｒ　Ｇｌａｓｓ基板をパネル毎に切断した後にパネル毎に撮像した画像のどちらでもよい。
　判定対象画像データ１００及び参照データ２２３に含まれる画像データの画像は、グレースケール又は白黒の画像である。なお、情報処理装置１に入力される画像データの画像がカラーである場合、後述する画像処理部５１が各原色に基づいたグレースケール処理を順次行うようにしてもよい。
　良品とは、想定された品質で表示出力を行うことができるものをさす。すなわち、良品と判定された画像が撮像された表示パネルは、良品である。
　回路不良とは、表示画面を構成する画素に映像信号や走査信号を供給する駆動回路の一部または全部が不良であることによって生じる特徴的な表示不良が生じているものをさす。図３では、当該特徴的な表示不良として、画像の一部又は全部が、白色又は中間調のベタ画像表示としては著しく暗い黒領域ＢＡ又は明るすぎる白領域ＷＡになっている模式例を示している。回路不良と判定された画像が撮像された表示パネルには、回路不良が生じている。
　信号線不良とは、表示パネルに設けられた複数の画素に画像信号を伝送する複数の信号線の一部が不良であることによって生じる特徴的な表示不良が生じているものをさす。図３では、当該特徴的な表示不良として、白色又は中間調のベタ画像表示としては著しく暗い黒領域ＢＡ又は明るすぎる白領域ＷＡが、矩形状の画像の長手方向に沿って直線状に生じている模式例を示している。また、最右の模式例では、さらに、黒領域ＢＡが当該長手方向に直交する方向に沿って生じている。
　走査線不良とは、表示パネルに設けられた複数の画素に駆動信号を伝送する複数の走査線の一部が不良であることによって生じる特徴的な表示不良が生じているものをさす。図３では、当該特徴的な表示不良として、白色又は中間調のベタ画像表示としては著しく暗い黒領域ＢＡ又は黒領域ＢＡよりは明るいが周囲に比して暗い暗色領域ＧＡが、矩形状の画像の長手方向に直交する方向に沿って直線状に生じている模式例を示している。
　上述したように、判定対象画像データ１００は、図３を参照して説明したいずれかの分類に該当する画像である。参照データ２２３は、判定対象画像データ１００に含まれる画像データの画像を分類することを想定して予め用意されている。具体的には、参照データ２２３は、例えば図３に示す分類のいずれかに該当する表示パネルであって予め分類が確定された表示パネルの画像表示面を撮像して得られた画像データである。また、参照データ２２３に含まれる画像データは、演算部２１によって読み出された際にどの分類であるかを特定可能な情報を付加されている。
　画像処理部５１は、判定対象画像データ１００に含まれる複数の画像データに個別に画像処理を施す。具体的には、画像処理部５１は、画像のコントラストをより強調する処理を行う。
　図４は、コントラスト強調前の画素の階調値と、コントラスト強調後の画素の階調値と、の関係を示すグラフである。画像処理部５１による処理が行われる前の画像に含まれる複数の画素の各々の階調値が８ビットで表される場合、図４の横軸で示すように、階調値は、０から２５５の範囲内のいずれかの値を取る。仮に、画像処理部５１による画像処理によってコントラストの変更が行われない場合、判定対象画像データ１００は、図４に示すグラフＬ４が示すように、コントラスト強調前後の画素の階調値に差はない。コントラスト強調後の階調値は、図４の縦軸で示されている。
　画像処理部５１は、例えば、図４に示すグラフＬ１，Ｌ２，Ｌ３のいずれかのように表せるコントラスト強調前後の関係となるように、画像に含まれる複数の画素の各々の階調値を変更することで、画像のコントラストをより強調する。グラフＬ１，Ｌ２，Ｌ３は、式（１）に示すシグモイド（Ｓｉｇｍｏｉｄ）関数で表されるシグモイド曲線である。式（１）におけるｙは、画像処理部５１による画像処理後の画素の階調値を示す。式（１）におけるｘは、画像処理部５１による画像処理前の画素の階調値を示す。式（１）におけるｂは、シグモイド曲線の変曲点に対応するｘの値、すなわち、シグモイド曲線の傾きが最も大きくなる座標（ｘ，ｙ）のうちｘを示す。ｂを挟んで、ｘ＜ｂではシグモイド曲線は下に凸であり、ｘ＞ｂではシグモイド曲線は上に凸である。式（１）におけるａは、シグモイド曲線の傾きの大きさに対応する係数である。なお、式（１）及び後述する式（２）におけるｅｘｐ［］は、指数関数であることを示す。
Figure JPOXMLDOC01-appb-M000001
  
　なお、実施形態の説明ならびに式（１）及び後述する式（２）では、参照データ２２３及び判定対象画像データ１００に含まれる画像データの画像が８ビット画像であることを想定している。すなわち、実施形態の説明ならびに式（１）及び式（２）では、画像に含まれる画素の最高階調値が２５５であることを想定している。式（１）及び式（２）の分子として記載されている「２５５」の数値は、８ビット画像に含まれる画素の最高階調値を想定している。ただし、情報処理装置１で取り扱うことができる画像は８ビット画像に限定されない。情報処理装置１は、ｒビット画像を取り扱える。ｒは、任意の自然数である。ｒビット画像の最高階調値は、２ｒ－１である。従って、情報処理装置１で取り扱われる画像がｒビット画像である場合、式（１）及び式（２）の分子として記載されている「２５５」の数値は、「２ｒ－１」に置換される。また、実施形態の参照データ２２３に含まれる画像データの画像には、予め画像処理部５１による画像処理が施されている。
　図５は、判定部６０のより具体的な機能構成例の一例を示すブロック図である。判定部６０は、機械学習部７０、検証部６１及び限定的分類処理部６２を含む。機械学習部７０は、所定のアルゴリズムに従って機械学習を行う。実施形態では、当該所定のアルゴリズムとして、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）が採用されている。
　機械学習部７０は、特徴量抽出部７１及び識別部７２を含む。ＣＮＮに含まれる処理は、大別すると２つの処理に分けられる。当該２つの処理のうち１つは、ＣＮＮを利用した処理の対象になる画像の特徴量の抽出処理であり、特徴量抽出部７１によって行われる。当該２つの処理のうち他の１つは、画像の特徴量を示すデータをニューラルネットワークＮＮの入力として、当該ニューラルネットワークＮＮの出力を得る処理であり、識別部７２によって行われる。実施形態では、当該ニューラルネットワークＮＮの出力は、図３を参照して説明した分類の各々に該当する確率の値（０から１の範囲内）である。
　特徴量抽出部７１は、畳み込み処理部７１１及びプーリング処理部７１２を含む。畳み込み処理部７１１は、画像に畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）処理を行う。ここでいう畳み込み処理は、一般的なＣＮＮで採用される畳み込み処理と同様である。
　畳み込み処理では、画像に含まれる複数の画素の各々の階調値を、行列の値とみなす。例えば、互いに直交する２方向の一方（Ｘ方向）にｐ個、他方（Ｙ方向）にｑ個の画素が並ぶ二次元画像を想定する。当該二次元画像は、行の数がｐであり、列の数がｑである行列とみなすことができる。当該二次元画像が有する複数の画素の各々の階調値は、行列の成分とみなすことができる。当該行列をαとし、行列αの成分をβとすると、行列αにおいてＸ方向にｅ番目、Ｙ方向にｆ番目の位置にある成分はβｅｆと表せる。これは、当該二次元画像において、Ｘ方向にｅ番目、Ｙ方向にｆ番目の位置にある画素の階調値をさす。また、畳み込み処理では、上述した二次元画像とは別の行列として、カーネル又はフィルタと呼ばれる参照用の行列が設定される。以下では便宜上、当該参照用の行列をカーネルと記載する。カーネルの行数は、畳み込み処理の対象になる画像（例えば、上述した二次元画像）の行数より小さい。カーネルの列数は、畳み込み処理の対象になる画像（例えば、上述した二次元画像）の列数より小さい。カーネルに含まれる行列の成分は、予め定められた重みづけ数の値（一般的に、整数）である。畳み込み処理部７１１は、判定対象画像データ１００に含まれる画像の１つを行列とみなし、当該行列のうちカーネルの行数及び列数に対応した一部分を抽出する抽出処理を行う。すなわち、当該一部分は、行数及び列数がカーネルと同じ行列とみなすことができる。畳み込み処理部７１１は、当該一部分とカーネルとを乗算した行列の積を得る乗算処理を行う。畳み込み処理部７１１は、当該行列の積に含まれる成分の値を足し合わせて１つの値を得る加算処理を行う。畳み込み処理部７１１は、当該１つの値を１つの特徴量として扱う。畳み込み処理部７１１は、行列とみなされた１つの画像において抽出処理の対象となる範囲を複数設定する。例えば、ｐ＝ｑ＝３０である場合に、Ｘ方向及びＹ方向に３つ置きの周期で抽出処理の範囲を設定したとき、Ｘ×Ｙ＝１０×１０＝１００の範囲が設定される。畳み込み処理部７１１は、各範囲に対して抽出処理、乗算処理及び加算処理を行って各範囲の特徴量を得る。これによって、１つの画像は、特徴量を示す値が行列状に並ぶデータ（第１特徴量行列）に変換される。なお、より詳細には、抽出処理に際してパディング（画素の補完）等が行われることもあるが、周知のものであるので、ここでは詳細な説明を省略する。
　プーリング処理部７１２は、畳み込み処理部７１１によって畳み込み処理が行われた画像に、プーリング（ｐｏｏｌｉｎｇ）処理を行う。ここでいうプーリング処理は、一般的なＣＮＮで採用されるプーリング処理と同様である。
　プーリング処理では、上述した畳み込み処理によって得られた第１特徴量行列の成分を複数のグループに分ける。例えば、第１特徴量行列が、行数１０、列数１０の行列であるとする。ここで、行数２、列数２の範囲毎に当該第１特徴量行列を区分した場合、当該第１特徴量行列には５×５の範囲を設定できる。ここで、各範囲は、個別のグループとみなされる。プーリング処理では、このような考え方で、畳み込み処理によって得られた第１特徴量行列の成分を複数のグループに分けることができる。プーリング処理では、グループ毎に１つの値を導出する。当該１つの値の導出方法として、例えば、最大値プーリング、平均値プーリング等が挙げられる。最大値プーリングは、グループに含まれる行列の成分のうち最大値を導出する方法である。平均値プーリングは、グループに含まれる行列の成分の平均値を導出する方法である。グループ毎に導出された値を行列の成分としてみなすことで、プーリング処理によって、第１特徴量行列よりも行数及び列数が小さい行列（第２特徴量行列）を導出できる。当該第２特徴量行列は、畳み込み処理部７１１によって行列とみなされた１つの画像（例えば、判定対象画像データ１００に含まれる複数の画像のうち１つ）の特徴量を示すデータであるとみなすことができる。
　なお、１つの画像に対する畳み込み処理部７１１及びプーリング処理部７１２の処理は、１回以上であればよく、予め定められた複数回繰り返されてもよい。また、特徴量抽出部７１が行う処理には、畳み込み処理の逆の操作（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）やプーリング処理の逆の操作（ｕｎｐｏｏｌｉｎｇ）がさらに含まれていてもよい。
　識別部７２は、ニューラルネットワーク生成部７２１及び確率変換部７２２を含む。ニューラルネットワーク生成部７２１は、ニューラルネットワークＮＮを生成する。確率変換部７２２は、ニューラルネットワーク生成部７２１が生成したニューラルネットワークＮＮの出力を、確率の値（０から１の範囲内の値）に変換する演算処理を行う。
　ＣＮＮが採用された場合のニューラルネットワークＮＮに対する入力は、上述したプーリング処理の出力として得られる行列（第２特徴量行列）の成分である。当該行列に含まれる成分の数と、ニューラルネットワークＮＮの入力ノードの数と、は対応する。ニューラルネットワークＮＮは、一般的な機械学習におけるニューラルネットワークと同様のものであり、１以上の全結合層を含む。全結合層では、入力に対する重みづけ処理が行われる。一般的に、ニューラルネットワークＮＮが有する１以上の全結合層のうち出力側に最も近い全結合層（最終段）のバイアスの数は、当該ニューラルネットワークＮＮを利用して行われる判別の種類（例えば、図３を参照して説明した分類の数）と同一である。一般的に、ニューラルネットワークＮＮの出力は、任意の値（１を超える数）を取り得る。そこで、ニューラルネットワークＮＮの出力を「どの分類に属するかを判定するために利用可能な、確からしさを示す値」として扱うため、確率変換部７２２による演算が行われる。確率変換部７２２による演算は、例えばソフトマックス関数（Ｓｏｆｔｍａｘ　ｆｕｎｃｔｉｏｎ）を利用した演算であるが、これに限られるものでなく、適宜変更可能である。
　検証部６１は、機械学習部７０による機械学習に検証（ｖａｌｉｄａｔｉｏｎ）機能を与える。検証部６１によって、機械学習における過学習を抑制し、機械学習による判定の制度をより高めやすくなる。検証部６１による検証機能の例として、ホールドアウト検証、交差検証等が挙げられる。
　図６は、ホールドアウト検証の考え方を示す模式図である。図６及び後述する図７では、ｍ個の画像データを含むデータセットＤＳを矩形で示している。図６及び図７では、当該矩形の長手方向に沿って、当該長手方向の一端側から他端側に向かって、ｍ個の画像データのうち１番目の画像データからｍ番目の画像データまでが順に並んでいるものとする。ｍは、自然数である。
　ホールドアウト検証では、図６に示すように、データセットＤＳは、教師データＴＤと、検証データＣＤと、に分けられる。このうち、教師データＴＤは、機械学習における教師データとして利用される。検証データＣＤは、機械学習における検証データとして利用される。
　１つのデータセットＤＳは、機械学習によるある１つの判定結果に対応する複数の画像データを含む。例えば、図３を説明した「良品」のデータセットＤＳは、「良品」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含む。ここで、ｍ個の画像データのうちｎ個を抽出して教師データＴＤとし、当該教師データＴＤを利用して、判定部６０が機械学習を行う。ｎは、ｍ未満の自然数である。そして、データセットＤＳのうち、教師データＴＤを除いた（ｍ－ｎ）個の画像データである検証データＣＤを、教師データＴＤによる学習後の判定部６０が判定する。ここで、検証データＣＤは、データセットＤＳの一部であり、機械学習によるある１つの判定結果に対応する画像データのみを含む。従って、教師データＴＤによる学習後の判定部６０は、理想的には、検証データＣＤに含まれる全ての画像データを、当該１つの判定結果に対応する画像データであると判定することが望ましい。ただし、実際には、検証データＣＤの一部は、他の判定結果に対応する画像データであると判定されることがある。そこで、教師データＴＤを利用した機械学習後の判定部６０で、検証データＣＤを判定することで、判定部６０の判定精度を検証し、教師データＴＤによる学習に基づいた当該判定精度をより高められるようにすることが行われる。
　ホールドアウト検証が採用された場合の検証部６１は、データセットＤＳを教師データＴＤと検証データＣＤに分け、当該教師データＴＤによる機械学習部７０の学習と、当該検証データＣＤに基づいた判定精度の検証と、を行うものである。
　図７は、交差検証の考え方を示す模式図である。交差検証が採用された場合、検証部６１は、例えば図７に示すように、データセットＤＳをデータセットＤＳＳ１とみなして扱う。データセットＤＳＳ１は、データセットＤＳａ，ＤＳｂ，ＤＳｃ，ＤＳｄ，ＤＳｅを含む。データセットＤＳａは、データセットＤＳを、検証データＣＤ１と、教師データＴＤ１と、に分けるように扱ったデータである。データセットＤＳｂは、データセットＤＳを、検証データＣＤ２と、教師データＴＤ２１，ＴＤ２２と、に分けるように扱ったデータである。データセットＤＳｃは、データセットＤＳを、検証データＣＤ３と、教師データＴＤ３１，ＴＤ３２と、に分けるように扱ったデータである。データセットＤＳｄは、データセットＤＳを、検証データＣＤ４と、教師データＴＤ４１，ＴＤ４２と、に分けるように扱ったデータである。データセットＤＳｅは、データセットＤＳを、検証データＣＤ５と、教師データＴＤ５と、に分けるように扱ったデータである。教師データＴＤ１，ＴＤ２１，ＴＤ２２，ＴＤ３１，ＴＤ３２，ＴＤ４１，ＴＤ４２，ＴＤ５は、機械学習における教師データとして利用される。検証データＣＤ１，ＣＤ２，ＣＤ３，ＣＤ４，ＣＤ５は、機械学習における検証データとして利用される。検証データＣＤ１と、検証データＣＤ２と、検証データＣＤ３と、検証データＣＤ４と、検証データＣＤ５と、はそれぞれ異なる画像データを含む。すなわち、交差検証は、データセットＤＳに含まれるｍ個の画像データのうち、どの部分を検証データとみなすかについて複数のパターン（例えば、データセットＤＳａ，ＤＳｂ，ＤＳｃ，ＤＳｄ，ＤＳｅ）を設定し、当該複数のパターンの数だけホールドアウト検証（図６参照）を繰り返すものである。
　実施形態では、交差検証を行う検証部６１が採用されているが、これに限られるものでなく、検証部６１が行う具体的な検証のアルゴリズムについては適宜変更可能である。
　実施形態の参照データ２２３は、図３を参照して説明した分類の数に対応した複数のデータセットを含む。具体的には、参照データ２２３は、データセットＤＳ１，ＤＳ２，ＤＳ３，ＤＳ４，ＤＳ５，ＤＳ６，ＤＳ７，ＤＳ８を含む（図１０参照）。データセットＤＳ１は、「良品」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ２は、「斜めムラ」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ３は、「信号線不良」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ４は、「走査線不良」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ５は、「回路不良」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ６は、「縦縞」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ７は、「クラスター」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。データセットＤＳ８は、「白ムラ」に該当するｍ個の表示パネルの画像表示面を個別に撮像して得られたｍ個の画像データを含むデータセットＤＳである。実施形態の検証部６１は、データセットＤＳ１，ＤＳ２，ＤＳ３，ＤＳ４，ＤＳ５，ＤＳ６，ＤＳ７，ＤＳ８の各々について個別に交差検証を行う。
　図８は、機械学習を利用した判定の精度に関する考え方を表で示した図である。ある画像が「特定の対象が撮像された画像に該当する」場合を１（Ｐｏｓｉｔｉｖｅ）とし、「特定の対象が撮像された画像に該当しない」場合を－１（Ｎｅｇａｔｉｖｅ）とする条件があるものとする。この条件下では、全ての画像は、１又は－１の判定を与えることができる画像であるとみなされる。機械学習では、入力されたデータ（特徴量）の元になった画像が、「特定の対象が撮像された画像に該当する」か否かの判定結果を示す出力を得られる。機械学習部７０は、入力に応じて「特定の対象が撮像された画像に該当する」か否かの判定結果を示す出力を行う。より具体的な例を挙げると、実施形態の機械学習部７０は、判定対象画像データ１００又は検証データ（例えば、検証データＣＤ等）の入力に応じて、入力されたデータ（特徴量）の元になった画像が「良品」、「斜めムラ」、「信号線不良」、「走査線不良」、「回路不良」、「縦縞」、「クラスター」又は「白ムラ」の分類のいずれに該当する画像であるかを示す出力を行う。ここで、例えば、「良品」以外の分類に該当すると判定された画像は、「良品に該当しない」と判定された画像であるといえる。
　図８に示す「実際のクラス」欄は、検査員による目視検査の結果を示す。例えば、実際に「特定の対象が撮像された」画像は、「特定の対象が撮像された画像に該当する」画像であり、１が与えられる。また、「特定の対象が撮像されていない」画像は、「特定の対象が撮像された画像に該当しない」画像であり、－１が与えられる。一方、図８に示す「予測されたクラス」は、機械学習を利用した判定による判定結果を示す。すなわち、当該判定で「特定の対象が撮像された画像に該当する」と判定された画像には１が与えられる。また、当該判定で「特定の対象が撮像された画像に該当しない」と判定された画像には－１が与えられる。
　実際に「特定の対象が撮像された」画像が、機械学習を利用した判定で「特定の対象が撮像された画像に該当する」と判定された場合、その判定は正しい。このような、「実際のクラス」で与えられる値と「予測されたクラス」で与えられる値とが共に１である場合は、ＴＰ（Ｔｒｕｅ　Ｐｏｓｉｔｉｖｅ）と呼ばれる。また、実際に「特定の対象が撮像されていない」画像が、機械学習を利用した判定で「特定の対象が撮像された画像に該当しない」と判定された場合、その判定は正しい。このような、「実際のクラス」で与えられる値と「予測されたクラス」で与えられる値とが共に－１である場合は、ＴＮ（Ｔｒｕｅ　Ｎｅｇａｔｉｖｅ）と呼ばれる。一方、実際に「特定の対象が撮像された」画像が、機械学習を利用した判定で「特定の対象が撮像された画像に該当しない」と判定された場合、その判定は誤りである。このような、「実際のクラス」で与えられる値が１であり、「予測されたクラス」で与えられる値が－１である場合は、ＦＮ（Ｆａｌｓｅ　Ｎｅｇａｔｉｖｅ）と呼ばれる。また、実際に「特定の対象が撮像されていない」画像が、機械学習を利用した判定で「特定の対象が撮像された画像に該当する」と判定された場合、その判定は誤りである。このような、「実際のクラス」で与えられる値が－１であり、「予測されたクラス」で与えられる値が１である場合は、ＦＰ（Ｆａｌｓｅ　Ｐｏｓｉｔｉｖｅ）と呼ばれる。
　機械学習の精度を示す概念として、例えば、正解率、再現率、適合率、誤検出率、Ｆ値等が知られている。正解率を示す値は、（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＮ＋ＦＰ）の値である。再現率を示す値は、ＴＰ／（ＴＰ＋ＦＮ）の値である。適合率を示す値は、ＴＰ／（ＴＰ＋ＦＰ）の値である。誤検出率を示す値は、ＦＰ／（ＴＮ＋ＦＰ）の値である。検出率をＱとし、適合率をＲとすると、Ｆ値は、２×Ｑ×Ｒ／（Ｑ＋Ｒ）である。
　限定的分類処理部６２は、複数段階処理を行う。ここでいう複数段階処理とは、複数の入力データに対する機械学習部７０の出力が示す判定結果のうち、一部の判定結果に対応する一部の入力データを当該複数の画像から抽出し、抽出された当該一部の入力データを機械学習部７０に入力し、機械学習部７０に当該一部の判定結果のいずれであるかをさらに判定させる処理をさす。
　具体例を挙げると、判定対象画像データ１００には、複数の画像データ（例えば、１６００の画像データ）が含まれている。まず、当該複数の画像データが機械学習部７０に入力されることで、当該複数の画像データがそれぞれ、図３を参照して説明した分類のいずれに該当すると判定されたかを示す出力が得られる。ここで、図３を参照して説明した分類の一部（例えば、「良品」又は「斜めムラ」）に該当すると判定された一部の画像データ（例えば、２２０の画像データ）が生じた場合、限定的分類処理部６２は、当該一部の画像データを当該複数の画像データから抽出する。限定的分類処理部６２は、抽出された当該一部の入力データを再度機械学習部７０に入力し、機械学習部７０に判定を示す出力を再度行わせる。ただし、当該一部の入力データの入力に応じて行われる判定では、判定による分類が、当該分類の一部（例えば、「良品」又は「斜めムラ」）に限定される。なお、単純に当該一部の入力データを機械学習部７０に入力すると、当該一部の入力データに対する畳み込み処理部７１１及びプーリング処理部７１２による処理が再度行われることになる。ここで、当該一部の入力データの抽出前に当該複数の画像データに対して既に行われている畳み込み処理部７１１及びプーリング処理部７１２による処理後のデータのうち当該一部の入力データに対応するデータをそのまま採用し、畳み込み処理部７１１及びプーリング処理部７１２による処理が繰り返されないようにしてもよい。
　以下、限定的分類処理部６２による複数段階処理が適用された、機械学習部７０による機械学習の流れについて、図９及び図１０を参照して説明する。図９及び図１０を参照して説明する処理の流れは、参照データ２２３に含まれる画像データを教師データとした、教師あり学習の処理の流れである。
　図９は、複数段階処理が適用された機械学習の流れを示すフローチャートである。図１０は、複数段階処理が適用された機械学習の流れを示す図である。図９に示すように、まず、参照データ２２３の取得が行われる（ステップＳ１）。具体的には、機械学習プログラム２２１を実行処理中の演算部２１が、記憶部２２から参照データ２２３を読み出す。ここで、上述したように、参照データ２２３に含まれる画像データのうち一部は教師データとして利用され、他の一部は検証データとして利用される。図１０では、参照データ２２３に含まれるデータセットＤＳ１，ＤＳ２，ＤＳ３，ＤＳ４，ＤＳ５，ＤＳ６，ＤＳ７，ＤＳ８のうち教師データとして扱われる一部をＴＤとして模式的に示し、検証データとして扱われる他の一部をＣＤとして模式的に示している。
　ステップＳ１の処理後、機械学習部７０による１段階目の機械学習処理が行われる（ステップＳ２）。ステップＳ２の処理は、参照データ２２３に含まれるデータセットＤＳ１，ＤＳ２，ＤＳ３，ＤＳ４，ＤＳ５，ＤＳ６，ＤＳ７，ＤＳ８に含まれる教師データを利用した機械学習処理である。当該機械学習処理は、例えば、参照データ２２３に含まれる検証データの画像の特徴量を示すデータをニューラルネットワークＮＮの入力とした場合に当該データの画像が図３を参照して説明した８種類の分類のいずれであるかを機械学習部７０に判定させることを目的とし、ニューラルネットワークＮＮのニューロンにおける重みづけの値を決定する機械学習処理である。図１０では、当該１段階目の機械学習処理を、「８－ｃｌａｓｓ　ＣＮＮ」と記載し、ステップＳＴ１の符号を付している。
　ステップＳ２の処理後、１段階目の検証処理が行われる（ステップＳ３）。ステップＳ３の処理は、演算部２１が、参照データ２２３に含まれるデータセットＤＳ１，ＤＳ２，ＤＳ３，ＤＳ４，ＤＳ５，ＤＳ６，ＤＳ７，ＤＳ８に含まれる検証データを機械学習部７０への入力として、ステップＳ２の処理による機械学習が反映された機械学習部７０の出力を得る処理である。すなわち、ステップＳ３の処理は、検証データの画像が、機械学習部７０によって、図３を参照して説明した８種類の分類のいずれであると判定されるかの出力を得る処理である。ステップＳ３の処理によって得られる出力を、図１０では、出力ＯＰ１として示している。
　ステップＳ３の処理後、限定的分類処理部６２が、１段階目の検証処理において特定の出力（検証結果）を得られた検証データを抽出する（ステップＳ４）。ステップＳ４の処理で抽出される検証データは、ステップＳ３の処理で機械学習部７０への入力として扱われた検証データの一部であって、図３を参照して説明した８種類の分類のうち一部の分類（例えば、「良品」又は「斜めムラ」）であると判定されたことを示す出力が得られた検証データである。すなわち、「特定の出力」とは、当該一部の分類であると判定されたことを示す出力をさす。
　ステップＳ４の処理後、参照データ２２３に含まれる画像データのうち特定の出力に対応する画像データを用いた２段階目の機械学習処理が行われる（ステップＳ５）。「参照データ２２３に含まれる画像データのうち特定の出力に対応する画像データ」又は「特定の出力に対応する参照データ」とは、参照データ２２３の一部であって、ステップＳ４の処理で「特定の出力」として扱われる一部の分類（例えば、「良品」又は「斜めムラ」）に対応する画像データを含むデータセット（例えば、データセットＤＳ１とデータセットＤＳ２）をさす。ステップＳ５の処理は、上述した「特定の出力に対応する参照データ」に含まれる教師データを利用した機械学習処理である。当該機械学習処理は、例えば、参照データ２２３に含まれる検証データの画像の特徴量を示すデータをニューラルネットワークＮＮの入力とした場合に当該データの画像が図３を参照して説明した８種類の分類のうち「特定の出力」に対応する一部の分類のいずれであるかを機械学習部７０に判定させることを目的とし、ニューラルネットワークＮＮのニューロンにおける重みづけの値を決定する機械学習処理である。図１０では、当該２段階目の機械学習処理を、「２－ｃｌａｓｓ　ＣＮＮ」と記載し、ステップＳＴ２の符号を付している。
　ステップＳ５の処理後、２段階目の検証処理（１回目）が行われる（ステップＳ６）。ステップＳ６の処理は、演算部２１が、上述した「特定の出力に対応する参照データ」に含まれる検証データを機械学習部７０への入力として、ステップＳ５の処理による機械学習が反映された機械学習部７０の出力を得る処理である。すなわち、ステップＳ６の処理は、上述した「特定の出力に対応する参照データ」に含まれる検証データの画像が、機械学習部７０によって、図３を参照して説明した８種類の分類うち、ステップＳ４の処理で「特定の出力」に対応するとされた一部の分類のいずれであると判定されるかの出力を得る処理である。
　なお、後述するステップＳ７の処理前に、ステップＳ６の処理によって得られた出力に基づいた、ステップＳ５の処理による機械学習へのフィードバックが行われてもよい。すなわち、ステップＳ６の処理に基づいて、ステップＳ５の処理による機械学習の精度向上が図られてもよい。
　ステップＳ６の処理後、ステップＳ４の処理で抽出された、特定の出力（検証結果）を得られた検証データを用いた２段階目の検証処理（２回目）が行われる（ステップＳ７）。ステップＳ７の処理は、演算部２１が、ステップＳ４の処理で抽出された検証データを機械学習部７０への入力として、ステップＳ５の処理による機械学習及びステップＳ６の処理による検証処理（１回目）を経た機械学習部７０の出力を得る処理である。すなわち、ステップＳ７の処理は、ステップＳ４の処理で抽出された、特定の出力（検証結果）を得られた検証データの画像が、機械学習部７０によって、図３を参照して説明した８種類の分類うち、ステップＳ４の処理で「特定の出力」に対応するとされた一部の分類のいずれであると判定されるかの出力を得る処理である。ステップＳ７の処理によって得られる出力を、図１０では、出力ＯＰ２として示している。
　ステップＳ７の処理後、２段階目の検証処理（２回目）で得られた出力と、１段階目の検証処理で得られた出力のうち特定の出力（検証結果）でない出力と、を合わせたものを最終的な出力とする処理が行われる（ステップＳ８）。ステップＳ８の処理では、演算部２１が、ステップＳ７の処理で得られた出力と、ステップＳ３の処理で得られた出力のうちステップＳ４の処理による抽出の対象とならなかった検証データを入力として得られた出力と、を統合し、統合されたものを機械学習部７０の最終的な出力とする。ステップＳ８の処理によって得られる出力を、図１０では、出力ＯＰ３として示している。
　なお、限定的分類処理部６２による検証機能が交差検証の場合、交差検証で生じるデータセットの数に応じてステップＳ２からステップＳ７が繰り返される。データセットの数は、例えば、データセットＤＳＳ１の場合、データセットＤＳａ，…，データセットＤＳｅが対象となるから、５である。
　以下、複数段階処理の適用の有無による機械学習の精度の変化について、図１１から図１４を参照して説明する。図１１から図１４を参照した説明では、データセットＤＳ１，ＤＳ２，…，ＤＳ８の各データセットＤＳが、１０００の画像データを含み（ｍ＝１０００）、かつ、１０００の画僧データのうち８００が教師データとして扱われ、２００が検証データ（判定対象数）として扱われた場合を例としている。また、図１１から図１４の表における「正答数」は、図８におけるＴＰに対応する。また、図１１から図１４の表における「予測精度」は、各分類に該当する検証データの数（実際のクラスの数）に対する正答数の割合であり、上述した再現率に該当する。
　図１１は、参照データ２２３に含まれる検証データの実際のクラスと、図９を参照して説明したステップＳ３の処理による１回目の検証処理の出力（予測されたクラス）との対応関係を示す図である。まず、図１１に示す例で、実際のクラスが「良品」であるが予測されたクラスが「良品」以外であるとされたＦＮ（４４／２００）について説明する。当該ＦＮのうち、予測されたクラスが「斜めムラ」とされたもの（２１／４４）は当該ＦＮの半分近くもあり、当該ＦＮにおいて他の分類とされたものの各々の数に比して有意に大きい。次に、図１１に示す例で、実際のクラスと予測されたクラスが一致しているＴＰについて説明する。「斜めムラ」のＴＰ（１１１／２００）は、他の分類のＴＰに比して著しく小さい。次に、図１１に示す例で、実際のクラスが「斜めムラ」であるが予測されたクラスが「斜めムラ」以外であるとされたＦＮ（８９／２００）について説明する。当該ＦＮのうち、予測されたクラスが「良品」とされたもの（６２／８９）は当該ＦＮの半分を超え、当該ＦＮにおいて他の分類とされたものの各々の数に比して有意に大きい。
　図１２は、図９を参照して説明したステップＳ６の処理で機械学習部７０に入力された「特定の出力に対応する参照データ」に含まれる検証データの実際のクラスと、当該ステップＳ６の処理による２回目の検証処理（１回目）の出力（予測されたクラス）との対応関係を示す図である。図１１と図１２との比較で示すように、実際のクラス及び予測されたクラスを「良品」と「斜めムラ」に限定することで、実際のクラスと予測されたクラスとの一致の度合いをより高められる。具体的には、図１１に示す例において、実際のクラスと予測されたクラスが共に「良品」であるのは１５６／２００であり、これを予測精度に換算すると７８．０％である。これに対し、図１２に示す例において、実際のクラスと予測されたクラスが共に「良品」であるのは１８０／２００であり、これを予測精度に換算すると９０．０％である。また、図１１に示す例において、実際のクラスと予測されたクラスが共に「斜めムラ」であるのは１１１／２００であり、これを予測精度に換算すると５５．５％である。これに対し、図１２に示す例において、実際のクラスと予測されたクラスが共に「良品」であるのは１６０／２００であり、これを予測精度に換算すると８０．０％である。
　図１３は、図９を参照して説明したステップＳ４の処理で抽出されてステップＳ７の処理で機械学習部７０に入力された検証データの実際のクラスと、当該ステップＳ７の処理による２回目の検証処理（２回目）の出力（予測されたクラス）との対応関係を示す図である。図１１と図１３との比較で示すように、実際のクラス及び予測されたクラスを「良品」と「斜めムラ」に限定することで、実際のクラスと予測されたクラスとの一致の度合いをより高められる。具体的には、図１１に示す例において、実際のクラスと予測されたクラスが共に「良品」であるのは１５６／２００であり、これを予測精度に換算すると７８．０％である。これに対し、図１３に示す例において、実際のクラスと予測されたクラスが共に「良品」であるのは１５９／１７７であり、これを予測精度に換算すると８９．８％である。また、図１１に示す例において、実際のクラスと予測されたクラスが共に「斜めムラ」であるのは１１１／２００であり、これを予測精度に換算すると５５．５％である。これに対し、図１３に示す例において、実際のクラスと予測されたクラスが共に「良品」であるのは１４０／１７３であり、これを予測精度に換算すると８０．９％である。
　図１４は、参照データ２２３に含まれる検証データの実際のクラスと、図９を参照して説明したステップＳ８の処理によって得られた最終的な出力（予測されたクラス）との対応関係を示す図である。図１４に示す表は、図１１に示す表に含まれる各種の値のうち、一部の値が図１３に示す表に含まれる値によって更新されたものである。当該一部の値の更新によって、図１３に示す値のうち、「良品」のＴＰ（１５９）と、「良品」のＦＮ、すなわち、実際のクラスが「良品」であるが予測されたクラスが「斜めムラ」であるもの（１８）と、「斜めムラ」のＴＰ（１４０）と、「斜めムラ」のＦＮ、すなわち、実際のクラスが「斜めムラ」であるが予測されたクラスが「良品」であるもの（３３）と、が反映されている。
　図１１と図１４との比較で示すように、ステップＳ８の処理によって得られる最終的な出力は、１回目の検証処理の出力に比して、「良品」及び「斜めムラ」の予測精度が高まっている。従って、機械学習を利用した予測精度全般で見た場合でも、当然、ステップＳ８の処理によって得られる最終的な出力は、１回目の検証処理の出力に比して、予測精度が高まっている。
　図９から図１４を参照して説明したように、機械学習において限定的分類処理部６２による複数段階処理を適用することで、予測精度、すなわち、実際のクラスと予測されたクラスとの一致の度合いをより高められる。限定的分類処理部６２による複数段階処理は、機械学習だけでなく、機械学習を利用した画像データの分類判定にも適用できる。以下、機械学習を利用した画像データの分類判定に複数段階処理が適用された機械学習部７０による判定処理の流れについて、図１５を参照して説明する。なお、機械学習を利用した画像データの分類判定は、図９から図１４を参照して説明した機械学習の後に行われる。また、図１０では、図１５に基づいた判定対象画像データ１００の入力の流れを破線で示している。
　図１５は、機械学習を利用した画像データの分類判定に複数段階処理が適用された機械学習部７０による判定処理の流れを示すフローチャートである。まず、判定対象画像データ１００の取得が行われる（ステップＳ１１）。具体的には、取得部４０が、外部の機器から判定対象画像データ１００を取得し、演算部２１に出力する。
　ステップＳ１１の処理後、画像処理部５１による画像処理が行われる（ステップＳ１２）。具体的には、図４を参照して説明したように、画像処理部５１が判定対象画像データ１００に含まれる画像データの画像のコントラストをより強調する画像処理を行う。
　ステップＳ１２の処理後、機械学習部７０による１段階目の判定処理が行われる（ステップＳ１３）。ステップＳ１３の処理は、演算部２１が、判定対象画像データ１００に含まれる画像データを機械学習部７０への入力として、図９を参照して説明した機械学習が反映された機械学習部７０の出力を得る処理である。すなわち、ステップＳ１３の処理は、判定対象画像データ１００に含まれる画像データの画像が、機械学習部７０によって、図３を参照して説明した８種類の分類のいずれであると判定されるかの出力を得る処理である。
　ステップＳ１３の処理後、限定的分類処理部６２が、１段階目の判定処理において特定の出力（判定結果）を得られた判定対象画像データ１００を抽出する（ステップＳ１４）。ステップＳ１４の処理で抽出される検証データは、ステップＳ１３の処理で機械学習部７０への入力として扱われた判定対象画像データ１００に含まれる画像データの一部または全部であって、図３を参照して説明した８種類の分類のうち一部の分類（例えば、「良品」又は「斜めムラ」）であると判定されたことを示す出力が得られた画像データである。すなわち、「特定の出力」とは、当該一部の分類であると判定されたことを示す出力をさす。
　ステップＳ１４の処理後、ステップＳ１４の処理で抽出された特定の出力に対応する画像データを用いた２段階目の判定処理が行われる（ステップＳ１５）。ステップＳ１５の処理は、ステップＳ１４の処理で抽出された、特定の出力（判定結果）を得られた画像データの画像が、機械学習部７０によって、図３を参照して説明した８種類の分類うち、ステップＳ１４の処理で「特定の出力」に対応するとされた一部の分類のいずれであると判定されるかの出力を得る処理である。
　ステップＳ１５の処理後、２段階目の判定処理で得られた出力と、１段階目の判定処理で得られた出力のうち特定の出力（検証結果）でない出力と、を合わせたものを最終的な出力とする処理が行われる（ステップＳ１６）。ステップＳ１６の処理では、演算部２１が、ステップＳ１５の処理で得られた出力と、ステップＳ１３の処理で得られた出力のうちステップＳ１４の処理による抽出の対象とならなかった画像データを入力として得られた出力と、を統合し、統合されたものを機械学習部７０の最終的な出力とする。
　図１５を参照して説明した処理の流れを経ることで、単純に機械学習を利用して判定対象画像データ１００に含まれる画像データの画像を分類する場合に比して、図１１から図１４を参照して説明した場合と同様に、分類の精度をより高められる。
　なお、図４を参照した説明では、コントラスト強調前後の階調値の関係を示すグラフとしてグラフＬ１，Ｌ２，Ｌ３を例示しているが、コントラスト強調前後の階調値の関係は、これらに限られるものでない。
　図１６は、コントラスト強調前の画素の階調値と、コントラスト強調後の画素の階調値と、の関係を示すグラフである。画像処理部５１は、例えば、図１６に示すグラフＬ１１，Ｌ１２，Ｌ１３のいずれかのように表せるコントラスト強調前後の関係となるように、画像に含まれる複数の画素の各々の階調値を変更することで、画像のコントラストをより強調するようにしてもよい。
　また、ステップＳ１２の処理で画像処理部５１が行う画像処理、すなわち、コントラスト強調は、上述した式（１）に対応したものに限られない。以下、画像処理部５１が行うコントラスト強調のより発展的な考え方について説明するが、その前提として、「斜めムラ」の表示パネルを撮像した画像の階調値の分布と、「良品」の表示パネルを撮像した画像の階調値の分布と、の関係について、図１７を参照して説明する。
　図１７は、「斜めムラ」の表示パネルを撮像した画像の階調値の分布と、「良品」の表示パネルを撮像した画像の階調値の分布と、の関係を示す図である。ヒストグラムＨｓ１は、「斜めムラ」の表示パネルを撮像した１つの画像に含まれる画素の階調値を示すヒストグラムである。ヒストグラムＨｓ１を含め、実施形態の説明で参照するヒストグラムは、画像に含まれる画素の階調値の範囲（０から、階調値のビット数で表せる最大値までの範囲）を横軸方向で示し、各階調値の画素数を縦軸方向で示している。ヒストグラムＨｓ２は、「良品」の表示パネルを撮像した１つの画像に含まれる画素の階調値を示すヒストグラムである。ヒストグラムＨｓ３は、「良品」の表示パネルであってヒストグラムＨｓ２のものとは異なる表示パネルを撮像した１つの画像に含まれる画素の階調値を示すヒストグラムである。なお、図１７に示す各ヒストグラムは、画像処理部５１による画像処理が行われる前の画像の階調値を示すヒストグラムである。
　図１７のヒストグラムＨｓ２，Ｈｓ３で示すように、白色又は中間調のベタ画像を表示している「良品」の表示パネルを撮像した画像の階調値の分布は、階調値の最頻出現度に対応するヒストグラムの山が顕著に生じる。当該ヒストグラムの山が有する階調値の揺れ幅（山の最低階調値と最高階調値との差）は、概ね、画素のビット数（画素が取りうる階調値の最低階調値と最高階調値との差）の１割未満であることが多い。例えば、画素のビット数が８ビットならば、階調値が０から２５５の値を取る。一方、当該ヒストグラムの山の階調値の揺れ幅が２５を超えることは少ない。
　一方、ヒストグラムＨｓ１のように「斜めムラ」と分類される表示パネルを撮像した画像では、階調値の最頻出現度に対応するヒストグラムの山に対応する階調値に対して相対的に低い低階調値帯Ｆ１１に含まれる階調値の画素の数が無視できない程度に有意に生じる。なお、ヒストグラムＨｓ１では、ヒストグラムの山を挟んで低階調値帯Ｆ１１と反対側、すなわち、ヒストグラムの山に対応する階調値に対して相対的に高い高階調値帯Ｆ１２に含まれる画素はほとんど又は全くないが、周囲よりも相対的に高い輝度で視認される斜めムラが生じた表示パネルの場合、高階調値帯Ｆ１２に含まれる画素が生じることになる。
　なお、ヒストグラムＨｓ２における低階調値帯Ｆ２１及び高階調値帯Ｆ２２ならびにヒストグラムＨｓ３における低階調値帯Ｆ３１及び高階調値帯Ｆ３２に含まれる画素はほとんど又は全くない。言い換えれば、ヒストグラムＨｓ１とヒストグラムＨｓ２との差異は、ヒストグラムＨｓ１では低階調値帯Ｆ１１に含まれる画素が有意に存在するが、ヒストグラムＨｓ２では低階調値帯Ｆ２１に含まれる画素がほとんど又は全くない、ということである。低階調値帯Ｆ１１，Ｆ２１，Ｆ３１及び高階調値帯Ｆ１２，Ｆ２２，Ｆ３２のような「ヒストグラムの裾野」は、例えば、ヒストグラムの山を中心として画素のビット数の３割以内の階調値範囲に収まる。
　図１７では、低階調値帯Ｆ１１と低階調値帯Ｆ２１とがほぼ同一の階調値帯であることを示すことを目的として、低階調値帯Ｆ１１の最低階調値と低階調値帯Ｆ２１の最低階調値とを結ぶ破線Ｆ１ａと、低階調値帯Ｆ１１の最高階調値と低階調値帯Ｆ２１の最高階調値とを結ぶ破線Ｆ１ｂと、を図示している。また、高階調値帯Ｆ１２と高階調値帯Ｆ２２とがほぼ同一の階調値帯であることを示すことを目的として、高階調値帯Ｆ１２の最低階調値と高階調値帯Ｆ２２の最低階調値とを結ぶ破線Ｆ２ａと、高階調値帯Ｆ１２の最高階調値と高階調値帯Ｆ２２の最高階調値とを結ぶ破線Ｆ２ｂと、を図示している。破線Ｆ１ａ，Ｆ１ｂ，Ｆ２ａ，Ｆ２ｂは、グラフの縦軸にほぼ沿う。
　ここで、ヒストグラムＨｓ２とヒストグラムＨｓ３とを比較すると、ヒストグラムＨｓ３は、ヒストグラムＨｓ２よりもヒストグラムの山が全体的に低階調値側にずれている。このように、分類上は同じ「良品」として扱われる表示パネルであっても、表示パネル毎に階調値の傾向が異なる個体差がある。このような個体差を示す複数の表示パネルを撮像した複数の画像のコントラスト強調で式（１）に基づいた変更後の階調値（ｙ）の算出を行った場合、ｂの値によっては、ヒストグラムＨｓ１において低階調値帯Ｆ１１に含まれる画素があることと、ヒストグラムＨｓ３において低階調値帯Ｆ３１に含まれる画素がないことと、の区別を明確にすることが困難な画像が生じることがある。
　そこで、画像処理部５１は、上述した式（１）に代えて、以下の式（２）に基づいてコントラスト強調を行ってもよい。式（２）に基づいたコントラスト強調によれば、式（１）に比して、上述した「ヒストグラムの裾野」に含まれる画素が有意に存在するかをより明確に区別しやすくなる。式（１）と式（２）の差異及び式（２）のｇａｉｎ＿１，ｇａｉｎ＿２，Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２，ｈｅｉｇｈｔ＿１について、図１８を参照して説明する。
Figure JPOXMLDOC01-appb-M000002
  
　図１８は、式（１）と式（２）の差異及び式（２）に対応したグラフとｇａｉｎ＿１，ｇａｉｎ＿２，Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２，ｈｅｉｇｈｔ＿１，ｈｅｉｇｈｔ＿２との関係を示す図である。図１８に示すグラフＬ２１は、式（１）に基づいたコントラスト強調前後の階調値の関係を示すグラフであり、式（１）に対応したグラフである。グラフＬ２１は、式（１）にａ＝０．０５，ｂ＝１２８を適用したものである。また、グラフＬ２２は、式（２）に基づいたコントラスト強調前後の階調値の関係を示すグラフであり、式（２）に対応したグラフである。
　図１８に示すように、グラフＬ２２は、２つの変曲点を有する。２つの変曲点の一方が、横軸方向についてＩｎｆｌｅｃｔｉｏｎ＿１の位置にある。当該２つの変曲点の他方が、横軸方向についてＩｎｆｌｅｃｔｉｏｎ＿２の位置にある。言い換えれば、Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２の値は、式（２）に基づいたコントラスト強調における当該２つの変曲点の設定を反映したものである。ここで、Ｉｎｆｌｅｃｔｉｏｎ＿２は、Ｉｎｆｌｅｃｔｉｏｎ＿１よりも大きい。ｇａｉｎ＿１は、当該２つの変曲点の一方の傾きの大きさを示す。ｇａｉｎ＿２は、当該２つの変曲点の他方の傾きの大きさを示す。ｇａｉｎ＿１及びｇａｉｎ＿２は、上述したａと同様の値である。ｈｅｉｇｈｔ＿１は、当該２つの変曲点の一方によるコントラスト強調後の階調値の上限値及び当該２つの変曲点の他方によるコントラスト強調後の階調値の下限値を示す。なお、当該２つの変曲点の一方によるコントラスト強調後の階調値の下限値は、０である。また、当該２つの変曲点の他方によるコントラスト強調後の階調値の上限値は、画素の最高階調値である。Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２，ｈｅｉｇｈｔ＿１は、画素の階調値が取りうる値を取り、一般的に０以上の整数である。
　図１８では、ｇａｉｎ＿１＝０．５，ｇａｉｎ＿２＝０．５，Ｉｎｆｌｅｃｔｉｏｎ＿１＝９０，Ｉｎｆｌｅｃｔｉｏｎ＿２＝１３５，ｈｅｉｇｈｔ＿１＝１２８である。また、図８では、ｈｅｉｇｈｔ＿２＝（２５５－ｈｅｉｇｈｔ＿１）＝１２７として示している。
　図１８に示すヒストグラムＨｓ４は、「良品」と分類される表示パネルを撮像した画像のヒストグラムである。図１８に示すように、Ｉｎｆｌｅｃｔｉｏｎ＿１の値に対応する階調値を下限とし、Ｉｎｆｌｅｃｔｉｏｎ＿２の値に対応する階調値を上限とする階調値範囲に、「良品」と分類される表示パネルを撮像した画像のヒストグラムの山が十分に収まる階調値範囲となるよう、Ｉｎｆｌｅｃｔｉｏｎ＿１及びＩｎｆｌｅｃｔｉｏｎ＿２が設定されることが望ましい。
　図１９は、「良品」と分類される表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。図１９に示す処理前画像Ｂｅ１は、画像処理部５１による画像処理前の画像である。ヒストグラムＨｓ５は、処理前画像Ｂｅ１に含まれる画素の階調値の分布を示すヒストグラムである。処理後画像Ａｆ１１は、処理前画像Ｂｅ１に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ２１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。処理後画像Ａｆ１２は、処理前画像Ｂｅ１に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ３１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。グラフＬ３１は、式（２）に対応したグラフであり、ｇａｉｎ＿１＝０．５，ｇａｉｎ＿２＝０．５，Ｉｎｆｌｅｃｔｉｏｎ＿１＝８０，Ｉｎｆｌｅｃｔｉｏｎ＿２＝１４０，ｈｅｉｇｈｔ＿１＝１２８である。
　図２０は、「走査線不良」及び「信号線不良」の両方に該当する表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。図２０に示す処理前画像Ｂｅ２は、画像処理部５１による画像処理前の画像である。ヒストグラムＨｓ６は、処理前画像Ｂｅ２に含まれる画素の階調値の分布を示すヒストグラムである。処理後画像Ａｆ２１は、処理前画像Ｂｅ２に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ２１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。処理後画像Ａｆ２２は、処理前画像Ｂｅ２に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ４１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。グラフＬ４１は、式（２）に対応したグラフであり、ｇａｉｎ＿１＝０．５，ｇａｉｎ＿２＝０．５，Ｉｎｆｌｅｃｔｉｏｎ＿１＝９０，Ｉｎｆｌｅｃｔｉｏｎ＿２＝１４０，ｈｅｉｇｈｔ＿１＝１２８である。
　図２０に示す処理後画像Ａｆ２１は、全体的に暗くなってしまっており、コントラスト強調前の処理前画像Ｂｅ２に比して走査線不良を示す黒領域ＢＡの確認がより困難になっている。一方、処理後画像Ａｆ２２は、全体的に明るくなり、走査線不良を示す黒領域ＢＡの確認がより容易になっている。また、処理後画像Ａｆ２２は、信号線不良を示す白領域ＷＡの確認も十分に行える状態である。また、図１９で示すように、「良品」であることの確認に関しても、式（２）には問題がない。このように、式（２）に基づいたコントラスト強調を行うことで、画像の明暗に基づいた「良品」と、「良品」以外と、の分類がより行いやすくなる。
　なお、ｈｅｉｇｈｔ＿１の値を、画素の最高階調値と同値にした場合、ｇａｉｎ＿２及びＩｎｆｌｅｃｔｉｏｎ＿２は実質的に機能しない。すなわち、この場合、式（２）は、実質的に式（１）と同様に機能する。
　図２１は、「斜めムラ」に分類される表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。図２１に示す処理前画像Ｂｅ３は、画像処理部５１による画像処理前の画像である。ヒストグラムＨｓ７は、処理前画像Ｂｅ３に含まれる画素の階調値の分布を示すヒストグラムである。処理後画像Ａｆ３１は、処理前画像Ｂｅ３に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ２１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。処理後画像Ａｆ３２は、処理前画像Ｂｅ３に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ５１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。グラフＬ５１は、式（２）に対応したグラフであり、ｇａｉｎ＿１＝１，Ｉｎｆｌｅｃｔｉｏｎ＿１＝１００，ｈｅｉｇｈｔ＿１＝２５５である。
　図２２は、「白ムラ」に分類される表示パネルを撮像した画像と、当該画像への画像処理の適用例と、を示す図である。図２２に示す処理前画像Ｂｅ４は、画像処理部５１による画像処理前の画像である。ヒストグラムＨｓ８は、処理前画像Ｂｅ４に含まれる画素の階調値の分布を示すヒストグラムである。処理後画像Ａｆ４１は、処理前画像Ｂｅ４に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ２１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。処理後画像Ａｆ４２は、処理前画像Ｂｅ４に含まれる画素の階調値をコントラスト強調前の階調値とし、グラフＬ６１が示すコントラスト強調前後の関係となるように画像処理部５１によるコントラスト強調が行われた画像である。グラフＬ６１は、式（２）に対応したグラフであり、ｇａｉｎ＿１＝０．１，Ｉｎｆｌｅｃｔｉｏｎ＿１＝１０５，ｈｅｉｇｈｔ＿１＝２５５である。図２１及び図２２に示すように、変曲点の位置（Ｉｎｆｌｅｃｔｉｏｎ＿１）及び傾き（ｇａｉｎ＿１）を適切に設定することで、ムラをよりはっきりさせることができる。
　以下、式（１）におけるｂの値及び式（２）におけるＩｎｆｌｅｃｔｉｏｎ＿１の値をどのように決定するかの考え方について、図２３を参照して説明する。
　図２３は、表示パネルを撮像した画像に含まれる画素の階調値の分布を示すヒストグラムＨｓ９と、変曲点の位置（ｂ）と、の関係を示す図である。なお、ヒストグラムＨｓ９は、「斜めムラ」に分類される表示パネルを撮像した画像のヒストグラムである。
　図２３に示す範囲ＵＮは、画素の階調値がより低階調である画素の数から優先して数え始めて、画素数が２０００個未満である画素の階調値範囲である。ここで、画素の最低階調値（０）を原点とした範囲ＵＮの階調値の横軸方向の幅、すなわち、範囲ＵＮの階調値の最高値をｂの値とすることで、範囲ＵＮが導出されたヒストグラム（例えば、ヒストグラムＨｓ９）が導出された画像のコントラスト強調に式（１）を採用する場合における当該グラフの変曲点をより好適に設定できる。また、画像のコントラスト強調に式（２）を採用する場合、範囲ＵＮの階調値の最高値をＩｎｆｌｅｃｔｉｏｎ＿１の値としてもよい。また、このようなｂ又はＩｎｆｌｅｃｔｉｏｎ＿１の決定ルーチンを画像処理部５１に設定することで、画像処理部５１によるコントラスト強調処理における変曲点の自動的な設定を行える。
　なお、範囲ＵＮに含まれる画素数が２０００未満であるというのは、あくまで一例であってこれに限られるものでない。範囲ＵＮに含まれる画素数は、表示パネルを撮像して得られた画像の画素数に対する割合（例えば、１５％）として定められることが望ましい。
　式（１）のａ，ｂ、式（２）のｇａｉｎ＿１，ｇａｉｎ＿２，Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２，ｈｅｉｇｈｔ＿１、範囲ＵＮに含まれる画素数等、各種のパラメータに関する設定は、例えば設定データ２２４に含まれる。式（１）、式（２）のような画像処理のアルゴリズムに関する規則は、例えば画像処理プログラム２２２に含まれる。
　以上説明したように、実施形態による方法は、機械学習を利用して、表示装置の画像表示面を撮像した画像（例えば、判定対象画像データ１００又は参照データ２２３に含まれる画像データの画像）がｊ種類（例えば、ｊ＝８）の分類のいずれに該当するか判定する表示装置の検査方法を含む。実施形態による方法は、情報処理装置（例えば、情報処理装置１）が、予め用意された当該ｊ種類の分類に対応した画像のデータを含む教師データ（例えば、参照データ２２３）に基づいて、画像が当該ｊ種類の分類のいずれに該当するか判定するための機械学習を行う第１機械学習ステップ（例えば、ステップＳ２）を含む。実施形態による方法は、当該情報処理装置が、当該ｊ種類のうちｋ種類（例えば、ｋ＝２）の分類に対応した画像のデータを含む教師データ（例えば、参照データ２２３のうちデータセットＤＳ１，ＤＳ２）に基づいて、画像が当該ｋ種類の分類のいずれに該当するか判定するための機械学習を行う第２機械学習ステップ（例えば、ステップＳ５）を含む。ｊ及びｋは２以上の自然数である。ｋはｊよりも小さい。これらによって、当該ｊ種類のうち当該ｋ種類の分類について、画像の分類精度をより高められる。従って、より高精度に表示装置の画像を分類できる。
　また、ｋ種類（例えば、ｋ＝２）の分類のうち１種類は、表示不良と見なされる表示出力が生じない良品として扱われる表示装置の分類である。これによって、良品と、良品以外の１種類以上の分類と、を含むｋ種類の分類について、画像の分類精度をより高められる。従って、例えば上述した斜めムラのような、ｊ種類（例えば、ｊ＝８）の中でも良品との分類が比較的困難な分類についても、良品と、良品以外と、の分類精度をより高められる。
　また、第２機械学習ステップ（例えば、ステップＳ５）で利用される教師データ（例えば、参照データ２２３のうちデータセットＤＳ１，ＤＳ２）は、第１機械学習ステップ（例えば、ステップＳ２）で利用される教師データ（例えば、参照データ２２３）の一部である。これによって、当該第１機械学習ステップと当該第２機械学習ステップとで利用される教師データを共通化できる。
　また、実施形態による方法は、表示装置の画像表示面を撮像した画像（例えば、参照データ２２３に含まれる検証データの画像）がｊ種類（例えば、ｊ＝８）の分類のいずれに該当するかの判定を、情報処理装置（例えば、情報処理装置１）が第１機械学習ステップ（例えば、ステップＳ２）後かつ第２機械学習ステップ（例えば、ステップＳ５）前に行う第１検査ステップ（例えば、ステップＳ３）を含む。実施形態による方法は、当該情報処理装置が、第１検査ステップで判定対象となった当該画像のデータ（例えば、参照データ２２３に含まれる検証データ）のうち当該第１検査ステップでｋ種類（例えば、ｋ＝２）の分類のいずれかに該当すると判定された画像のデータを抽出する第１抽出ステップ（例えば、ステップＳ４）を含む。実施形態による方法は、当該第１抽出ステップで抽出された画像のデータが当該ｋ種類の分類のいずれに該当するかの判定を、当該情報処理装置が当該第２機械学習ステップ後に行う第２検査ステップ（例えば、ステップＳ７）を含む。これらによって、当該第１機械学習ステップで当該ｋ種類のいずれかであると分類された画像を、当該第２機械学習後に再度分類した場合の分類精度を確認できる。従って、当該第２検査ステップの分類結果を反映することで、当該第１機械学習ステップのみの場合に比して、当該ｋ種類の分類について、画像の分類精度をより高められる。
　また、実施形態による方法は、表示装置の画像表示面を撮像した画像のデータであって、教師データ（例えば、参照データ２２３）とは異なる画像のデータ（例えば、判定対象画像データ１００）が、ｊ種類（例えば、ｊ＝８）の分類のいずれに該当するかを情報処理装置（例えば、情報処理装置１）が判定する第１判定ステップ（例えば、ステップＳ１３）を含む。実施形態による方法は、当該第１判定ステップで判定対象となった当該画像のデータのうち当該第１判定ステップでｋ種類（例えば、ｋ＝２）の分類のいずれかに該当すると判定された画像のデータを抽出する第２抽出ステップ（例えば、ステップＳ１４）を含む。実施形態による方法は、当該第２抽出ステップで抽出された画像のデータが当該ｋ種類の分類のいずれに該当するかを当該情報処理装置が判定する第２判定ステップ（例えば、ステップＳ１５）を含む。これらによって、当該ｊ種類のうち当該ｋ種類の分類について、画像の分類精度をより高められる。従って、より高精度に表示装置の画像を分類できる。
　また、実施形態の情報処理装置１は、機械学習を利用して、表示装置の画像表示面を撮像した画像（例えば、判定対象画像データ１００又は参照データ２２３に含まれる画像データの画像）がｊ種類（例えば、ｊ＝８）の分類のいずれに該当するか判定することができる情報処理装置である。情報処理装置１は、予め用意された当該ｊ種類の分類に対応した画像のデータを含む教師データ（例えば、参照データ２２３）を記憶する記憶部（例えば、記憶部２２）と、当該記憶部から当該教師データを読み出して機械学習を行う演算部（例えば、演算部２１）と、を備える。当該演算部は、当該教師データに基づいて、画像が当該ｊ種類の分類のいずれに該当するか判定するための機械学習を行い、当該ｊ種類のうちｋ種類（例えば、ｋ＝２）の分類に対応した画像のデータを含む当該教師データの一部（例えば、参照データ２２３のうちデータセットＤＳ１，ＤＳ２）に基づいて、画像が当該ｋ種類の分類のいずれに該当するか判定するための機械学習を行う。ｊ及びｋは２以上の自然数である。ｋはｊよりも小さい。これらによって、情報処理装置１による画像の分類について、当該ｊ種類のうち当該ｋ種類の分類について、画像の分類精度をより高められる。従って、より高精度に表示装置の画像を分類できる。
　さらに、実施形態による方法は、表示装置の画像表示面を撮像した画像（例えば、判定対象画像データ１００又は参照データ２２３に含まれる画像データの画像）のコントラスト強調方法を含む。実施形態による方法は、情報処理装置（例えば、情報処理装置１）が、当該画像のコントラスト強調を行うステップ（例えば、ステップＳ１２）を含む。当該画像に含まれる画素の階調値のコントラスト強調前の値とコントラスト強調後の値との関係を示すグラフ（例えば、グラフＬ３１等）は、２つの変曲点（例えば、Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２）を有する曲線である。これらによって、画像のコントラスト強調において、表示不良によって生じる特徴をより鮮明にするためのより適切なパラメータの設定が可能になる。すなわち、２つの変曲点の設定によって、表示不良によって生じる特徴をより鮮明にできるようになる。
　また、２つの変曲点の一方（例えば、Ｉｎｆｌｅｃｔｉｏｎ＿１）を含む曲線及び当該２つの変曲点の他方（例えば、Ｉｎｆｌｅｃｔｉｏｎ＿２）を含む曲線は、シグモイド曲線である。従って、コントラスト強調後の画像の階調値が各変曲点を挟んで段階的に上がり、全体として３段階的な階調値の高低を有するコントラスト強調後の画像を得られる。
　また、２つの変曲点の一方（例えば、Ｉｎｆｌｅｃｔｉｏｎ＿１）は、グラフ（例えば、グラフＬ３１等）において画像（例えば、判定対象画像データ１００又は参照データ２２３に含まれる画像データの画像）に含まれる複数の画素の最頻階調値よりも低い階調値の位置にあり、当該２つの変曲点の他方（例えば、Ｉｎｆｌｅｃｔｉｏｎ＿２）は、当該グラフにおいて当該画像に含まれる複数の画素の最頻階調値よりも高い階調値の位置にある。従って、コントラスト強調によって、良品の表示装置を撮像した画素により多く含まれる画素の最頻階調値よりも低い階調値の画素及び当該最頻階調値よりも高い階調値の画素をより鮮明にできる。
　また、実施形態の情報処理装置１は、表示装置の画像表示面を撮像した画像（例えば、判定対象画像データ１００又は参照データ２２３に含まれる画像データの画像）のコントラスト強調を行うことができる情報処理装置である。情報処理装置１は、コントラスト強調を行う画像処理部（例えば、画像処理部５１）を備える。当該画像に含まれる画素の階調値のコントラスト強調前の値とコントラスト強調後の値との関係を示すグラフは、２つの変曲点（例えば、Ｉｎｆｌｅｃｔｉｏｎ＿１，Ｉｎｆｌｅｃｔｉｏｎ＿２）を有する曲線である。これらによって、画像のコントラスト強調において、表示不良によって生じる特徴をより鮮明にするためのより適切なパラメータの設定が可能な情報処理装置１を提供できる。すなわち、２つの変曲点の設定によって、表示不良によって生じる特徴をより鮮明にできるようになる。
　なお、上述した実施形態では、ｊ＝８，ｋ＝２であるが、これはあくまで一例であってこれに限られるものでない。ｊ及びｋは２以上の自然数であって、かつ、ｋがｊより小さければよい。必然的に、ｊは３以上であるといえる。また、ｊ種類のうちｊ未満種類を対象とした第２検査ステップ、第２判定ステップは、複数回行われてもよい。この場合、複数回行われる第２検査ステップ、第２判定ステップではそれぞれ、ｊ種類からそれぞれ異なるｋ種類に限定された分類が行われる。また、複数回行われる第２検査ステップ（又は第２判定ステップ）のうち１つがｊ種類のうちｋ種類を対象とし、他の１つがｊ種類のうちｈ種類を対象とするように、複数回行われる第２検査ステップ、第２判定ステップの各々で分類数がそれぞれ異なってもよい。
　また、上述した実施形態では、第２機械学習ステップで利用される教師データは、第１機械学習ステップで利用される教師データの一部であるが、第１機械学習ステップで利用される教師データと、第２機械学習ステップで利用される教師データと、が別であってもよい。
　また、上述した実施形態では、判定対象画像データ１００及び参照データ２２３が、大判点灯検査装置と呼ばれる、複数の表示パネルの撮像を一括で行える装置を用いて撮像された複数の画像データを含んでいるが、これはあくまで表示装置の画像表示面を撮像した画像のデータの一形態例であってこれに限られるものでない。表示装置の画像表示面を撮像した画像は、例えばスマートフォンの画像表示面を撮像した画像等、表示パネルのみの状態でない表示装置の画像表示面を撮像した画像であってもよい。
　また、上述した実施形態では、ＣＮＮが採用されているが、これは機械学習アルゴリズムの具体例に過ぎず、これに限られるものでない。上述した実施形態におけるＣＮＮに代えて、他の機械学習アルゴリズムに基づいた機械学習が採用されてもよい。
　また、本実施形態において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本開示によりもたらされるものと解される。
１　情報処理装置
２１　演算部
２２　記憶部
３０　出力部
４０　取得部
５０　処理部
５１　画像処理部
６０　判定部
６２　限定分類処理部
７０　機械学習部
１００　判定対象画像データ
２２１　機械学習プログラム
２２２　画像処理プログラム
２２３　参照データ
２２４　設定データ
ＮＮ　ニューラルネットワーク

Claims (4)

  1. 　表示装置の画像表示面を撮像した画像のコントラスト強調方法であって、
    　情報処理装置が、前記画像のコントラスト強調を行うステップを含み、
    　前記画像に含まれる画素の階調値のコントラスト強調前の値とコントラスト強調後の値との関係を示すグラフが２つの変曲点を有する曲線である、
    　画像のコントラスト強調方法。
  2. 　前記２つの変曲点の一方を含む曲線及び前記２つの変曲点の他方を含む曲線は、シグモイド曲線である、
    　請求項１に記載の画像のコントラスト強調方法。
  3. 　前記２つの変曲点の一方は、前記グラフにおいて前記画像に含まれる複数の画素の最頻階調値よりも低い階調値の位置にあり、
    　前記２つの変曲点の他方は、前記グラフにおいて前記画像に含まれる複数の画素の最頻階調値よりも高い階調値の位置にある、
    　請求項１又は２に記載の画像のコントラスト強調方法。
  4. 　表示装置の画像表示面を撮像した画像のコントラスト強調を行う情報処理装置であって、
    　コントラスト強調を行う画像処理部を備え、
    　前記画像に含まれる画素の階調値のコントラスト強調前の値とコントラスト強調後の値との関係を示すグラフが２つの変曲点を有する曲線である、
    　情報処理装置。
PCT/JP2022/033761 2021-11-25 2022-09-08 画像のコントラスト強調方法及び情報処理装置 Ceased WO2023095417A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280077007.6A CN118339607A (zh) 2021-11-25 2022-09-08 图像的对比度增强方法及信息处理装置
JP2023563525A JPWO2023095417A1 (ja) 2021-11-25 2022-09-08
KR1020247015971A KR20240074005A (ko) 2021-11-25 2022-09-08 화상의 콘트라스트 강조 방법 및 정보 처리 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-191230 2021-11-25
JP2021191230 2021-11-25

Publications (1)

Publication Number Publication Date
WO2023095417A1 true WO2023095417A1 (ja) 2023-06-01

Family

ID=86539155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033761 Ceased WO2023095417A1 (ja) 2021-11-25 2022-09-08 画像のコントラスト強調方法及び情報処理装置

Country Status (4)

Country Link
JP (1) JPWO2023095417A1 (ja)
KR (1) KR20240074005A (ja)
CN (1) CN118339607A (ja)
WO (1) WO2023095417A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050099546A1 (en) * 2003-11-10 2005-05-12 Huaya Microelectronics (Shanghai) Inc. Chrominance control unit and method for video images
JP2006238412A (ja) * 2005-01-25 2006-09-07 Sharp Corp 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
JP2009253636A (ja) * 2008-04-04 2009-10-29 Sony Corp 画像処理装置と画像処理方法および撮像装置
JP2010010754A (ja) * 2008-06-24 2010-01-14 Sanyo Electric Co Ltd 表示装置
US20190318460A1 (en) * 2016-12-22 2019-10-17 Huawei Technologies Co., Ltd. Method and apparatus for generating high dynamic range image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355595B2 (en) * 2007-05-15 2013-01-15 Xerox Corporation Contrast enhancement methods and apparatuses
JP2009180583A (ja) 2008-01-30 2009-08-13 Fujifilm Corp ディスプレイの輝度ムラ評価方法および装置
JP5950654B2 (ja) * 2012-03-30 2016-07-13 キヤノン株式会社 画像表示装置及びその制御方法
JP6275174B2 (ja) * 2015-03-10 2018-02-07 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
CN107393504B (zh) * 2017-09-11 2020-02-14 青岛海信电器股份有限公司 基于rgbw面板的图像调节方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050099546A1 (en) * 2003-11-10 2005-05-12 Huaya Microelectronics (Shanghai) Inc. Chrominance control unit and method for video images
JP2006238412A (ja) * 2005-01-25 2006-09-07 Sharp Corp 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
JP2009253636A (ja) * 2008-04-04 2009-10-29 Sony Corp 画像処理装置と画像処理方法および撮像装置
JP2010010754A (ja) * 2008-06-24 2010-01-14 Sanyo Electric Co Ltd 表示装置
US20190318460A1 (en) * 2016-12-22 2019-10-17 Huawei Technologies Co., Ltd. Method and apparatus for generating high dynamic range image

Also Published As

Publication number Publication date
KR20240074005A (ko) 2024-05-27
CN118339607A (zh) 2024-07-12
JPWO2023095417A1 (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
CN110274908B (zh) 缺陷检查装置、缺陷检查方法以及计算机可读记录介质
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN118644483B (zh) 一种柔性电路板瑕疵检测方法及系统
JP6798619B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN117314826B (zh) 一种显示屏的性能检测方法
CN115115644A (zh) 一种基于人工智能的车辆焊接缺陷检测方法
CN113469921B (zh) 图像缺陷修复方法、系统、计算机设备及存储介质
KR20210098997A (ko) 자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템
CN119722664B (zh) 一种基于虚拟现实技术的印刷线路板缺陷检测系统
Margraf et al. An evolutionary learning approach to self-configuring image pipelines in the context of carbon fiber fault detection
CN113870342A (zh) 外观缺陷检测方法、智能终端以及存储装置
US11488342B1 (en) Material map identification and augmentation
CN117975175A (zh) 一种基于机器视觉的塑料管道外观缺陷检测方法
CN110188693B (zh) 改进的复杂环境车辆特征提取和停车判别方法
JP2001307087A (ja) 循環的対話型画像分析のための手順、並びに、その手順を実行するためのコンピュータ・システム及びコンピュータ・プログラム
US20130259373A1 (en) Image processing device capable of determining types of images accurately
WO2023095417A1 (ja) 画像のコントラスト強調方法及び情報処理装置
WO2023095416A1 (ja) 表示装置の検査方法及び情報処理装置
JP7302410B2 (ja) 画像認識装置、画像認識システム、画像認識方法及びプログラム
JP7336033B2 (ja) データ増強基盤事物分析モデル学習装置及び方法
JPWO2019220608A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN116310276B (zh) 目标检测方法、装置、电子设备及存储介质
CN118155203A (zh) 一种多级过滤的生鲜食物分拣方法
Nurhadi et al. Pattern Classification Sign Language Using Features Descriptors And Machine Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898202

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023563525

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20247015971

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280077007.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22898202

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 22898202

Country of ref document: EP

Kind code of ref document: A1

WWR Wipo information: refused in national office

Ref document number: 1020247015971

Country of ref document: KR