WO2022014009A1 - 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体 - Google Patents

画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2022014009A1
WO2022014009A1 PCT/JP2020/027676 JP2020027676W WO2022014009A1 WO 2022014009 A1 WO2022014009 A1 WO 2022014009A1 JP 2020027676 W JP2020027676 W JP 2020027676W WO 2022014009 A1 WO2022014009 A1 WO 2022014009A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversion table
image
gradation value
input image
value
Prior art date
Application number
PCT/JP2020/027676
Other languages
English (en)
French (fr)
Inventor
俊明 久保
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/027676 priority Critical patent/WO2022014009A1/ja
Priority to CN202080102668.0A priority patent/CN115803800A/zh
Priority to JP2022536068A priority patent/JP7407940B2/ja
Priority to US18/008,180 priority patent/US20230282155A1/en
Publication of WO2022014009A1 publication Critical patent/WO2022014009A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit

Definitions

  • This disclosure relates to an image processing device and method, and an image display device.
  • the present invention relates to a technique for reducing the power consumption of a self-luminous image display device such as an LED display.
  • the disclosure also relates to programs and recording media.
  • Self-luminous displays such as LED displays and organic EL displays consume more power as the average display brightness on the screen increases. If the displayed image is uniformly darkened, the power consumption can be reduced, but the visibility is also deteriorated. Therefore, it is a technical issue to maintain both image quality and reduce power consumption.
  • Patent Document 1 the region in the screen where the line of sight of a person is concentrated is set as a reference region, and the display brightness of the original image is gradually reduced as the distance from the reference region increases, thereby minimizing the reduction in brightness in the reference region.
  • Methods for reducing power consumption have been proposed.
  • Patent Document 1 may not be sufficiently effective in a situation where the part to be watched differs depending on the person, such as a public display.
  • unevenness can be seen in an image with little gradation change such as CG (computer graphics).
  • the object of the present disclosure is to provide a technique capable of reducing power consumption while maintaining the visibility of a displayed image.
  • the image display device is In an image processing device that generates an output image based on an input image and supplies the output image to a self-luminous image display unit to display the image.
  • An average luminance calculation unit that calculates the average luminance of the input image
  • a histogram generator that generates a histogram of the input image
  • a histogram generator that generates a histogram of the input image
  • a peak luminance calculation unit for calculating the peak luminance of the input image
  • a conversion table generation unit that generates a conversion table that defines the relationship between the gradation value of the input image and the gradation value of the output image from the average brightness, the histogram, and the peak brightness.
  • an image conversion unit that converts the input image using the conversion table and generates the output image.
  • the conversion table generation unit when the gradation value of the input image is equal to the peak brightness, the gradation value of the output image is also equal to the peak brightness, and the gradation value of the input image is 0.
  • a conversion table in which the gradation value of the output image is smaller than the gradation value of the input image is generated in at least a part of the range higher than the peak brightness and lower than the peak brightness.
  • FIG. It is a functional block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the histogram generated by the histogram generation part of FIG.
  • FIG. It is a functional block diagram which shows the structural example of the conversion table generation part of FIG.
  • (A) and (b) are diagrams for explaining the relationship between the peak luminance and the first conversion table generated by the first method.
  • (A) and (b) are diagrams for explaining the relationship between the average luminance and the first conversion table generated by the first method.
  • (A) and (b) are diagrams for explaining the relationship between the peak luminance and the first conversion table generated by the second method.
  • (A) and (b) are diagrams for explaining the relationship between the average luminance and the first conversion table generated by the second method.
  • (A) and (b) are diagrams for explaining the operation of the second conversion table generation unit.
  • (A) to (c) are diagrams for explaining the operation of the conversion table synthesis unit. It is a figure which shows the modification of the conversion table. It is a block diagram which shows the computer which realizes all the functions of the image processing apparatus of Embodiment 1 together with the image display part.
  • FIG. 1 is a diagram showing a configuration of an image display device according to the first embodiment.
  • the image display device 1 shown in FIG. 1 includes an image processing device 2 and an image display unit 3.
  • the image display unit 3 is a self-luminous display such as an LED (light-emitting diode) display or an organic EL (electroluminescence).
  • LED light-emitting diode
  • organic EL electroluminescence
  • the image display unit 3 is composed of, for example, a display having a display panel in which red, green, and blue LEDs are arranged.
  • red, green, and blue LEDs constitutes one light emitting element, and a plurality of such light emitting elements are regularly arranged as pixels in a matrix to form a display panel.
  • the image processing device 2 corrects an image (input image) Da supplied from the outside to generate an output image (corrected image) Db, and displays the output image Db on the image display unit 3.
  • the image processing device 2 includes an image input unit 11, an average brightness calculation unit 12, a histogram generation unit 13, a peak brightness calculation unit 14, a conversion table generation unit 15, and an image conversion unit 16.
  • the image input unit 11 receives and outputs the input image Da.
  • the image input unit 11 will be described as being a digital interface that receives and outputs digital image data representing the input image Da.
  • the image input unit 11 may be configured by an A / D converter that converts an analog image signal into digital image data.
  • the digital image data output from the image input unit 11 includes an R (red) component value, a G (green) component value, and a B (blue) component value for each pixel, and each component value is an 8-bit value. It is assumed that it is represented by.
  • the average luminance calculation unit 12 calculates the average luminance AL of the input image Da of each frame.
  • the brightness for each pixel is obtained by weighting and adding the R component value, the G component value, and the B component value for the pixel.
  • the average luminance AL of the input image Da of each frame is obtained by obtaining the average luminance of all the pixels belonging to the frame.
  • the histogram generation unit 13 generates a histogram HIST from the input image Da of each frame.
  • the histogram generation unit 13 calculates, for example, the maximum value among the R component value, the G component value, and the B component value, that is, the maximum component value M for each pixel of the input image Da of each frame, and the above-mentioned maximum component.
  • a histogram HIST representing the appearance frequency F (C) for each class (bin) of the value M is generated.
  • Each class C is composed of a predetermined number of maximum component values M that are continuous in phase. In the following, it is assumed that the number of the maximum component values M belonging to each class is 8. However, the number of maximum component values M belonging to each class may be other than 8. For example, it may be 16 or 1. If each component value is an 8-bit value and the number of maximum component values M belonging to each class is 8, the number of classes is 32.
  • FIG. 2 shows an example of the generated histogram HIST.
  • the horizontal axis represents the maximum component value M and the class C.
  • the value that the maximum component value M can take is from 0 to 255, and the value that the class C can take is from 0 to 32.
  • the vertical axis of FIG. 2 represents the frequency F (C) of the maximum component value M belonging to each class C, that is, the number of pixels in which the maximum component value M belongs to the class C.
  • the range of values that the appearance frequency F (C) can take is from 0 to the total number of pixels in the frame.
  • the frequency of appearance of each class is indicated by a bar having a width equal to the range of the maximum component value M belonging to the class.
  • the histogram generation unit 13 may generate a histogram representing the appearance frequency for each luminance class of each pixel instead of the maximum component value M.
  • each class is composed of a predetermined number of successive luminance values.
  • the peak luminance calculation unit 14 calculates the peak luminance MAXL of the input image Da of each frame.
  • the peak luminance MAXL of the input image Da of each frame is the largest of the luminancees of all the pixels belonging to the frame.
  • the conversion table generation unit 15 is a conversion table T from the average brightness AL calculated by the average brightness calculation unit 12, the histogram HIST generated by the histogram generation unit 13, and the peak brightness MAXL calculated by the peak brightness calculation unit 14. To generate.
  • the conversion table T is a table that defines the relationship between the gradation value (input gradation value) X of the input image Da and the gradation value (output gradation value) Y of the output image Db.
  • the gradation values X and Y are both 8-bit values and take a value from 0 to 255.
  • FIG. 3 is a diagram showing a configuration example of the conversion table generation unit 15.
  • the illustrated conversion table generation unit 15 includes a comparison unit 17, a first conversion table generation unit 18, a second conversion table generation unit 19, a non-conversion table storage unit 20, and a conversion table synthesis unit 21.
  • the comparison unit 17 compares the average luminance AL with the predetermined threshold value ALth, and outputs the comparison result RC.
  • the first conversion table generation unit 18 generates a first conversion table Ta that defines the relationship between the input gradation value X and the first output gradation value Ya.
  • the second conversion table generation unit 19 generates a second conversion table Tb that defines the relationship between the input gradation value X and the second output gradation value Yb.
  • the non-conversion table storage unit 20 stores a third conversion table Tc that defines the relationship between the input gradation value X and the third output gradation value Yc.
  • the first, second, and third output gradation values Ya, Yb, and Yc are also 8-bit values, and are assumed to take values from 0 to 255.
  • the conversion table synthesizing unit 21 generates the conversion table T based on the comparison result RC and the first, second, and third conversion tables Ta, Tb, and Tc.
  • the conversion table T is a table that defines the relationship between the input gradation value X and the output gradation value Y.
  • the conversion table T may be referred to as a synthetic conversion table in order to distinguish it from the first, second, and third conversion tables Ta, Tb, and Tc.
  • the gradation value Y may be referred to as a composite output gradation value.
  • the first conversion table generation unit 18 generates the first conversion table Ta based on the average brightness AL calculated by the average brightness calculation unit 12 and the peak brightness MAXL calculated by the peak brightness calculation unit 14.
  • the first conversion table generation unit 18 has, for example, a parameter determination unit 23 and a table value calculation unit 24 as shown in FIG.
  • the parameter determination unit 23 determines the value of the parameter ⁇ based on the average luminance AL.
  • the parameter ⁇ is a value of 1 or more, and is determined so that the larger the average luminance AL is, the larger the value is.
  • the table value calculation unit 24 calculates the table value of the first conversion table Ta based on the parameter ⁇ and the peak luminance MAXL.
  • the table value means the first output gradation value Ya associated with each input gradation value X.
  • the first conversion table Ta is generated by calculating the first output gradation value Ya for all the input gradation values X.
  • the first conversion table generation unit 18 shown in FIG. 4 generates the first conversion table Ta by, for example, the following first method or second method.
  • the table value calculation unit 24 calculates the table value using the following formula (1).
  • FIG. 5 is a graph showing an example of the first conversion table Ta generated by the first method.
  • the horizontal axis represents the input gradation value X
  • the vertical axis represents the first output gradation value Ya.
  • the first conversion table Ta shown in FIG. 5 performs conversion so as to lower the gradation value in a range higher than 0 and lower than the peak brightness MAXL while maintaining the peak brightness.
  • “Maintaining the peak luminance” means that when the input luminance value X is equal to the peak luminance MAXL, the first output luminance value Ya is also equal to the peak luminance MAXL.
  • “Reducing the gradation value” means making the first output gradation value Ya smaller than the input gradation value X.
  • FIG. 6 (a) and 6 (b) are diagrams for explaining the relationship between the peak luminance MAXL and the first conversion table Ta generated by the first method.
  • the horizontal axis is the input gradation value X
  • the vertical axis is the first output gradation value Ya.
  • FIG. 6A represents a first conversion table when the peak luminance MAXL is 192
  • FIG. 6B represents a first conversion table when the peak luminance MAXL is 128.
  • the first output gradation value Ya is equal to the peak luminance MAXL.
  • FIGS. 7A and 7 (b) are diagrams for explaining the relationship between the average luminance AL and the first conversion table Ta generated by the first method.
  • the horizontal axis is the input gradation value X
  • the vertical axis is the first output gradation value Ya.
  • the peak luminance MAXL is 192.
  • FIG. 7A represents a first conversion table when the average luminance AL is 150
  • FIG. 7B represents a first conversion table when the average luminance AL is 100.
  • the average luminance AL is 150 and ⁇ is 2.
  • the average luminance AL is 100 and ⁇ is 1.2.
  • ⁇ changes according to the average luminance AL, and the amount of decrease in the first output gradation value Ya with respect to the input luminance value X in a range lower than the peak luminance MAXL changes.
  • the larger the average luminance AL the larger the value of ⁇ , and the greater the degree of downward convexity of the curve. Therefore, the larger the average luminance AL is, the larger the reduction in the gradation value in the range lower than the peak luminance MAXL is the gradation conversion characteristic.
  • the first conversion table Ta represented by the equation (1) is generated, but in the second method, the equation (2) described later is used instead of the equation (1). Along with this, different values are used as the parameters ⁇ .
  • the table value calculation unit 24 calculates the table value using the following formula (2).
  • FIG. 8 is a graph showing an example of the first conversion table Ta generated by the second method.
  • the horizontal axis represents the input gradation value X
  • the vertical axis represents the first output gradation value Ya.
  • the first conversion table Ta also shown in FIG. 8 also performs conversion so as to lower the gradation value in a range higher than 0 and lower than the peak brightness MAXL while maintaining the peak brightness.
  • FIG. 9 (a) and 9 (b) are diagrams for explaining the relationship between the peak luminance MAXL and the gradation conversion characteristic of the first conversion table Ta generated by the second method.
  • the horizontal axis is the input gradation value X
  • the vertical axis is the first output gradation value Ya.
  • FIG. 9A represents a first conversion table when the peak luminance MAXL is 192
  • FIG. 9B represents a first conversion table when the peak luminance MAXL is 128.
  • the first output gradation value Ya is equal to the peak luminance MAXL.
  • FIGS. 10A and 10 (b) are diagrams for explaining the relationship between the average luminance AL and the first conversion table Ta generated by the second method.
  • the horizontal axis is the input gradation value X
  • the vertical axis is the first output gradation value Ya.
  • the peak luminance MAXL is 192.
  • FIG. 10A represents a first conversion table when the average luminance AL is 150
  • FIG. 10B represents a first conversion table when the average luminance AL is 100.
  • the average luminance AL is 150 and ⁇ is 3.
  • the average luminance AL is 100 and ⁇ is 1.5.
  • ⁇ changes according to the average luminance AL, and the amount of decrease in the first output gradation value Ya with respect to the input luminance value X in a range lower than the peak luminance MAXL changes.
  • the larger the average luminance AL the larger the value of ⁇ , and the larger the downward shift of the curve (polygonal line). Therefore, the larger the average luminance AL is, the larger the reduction in the gradation value in the range lower than the peak luminance MAXL is the gradation conversion characteristic.
  • the first conversion table generation unit 18 may generate a conversion table by a method other than the above. In either case, it is desirable that the first output gradation value Ya is smaller than the input gradation value X in the range higher than 0 and lower than the peak luminance MAXL.
  • the first output gradation value Ya is smaller than the input gradation value in the entire range higher than 0 and lower than the peak luminance MAXL.
  • the first conversion table Ta may be at least a part of a range higher than 0 and lower than the peak luminance MAXL, and the first output gradation value Ya may be smaller than the input gradation value X.
  • the amount of decrease in the first output gradation value Ya with respect to the gradation value X is large.
  • the second conversion table generation unit 19 generates the second conversion table Tb based on the histogram HIST generated by the histogram generation unit 13 and the peak luminance MAXL calculated by the peak luminance calculation unit 14.
  • the second conversion table generation unit 19 generates, for example, the normalized cumulative histogram NCH exemplified in FIG. 11 (a) from the histogram HIST exemplified in FIG. 2, and from the normalized cumulative histogram NCH, FIG. 11 (b). ) To generate the second conversion table Tb.
  • the horizontal axis represents the input gradation value X and the vertical axis represents the output gradation value Yb.
  • the normalized cumulative histogram NCH is a normalized cumulative histogram CH obtained from the histogram HIST.
  • the normalization of the cumulative histogram CH here is such that the cumulative value (cumulative frequency) FC (C) is within the range from the minimum gradation value (0) to the maximum gradation value (255) that the peak luminance MAXL can take. It is a process to take a value.
  • the cumulative histogram CH represents the cumulative value (cumulative frequency) CF (C) of the appearance frequency F (C) from the smallest class to the class C for each class C of the histogram HIST.
  • the normalized value of the cumulative value (normalized cumulative frequency) NCF (C) is obtained by dividing the cumulative value CF (C) by the number of pixels in the screen (the number of pixels constituting the screen) and multiplying by the value of the peak brightness MAXL. It is a value obtained by.
  • the normalized cumulative histogram NCH of FIG. 11A is represented by a curve connecting points representing the normalized cumulative frequency NCF (C) for each class.
  • the point representing the normalized cumulative frequency NCF (C) of each class C is shown at the position of the representative value of the class C, for example, the median (center in the horizontal axis direction) in the horizontal axis direction. It can be considered that the intersection of such a curve and the vertical straight line passing through the position of each maximum component value M on the horizontal axis represents the normalized cumulative frequency NCF (M) corresponding to the maximum component value M. can.
  • the above-mentioned "curve” may be a polygonal line exemplified in FIG. 11A, or may be a continuous curve.
  • the second conversion table Tb shown in FIG. 11B has a second output in the range where the input gradation value X is equal to or less than the peak luminance MAXL (more strictly, in the range up to the class including the peak luminance MAXL).
  • the gradation value Yb matches the value (normalized cumulative frequency) NCF (M) of the normalized cumulative histogram NCH shown in FIG. 11A and the input gradation value X is larger than the peak luminance MAXL (peak).
  • the second output gradation value Yb has a gradation conversion characteristic equal to the input gradation value X.
  • the second output gradation value Yb “matches the value NCF (M) of the normalized cumulative histogram NCH” means the output gradation value for the input gradation value X equal to a certain maximum component value M of the normalized cumulative histogram NCH. It means that Yb matches the value NCF (M) of the normalized cumulative histogram NCH with respect to the above-mentioned maximum component value M.
  • the histogram HIST is a histogram of the maximum component value M has been described above. Even when the histogram HIST is a luminance histogram, the second conversion table Tb can be generated in the same manner as described above. That is, when the histogram HIST is a luminance histogram, the "maximum component value" in the above description may be replaced with "luminance".
  • the histogram HIST shown in FIG. 2 represents the distribution function of the maximum component value M, and the value of the normalized cumulative histogram NCH shown in FIG. 11 (a), that is, the normalized cumulative frequency NCF (M) is the accumulation of the maximum component value M. It can also be said to represent a density function.
  • the second conversion table Tb generated as described above has a gradation value range having a large appearance frequency while maintaining the peak brightness (gradation value having a large appearance frequency in the input image (maximum component value M, brightness, etc.)).
  • the change in the second output gradation value Yb with respect to the change in the input gradation value X is relatively large (the slope of the curve representing the gradation conversion characteristic is relatively large) in the gradation value range in which the ratio is large.
  • the first to change the input gradation value X in the gradation value range with a small appearance frequency (the gradation value range in which the gradation value with a small appearance frequency (maximum component value M, brightness, etc.) occupies a large proportion in the input image).
  • the change in the output gradation value Yb is relatively small (the slope of the curve representing the gradation conversion characteristic is relatively small). Therefore, it is possible to increase the contrast in the gradation value range having a large appearance frequency and decrease the contrast in the gradation value range having a small appearance frequency.
  • the second output gradation value Yb takes the value NCF (M) of the cumulative density function.
  • NCF (M) the cumulative density function.
  • an upper limit and a lower limit may be set for the slope of the cumulative density function. By doing so, it is possible to prevent the contrast of the gradation value range having a large appearance frequency from becoming too large and the contrast of the gradation value range having a small appearance frequency from becoming too small.
  • the second conversion table Tb generated by the second conversion table generation unit 19 raises the contrast of the gradation value range having a large appearance frequency while maintaining the peak luminance, and the contrast of the gradation value range having a small appearance frequency. Anything that lowers is sufficient.
  • the third conversion table Tc stored in the non-conversion table storage unit 20 is a table in which the third output gradation value Yc is equal to the input gradation value X, that is, a non-conversion table.
  • the third conversion table Tc is, for example, created in advance and stored in the non-conversion table storage unit 20.
  • the conversion table synthesis unit 21 generates a conversion table T based on the comparison result RC, the first conversion table Ta, the second conversion table Tb, and the third conversion table Tc.
  • the conversion table synthesizing unit 21 selects the third conversion table Tc and outputs it as the conversion table T.
  • a conversion table in which the combined output gradation value Y is equal to the input gradation value X is output.
  • a conversion table in which the composite output gradation value Y is equal to the input gradation value X is a conversion table in which the input gradation value X becomes the composite output gradation value Y as it is, that is, "substantially no gradation conversion is performed”. It is a conversion table. This is because when the average luminance AL is lower than the threshold value ALth, the power consumption is small, and the effect of power saving is limited even if the conversion is performed.
  • the comparison result RC indicating that the average luminance AL of the input image is less than the threshold value ALth is supplied from the comparison unit 17 to the first conversion table generation unit 18 and the second conversion table generation unit 19 to generate the first conversion table.
  • the generation of the conversion tables Ta and Tb in the unit 18 and the second conversion table generation unit 19 may be controlled to be omitted.
  • the conversion table synthesizing unit 21 When the comparison result RC indicates that the average luminance AL is equal to or higher than the threshold value ALth, the conversion table synthesizing unit 21 superimposes the first conversion table Ta and the second conversion table Tb to generate the conversion table T. do.
  • the first conversion table Ta the one having the gradation conversion characteristic shown in FIG. 5 is generated
  • the second conversion table Tb the one having the gradation conversion characteristic shown in FIG. 11B is generated.
  • the same gradation conversion characteristics as in FIG. 5 are shown in FIG. 12 (a)
  • the same gradation conversion characteristics as in FIG. 11 (b) are shown in FIG. 12 (b).
  • the superimposition of the first conversion table Ta and the second conversion table Tb is performed by multiplying the same input gradation value X by the first output gradation value Ya (X) and the second output gradation value Yb (X).
  • the output gradation value of may be divided by the maximum value within the range of possible values. This process is represented by the following equation (3).
  • Ymax is the maximum value (255) within the range of values that Ya, Yb, and Y can take.
  • the first output gradation value Ya and the second output gradation value Yb are normalized so as to take a value from 0 to 1, and then multiplied, and the multiplication result is taken from a value from 0 to 255. Is equivalent to denormalizing to.
  • FIG. 12 (c) shows an example of the conversion table T obtained by superimposing the first conversion table Ta and the second conversion table Tb.
  • the image conversion unit 16 performs gradation conversion on the input image Da using the conversion table T generated by the conversion table generation unit 15, and generates an output image Db.
  • the conversion table T is generated in the conversion table generation unit 15 for each frame, and the conversion table T generated for each frame is used for gradation conversion of the input image Da of the frame.
  • the image conversion unit 16 holds the conversion table T generated for the input image Da of each frame until the gradation conversion for all the pixels of the input image Da of the frame is completed, and uses it for the gradation conversion of each pixel.
  • the R component value, the G component value, and the B component value may be separately gradation-converted, and once. It may be converted into a luminance component value and a color difference component value, the luminance component value may be gradation-converted, and then back-converted into an R component value, a G component value and a B component value.
  • the image display unit 3 displays an image based on the output image Db output from the image conversion unit 16.
  • the conversion table T exemplified in FIG. 12C is used for the gradation conversion in the image conversion unit 16.
  • the conversion table T obtained by superimposing the first conversion table Ta and the second conversion table Tb inherits the characteristics of the first conversion table Ta and also inherits the characteristics of the second conversion table Tb.
  • the conversion table T inherits the characteristics of the conversion table Ta, and when the input gradation value X is equal to the peak luminance MAXL, the combined output gradation value Y is set. It has a tendency to make the combined output gradation value Y smaller than the input gradation value X in the range equal to the peak luminance MAXL and higher than 0 and lower than the peak luminance MAXL. As a result, it is possible to save power while maintaining the peak brightness.
  • the conversion table T inherits the characteristics of the first conversion table Ta, and the larger the average luminance AL is, the greater the decrease in the combined output gradation value Y with respect to the input luminance value X in the range lower than the peak luminance MAXL. Has a tendency to grow. As a result, the power consumption can be further reduced without impairing the visibility.
  • the conversion table T inherits the characteristics of the second conversion table Tb, and the change of the combined output gradation value Y with respect to the change of the input gradation value X becomes relatively large in the gradation value range having a large appearance frequency.
  • the change in the combined output gradation value Y with respect to the change in the input gradation value X tends to be relatively small. As a result, an image with good contrast can be obtained.
  • the conversion table T does not have to satisfy all the above conditions.
  • the combined output gradation value Y is larger than the input gradation value X over the entire range in which the input gradation value X is higher than 0 and lower than the peak luminance MAXL. Is also small.
  • the combined output gradation value Y is input only in a part of the range where the input gradation value X is higher than 0 and lower than the peak luminance MAXL. It may have a gradation conversion characteristic smaller than the gradation value X.
  • the third conversion table Tc stored in the non-conversion table storage unit 20 is selected, but this point is also essential. No. That is, even when the average luminance AL is less than the threshold value ALth, the conversion table T obtained by superimposing the first conversion table Ta and the second conversion table Tb may be used for image conversion.
  • the image processing device 2 may be partially or wholly composed of a processing circuit.
  • the functions of each part of the image processing apparatus may be realized by separate processing circuits, or the functions of a plurality of parts may be collectively realized by one processing circuit.
  • the processing circuit may be composed of hardware or software, that is, a programmed computer. Of the functions of each part of the image processing device, some may be realized by hardware and the other part may be realized by software.
  • FIG. 14 shows a computer 9 that realizes all the functions of the image processing device 2 together with the image display unit 3.
  • the computer 9 has a processor 91 and a memory 92.
  • the memory 92 stores a program for realizing the functions of each part of the image processing device 2.
  • the processor 91 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microprocessor, a DSP (Digital Signal Processor), or the like.
  • the memory 92 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ReadOnly Memory), an EEPROM (Electrically Memory Disk, etc.) Alternatively, a photomagnetic disk or the like is used.
  • the processor 91 and the memory 92 may be realized by an LSI (Large Scale Integration) integrated with each other.
  • the processor 91 realizes the function of the image processing device by executing the program stored in the memory 92.
  • the function of the image processing apparatus includes control of display in the image display unit 3 as described above.
  • the program may be provided through a network, or may be recorded and provided on a recording medium, such as a non-temporary recording medium. That is, the program may be provided, for example, as a program product.
  • the computer of FIG. 14 includes a single processor, but may include two or more processors.
  • the process shown in FIG. 15 is repeated every time one frame of an image is input.
  • step ST11 the input process of the input image Da is performed. This process is the same as the process by the image input unit 11 of FIG.
  • step ST12 the average luminance AL is calculated.
  • step ST13 a histogram HIST is generated.
  • step ST14 the peak luminance MAXL is calculated.
  • steps ST12 to ST14 can be performed in parallel.
  • step ST15 a conversion table is generated. This process is equivalent to the process of the conversion table generation unit 15 in FIG.
  • step ST16 image conversion is performed. This process is equivalent to the process of the image conversion unit 16 in FIG.
  • the output gradation value when the input gradation value is equal to the peak luminance, the output gradation value is also equal to the peak luminance, and the input gradation value is at least in the range higher than 0 and lower than the peak luminance.
  • the output gradation value is smaller than the input gradation value, it is possible to reduce the power consumption while maintaining the visibility.
  • the average luminance AL of the input image is lower than the threshold value ALth, if a conversion table whose output gradation value is equal to the input gradation value is used, power consumption is consumed without performing image conversion by the image conversion unit 16. When the number is small, visibility can be maintained even when the image is dark as a whole.
  • the change in the combined output gradation value Y with respect to the change in the input gradation value X is relatively large, and in the gradation value range with a small appearance frequency, the input gradation value X If a conversion table in which the change in the composite output gradation value Y with respect to the change in is relatively small is used, the contrast increases as the gradation value range has a higher appearance frequency, and high gradation can be maintained as the entire image.
  • FIG. 16 is a diagram showing the configuration of the image display device 1b according to the second embodiment.
  • FIG. 16 further shows the learning system 100.
  • the image display device 1b shown in FIG. 16 is generally the same as the image display device 1 of FIG. 1, but an image processing device 2b is provided in place of the image processing device 2 of FIG.
  • the image processing device 2b is generally the same as the image processing device 2, but a conversion table generation unit 31 is provided instead of the conversion table generation unit 15.
  • the conversion table generation unit 31 generates the conversion table T based on the average luminance AL, the histogram HIST, and the peak luminance MAXL of the input image Da.
  • the conversion table generation unit 31 is composed of the trained multi-layer neural network 32, which is exemplified in FIG. 17, for example.
  • the multi-layer neural network 32 is a trained neural network that associates a combination of average luminance AL, histogram HIST, and peak luminance MAXL with a conversion table T, and is generated as a result of machine learning to generate a preferable conversion table T. It is a thing.
  • the "preferable conversion table T" is generated as a result of learning so as to satisfy predetermined conditions, to have good visibility of the displayed image when the conversion table is used, and to reduce the power consumption in that case. It is a conversion table.
  • predetermined conditions include, for example, the following conditions (a) to (d).
  • B The higher the average luminance AL of the input image, the larger the decrease in the output luminance value Y with respect to the input luminance value X in the range lower than the peak luminance MAXL.
  • the visibility of the displayed image depends on the subjective evaluation of a plurality of subjects.
  • the power consumption in the image display unit 3 is obtained by calculation or measurement.
  • whether or not the conversion table T is preferable depends on whether or not the conversion table T satisfies the above conditions (a) to (d), and the output generated by the image conversion using the conversion table T.
  • the determination is made based on the result of subjective evaluation of the displayed image obtained by displaying the image Db and the power consumption in the image display unit 3 when displaying the displayed image.
  • the multi-layer neural network 32 is generated by learning the relationship between the conversion table T generated by the neural network 32 and the above conditions (a) to (d), the visibility of the displayed image, and the power consumption. Is.
  • the neural network 32 shown in FIG. 17 has an input layer 33, an intermediate layer (hidden layer) 34, and an output layer 35.
  • the number of intermediate layers 34 is 3, but the number of intermediate layers 34 may be 2 or less or 4 or more.
  • One of the average luminance AL, the histogram HIST, and the peak luminance MAXL of the input image is assigned to each of the neurons P of the input layer 33, and the assigned value is input to each neuron.
  • the neuron in the input layer 33 outputs the input as it is.
  • the neuron P of the output layer 35 outputs the data defining the conversion table T.
  • the data defining the conversion table T includes an output gradation value Y for each input gradation value X.
  • the neurons P in the intermediate layer 34 and the output layer 35 each perform an operation represented by the following model formula for a plurality of inputs.
  • N is the number of inputs to neuron P and is not necessarily the same among neurons.
  • x 1 to x N are input data of neuron P
  • w 1 to w N are weights for inputs x 1 to x N
  • b is a bias.
  • Weights and biases are determined by learning.
  • the weights and biases are collectively referred to as parameters (neural network parameters).
  • the function s (a) is an activation function.
  • the activation function may be, for example, a step function that outputs 0 if a is 0 or less, and outputs 1 otherwise.
  • the activation function s (a) may be a ReLU function that outputs 0 if a is 0 or less, and outputs an input value a otherwise, and is an identity function that uses the input value a as it is as an output value. However, it may be a jigmoid function.
  • the neuron of the input layer 33 outputs the input as it is, it can be said that the activation function used by the neuron of the input layer 33 is an identity function.
  • the step function or the jigmoid function may be used in the intermediate layer 34, and the ReLU function may be used in the output layer.
  • different activation functions may be used between neurons in the same layer.
  • the number of neurons P and the number of layers (number of stages) are not limited to the example shown in FIG.
  • the image processing apparatus 2b of the second embodiment may be partially or wholly composed of a processing circuit.
  • the functions of each part of the image processing apparatus may be realized by separate processing circuits, or the functions of a plurality of parts may be collectively realized by one processing circuit.
  • the processing circuit may be composed of hardware or software, that is, a programmed computer. Of the functions of each part of the image processing device, some may be realized by hardware and the other part may be realized by software.
  • the image processing device 2b may be configured by the computer of FIG.
  • the procedure of processing by the processor 91 will be described with reference to FIG.
  • FIG. 18 is generally the same as FIG. 15, but includes step ST21 instead of step ST15.
  • step ST21 the conversion table T is generated. This process is equivalent to the process of the conversion table generation unit 31 of FIG.
  • FIG. 16 shows a learning system 100 for machine learning.
  • the learning system 100 is used by being connected to the image processing device 2b during machine learning.
  • the learning system 100 includes a learning device 101, an input interface 102, and a power calculation unit 103.
  • the input interface 102 is used to input the result of the subjective evaluation.
  • Subjective evaluation is performed by a plurality of subjects 5 for a plurality of images.
  • the number of images used and the number of subjects 5 need to be sufficient for proper learning. It is desirable that the subject 5 is a user of the image processing device 2b or a person who is presumed to have the same taste and sensibility as the user.
  • the number of subjects 5 should be as large as possible, but it is determined in consideration of cost, data processing amount, required time, and the like.
  • the learning device 101 sequentially selects a plurality of image Dc and supplies them to the image input unit 11.
  • the plurality of images may be images stored inside the learning device 101, or may be images supplied from the outside.
  • the contents of a plurality of images are different from each other.
  • the content of the image referred to here includes elements constituting the image, their arrangement, brightness in the screen, color distribution, and the like.
  • One or more of the above items is different between different images.
  • the image processing device 2b performs processing on the input image Dc in the same manner as in the case of a normal image processing operation, and causes the image display unit 3 to display the image. That is, the average luminance calculation unit 12 calculates the average luminance AL, the histogram generation unit 13 generates the histogram HIST, and the peak luminance calculation unit 14 calculates the peak luminance MAXL.
  • the conversion table generation unit 31 generates the conversion table T based on the average luminance AL, the histogram HIST, and the peak luminance MAXL.
  • the image conversion unit 16 performs image conversion on the image (image for learning) Dc input to the image input unit 11 using the conversion table T generated by the conversion table generation unit 31, and by conversion.
  • the obtained output image Db is displayed on the image display unit 3.
  • Each of the subjects 5 inputs the evaluation result of the displayed image by using the input interface 102.
  • the evaluation of each image of each subject may represent "satisfaction or not" or may be a numerical value representing "satisfaction".
  • the subjective evaluation value by a plurality of subjects for a plurality of learning images is obtained by integrating the evaluation results by each subject for each image.
  • the ratio of the evaluation that the evaluation is satisfactory may be obtained as the subjective evaluation value for a plurality of images.
  • the subjective evaluation for each image is a satisfaction level
  • the total or average of the satisfaction levels over the plurality of images may be obtained as the subjective evaluation value for the plurality of images.
  • the power calculation unit 103 calculates the power consumption of the image display unit 3 when displaying the converted image Db using the conversion table T generated by the conversion table generation unit 31. For example, the power calculation unit 103 calculates the power consumption by the image display unit 3 based on the converted image Db output from the image conversion unit 16.
  • the learning device 101 is generated by the average luminance AL calculated by the average luminance calculation unit 12, the histogram HIST generated by the histogram generation unit 13, the peak luminance MAXL calculated by the peak luminance calculation unit 14, and the conversion table generation unit 31.
  • the conversion table T is also used as an input, and based on these, it is determined whether or not the conversion table T satisfies the above conditions (a) to (d). Whether or not the above conditions (a), (c), and (d) are satisfied is determined for each image. The determination as to whether or not the above condition (b) is satisfied is performed after the conversion table T is generated for all the images.
  • the learning device 101 also performs a comprehensive evaluation based on the result of the subjective evaluation input by the input interface 102 and the power consumption calculated by the power calculation unit 103.
  • the learning device 101 calculates a subjective evaluation value based on the results of subjective evaluation of a plurality of images of a plurality of subjects.
  • the learning device 101 also calculates a power saving evaluation value from the power consumption calculated by the power calculation unit 103. Power consumption is also calculated for each of the plurality of images.
  • the power saving evaluation value for a plurality of images is obtained from the total or average of the power consumption for each image over the plurality of images. The smaller the power consumption, the larger the power saving evaluation value.
  • the learning device 101 further calculates a comprehensive evaluation value from the subjective evaluation value and the power saving evaluation value.
  • the comprehensive evaluation value is calculated by weighting and adding the subjective evaluation value and the power saving evaluation value.
  • the learning device 101 has a set of parameters (a set of parameters of the neural network) PS as necessary based on the determination result of whether or not the above conditions (a) to (d) are satisfied and the calculated comprehensive evaluation value. To adjust. For example, when the above conditions (a) to (d) are not satisfied, the learning device 101 changes the set PS of the parameters. The change is made so that the above conditions (a) to (d) are satisfied. The learning device 101 also determines whether or not the comprehensive evaluation value EV is equal to or higher than a predetermined threshold value EVth, and if it is not equal to or higher than the threshold value EVth, the parameter set PS is changed. The change is made so that the overall evaluation value EV becomes larger. Gradient descent can be used for the change. The learning device 101 performs the above-mentioned series of processing again by using the multi-layer neural network 32 in which the parameter set PS is changed as described above.
  • the conversion table satisfies the above conditions (a) to (d) and the calculated total evaluation value EV is equal to or higher than the threshold value EVth, the set of parameters used to generate the conversion table is adopted as the optimum parameter. do.
  • the neural network 32 composed of such optimum parameters is used as the one constituting the conversion table generation unit 31.
  • the set PS of the parameters of the neural network 32 that generates the conversion table T is determined, thereby forming the neural network 32.
  • the determination of whether or not the above condition (b) is satisfied is based on the relationship between the conversion table T generated by the conversion table generation unit 31 and the average brightness AL calculated by the average brightness calculation unit 12 for all images. It is done by comparing.
  • the determination as to whether or not the above condition (d) is satisfied is performed for each image based on the conversion table T generated by the conversion table generation unit 31 and the histogram HIST generated by the histogram generation unit 13.
  • the learning device 101 may be configured by a computer.
  • the same computer may be configured as the learning device 101.
  • the computer constituting the learning device 101 may be, for example, the one shown in FIG. In that case, the function of the learning device 101 may be realized by the processor 91 executing the program stored in the memory 92.
  • the conversion table generation unit 31 is tentatively constructed by the original neural network. This neural network is similar to the neural network shown in FIG.
  • a set of parameters for a plurality of neurons is called a set of parameters and is represented by the code PS.
  • the conversion table generated by using the above-mentioned original neural network satisfies the above-mentioned conditions (a) to (d), and the above-mentioned comprehensive evaluation value EV becomes the threshold value EVth or more.
  • the parameter set PS is optimized. Optimization can be performed, for example, by the error back propagation method.
  • the learning device 101 prepares a plurality of images, sets the initial value of the parameter set PS, selects the above images in order, and average brightness when the selected image is input.
  • AL, histogram HIST, peak luminance MAXL, and conversion table T are acquired, and the result of subjective evaluation by a plurality of subjects and the calculated value of power consumption are acquired.
  • the learning device 101 determines whether or not the above conditions (a) to (d) are satisfied based on the acquired average luminance AL, histogram HIST, peak luminance MAXL, and conversion table T.
  • the learning device 101 also calculates the comprehensive evaluation value EV based on the acquired subjective evaluation result and the calculated value of the power consumption.
  • the parameter set PS can be changed by the gradient descent method.
  • the input interface 102 is removed, and the image display device is used with the input interface 102 removed.
  • the learning device 101 and the power calculation unit 103 may be removed or may remain attached after the learning is completed.
  • the functions of the learning device 101 and the power calculation unit 103 are realized by executing a program by the processor 91, the program may remain stored in the memory 92.
  • FIG. 19 also illustrates the processing in the image processing device 2b and the image display unit 3 as steps ST61 to ST62. Further, in FIG. 19, the exchange of signals or data between the learning device 101 and the image processing device 2b is shown by a dotted line.
  • step ST31 of FIG. 19 the learning device 101 prepares the original neural network. That is, the conversion table generation unit 31 is tentatively constructed by the original neural network. This neural network is similar to the neural network shown in FIG.
  • step ST32 the learning device 101 sets the initial value of the set PS of the parameters (weights and biases) used in the operations in each of the neurons in the intermediate layer and the output layer of the neural network prepared in step ST31.
  • the initial value may be a randomly selected value or a value expected to be appropriate.
  • step ST33 the learning device 101 selects one image, that is, the first image from a plurality of images prepared in advance.
  • the learning device 101 inputs the selected image to the image input unit 11.
  • step ST61 the average luminance calculation unit 12 calculates the average luminance AL
  • the histogram generation unit 13 generates the histogram HIST
  • the peak luminance calculation unit 14 calculates the peak luminance MAXL for the input image.
  • step ST62 the conversion table generation unit 31 generates the conversion table T
  • step ST63 the image conversion unit 16 performs image conversion using the generated conversion table T.
  • the output image Db obtained by the image conversion is displayed on the image display unit 3 in step ST64.
  • step ST35 the learning device 101 acquires the average luminance AL, the histogram HIST, and the peak luminance MAXL calculated or generated in step ST61.
  • step ST36 the learning device 101 acquires the conversion table T generated in step ST62.
  • step ST37 the learning apparatus 101 uses the conditions (a), (c), and ( It is determined whether d) is satisfied.
  • step ST38 the learning device 101 changes the parameter set PS. This change is made so that the conversion table generated by the conversion table generation unit 31 satisfies the above conditions (a), (c), and (d).
  • step ST38 the conversion table generation unit 31 of the image processing apparatus 2b generates the conversion table T again in the neural network in which the parameter set PS is changed (ST62), and the image conversion unit 16 generates the conversion table T. Image conversion is performed using the converted conversion table T (ST63), and the image display unit 3 displays the output image Db generated by the image conversion (ST64).
  • step ST38 the learning device 101 waits for the conversion table T to be generated again in step ST62, and when it is generated again, repeats the processes of step ST36 and the following.
  • step ST37 If the conditions (a), (c), and (d) are satisfied in step ST37, the processes of steps ST39 and ST40 of FIG. 20 are performed.
  • step ST39 the learning device 101 acquires the calculation result of the power consumption in the image display unit.
  • the power consumption acquired here is the power consumption when the input image is converted by the generated conversion table T and the converted image is displayed, and is calculated by the power calculation unit 103. be.
  • step ST40 the learning device 101 acquires a subjective evaluation of the displayed image.
  • This subjective evaluation is the evaluation result of the subject regarding the display image, and is input via the input interface 102.
  • step ST39 and the processing of step ST40 can be performed in parallel.
  • the power calculation unit 103 is instructed to calculate the power consumption, and the power consumption calculation unit 103 calculates the power consumption in response to the instruction. It involves waiting for a value to be entered.
  • information audio information or video information
  • the subject makes the subjective evaluation accordingly. It includes the process of waiting for the result of.
  • step ST41 the learning device 101 determines whether or not the processing of steps ST34 to ST40 has been completed for all of the above-mentioned plurality of images. If the above processing has not been completed for all of the plurality of images, the next image is selected in step ST42. As the next image, an image that has not been selected yet is selected from a plurality of images prepared in advance. After step ST42, the process returns to step ST34.
  • step ST43 the learning device 101 determines whether or not the condition (b) is satisfied. If not, in step ST44, the learning device 101 changes the set of parameters PS. This change is made so that the transformation table T generated by the neural network satisfies the condition (b).
  • step ST45 the learning device calculates the comprehensive evaluation value, and then in step ST46, the learning device 101 has the total evaluation value EV of the threshold value EVth. It is determined whether or not the above is the case. If the comprehensive evaluation value EV is less than the threshold value EVth in step ST46, the process proceeds to step ST47.
  • step ST47 the learning device 101 changes the parameter set PS. Changes are made so that the overall evaluation value is larger. Gradient descent can be used for the change. After changing the parameter set PS in step ST44 or step ST47, the process returns to step ST33.
  • step ST48 the learning device 101 adopts the set or changed parameter set PS as the optimum parameter set. That is, when step ST48 is reached without going through any of steps ST38, ST44 and ST47, the parameter set PS set in step ST32 is adopted as the optimum parameter set.
  • step ST48 is reached after passing through step ST38, ST44 or ST47, the set of parameters after the change in the processing in the immediately preceding step ST38, ST44 or ST47 PS is adopted as the optimum set of parameters.
  • the conversion table generation unit 31 is configured by the neural network generated by the above processing.
  • the calculated value of power consumption is acquired in step ST39, but the measured value of power consumption may be acquired instead.
  • the measured value may be obtained by measurement by a power measuring unit (not shown).
  • steps ST33 to ST42 may be performed while each of the plurality of subjects is viewing the image displayed on the image display unit 3. That is, a plurality of images may be sequentially displayed for each subject, and the subject may input the evaluation result for each displayed image.
  • the table is created so that all the conditions (a) to (d) are satisfied.
  • the table may not satisfy one or more of the conditions (b), (c), and (d). If the condition (b) does not have to be satisfied, the processing of steps ST43 and ST44 may be omitted.
  • step ST41 in FIG. 20 may be performed by the procedure shown in FIG. That is, if the above processing is completed for all of the plurality of images in step ST41, the process proceeds to step ST45.
  • step ST45 the learning device 101 calculates the comprehensive evaluation value.
  • step ST49 the learning device 101 determines whether or not the condition (b) is satisfied and the comprehensive evaluation value EV is equal to or greater than the threshold value EVth. If the condition (b) is not satisfied or the comprehensive evaluation value EV is less than the threshold value EVth, the process proceeds to step ST50.
  • step ST50 the learning device 101 changes the parameter set PS.
  • the change is made so that the condition (b) is satisfied and the comprehensive evaluation value becomes larger. Gradient descent can be used for the change.
  • the process returns to step ST33.
  • step ST48 the learning device 101 adopts the set or changed parameter set PS as the optimum parameter set. That is, when step ST48 is reached without going through either step ST38 or step ST50, the parameter set PS set in step ST32 is adopted as the optimum parameter set.
  • step ST48 is reached after passing through step ST38 or ST50, the parameter set PS after the change in the processing in the immediately preceding step ST38 or ST50 is adopted as the optimum parameter set.
  • the conversion table generation unit 31 is automatically constructed, the time and effort required for designing the conversion table generation unit 31 can be saved. Furthermore, the optimum conversion table can be generated for the image display unit 3 connected to the image processing device 2b, and the maximum power saving can be achieved while maintaining the visibility of the image.
  • the image processing device and the image display device have been described above, it is also possible to implement the image processing method by using the image processing device, and the computer is made to execute the processing in the image processing device or the image processing method by a program. Is also possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

入力画像の平均輝度、ヒストグラム、及びピーク輝度から変換テーブルを生成し、生成した変換テーブルを用いて入力画像を変換して、出力画像を生成して、自発光型の画像表示部に表示させる。変換テーブルは、入力階調値がピーク輝度に等しいときは出力画像の階調値もピーク輝度に等しく、入力階調値がピーク輝度よりも低い範囲の少なくとも一部では、出力階調値が入力画像の階調値よりも小さい。平均輝度が高いほど、ピーク輝度よりも低い範囲での入力階調値に対する出力階調値の下げ幅が大きいのが望ましい。表示画像の視認性を維持しつつ消費電力を少なくすることができる。

Description

画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体
　本開示は、画像処理装置及び方法、並びに画像表示装置に関する。特にＬＥＤディスプレイなどの自発光型の画像表示装置の消費電力を低減するための技術に関する。本開示はまた、プログラム及び記録媒体に関する。
　ＬＥＤディスプレイ、有機ＥＬディスプレイなどの自発光型のディスプレイは、画面内の平均表示輝度が高いほど消費電力が多い。表示画像を一律に暗く表示すれば消費電力は低減できるが、視認性も劣化する。このため、画質の維持と消費電力の低減の両立が技術課題である。
　特許文献１では、画面内の人の視線が集中する領域を基準領域とし、基準領域から遠ざかるに従って元画像の表示輝度を緩やかに低減させることで基準領域における輝度削減を最小限に抑制しながら、消費電力を低減させる方法が提案されている。
特開２００８－１５８３９９号公報
　特許文献１に記載の技術では、パブリックディスプレイのように、人によって注視する箇所が異なる状況では十分な効果が得られない場合がある。また、ＣＧ（コンピュータグラフィックス）ように階調変化の少ない画像ではムラが見えてしまう。
　本開示は、表示画像の視認性を維持しつつ消費電力を低減し得る技術を提供することを目的とする。
　本開示に係る画像表示装置は、
　入力画像に基づいて出力画像を生成し、前記出力画像を自発光型の画像表示部に供給して画像表示を行なわせる画像処理装置において、
　前記入力画像の平均輝度を算出する平均輝度算出部と、
　前記入力画像のヒストグラムを生成するヒストグラム生成部と、
　前記入力画像のピーク輝度を算出するピーク輝度算出部と、
　前記平均輝度と前記ヒストグラムと前記ピーク輝度とから、前記入力画像の階調値と前記出力画像の階調値との関係を規定する変換テーブルを生成する変換テーブル生成部と、
　前記変換テーブルを用いて前記入力画像を変換して前記出力画像を生成する画像変換部とを備え、
　前記変換テーブル生成部は、前記変換テーブルとして、前記入力画像の階調値が前記ピーク輝度に等しいときは前記出力画像の階調値も前記ピーク輝度に等しく、前記入力画像の階調値が０よりも高く前記ピーク輝度よりも低い範囲の少なくとも一部では、前記出力画像の階調値が前記入力画像の階調値よりも小さい変換テーブルを生成する。
　本開示によれば、表示画像の視認性の維持と、消費電力の低減が可能である。
実施の形態１に係る画像処理装置の構成を示す機能ブロック図である。 図１のヒストグラム生成部で生成されるヒストグラムの一例を示す図である。 図１の変換テーブル生成部の構成例を示す機能ブロック図である。 図１の第１変換テーブル生成部の構成例を示す機能ブロック図である。 第１の方法で生成される第１変換テーブルの一例を示すグラフである。 （ａ）及び（ｂ）は、ピーク輝度と第１の方法で生成される第１変換テーブルとの関係を説明するための図である。 （ａ）及び（ｂ）は、平均輝度と第１の方法で生成される第１変換テーブルとの関係を説明するための図である。 第２の方法で生成される第１変換テーブルの一例を示すグラフである。 （ａ）及び（ｂ）は、ピーク輝度と第２の方法で生成される第１変換テーブルとの関係を説明するための図である。 （ａ）及び（ｂ）は、平均輝度と第２の方法で生成される第１変換テーブルとの関係を説明するための図である。 （ａ）及び（ｂ）は、第２変換テーブル生成部の動作を説明するための図である。 （ａ）～（ｃ）は、変換テーブル合成部の動作を説明するための図である。 変換テーブルの変形例を示す図である。 実施の形態１の画像処理装置の全ての機能を実現するコンピュータを、画像表示部とともに示すブロック図である。 実施の形態１の画像処理装置が、図１４で示されるコンピュータで構成されている場合のプロセッサによる処理の手順を示すフローチャートである。 実施の形態２に係る画像処理装置と、学習システムとを示す機能ブロック図である。 図１６の変換テーブル生成部を構成するニューラルネットワークの一例を示す図である。 実施の形態２の画像処理装置が、図１４のコンピュータで構成されている場合の、プロセッサによる処理の手順を示すフローチャートである。 図１７のニューラルネットワークの学習のための処理の手順の一部を示すフローチャートである。 図１７のニューラルネットワークの学習のための処理の手順の他の一部を示すフローチャートである。 図２０に示される処理の手順の変形例を示すフローチャートである。
実施の形態１．
　図１は、実施の形態１に係る画像表示装置の構成を示す図である。
　図１に示される画像表示装置１は、画像処理装置２と、画像表示部３とを有する。
　画像表示部３はＬＥＤ（ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ　ｄｉｏｄｅ）ディスプレイ、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などの自発光ディスプレイである。以下では、画像表示部３がＬＥＤディスプレイである場合を想定して説明する。
　画像表示部３は、例えば、赤、緑及び青のＬＥＤが配列された表示パネルを有するディスプレイで構成されている。例えば、赤、緑及び青のＬＥＤの組合せによって１つの発光素子が構成され、複数のそのような発光素子が画素としてマトリックス状に規則正しく配置されて、表示パネルが構成されている。
　画像処理装置２は、外部から供給される画像（入力画像）Ｄａを補正して出力画像（補正画像）Ｄｂを生成し、出力画像Ｄｂを画像表示部３に表示させる。
　画像処理装置２は、画像入力部１１、平均輝度算出部１２、ヒストグラム生成部１３、ピーク輝度算出部１４、変換テーブル生成部１５、及び画像変換部１６を有する。
　画像入力部１１は、入力画像Ｄａを受信して、出力する。
　以下では、画像入力部１１は入力画像Ｄａを表すデジタル画像データを受信して出力するデジタルインターフェースであるものとして説明する。しかしながら、画像入力部１１は、アナログ画像信号からデジタル画像データに変換するＡ／Ｄ変換器で構成されていても良い。
　以下では、画像入力部１１から出力されるデジタル画像データが、各画素についてＲ（赤）成分値、Ｇ（緑）成分値、及びＢ（青）成分値を含み、各成分値が８ビット値で表されるものである場合を想定する。
　平均輝度算出部１２は、各フレームの入力画像Ｄａの平均輝度ＡＬを算出する。
　各画素についての輝度は、当該画素についてのＲ成分値、Ｇ成分値、及びＢ成分値を重み付け加算することで求められる。各フレームの入力画像Ｄａの平均輝度ＡＬは、当該フレームに属するすべての画素についての輝度の平均を求めることで得られる。
　ヒストグラム生成部１３は、各フレームの入力画像ＤａからヒストグラムＨＩＳＴを生成する。
　ヒストグラム生成部１３は、例えば、各フレームの入力画像Ｄａの画素毎にＲ成分値、Ｇ成分値、及びＢ成分値の中での最大値、即ち最大成分値Ｍを算出し、上記の最大成分値Ｍの階級（ビン）毎の出現度数Ｆ（Ｃ）を表すヒストグラムＨＩＳＴを生成する。各階級Ｃは、相連続する、予め定められた数の最大成分値Ｍで構成される。以下では、各階級に属する最大成分値Ｍの数が８であるものとして説明する。
　但し、各階級に属する最大成分値Ｍの数は８以外であっても良い。例えば１６であっても良く、また１であっても良い。
　各成分値が８ビット値である場合に、各階級に属する最大成分値Ｍの数が８であれば、階級の数は３２である。
　図２は、生成されたヒストグラムＨＩＳＴの一例を示す。図２で、横軸は、最大成分値Ｍ及び階級Ｃを表す。
　最大成分値Ｍが取り得る値は０から２５５までであり、階級Ｃが取り得る値は０から３２までである。
　図２の縦軸は、各階級Ｃに属する最大成分値Ｍの出現度数Ｆ（Ｃ）、即ち最大成分値Ｍが当該階級Ｃに属する画素の数を表す。出現度数Ｆ（Ｃ）が取り得る値の範囲は、０から、フレーム内の画素の総数までである。
　各階級の出現度数は、当該階級に属する最大成分値Ｍの範囲に等しい幅のバーで示されている。
　ヒストグラム生成部１３は、最大成分値Ｍの代わりに、各画素の輝度の階級毎の出現度数を表すヒストグラムを生成するものであっても良い。この場合、各階級は、相連続する、予め定められた数の輝度の値で構成される。
　ピーク輝度算出部１４は、各フレームの入力画像Ｄａのピーク輝度ＭＡＸＬを算出する。各フレームの入力画像Ｄａのピーク輝度ＭＡＸＬは、当該フレームに属するすべての画素についての輝度のうちの最も大きいものである。
　変換テーブル生成部１５は、平均輝度算出部１２で算出された平均輝度ＡＬと、ヒストグラム生成部１３で生成されたヒストグラムＨＩＳＴと、ピーク輝度算出部１４で算出されたピーク輝度ＭＡＸＬとから変換テーブルＴを生成する。変換テーブルＴは、入力画像Ｄａの階調値（入力階調値）Ｘと出力画像Ｄｂの階調値（出力階調値）Ｙとの関係を規定するテーブルである。ここで、階調値Ｘ及びＹはともに８ビット値であり、０から２５５までの値を取る場合を想定している。
　図３は、変換テーブル生成部１５の構成例を示す図である。
　図示の変換テーブル生成部１５は、比較部１７、第１変換テーブル生成部１８、第２変換テーブル生成部１９、無変換テーブル格納部２０、及び変換テーブル合成部２１を備える。
　比較部１７は、平均輝度ＡＬを予め定められた閾値ＡＬｔｈと比較し、比較結果ＲＣを出力する。
　第１変換テーブル生成部１８は、入力階調値Ｘと第１出力階調値Ｙａとの関係を規定する第１変換テーブルＴａを生成する。
　第２変換テーブル生成部１９は、入力階調値Ｘと第２出力階調値Ｙｂとの関係を規定する第２変換テーブルＴｂを生成する。
　無変換テーブル格納部２０は、入力階調値Ｘと第３出力階調値Ｙｃとの関係を規定する第３変換テーブルＴｃを格納している。
　第１、第２、及び第３出力階調値Ｙａ、Ｙｂ、及びＹｃも８ビット値であり、０から２５５までの値を取るものとする。
　変換テーブル合成部２１は、比較結果ＲＣ、並びに第１、第２、及び第３変換テーブルＴａ、Ｔｂ、及びＴｃに基づいて、変換テーブルＴを生成する。上記の通り、変換テーブルＴは、入力階調値Ｘと出力階調値Ｙとの関係を規定するテーブルである。第１、第２、及び第３変換テーブルＴａ、Ｔｂ、及びＴｃとの区別のため変換テーブルＴを合成変換テーブルと言うことがある。また、第１、第２及び第３出力階調値Ｙａ、Ｙｂ、及びＹｃとの区別のため、階調値Ｙを合成出力階調値と言うことがある。
　第１変換テーブル生成部１８は、平均輝度算出部１２で算出された平均輝度ＡＬと、ピーク輝度算出部１４で算出されたピーク輝度ＭＡＸＬとに基づいて第１変換テーブルＴａを生成する。
　第１変換テーブル生成部１８は、例えば、図４に示されるようにパラメータ決定部２３と、テーブル値算出部２４とを有する。
　パラメータ決定部２３は、平均輝度ＡＬに基づいてパラメータαの値を決定する。パラメータαは、１以上の値であり、平均輝度ＡＬが大きいほど、大きい値となるように定められる。
　テーブル値算出部２４は、パラメータαと、ピーク輝度ＭＡＸＬとに基づいて、第１変換テーブルＴａのテーブル値を算出する。ここでテーブル値とは、各入力階調値Ｘに対応付けられた第１出力階調値Ｙａを意味する。全ての入力階調値Ｘに対する第１出力階調値Ｙａが算出されることで、第１変換テーブルＴａが生成される。
　図４に示される第１変換テーブル生成部１８は、例えば、以下の第１の方法又は第２の方法で第１変換テーブルＴａを生成する。
　第１の方法では、パラメータ決定部２３は、パラメータαを、例えば以下のように定める。即ち、ＡＬ＝１００のとき、α＝１．２、ＡＬ＝１５０のとき、α＝２とする。またＡＬ＝０のとき、α＝１とする。
　テーブル値算出部２４は、下記の式（１）を用いてテーブル値を算出する。
Figure JPOXMLDOC01-appb-M000001
　図５は第１の方法で生成される第１変換テーブルＴａの一例を示すグラフである。横軸は入力階調値Ｘ、縦軸は第１出力階調値Ｙａを表す。
　図５に示される第１変換テーブルＴａは、ピーク輝度を維持しつつ、０よりも高くピーク輝度ＭＡＸＬよりも低い範囲で階調値を下げるように変換を行なうものとなっている。「ピーク輝度を維持する」とは、入力階調値Ｘがピーク輝度ＭＡＸＬに等しいときに第１出力階調値Ｙａもピーク輝度ＭＡＸＬに等しくすることを意味する。「階調値を下げる」とは第１出力階調値Ｙａを入力階調値Ｘよりも小さくすることを意味する。
　図６（ａ）及び（ｂ）は、ピーク輝度ＭＡＸＬと第１の方法で生成される第１変換テーブルＴａとの関係を説明するための図である。横軸は入力階調値Ｘ、縦軸は第１出力階調値Ｙａである。
　図６（ａ）はピーク輝度ＭＡＸＬが１９２のときの第１変換テーブルを表し、図６（ｂ）はピーク輝度ＭＡＸＬが１２８のときの第１変換テーブルを表す。いずれの場合にも、入力階調値Ｘがピーク輝度ＭＡＸＬに等しいときは、第１出力階調値Ｙａがピーク輝度ＭＡＸＬに等しい。
　図７（ａ）及び（ｂ）は、平均輝度ＡＬと第１の方法で生成される第１変換テーブルＴａとの関係を説明するための図である。横軸は入力階調値Ｘ、縦軸は第１出力階調値Ｙａである。図７（ａ）及び（ｂ）のいずれの場合にもピーク輝度ＭＡＸＬは１９２である。
　図７（ａ）は平均輝度ＡＬが１５０のときの第１変換テーブルを表し、図７（ｂ）は平均輝度ＡＬが１００のときの第１変換テーブルを表す。
　図７（ａ）に示される例では、平均輝度ＡＬが１５０であり、αが２とされている。図７（ｂ）に示される例では、平均輝度ＡＬが１００であり、αが１．２とされている。
　このように、平均輝度ＡＬに応じてαが変わり、ピーク輝度ＭＡＸＬよりも低い範囲での入力階調値Ｘに対する第１出力階調値Ｙａの下げ幅が変わる。具体的には、平均輝度ＡＬが大きいほど、αがより大きい値にされ、曲線の、下に凸となる度合いがより大きくされる。従って、平均輝度ＡＬが大きいほど、ピーク輝度ＭＡＸＬよりも低い範囲での階調値の下げ幅が大きい階調変換特性になっている。
　以上のように第１の方法では、式（１）で表される第１変換テーブルＴａを生成するが、第２の方法では、式（１）の代わりに後述の式（２）を用いる。また、これに伴い、パラメータαとしても異なる値のものを用いる。
　即ち、第２の方法では、パラメータ決定部２３は、パラメータαを、例えば以下のように定める。即ち、ＡＬ＝１００のとき、α＝１．５、ＡＬ＝１５０のとき、α＝４とする。またＡＬ＝０のとき、α＝１とする。
　テーブル値算出部２４は、下記の式（２）を用いてテーブル値を算出する。
Figure JPOXMLDOC01-appb-M000002
　図８は第２の方法で生成される第１変換テーブルＴａの一例を示すグラフである。横軸は入力階調値Ｘ、縦軸は第１出力階調値Ｙａを表す。
　図８に示される第１変換テーブルＴａも、ピーク輝度を維持しつつ、０よりも高くピーク輝度ＭＡＸＬよりも低い範囲で階調値を下げるように変換を行なうものとなっている。
　図９（ａ）及び（ｂ）は、ピーク輝度ＭＡＸＬと第２の方法で生成される第１変換テーブルＴａの階調変換特性との関係を説明するための図である。横軸は入力階調値Ｘ、縦軸は第１出力階調値Ｙａである。
　図９（ａ）はピーク輝度ＭＡＸＬが１９２のときの第１変換テーブルを表し、図９（ｂ）はピーク輝度ＭＡＸＬが１２８のときの第１変換テーブルを表す。いずれの場合にも、入力階調値Ｘがピーク輝度ＭＡＸＬに等しいときは、第１出力階調値Ｙａがピーク輝度ＭＡＸＬに等しい。
　図１０（ａ）及び（ｂ）は、平均輝度ＡＬと第２の方法で生成される第１変換テーブルＴａとの関係を説明するための図である。横軸は入力階調値Ｘ、縦軸は第１出力階調値Ｙａである。図１０（ａ）及び（ｂ）のいずれの場合にもピーク輝度ＭＡＸＬは１９２である。
　図１０（ａ）は平均輝度ＡＬが１５０のときの第１変換テーブルを表し、図１０（ｂ）は平均輝度ＡＬが１００のときの第１変換テーブルを表す。
　図１０（ａ）に示される例では、平均輝度ＡＬが１５０であり、αが３とされている。図１０（ｂ）に示される例では、平均輝度ＡＬが１００であり、αが１．５とされている。
　このように、平均輝度ＡＬに応じてαが変わり、ピーク輝度ＭＡＸＬよりも低い範囲での入力階調値Ｘに対する第１出力階調値Ｙａの下げ幅が変わる。具体的には、平均輝度ＡＬが大きいほど、αがより大きい値にされ、曲線（折れ線）の下方へのシフトがより大きくされる。従って、平均輝度ＡＬが大きいほど、ピーク輝度ＭＡＸＬよりも低い範囲での階調値の下げ幅が大きい階調変換特性になっている。
　以上、第１変換テーブル生成部１８が第１変換テーブルＴａを、第１の方法又は第２の方法で生成する場合について説明した。第１変換テーブル生成部１８は、上記以外の方法で変換テーブルを生成するものであっても良い。いずれの場合も、０よりも高くピーク輝度ＭＡＸＬよりも低い範囲で、第１出力階調値Ｙａが入力階調値Ｘよりも小さいものであるのが望ましい。
　また上記の例の第１変換テーブルＴａは、０よりも高くピーク輝度ＭＡＸＬよりも低い範囲の全体で、第１出力階調値Ｙａが入力階調値よりも小さい。しかしながら、第１変換テーブルＴａは０よりも高くピーク輝度ＭＡＸＬよりも低い範囲の少なくとも一部で、第１出力階調値Ｙａが入力階調値Ｘよりも小さいものであれば良い。
　また、上記の例の第１変換テーブルＴａは、第１の方法及び第２の方法のいずれで生成される場合にも、平均輝度ＡＬが大きいほど、ピーク輝度ＭＡＸＬよりも低い範囲での、入力階調値Ｘに対する第１出力階調値Ｙａの下げ幅が大きい。
　第２変換テーブル生成部１９は、ヒストグラム生成部１３で生成されたヒストグラムＨＩＳＴとピーク輝度算出部１４で算出されたピーク輝度ＭＡＸＬとに基づいて第２変換テーブルＴｂを生成する。
　第２変換テーブル生成部１９は、例えば、図２に例示されるヒストグラムＨＩＳＴから、図１１（ａ）に例示される正規化累積ヒストグラムＮＣＨを生成し、正規化累積ヒストグラムＮＣＨから、図１１（ｂ）に例示される第２変換テーブルＴｂを生成する。図１１（ｂ）で横軸は入力階調値Ｘ、縦軸は出力階調値Ｙｂを表す。
　正規化累積ヒストグラムＮＣＨは、ヒストグラムＨＩＳＴから得られる累積ヒストグラムＣＨを正規化したものである。ここでの累積ヒストグラムＣＨの正規化は、その累積値（累積度数）ＦＣ（Ｃ）が、ピーク輝度ＭＡＸＬが取り得る最小階調値（０）から最大階調値（２５５）までの範囲内の値を取るようにする処理である。
　累積ヒストグラムＣＨは、ヒストグラムＨＩＳＴの各階級Ｃにつき、最小の階級から当該階級Ｃまでの出現度数Ｆ（Ｃ）の累積値（累積度数）ＣＦ（Ｃ）を表すものである。
　累積値の正規化値（正規化累積度数）ＮＣＦ（Ｃ）は、累積値ＣＦ（Ｃ）を画面内の画素数（画面を構成する画素数）で除算し、ピーク輝度ＭＡＸＬの値を乗算することで得られる値である。
　図１１（ａ）の正規化累積ヒストグラムＮＣＨは、階級毎の正規化累積度数ＮＣＦ（Ｃ）を表す点を繋ぐ曲線で表されている。各階級Ｃの正規化累積度数ＮＣＦ（Ｃ）を表す点は、横軸方向においては、当該階級Ｃの代表値、例えば中央値（横軸方向の中心）の位置に示される。そのような曲線と、横軸上の各最大成分値Ｍの位置を通る縦方向の直線との交点は、当該最大成分値Ｍに対応する正規化累積度数ＮＣＦ（Ｍ）を表すと考えることができる。
　なお、上記の「曲線」は、図１１（ａ）に例示される折れ線であっても良く、連続性のある曲線であっても良い。
　図１１（ｂ）に示される第２変換テーブルＴｂは、入力階調値Ｘがピーク輝度ＭＡＸＬ以下の範囲では（より厳密には、ピーク輝度ＭＡＸＬが含まれる階級までの範囲では）、第２出力階調値Ｙｂが図１１（ａ）に示される正規化累積ヒストグラムＮＣＨの値（正規化累積度数）ＮＣＦ（Ｍ）に一致し、入力階調値Ｘがピーク輝度ＭＡＸＬよりも大きい範囲では（ピーク輝度ＭＡＸＬが含まれる階級よりも大きい範囲では）、第２出力階調値Ｙｂが入力階調値Ｘに等しい階調変換特性を持つ。
　第２出力階調値Ｙｂが「正規化累積ヒストグラムＮＣＨの値ＮＣＦ（Ｍ）に一致する」とは、正規化累積ヒストグラムＮＣＨのある最大成分値Ｍに等しい入力階調値Ｘに対する出力階調値Ｙｂが、上記ある最大成分値Ｍに対する正規化累積ヒストグラムＮＣＨの値ＮＣＦ（Ｍ）に一致することを意味する。
　以上、ヒストグラムＨＩＳＴが最大成分値Ｍのヒストグラムである場合について述べた。ヒストグラムＨＩＳＴが輝度のヒストグラムである場合にも第２変換テーブルＴｂを上記と同様に生成することができる。即ち、ヒストグラムＨＩＳＴが輝度のヒストグラムである場合には、上記の説明中の「最大成分値」を「輝度」に置き換えれば良い。
　図２に示されるヒストグラムＨＩＳＴは最大成分値Ｍの分布関数を表し、図１１（ａ）に示される正規化累積ヒストグラムＮＣＨの値、即ち正規化累積度数ＮＣＦ（Ｍ）は最大成分値Ｍの累積密度関数を表すとも言える。
　上記のようにして生成される第２変換テーブルＴｂは、ピーク輝度を維持しながら、出現度数の多い階調値範囲（入力画像において出現度数の多い階調値（最大成分値Ｍ、輝度など）が占める割合が多い階調値範囲）での、入力階調値Ｘの変化に対する第２出力階調値Ｙｂの変化が比較的大きく（階調変換特性を表す曲線の傾きが比較的大きく）、出現度数の少ない階調値範囲（入力画像において出現度数の少ない階調値（最大成分値Ｍ、輝度など）が占める割合が多い階調値範囲）での、入力階調値Ｘの変化に対する第２出力階調値Ｙｂの変化が比較的小さい（階調変換特性を表す曲線の傾きが比較的小さい）。従って、出現度数の多い階調値範囲での、コントラストを大きくし、出現度数の少ない階調値範囲での、コントラストを小さくすることができる。
　なお、上記の例では、第２変換テーブルＴｂは、入力階調値Ｘがピーク輝度ＭＡＸＬ以下のときは、第２出力階調値Ｙｂが累積密度関数の値ＮＣＦ（Ｍ）を取るが、本実施の形態はこれに限定されない。例えば、累積密度関数の傾きに対して上限及び下限を設けても良い。そうすることで、出現度数の多い階調値範囲のコントラストが大きくなりすぎたり、出現度数の少ない階調値範囲のコントラストが小さくなりすぎたりするのを避けることができる。
　要するには、第２変換テーブル生成部１９が生成する第２変換テーブルＴｂは、ピーク輝度を維持しながら、出現度数の多い階調値範囲のコントラストを上げ、出現度数の少ない階調値範囲のコントラストを下げるものであればよい。
　無変換テーブル格納部２０が格納する第３変換テーブルＴｃは、第３出力階調値Ｙｃが入力階調値Ｘに等しいテーブル、即ち無変換テーブルである。第３変換テーブルＴｃは例えば予め作成され、無変換テーブル格納部２０に格納されている。
　変換テーブル合成部２１は、比較結果ＲＣと、第１変換テーブルＴａと、第２変換テーブルＴｂと、第３変換テーブルＴｃとに基づいて、変換テーブルＴを生成する。
　まず、比較結果ＲＣにより平均輝度ＡＬが閾値ＡＬｔｈよりも低いことが示される場合には、変換テーブル合成部２１は、第３変換テーブルＴｃを選択し、変換テーブルＴとして出力する。その結果、合成出力階調値Ｙが入力階調値Ｘに等しい変換テーブルが出力される。合成出力階調値Ｙが入力階調値Ｘに等しい変換テーブルとは、入力階調値Ｘがそのまま合成出力階調値Ｙとなる変換テーブル、即ち「実質的には階調変換を行わない」変換テーブルである。
　このようにするのは、平均輝度ＡＬが閾値ＡＬｔｈよりも低いときは、消費電力が少ないので、変換を行っても省電力の効果が限られているためである。
　なお、入力画像の平均輝度ＡＬが閾値ＡＬｔｈ未満である場合には、第１変換テーブルＴａ及び第２変換テーブルＴｂを生成する必要がない。そこで、入力画像の平均輝度ＡＬが閾値ＡＬｔｈ未満であることを示す比較結果ＲＣを比較部１７から第１変換テーブル生成部１８及び第２変換テーブル生成部１９に供給して、第１変換テーブル生成部１８及び第２変換テーブル生成部１９における変換テーブルＴａ及びＴｂの生成を省略するように制御しても良い。
　比較結果ＲＣにより、平均輝度ＡＬが閾値ＡＬｔｈ以上であることが示される場合には、変換テーブル合成部２１は、第１変換テーブルＴａと第２変換テーブルＴｂとを重畳して変換テーブルＴを生成する。
　以下では、第１変換テーブルＴａとして図５に示す階調変換特性を有するものが生成され、第２変換テーブルＴｂとして、図１１（ｂ）に示す階調変換特性を有するものが生成されるものとする。
　図５と同じ階調変換特性を図１２（ａ）に示し、図１１（ｂ）と同じ階調変換特性を図１２（ｂ）に示す。
　第１変換テーブルＴａと第２変換テーブルＴｂとの重畳は、同じ入力階調値Ｘに対する第１出力階調値Ｙａ（Ｘ）と第２出力階調値Ｙｂ（Ｘ）とを乗算し、これらの出力階調値が取り得る値の範囲内の最大値で除算すれば良い。この処理は下記の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　式（３）でＹｍａｘは、Ｙａ、Ｙｂ及びＹが取り得る値の範囲内の最大値（２５５）である。
　以上の処理は第１出力階調値Ｙａ及び第２出力階調値Ｙｂを０から１までの値を取るように正規化した上で乗算し、乗算結果を０から２５５までの値を取るように逆正規化するのと等価である。
　図１２（ｃ）には、第１変換テーブルＴａと第２変換テーブルＴｂとを重畳することで得られる変換テーブルＴの一例が示されている。
　画像変換部１６は、変換テーブル生成部１５で生成された変換テーブルＴを用いて、入力画像Ｄａに対して階調変換を行い、出力画像Ｄｂを生成する。
　変換テーブル生成部１５における変換テーブルＴの生成はフレーム毎に行われ、各フレームについて生成された変換テーブルＴは、当該フレームの入力画像Ｄａの階調変換に用いられる。
　画像変換部１６は各フレームの入力画像Ｄａについて生成された変換テーブルＴを、当該フレームの入力画像Ｄａの全ての画素についての階調変換が終わるまで保持し、各画素の階調変換に用いる。
　入力画像Ｄａを表す画像データがＲ成分値、Ｇ成分値及びＢ成分値を有するものである場合、Ｒ成分値、Ｇ成分値及びＢ成分値をそれぞれ別個に階調変換しても良く、一旦輝度成分値と、色差成分値とに変換し、輝度成分値を階調変換し、その後Ｒ成分値、Ｇ成分値及びＢ成分値に逆変換しても良い。
　画像表示部３は、画像変換部１６から出力される出力画像Ｄｂに基づいて画像表示を行なう。
　上記のように、画像変換部１６における階調変換には、平均輝度ＡＬが閾値ＡＬｔｈ以上である場合、例えば図１２（ｃ）に例示される変換テーブルＴが用いられる。
　第１変換テーブルＴａと第２変換テーブルＴｂとを重畳することで得られる変換テーブルＴは、第１変換テーブルＴａの特徴を引き継ぐとともに、第２変換テーブルＴｂの特徴を引き継いだものとなる。
　従って、図１２（ｃ）の例で示されるように、変換テーブルＴは、変換テーブルＴａの特徴を引き継いで、入力階調値Ｘがピーク輝度ＭＡＸＬに等しいときは、合成出力階調値Ｙをピーク輝度ＭＡＸＬに等しくし、０よりも高くピーク輝度ＭＡＸＬよりも低い範囲では合成出力階調値Ｙを入力階調値Ｘよりも小さくする傾向を有する。その結果、ピーク輝度を維持しつつ、省電力を図ることができる。
　また、変換テーブルＴは、第１変換テーブルＴａの特徴を引き継いで、平均輝度ＡＬが大きいほど、ピーク輝度ＭＡＸＬよりも低い範囲での入力階調値Ｘに対する合成出力階調値Ｙの下げ幅が大きくなる傾向を有する。
　その結果、視認性を損なうことなく、消費電力の一層の低減を図ることができる。
　また、変換テーブルＴは、第２変換テーブルＴｂの特徴を引き継いで、出現度数の多い階調値範囲で、入力階調値Ｘの変化に対する合成出力階調値Ｙの変化が比較的大きくなり、出現度数の少ない階調値範囲で、入力階調値Ｘの変化に対する合成出力階調値Ｙの変化が比較的小さくなる傾向を有する。
　その結果、コントラストの良好な画像が得られる。
　なお、変換テーブルＴは上記の条件を全て充たすものでなくても良い。
　例えば、図１２（ｃ）に示される変換テーブルＴは、入力階調値Ｘが０よりも高くピーク輝度ＭＡＸＬよりも低い範囲の全部に亘り、合成出力階調値Ｙが入力階調値Ｘよりも小さい。しかし、変換テーブルＴは、例えば、図１３に示されるように、入力階調値Ｘが０よりも高くピーク輝度ＭＡＸＬよりも低い範囲のうちの一部でのみ、合成出力階調値Ｙが入力階調値Ｘよりも小さい階調変換特性を持つものであっても良い。
　要するに、入力階調値Ｘが０よりも高くピーク輝度ＭＡＸＬよりも低い範囲のうちの少なくとも一部で、合成出力階調値Ｙが入力階調値Ｘよりも小さい階調変換特性を持つ変換テーブルであれば良い。
　また、上記の例では、入力画像の平均輝度ＡＬが閾値ＡＬｔｈ未満である場合には、無変換テーブル格納部２０に格納されている第３変換テーブルＴｃが選択されるが、この点も必須ではない。即ち、平均輝度ＡＬが閾値ＡＬｔｈ未満である場合にも、第１変換テーブルＴａと第２変換テーブルＴｂとの重畳で得られた変換テーブルＴを画像変換に用いても良い。
　画像処理装置２は、その一部又は全部を処理回路で構成し得る。
　例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
　処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
　画像処理装置の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。
　図１４は、画像処理装置２の全ての機能を実現するコンピュータ９を、画像表示部３とともに示す。
　図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
　メモリ９２には、画像処理装置２の各部の機能を実現するためのプログラムが記憶されている。
　プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
　メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
　プロセッサ９１及びメモリ９２は、互いに一体化されたＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）で実現されていても良い。
　プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、画像処理装置の機能を実現する。
　画像処理装置の機能には、上記のように画像表示部３における表示の制御が含まれる。
　プログラムは、ネットワークを通じて提供されてもよく、また、記録媒体、例えば非一時的な記録媒体に記録されて提供されてもよい。即ち、プログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　図１４のコンピュータは単一のプロセッサを含むが、２以上のプロセッサを含んでいても良い。
　図１４で示されるコンピュータで、実施の形態１の画像処理装置２が構成されている場合のプロセッサ９１による処理の手順を、図１５を参照して説明する。
　図１５に示される処理は、１フレームの画像が入力される毎に繰り返される。
　図１５において、ステップＳＴ１１では、入力画像Ｄａの入力処理が行われる。この処理は、図１の画像入力部１１による処理と同様である。
　ステップＳＴ１２では、平均輝度ＡＬを算出する。この処理は、図１の平均輝度算出部１２の処理と同等である。
　ステップＳＴ１３では、ヒストグラムＨＩＳＴを生成する。この処理は、図１のヒストグラム生成部１３の処理と同等である。
　ステップＳＴ１４では、ピーク輝度ＭＡＸＬを算出する。この処理は、図１のピーク輝度算出部１４の処理と同等である。
　ステップＳＴ１２～ＳＴ１４の処理は並行して行い得る。
　ステップＳＴ１５では、変換テーブルを生成する。この処理は、図１の変換テーブル生成部１５の処理と同等である。
　ステップＳＴ１６では、画像変換を行なう。この処理は、図１の画像変換部１６の処理と同等である。
　以上のように、本実施の形態１では、入力階調値がピーク輝度に等しいときは出力階調値もピーク輝度に等しく、入力階調値が０よりも高くピーク輝度よりも低い範囲の少なくとも一部では、出力階調値が入力階調値よりも小さい変換テーブルを用いることで、視認性を維持しつつ消費電力の低減を図ることができる。
　また、入力画像の平均輝度ＡＬが高いほど、入力階調値に対する出力階調値の下げ幅が大きい変換テーブルを用いることとすれば、消費電力が大きい場合ほど、消費電力の低減幅を大きくすることができる。
　さらに、入力画像の平均輝度ＡＬが閾値ＡＬｔｈよりも低い場合、出力階調値が入力階調値に等しい変換テーブルを用いることとすれば、画像変換部１６による画像変換を行わなくても消費電力が少ない場合は、画像が全体として暗いものである場合にも、視認性を維持できる。
　さらにまた、出現度数の多い階調値範囲で、入力階調値Ｘの変化に対する合成出力階調値Ｙの変化が比較的を大きく、出現度数の少ない階調値範囲で、入力階調値Ｘの変化に対する合成出力階調値Ｙの変化が比較的小さい変換テーブルを用いることとすれば、出現度数の多い階調値範囲ほどコントラストがあがり、画像全体として高い階調性を維持できる。
実施の形態２．
　図１６は、実施の形態２に係る画像表示装置１ｂの構成を示す図である。図１６にはさらに、学習システム１００が示されている。
　図１６に示される画像表示装置１ｂは、図１の画像表示装置１と概して同じであるが、図１の画像処理装置２の代わりに画像処理装置２ｂが設けられている。画像処理装置２ｂは画像処理装置２と概して同じであるが、変換テーブル生成部１５の代わりに、変換テーブル生成部３１が設けられている。
　変換テーブル生成部３１は、入力画像Ｄａの平均輝度ＡＬ、ヒストグラムＨＩＳＴ、及びピーク輝度ＭＡＸＬに基づいて変換テーブルＴを生成する。変換テーブル生成部３１は、例えば図１７に例示される、学習済み多層ニューラルネットワーク３２で構成されている。
　多層ニューラルネットワーク３２は、平均輝度ＡＬ、ヒストグラムＨＩＳＴ、及びピーク輝度ＭＡＸＬの組み合わせと、変換テーブルＴとを対応付ける学習済みニューラルネットワークであり、好ましい変換テーブルＴを生成するように機械学習した結果生成されたものである。
　「好ましい変換テーブルＴ」は、予め定められた条件を充たし、該変換テーブルを用いた場合の表示画像の視認性が良好であり、かつその場合の消費電力が少なくなるように学習した結果生成された変換テーブルである。
　上記の「予め定められた条件」は、例えば下記の条件（ａ）～（ｄ）を含む。
（ａ）　入力階調値Ｘがピーク輝度ＭＡＸＬに等しいときは出力階調値Ｙもピーク輝度ＭＡＸＬに等しく、入力階調値Ｘが０よりも高くピーク輝度ＭＡＸＬよりも低い範囲では、出力階調値Ｙが入力階調値Ｘよりも小さい。
（ｂ）　入力画像の平均輝度ＡＬが高いほど、ピーク輝度ＭＡＸＬよりも低い範囲での入力階調値Ｘに対する出力階調値Ｙの下げ幅が大きい。
（ｃ）　入力画像の平均輝度ＡＬが閾値ＡＬｔｈより低いときは、入力階調値Ｘがそのまま出力階調値Ｙとなる。
（ｄ）　入力画像において出現度数の多い階調値範囲で、入力階調値Ｘの変化に対する出力階調値Ｙの変化が比較的大きく、入力画像において出現度数の少ない階調値範囲で、入力階調値Ｘの変化に対する出力階調値Ｙの変化が比較的小さい。
　表示画像の視認性は、複数の被験者の主観評価による。
　画像表示部３における消費電力は、計算又は測定によって得られる。
　以上を要するに、変換テーブルＴが好ましいか否かは、該変換テーブルＴが上記の条件（ａ）～（ｄ）を充たすか否か、並びに当該変換テーブルＴを用いた画像変換により生成された出力画像Ｄｂを表示することで得られる表示画像に対する主観評価の結果及び当該表示画像を表示する際の画像表示部３における消費電力に基づいて判定される。
　多層ニューラルネットワーク３２は、該ニューラルネットワーク３２で生成される変換テーブルＴと、上記の条件（ａ）～（ｄ）、表示画像の視認性及び消費電力との関係を学習した結果により生成されたものである。
　図１７に示されるニューラルネットワーク３２は、入力層３３と、中間層（隠れ層）３４と、出力層３５とを有する。図示の例では、中間層３４の数が３であるが、中間層３４の数は２以下であっても良く４以上であっても良い。
　入力層３３のニューロンＰの各々には、入力画像の平均輝度ＡＬ、ヒストグラムＨＩＳＴ、及びピーク輝度ＭＡＸＬのいずれかが割り当てられ、各ニューロンには、割り当てられた値が入力される。
　入力層３３のニューロンは入力をそのまま出力する。
　出力層３５のニューロンＰは変換テーブルＴを定義するデータを出力する。変換テーブルＴを定義するデータには各入力階調値Ｘに対する出力階調値Ｙが含まれる。
　中間層３４及び出力層３５のニューロンＰは、各々複数の入力に対して下記のモデル式で表される演算を行う。
Figure JPOXMLDOC01-appb-M000004
　式（４）で、
　Ｎは、ニューロンＰへの入力の数であり、ニューロン相互間で同じとは限らない。
　ｘ１～ｘＮはニューロンＰの入力データ、
　ｗ１～ｗＮは入力ｘ１～ｘＮに対する重み、
　ｂはバイアスである。
　重み及びバイアスは、学習により定められている。
　以下では、重み及びバイアスを纏めてパラメータ（ニューラルネットワークのパラメータ）と言う。
　関数ｓ（ａ）は、活性化関数である。
　活性化関数は、例えば、ａが０以下であれば０を出力し、それ以外であれば１を出力するステップ関数であっても良い。
　活性化関数ｓ（ａ）は、ａが０以下であれば０を出力し、それ以外なら入力値ａを出力するＲｅＬＵ関数であっても良く、入力値ａをそのまま出力値とする恒等関数でもよく、ジグモイド関数であっても良い。
　上記のように、入力層３３のニューロンは入力をそのまま出力するものであるので、入力層３３のニューロンで用いられる活性化関数は恒等関数であると言える。
　例えば、中間層３４では、ステップ関数又はジグモイド関数を用い、出力層ではＲｅＬＵ関数を用いても良い。また、同じ層内のニューロン相互間で異なる活性化関数が用いられていても良い。
　ニューロンＰの数、層の数（段階数）は、図１７に示される例に限定されない。
　実施の形態１と同様、実施の形態２の画像処理装置２ｂもその一部又は全部を処理回路で構成し得る。
　例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
　処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
　画像処理装置の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。
　例えば、画像処理装置２ｂが、図１４のコンピュータで構成されていても良い。
　画像処理装置２ｂが図１４のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１８を参照して説明する。
　図１８は、図１５と概して同じであるが、ステップＳＴ１５の代わりにステップＳＴ２１が含まれている。
　ステップＳＴ２１では、変換テーブルＴを生成する。この処理は、図１６の変換テーブル生成部３１の処理と同等である。
　上記のように、変換テーブル生成部３１を構成する多層ニューラルネットワーク３２は、機械学習により生成される。上記のように、図１６には、機械学習のための学習システム１００が示されている。学習システム１００は、機械学習の際に画像処理装置２ｂに接続されて使用される。
　学習システム１００は、学習装置１０１と、入力インタフェース１０２と、電力計算部１０３とを含む。
　入力インタフェース１０２は、主観評価の結果を入力するために用いられる。
　主観評価は複数の画像について複数の被験者５により行われる。
　用いられる画像の数及び被験者５の数は、学習を適切に行うために充分な数である必要がある。
　被験者５は、画像処理装置２ｂのユーザ又は該ユーザと同等の嗜好、感性を持つと推定される人であるのが望ましい。被験者５の数は、できるだけ多い方が良いが、コスト、データ処理量、所要時間等との兼ね合いで決められる。
　学習装置１０１は複数の画像Ｄｃを順次選択して、画像入力部１１に供給する。
　複数の画像は、学習装置１０１の内部に保存されている画像であっても良く、外部から供給される画像であっても良い。
　複数の画像は、画像の内容が互いに異なる。
　ここでいう画像の内容には、画像を構成する要素、その配置、画面内での明るさ、色の分布等が含まれる。異なる画像相互間では上記のうち項目のうちのいずれか一つ以上が異なる。
　画像処理装置２ｂは、入力された画像Ｄｃに対して通常の画像処理動作の場合と同様に処理を行ない、画像表示部３に画像を表示させる。
　即ち、平均輝度算出部１２は、平均輝度ＡＬの算出を行ない、ヒストグラム生成部１３は、ヒストグラムＨＩＳＴの生成を行ない、ピーク輝度算出部１４は、ピーク輝度ＭＡＸＬの算出を行なう。
　変換テーブル生成部３１は、平均輝度ＡＬと、ヒストグラムＨＩＳＴと、ピーク輝度ＭＡＸＬとに基づいて変換テーブルＴを生成する。
　画像変換部１６は、画像入力部１１に入力されている画像（学習用の画像）Ｄｃに対して、変換テーブル生成部３１で生成された変換テーブルＴを用いて、画像変換を行い、変換により得られた出力画像Ｄｂを画像表示部３に表示させる。
　被験者５の各々は、表示画像についての評価の結果を入力インタフェース１０２を用いて入力する。
　各被験者の各画像についての評価は、「満足できるか否か」を表すものであっても良く、「満足度」を表す数値であっても良い。
　複数の学習用画像についての、複数の被験者による主観評価値は、各画像についての、各被験者による評価結果を、総合することで求められる。
　各画像についての主観評価が、満足できるか否かという評価である場合には、満足できるとの評価が占める割合を、複数の画像についての主観評価値として求めても良い。
　各画像についての主観評価が満足度である場合、該満足度の複数の画像に亘る合計又は平均を、複数の画像についての主観評価値として求めても良い。
　電力計算部１０３は、変換テーブル生成部３１で生成された変換テーブルＴを用いて変換された画像Ｄｂを表示する場合の画像表示部３での消費電力を計算する。電力計算部１０３は例えば、画像変換部１６から出力される変換後の画像Ｄｂに基づいて、画像表示部３による消費電力を計算する。
　学習装置１０１は、平均輝度算出部１２で算出された平均輝度ＡＬ、ヒストグラム生成部１３で生成されたヒストグラムＨＩＳＴ、ピーク輝度算出部１４で算出されたピーク輝度ＭＡＸＬ、変換テーブル生成部３１で生成された変換テーブルＴをも入力とし、これらに基づいて、変換テーブルＴが上記の条件（ａ）～（ｄ）を充たすか否かの判定を行なう。上記の条件（ａ）、（ｃ）、及び（ｄ）が充たされるか否かの判定は画像毎に行われる。上記条件（ｂ）が充たされるか否かの判定は、全ての画像について変換テーブルＴが生成された後に行われる。
　学習装置１０１はまた、入力インタフェース１０２により入力される主観評価の結果及び電力計算部１０３で計算される消費電力に基づいて総合評価を行なう。
　例えば、学習装置１０１は、複数の被験者の、複数の画像についての主観評価の結果に基づいて主観評価値を算出する。
　学習装置１０１はまた、電力計算部１０３で計算された消費電力から省電力評価値を算出する。
　消費電力も複数の画像の各々について計算される。
　複数の画像についての省電力評価値は、各画像についての消費電力の、上記複数の画像に亘る合計又は平均から求められる。
　省電力評価値は、消費電力が小さいほど、より大きい値となる。
　学習装置１０１は、さらに主観評価値と省電力評価値とから総合評価値を算出する。例えば主観評価値と省電力評価値とを重み付け加算することで総合評価値を算出する。
　学習装置１０１は、上記の条件（ａ）～（ｄ）が充たされる否かの判定結果、及び算出した総合評価値に基づいて、必要に応じてパラメータの組（ニューラルネットワークのパラメータの組）ＰＳを調整する。
　学習装置１０１は、例えば、上記の条件（ａ）～（ｄ）が充たされていない場合には、パラメータの組ＰＳを変更する。変更は、上記の条件（ａ）～（ｄ）が充たされる状態となるように行う。
　学習装置１０１はまた、総合評価値ＥＶが予め定められた閾値ＥＶｔｈ以上か否かを判定し、閾値ＥＶｔｈ以上でなければパラメータの組ＰＳを変更する。変更は、総合評価値ＥＶがより大きくなるように行う。
　変更に当たっては勾配降下法を用い得る。
　学習装置１０１は、上記のようにパラメータの組ＰＳが変更された多層ニューラルネットワーク３２を用いて、再度上記の一連の処理を行なう。
　変換テーブルが上記の条件（ａ）～（ｄ）を充たし、かつ、算出した総合評価値ＥＶが閾値ＥＶｔｈ以上であれば、変換テーブルの生成に用いられたパラメータの組を、最適なパラメータとして採用する。その後の入力画像Ｄａに対する画像処理で、そのような最適なパラメータで構成されるニューラルネットワーク３２が、変換テーブル生成部３１を構成するものとして用いられる。
　以上のように、学習の結果、変換テーブルＴを生成するニューラルネットワーク３２のパラメータの組ＰＳが決定され、これにより、ニューラルネットワーク３２が形成される。
　上記の条件（ａ）が充たされているかどうかの判定は、変換テーブル生成部３１で生成された変換テーブルＴ及びピーク輝度算出部１４で算出されたピーク輝度ＭＡＸＬとに基づいて画像毎に行われる。
　上記の条件（ｂ）が充たされているかどうかの判定は、変換テーブル生成部３１で生成された変換テーブルＴ及び平均輝度算出部１２で算出された平均輝度ＡＬとの関係を全ての画像について比較することで、行われる。
　上記の条件（ｃ）が充たされているか否かの判定は、変換テーブル生成部３１で生成された変換テーブルＴ及び平均輝度算出部１２で算出された平均輝度ＡＬに基づいて画像毎に行われる。
　上記の条件（ｄ）が充たされているかどうかの判定は、変換テーブル生成部３１で生成された変換テーブルＴ及びヒストグラム生成部１３で生成されたヒストグラムＨＩＳＴに基づいて画像毎に行われる。
　学習装置１０１は、コンピュータで構成されていても良い。画像処理装置２がコンピュータで構成される場合、同じコンピュータが学習装置１０１を構成していても良い。学習装置１０１を構成するコンピュータは、例えば図１４に示されるものであっても良い。その場合、学習装置１０１の機能はプロセッサ９１がメモリ９２に記憶されているプログラムを実行することで実現されるものであっても良い。
　学習装置１０１によるニューラルネットワークの生成においては、まず元となるニューラルネットワークを用意する。即ち、変換テーブル生成部３１を、元となるニューラルネットワークで仮に構築する。このニューラルネットワークは、図１７に示されるニューラルネットワークと同様のものである。
　ニューラルネットワークの生成においては、複数のニューロンの各々についてパラメータ（重み及びバイアス）の値を定める必要がある。複数のニューロンについてのパラメータの集合をパラメータの組と言い、符号ＰＳで表す。
　ニューラルネットワークの生成においては、上記の元となるニューラルネットワークを用いて生成された変換テーブルが上記の条件（ａ）～（ｄ）を充たし、かつ上記の総合評価値ＥＶが閾値ＥＶｔｈ以上となるように、パラメータの組ＰＳの最適化を行う。最適化は例えば誤差逆伝搬法により行い得る。
　具体的には、学習装置１０１は、画像を複数個用意し、パラメータの組ＰＳの初期値を設定し、上記の画像を順に選択し、選択されている画像が入力されたときの、平均輝度ＡＬ、ヒストグラムＨＩＳＴ、ピーク輝度ＭＡＸＬ、及び変換テーブルＴを取得し、複数の被験者による主観評価の結果及び消費電力の算出値を取得する。
　学習装置１０１は、取得した平均輝度ＡＬ、ヒストグラムＨＩＳＴ、ピーク輝度ＭＡＸＬ、及び変換テーブルＴに基づいて上記の条件（ａ）～（ｄ）が充たされているか否かを判定する。
　学習装置１０１はまた、取得した主観評価の結果及び消費電力の算出値に基づいて、総合評価値ＥＶを算出する。
　上記条件（ａ）～（ｄ）が充たされていない場合、及び算出された総合評価値ＥＶが閾値ＥＶｔｈよりも小さければ、条件（ａ）～（ｄ）が充たされるように、あるいは総合評価値ＥＶがより大きくなるように、パラメータの組ＰＳを変更する。
　以上の処理を、条件（ａ）～（ｄ）が充たされ、かつ総合評価値ＥＶが閾値ＥＶｔｈ以上となるまで繰り返す。
　パラメータの組ＰＳの変更は、勾配降下法で行い得る。
　学習が終了したら、入力インタフェース１０２は、取り外され、画像表示装置は、入力インタフェース１０２が取り外された状態で使用される。
　学習装置１０１及び電力計算部１０３は、学習の終了後には取り外されても良く、装着されたままであっても良い。
　特に、学習装置１０１及び電力計算部１０３の機能がプロセッサ９１によるプログラムの実行によって実現される場合には、該プログラムは、メモリ９２に記憶されたままであっても良い。
　上記した学習装置１０１及び電力計算部１０３が図１４のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１９及び図２０を参照して説明する。
　なお、図１９は、画像処理装置２ｂ及び画像表示部３における処理をステップＳＴ６１～ＳＴ６２としても図示している。図１９にはさらに、学習装置１０１と画像処理装置２ｂとの間の信号或いはデータの授受が点線で示されている。
　図１９のステップＳＴ３１では、学習装置１０１は、元となるニューラルネットワークを用意する。即ち、変換テーブル生成部３１を元となるニューラルネットワークで仮に構築する。
　このニューラルネットワークは、図１７に示されるニューラルネットワークと同様のものである。
　ステップＳＴ３２では、学習装置１０１は、ステップＳＴ３１で用意されたニューラルネットワークの中間層及び出力層のニューロンの各々における演算で用いられるパラメータ（重み及びバイアス）の組ＰＳの初期値を設定する。
　初期値はランダムに選択された値であっても良く、適切と予想される値であっても良い。
　ステップＳＴ３３では、学習装置１０１は、予め用意された複数個の、画像から一つの画像、即ち最初の画像を選択する。
　ステップＳＴ３４では、学習装置１０１は、選択された画像を画像入力部１１に入力する。
　入力された画像に対し、画像処理装置２ｂでは、ステップＳＴ６１で、平均輝度算出部１２が平均輝度ＡＬを算出し、ヒストグラム生成部１３がヒストグラムＨＩＳＴを生成し、ピーク輝度算出部１４がピーク輝度ＭＡＸＬを算出し、ステップＳＴ６２で、変換テーブル生成部３１が変換テーブルＴを生成し、ステップＳＴ６３で、画像変換部１６が生成された変換テーブルＴを用いて画像変換を行なう。画像変換で得られた出力画像Ｄｂは、ステップＳＴ６４で、画像表示部３に表示される。
　ステップＳＴ３５で、学習装置１０１は、ステップＳＴ６１で算出或いは生成された平均輝度ＡＬ、ヒストグラムＨＩＳＴ、及びピーク輝度ＭＡＸＬを取得する。
　ステップＳＴ３６で、学習装置１０１は、ステップＳＴ６２で生成された変換テーブルＴを取得する。
　ステップＳＴ３７で、学習装置１０１は、ステップＳＴ３５で取得した平均輝度ＡＬ、ヒストグラムＨＩＳＴ、及びピーク輝度ＭＡＸＬ、並びにステップＳＴ３６で取得した変換テーブルＴに基づいて、条件（ａ）、（ｃ）、及び（ｄ）が充たされているかを判定する。
　充たされていなければ、ステップＳＴ３８に進む。
　ステップＳＴ３８で、学習装置１０１は、パラメータの組ＰＳを変更する。この変更は、変換テーブル生成部３１で生成される変換テーブルが上記の条件（ａ）、（ｃ）、及び（ｄ）を充たす状態となるように行われる。
　ステップＳＴ３８の処理が行われると、画像処理装置２ｂの変換テーブル生成部３１は、パラメータの組ＰＳが変更されたニューラルネットワークで再度変換テーブルＴを生成し（ＳＴ６２）、画像変換部１６は、生成された変換テーブルＴを用いて画像変換を行い（ＳＴ６３）、画像表示部３は画像変換で生成された出力画像Ｄｂを表示する（ＳＴ６４）。
　学習装置１０１は、ステップＳＴ３８の処理の後、変換テーブルＴがステップＳＴ６２で再度生成されるのを待ち、再度生成されたら、ステップＳＴ３６以下の処理を繰り返す。
　ステップＳＴ３７で、条件（ａ）、（ｃ）、及び（ｄ）が充たされている場合には、図２０のステップＳＴ３９及びステップＳＴ４０の処理を行なう。
　ステップＳＴ３９では、学習装置１０１は、画像表示部における消費電力の計算結果を取得する。ここで取得される消費電力は、入力された画像を、生成された変換テーブルＴで変換し、変換後の画像を表示したときの、消費電力であり、電力計算部１０３で計算されたものである。
　ステップＳＴ４０では、学習装置１０１は、表示画像についての主観評価を取得する。
　この主観評価は、表示画像についての被験者の評価結果であり、入力インタフェース１０２を介して入力される。ここでは、一つの画像が表示されると、それに対し、複数の被験者が順次主観評価の結果を入力する構成であるものとしている。
　ステップＳＴ３９の処理とステップＳＴ４０の処理とは並行して行い得る。
　なお、消費電力の算出値を取得する処理（ＳＴ３９）には、電力計算部１０３に対して消費電力の算出を行なうことを指示し、指示に応じて電力計算部１０３が算出した消費電力の算出値が入力されるのを待つ処理が含まれる。
　同様に、主観評価の結果を取得する処理（ＳＴ４０）には、被験者に対して主観評価の結果を入力するよう案内する情報（音声情報又は映像情報）を出力し、それに応じて被験者が主観評価の結果を入力するのを待つ処理が含まれる。
　ステップＳＴ４１では、学習装置１０１は、上記の複数個の画像の全てについて、ステップＳＴ３４～ＳＴ４０の処理が終わったか否かを判定する。
　複数個の画像の全てについて上記の処理が終わっていなければ、ステップＳＴ４２で次の画像を選択する。次の画像としては予め用意された複数の画像のうちのいまだ選択されていないものが選択される。ステップＳＴ４２の次にステップＳＴ３４に戻る。
　複数個の画像の全てについて上記の処理が終わっていれば、ステップＳＴ４３に進む。
　ステップＳＴ４３で学習装置１０１は、条件（ｂ）が充たされているか否かを判定する。
　充たされていなければ、ステップＳＴ４４で、学習装置１０１は、パラメータの組ＰＳを変更する。この変更は、ニューラルネットワークによって生成される変換テーブルＴが条件（ｂ）を充たす状態となるように行われる。
　ステップＳＴ４３で条件（ｂ）が充たされている場合には、ステップＳＴ４５で、学習装置は、総合評価値を算出し、次にステップＳＴ４６で、学習装置１０１は、総合評価値ＥＶが閾値ＥＶｔｈ以上であるか否かの判定を行なう。
　ステップＳＴ４６で総合評価値ＥＶが閾値ＥＶｔｈ未満であれば、ステップＳＴ４７に進む。
　ステップＳＴ４７では、学習装置１０１は、パラメータの組ＰＳを変更する。
　変更は、総合評価値がより大きくなるように行う。
　変更に当たっては勾配降下法を用い得る。
　ステップＳＴ４４又はステップＳＴ４７におけるパラメータの組ＰＳの変更後、ステップＳＴ３３に戻る。
　ステップＳＴ４６で、総合評価値ＥＶが閾値ＥＶｔｈ以上であれば、ステップＳＴ４８に進む。
　ステップＳＴ４８では、学習装置１０１は、設定又は変更されたパラメータの組ＰＳを、最適なパラメータの組として採用する。即ち、ステップＳＴ３８、ＳＴ４４及びステップＳＴ４７のいずれをも経ることなく、ステップＳＴ４８に達している場合には、ステップＳＴ３２で設定されたパラメータの組ＰＳを最適なパラメータの組として採用する。ステップＳＴ３８、ＳＴ４４又はＳＴ４７を経て、ステップＳＴ４８に達している場合には、直前のステップＳＴ３８、ＳＴ４４又はＳＴ４７における処理での変更後のパラメータの組ＰＳを最適なパラメータの組として採用する。
　以上で、ニューラルネットワークの生成の処理が終わる。
　即ち、変換テーブル生成部３１は、以上の処理で生成されたニューラルネットワークによって構成されたものとなる。
　上記の例では、ステップＳＴ３９で消費電力の算出値を取得しているが、代わりに消費電力の計測値を取得しても良い。計測値は図示しない電力計測部での計測で得られたものであっても良い。
　上記の例では、一つの画像が表示されると、それに対し、複数の被験者が順次主観評価の結果を入力する構成である。代わりに、複数の被験者の各々が画像表示部３に表示される画像を見ている状態で、ステップＳＴ３３からＳＴ４２の処理を行なうこととしても良い。即ち、各被験者に対して、複数の画像が順次表示され、当該被験者が表示画像毎に評価の結果を入力する構成であっても良い。
　上記の例では条件（ａ）～（ｄ）が全て充たされるようにテーブルを作成する。
　条件（ｂ）、（ｃ）、及び（ｄ）の一つ以上が充足されないテーブルであっても良い。
　条件（ｂ）が充足されなくても良いとする場合には、ステップＳＴ４３及びＳＴ４４の処理を省略し得る。
　また、図２０のステップＳＴ４１以降の処理を、図２１に示す手順で行っても良い。
　即ち、ステップＳＴ４１で、複数個の画像の全てについて上記の処理が終わっていれば、ステップＳＴ４５に進む。
　ステップＳＴ４５で、学習装置１０１は、総合評価値を算出する。
　次のステップＳＴ４９で、学習装置１０１は、条件（ｂ）が充たされ、かつ総合評価値ＥＶが閾値ＥＶｔｈ以上であるか否かの判定を行なう。
　条件（ｂ）が充たされておらず、或いは総合評価値ＥＶが閾値ＥＶｔｈ未満であれば、ステップＳＴ５０に進む。
　ステップＳＴ５０では、学習装置１０１は、パラメータの組ＰＳを変更する。
　変更は、条件（ｂ）が充たされる状態になるように、かつ総合評価値がより大きくなるように行う。
　変更に当たっては勾配降下法を用い得る。
　ステップＳＴ５０におけるパラメータの組ＰＳの変更後、ステップＳＴ３３に戻る。
　ステップＳＴ４９で、条件（ｂ）が充たされ、かつ総合評価値ＥＶが閾値ＥＶｔｈ以上であれば、ステップＳＴ４８に進む。
　ステップＳＴ４８では、学習装置１０１は、設定又は変更されたパラメータの組ＰＳを、最適なパラメータの組として採用する。即ち、ステップＳＴ３８及びステップＳＴ５０のいずれをも経ることなく、ステップＳＴ４８に達している場合には、ステップＳＴ３２で設定されたパラメータの組ＰＳを最適なパラメータの組として採用する。ステップＳＴ３８又はＳＴ５０を経て、ステップＳＴ４８に達している場合には、直前のステップＳＴ３８又はＳＴ５０における処理での変更後のパラメータの組ＰＳを最適なパラメータの組として採用する。
　実施の形態２でも実施の形態１と同様の効果が得られる。また、変換テーブル生成部３１が自動的に構築されるので、変換テーブル生成部３１の設計に要する手間を省くことができる。さらにまた、画像処理装置２ｂに接続されている画像表示部３に最適な変換テーブルを生成することができ、画像の視認性を維持しつつ最大限の省電力化を図ることができる。
　上記の実施の形態には種々の変形が可能である。例えば、実施の形態１について説明した変形例は、矛盾しない範囲で、実施の形態２にも適用可能である。
　以上画像処理装置及び画像表示装置について説明したが、画像処理装置を用いて、画像処理方法を実施することも可能であり、また画像処理装置又は画像処理方法における処理をプログラムによりコンピュータに実行させることも可能である。
　１　画像表示装置、　２，２ｂ　画像処理装置、　３　画像表示部、　１１　画像入力部、　１２　平均輝度算出部、　１３　ヒストグラム生成部、　１４　ピーク輝度算出部、　１５　変換テーブル生成部、　１６　画像変換部、　１７　比較部、　１８　第１変換テーブル生成部、　１９　第２変換テーブル生成部、　２０　無変換テーブル格納部、　２１　変換テーブル合成部、　２３　パラメータ決定部、　２４　テーブル値算出部、　３１　変換テーブル生成部、　３２　ニューラルネットワーク、　３３　入力層、　３４　中間層、　３５　出力層。

Claims (16)

  1. 　入力画像に基づいて出力画像を生成し、前記出力画像を自発光型の画像表示部に供給して画像表示を行なわせる画像処理装置において、
    　前記入力画像の平均輝度を算出する平均輝度算出部と、
    　前記入力画像のヒストグラムを生成するヒストグラム生成部と、
    　前記入力画像のピーク輝度を算出するピーク輝度算出部と、
    　前記平均輝度と前記ヒストグラムと前記ピーク輝度とから、前記入力画像の階調値と前記出力画像の階調値との関係を規定する変換テーブルを生成する変換テーブル生成部と、
    　前記変換テーブルを用いて前記入力画像を変換して前記出力画像を生成する画像変換部とを備え、
    　前記変換テーブル生成部は、前記変換テーブルとして、前記入力画像の階調値が前記ピーク輝度に等しいときは前記出力画像の階調値も前記ピーク輝度に等しく、前記入力画像の階調値が０よりも高く前記ピーク輝度よりも低い範囲の少なくとも一部では、前記出力画像の階調値が前記入力画像の階調値よりも小さい変換テーブルを生成する
    　画像処理装置。
  2. 　前記変換テーブル生成部は、前記変換テーブルとして、前記平均輝度が高いほど、前記ピーク輝度よりも低い範囲での前記入力画像の階調値に対する前記出力画像の階調値の下げ幅が大きい変換テーブルを生成する
    　請求項１に記載の画像処理装置。
  3. 　前記平均輝度が予め定められた閾値より低いときは、前記変換テーブル生成部は、前記変換テーブルとして、前記入力画像の階調値がそのまま出力画像の階調値となる変換テーブルを生成する
    　請求項１又は２に記載の画像処理装置。
  4. 　前記変換テーブル生成部は、前記変換テーブルとして、前記入力画像において出現度数の多い階調値範囲で、前記入力画像の階調値の変化に対する前記出力画像の階調値の変化が比較的大きく、前記入力画像において出現度数の少ない階調値範囲で、前記入力画像の階調値の変化に対する前記出力画像の階調値の変化が比較的小さい変換テーブルを生成する
    　請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記変換テーブル生成部は、前記ヒストグラムに基づいて、前記変換テーブルを生成する
    　請求項４に記載の画像処理装置。
  6. 　前記変換テーブル生成部は、
    　前記ピーク輝度と前記平均輝度とから前記入力画像の階調値と第１出力階調値との関係を規定する第１変換テーブルを生成する第１変換テーブル生成部と、
    　前記ピーク輝度と前記ヒストグラムとから前記入力画像の階調値と第２出力階調値との関係を規定する第２変換テーブルを生成する第２変換テーブル生成部と、
    　前記第１変換テーブルと前記第２変換テーブルとを重畳することで前記変換テーブルを生成する変換テーブル合成部とを有する
    　請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記重畳が、同じ値の前記入力画像の階調値に対する前記第１出力階調値及び前記第２出力階調値の乗算を含む処理で行われる
    　請求項６に記載の画像処理装置。
  8. 　前記第１変換テーブル生成部は、前記第１変換テーブルとして、前記入力画像の階調値が前記ピーク輝度に等しいときは前記第１出力階調値も前記ピーク輝度に等しく、前記入力画像の階調値が０よりも高く前記ピーク輝度よりも低い範囲の少なくとも一部では、前記第１出力階調値が前記入力画像の階調値よりも小さい変換テーブルを生成する
    　請求項６又は７に記載の画像処理装置。
  9. 　前記第１変換テーブル生成部は、前記第１変換テーブルとして、前記平均輝度が高いほど、前記ピーク輝度よりも低い範囲での前記入力画像の階調値に対する前記第１出力階調値の下げ幅が大きい変換テーブルを生成する
    　請求項６から８のいずれか１項に記載の画像処理装置。
  10. 　前記第２変換テーブル生成部は、前記第２変換テーブルとして、前記入力画像において出現度数の多い階調値範囲で、前記入力画像の階調値の変化に対する前記第２出力階調値の変化が比較的大きく、前記入力画像において出現度数の少ない階調値範囲で、前記入力画像の階調値の変化に対する前記第２出力階調値の変化が比較的小さい変換テーブルを生成する
    　請求項６から９のいずれか１項に記載の画像処理装置。
  11. 　前記変換テーブル生成部は、前記ヒストグラムに基づいて、前記第２変換テーブルを生成する
    　請求項１０に記載の画像処理装置。
  12. 　前記変換テーブル生成部は、
    　前記平均輝度、前記ヒストグラム、及び前記ピーク輝度の組み合わせと、前記変換テーブルとを対応付ける学習済みニューラルネットワークを用いて前記変換テーブルを生成し、
    　前記学習済みニューラルネットワークは、前記変換テーブルを用いた場合の表示画像の視認性が良好であり、かつ前記画像表示部における消費電力が少なくなるように学習した結果生成されたものである
    　請求項１から５のいずれか１項に記載の画像処理装置。
  13. 　請求項１から１２のいずれか１項に記載の画像処理装置と、
    　前記出力画像に基づいて画像表示を行なう前記画像表示部とを備えた
    　画像表示装置。
  14. 　入力画像に基づいて出力画像を生成し、前記出力画像を自発光型の画像表示部に供給して画像表示を行なわせる画像処理方法において、
    　前記入力画像の平均輝度を算出し、
    　前記入力画像のヒストグラムを生成し、
    　前記入力画像のピーク輝度を算出し、
    　前記平均輝度と前記ヒストグラムと前記ピーク輝度とから、前記入力画像の階調値と前記出力画像の階調値との関係を規定する変換テーブルを生成し、
    　前記変換テーブルを用いて前記入力画像を変換して前記出力画像を生成することを含み、
    　前記変換テーブルとして、前記入力画像の階調値が前記ピーク輝度に等しいときは前記出力画像の階調値も前記ピーク輝度に等しく、前記入力画像の階調値が０よりも高く前記ピーク輝度よりも低い範囲の少なくとも一部では、前記出力画像の階調値が前記入力画像の階調値よりも小さい変換テーブルが生成される
    　画像処理方法。
  15. 　請求項１４に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。
  16. 　請求項１５に記載のプログラムを記録したコンピュータで読取可能な記録媒体。
PCT/JP2020/027676 2020-07-16 2020-07-16 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体 WO2022014009A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/027676 WO2022014009A1 (ja) 2020-07-16 2020-07-16 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体
CN202080102668.0A CN115803800A (zh) 2020-07-16 2020-07-16 图像处理装置和方法、图像显示装置、以及程序和记录介质
JP2022536068A JP7407940B2 (ja) 2020-07-16 2020-07-16 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体
US18/008,180 US20230282155A1 (en) 2020-07-16 2020-07-16 Image processing device and method, and image display apparatus, and program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027676 WO2022014009A1 (ja) 2020-07-16 2020-07-16 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2022014009A1 true WO2022014009A1 (ja) 2022-01-20

Family

ID=79554551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027676 WO2022014009A1 (ja) 2020-07-16 2020-07-16 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20230282155A1 (ja)
JP (1) JP7407940B2 (ja)
CN (1) CN115803800A (ja)
WO (1) WO2022014009A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025263A (ja) * 2004-07-09 2006-01-26 Seiko Epson Corp 画像の特徴に応じた階調特性制御
JP2011123498A (ja) * 2010-12-17 2011-06-23 Hitachi Ltd 映像処理装置
JP2013183453A (ja) * 2012-11-21 2013-09-12 Sharp Corp 映像表示装置およびテレビ受信装置
JP2013228560A (ja) * 2012-04-25 2013-11-07 Sharp Corp 発光ダイオード制御回路および表示装置
JP2015152921A (ja) * 2014-02-13 2015-08-24 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100571406C (zh) 2007-03-19 2009-12-16 帆宣系统科技股份有限公司 图像处理装置
KR101970564B1 (ko) 2012-11-30 2019-08-13 엘지디스플레이 주식회사 유기 발광 다이오드 표시 장치의 전류 제어 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025263A (ja) * 2004-07-09 2006-01-26 Seiko Epson Corp 画像の特徴に応じた階調特性制御
JP2011123498A (ja) * 2010-12-17 2011-06-23 Hitachi Ltd 映像処理装置
JP2013228560A (ja) * 2012-04-25 2013-11-07 Sharp Corp 発光ダイオード制御回路および表示装置
JP2013183453A (ja) * 2012-11-21 2013-09-12 Sharp Corp 映像表示装置およびテレビ受信装置
JP2015152921A (ja) * 2014-02-13 2015-08-24 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 表示装置

Also Published As

Publication number Publication date
US20230282155A1 (en) 2023-09-07
JP7407940B2 (ja) 2024-01-04
CN115803800A (zh) 2023-03-14
JPWO2022014009A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
Veluchamy et al. Image contrast and color enhancement using adaptive gamma correction and histogram equalization
JP5085792B1 (ja) 映像表示装置およびテレビ受信装置
KR100755676B1 (ko) 밝기 향상 및 전력 제어를 지원하는 영상 표시 장치 및방법
JP5085793B1 (ja) 映像表示装置およびテレビ受信装置
KR100827237B1 (ko) 다색 광원의 전력 제어를 지원하는 영상 표시 장치 및 방법
KR101225058B1 (ko) 콘트라스트 조절 방법 및 장치
JP5197858B1 (ja) 映像表示装置およびテレビ受信装置
JP5165802B1 (ja) 映像表示装置およびテレビ受信装置
US9396526B2 (en) Method for improving image quality
JP5091701B2 (ja) 液晶表示装置
JP4991949B1 (ja) 映像表示装置およびテレビ受信装置
JP5284444B2 (ja) 映像表示装置およびテレビ受信装置
CN100515096C (zh) 显示器之数字图像适应性色彩调整方法与装置
JP2005277981A (ja) 画像処理のための対象画像の選択
JP5165076B2 (ja) 映像表示装置
WO2022014009A1 (ja) 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体
JP2010271480A (ja) 表示装置
JP5174982B1 (ja) 映像表示装置およびテレビ受信装置
JP2021057060A (ja) 情報処理装置および情報処理方法
JP5143959B1 (ja) 映像表示装置およびテレビ受信装置
JP6532103B2 (ja) 映像表示装置およびテレビ受信装置
JP5330552B2 (ja) 映像表示装置およびテレビ受信装置
JP5303062B2 (ja) 映像表示装置およびテレビ受信装置
KR20070024689A (ko) 밝기 향상 및 전력 제어를 지원하는 영상 표시 장치 및방법
JP6890218B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945368

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536068

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945368

Country of ref document: EP

Kind code of ref document: A1