WO2023148814A1 - 画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

画像表示装置、画像表示方法、及び画像表示プログラム Download PDF

Info

Publication number
WO2023148814A1
WO2023148814A1 PCT/JP2022/003816 JP2022003816W WO2023148814A1 WO 2023148814 A1 WO2023148814 A1 WO 2023148814A1 JP 2022003816 W JP2022003816 W JP 2022003816W WO 2023148814 A1 WO2023148814 A1 WO 2023148814A1
Authority
WO
WIPO (PCT)
Prior art keywords
smoothing
area
value
luminance
unit
Prior art date
Application number
PCT/JP2022/003816
Other languages
English (en)
French (fr)
Inventor
友哉 中村
裕樹 松崎
和哉 村田
Original Assignee
Eizo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo株式会社 filed Critical Eizo株式会社
Priority to PCT/JP2022/003816 priority Critical patent/WO2023148814A1/ja
Priority to TW112102051A priority patent/TWI834481B/zh
Publication of WO2023148814A1 publication Critical patent/WO2023148814A1/ja

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Definitions

  • the present invention relates to an image display device, an image display method, and an image display program.
  • the display device of Patent Document 1 performs smoothing processing on black-and-white image data for the second display panel to smooth luminance changes.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to improve the display quality in a display device in which a plurality of display panels are stacked.
  • a display device for displaying an image includes a light source, a plurality of display panels arranged in a stack, a wide area smoothing section, a narrow area smoothing section, and a blending section, and the plurality of comprises a first panel and a second panel disposed between the light source and the first panel, wherein the wide area smoothing portion includes a target pixel in the input image and peripheral pixels of the target pixel smoothing processing is performed on luminance information values of a target region to output a wide-area smoothed value; and outputting a narrow-range smoothed value by performing smoothing processing on a luminance information value of a target region with a smaller value, and the blending unit blends the wide-range smoothed value and the narrow-range smoothed value at a predetermined blending ratio.
  • a second panel displaying an image generated using the blend values, and wherein the luminance information values are generated using pixel luminances.
  • the luminance information values of the target regions of different sizes are smoothed, and the image displayed on the second panel is displayed on the second panel using the blended value obtained by blending the smoothed values. generated. While suppressing deterioration in display quality due to parallax through smoothing processing, by blending the smoothing processing values of target areas that have a relatively wide and narrow relationship, interference patterns and halos that are harmful to smoothing processing can be eliminated. It is possible to suppress the occurrence of
  • the blending unit includes a blending ratio determination unit and a blending processing unit, and the blending ratio determination unit determines the brightness of the target pixel or the brightness of the target pixel and a neighboring region including the target pixel and pixels neighboring the target pixel.
  • a brightness level is calculated using the brightness
  • the blend rate is determined based on the brightness level
  • the blend processing unit outputs the blend value using the blend rate.
  • the blend rate determination unit determines the blend rate such that the blend rate of the wide area smoothed value is non-decreasing monotonically with respect to the luminance level.
  • the wide area smoothing section includes a first preprocessing section and a first smoothing processing section, and the first preprocessing section calculates the brightness of each pixel in an area including at least the target area of the wide area smoothing section. , and the representative value of the luminance of each pixel to generate the luminance information value used in the wide area smoothing unit, and the first smoothing processing unit converts the luminance information value into A smoothing process is performed on the wide-range smoothed value, and the wide-range smoothed value is output.
  • the first preprocessing section generates the luminance information value of the target area of the wide area smoothing section by further using the gradation value of the color component of each pixel.
  • the narrow-area smoothing section includes a second pre-processing section and a second smoothing processing section, and the second pre-processing section performs each pixel in an area including at least the target area of the narrow-area smoothing section. and at least one selected from the representative value of the luminance of each pixel, the luminance information value used in the narrow area smoothing unit is generated, and the second smoothing processing unit generates the luminance A smoothing process is performed on the information value and the narrow range smoothed value is output.
  • the second preprocessing unit further uses the gradation value of the color component of each pixel in the region including at least the target region of the narrow-area smoothing unit to smooth the target region of the narrow-area smoothing unit.
  • the smoothing process is a process using an averaging filter.
  • a method of displaying an image on a display device comprises a wide area smoothing step, a narrow area smoothing step, a blending step, and a displaying step, the display device comprising a light source and a plurality of display panels arranged in a stack, the plurality of display panels comprising a first panel and a second panel arranged between the light source and the first panel; performs smoothing processing on luminance information values of a target region including a target pixel and surrounding pixels of the target pixel in the input image, and outputs a wide area smoothed value; smoothing processing is performed on a luminance information value of a target region that includes surrounding pixels of the target pixel and is smaller than the target region in the wide-area smoothing step to output a narrow-range smoothed value; and the narrow-range smoothed value are blended at a predetermined blend rate, and in the display step, an image generated using the blended value is displayed on a second panel, and the luminance information value is A method is provided that is
  • a program for causing a computer, or a processor provided in a display device, to execute a method for displaying an image on said display device, said method comprising a global smoothing step; a narrow area smoothing step, a blending step, and a displaying step, wherein the display device includes a light source and a plurality of display panels arranged in a stack, the plurality of display panels comprising a first panel; a second panel disposed between the light source and the first panel; and in the wide-area smoothing step, luminance information values of a target region including a target pixel and surrounding pixels of the target pixel in the input image are smoothed.
  • wide area smoothing processing is performed to output a wide area smoothed value
  • luminance information values of a target area including the target pixel and surrounding pixels of the target pixel and smaller than the target area in the wide area smoothing step are: and outputting a narrow-range smoothed value by performing smoothing processing, in the blending step, outputting a blended value obtained by blending the wide-range smoothed value and the narrow-range smoothed value at a predetermined blend ratio, and in the display step, the A program is provided for displaying an image generated using blend values on a second panel, wherein said luminance information values are generated using pixel luminance.
  • FIG. 1 is a block diagram showing the functional configuration of a display device 1 according to an embodiment of the invention
  • FIG. 2 is a schematic diagram showing a positional relationship between a display unit 2 of the display device 1 and an observer's viewpoint e0.
  • FIG. 3 is a block diagram showing the functional configuration of an image processing unit 3 of the display device 1;
  • FIG. 3 is a block diagram showing the functional configuration of a first main processing section 5;
  • FIG. 5A is a block diagram showing the functional configuration of the second main processing section 8.
  • FIG. 5B is a flowchart showing processing in the second main processing section 8.
  • FIG. 4 is a schematic diagram showing a pixel array I of an input image;
  • FIG. 4 is a schematic diagram showing a pixel array I of an input image;
  • FIG. 2 is a schematic diagram showing a two-dimensional array of luminance V
  • FIG. FIG. 8A is a schematic diagram showing a two-dimensional array of luminance information values V′l used in the wide area smoothing section 82.
  • FIG. 8B is a schematic diagram showing the luminance information value V′l of the target area Al_m,n in the wide area smoothing unit 82.
  • FIG. 9A is a schematic diagram showing a two-dimensional array of luminance information values V 's used in the narrow band smoothing section 85.
  • FIG. FIG. 9B is a schematic diagram showing the luminance information value V′ s of the target area A s_m,n in the narrow-range smoothing section 85.
  • FIG. 9A is a schematic diagram showing a two-dimensional array of luminance information values V 's used in the narrow band smoothing section 85.
  • FIG. 9B is a schematic diagram showing the luminance information value V′ s of the target area A s_m,n in the narrow-range smoothing
  • FIG. 3 is a block diagram showing the functional configuration of a blending unit 88;
  • FIG. 13A is a block diagram showing the functional configuration of the first preprocessing section 83.
  • FIG. 13B is a block diagram showing the functional configuration of the second preprocessing section 86.
  • FIG. FIG. 11 is a schematic diagram showing luminance V of a neighboring area An_m,n used in a blend ratio determining unit 88a
  • 10 is a graph showing an example of the relationship between the luminance level Vg and the blend ratio f l of the wide area smoothed value V′ mean-l .
  • FIG. 13A is a block diagram showing the functional configuration of the first pre
  • FIG. 14A is a schematic diagram showing a two-dimensional array of luminance V used in the absolute luminance calculator 83a and the relative luminance calculator 83b of the first preprocessing unit 83.
  • FIG. 14B is a schematic diagram showing a two-dimensional array of luminance V used in the absolute luminance calculator 86a and the relative luminance calculator 86b of the second preprocessing unit 86.
  • 8 is a graph showing an example of the relationship between the luminance mean value V mean-l and the corresponding value f v-l in the LUT 83b2 of the relative luminance calculator 83b;
  • 10 is a graph showing an example of the relationship between the tone average value RGB mean-l and the adjustment coefficient f a-l in the LUT 83c2 of the adjustment coefficient calculator 83c;
  • unit can refer to, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources.
  • this information is represented by the level of the signal value as a binary bit aggregate composed of 0 or 1, and communication and calculation are performed on a circuit in a broad sense.
  • a circuit in a broad sense is a circuit implemented by appropriately combining at least circuits, circuits, processors, memories, and the like.
  • ASIC Application Specific Integrated Circuit
  • SPLD Simple Programmable Logic Device
  • CPLD Complex Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • a display device 1 includes a display section 2 and an image processing section 3 .
  • the display unit 2 and the image processing unit 3 are connected by a signal cable so as to be able to communicate with each other.
  • the display unit 2 includes a light source 23 arranged on the back side of the display unit 2, and a plurality of display panels arranged in layers.
  • the display unit 2 according to the present embodiment includes a first panel 21 arranged on the front side of the display unit 2 as a plurality of display panels, and a second panel 22 arranged between the light source 23 and the first panel 21. It has two LCD panels.
  • the second panel 22 is arranged at a position farther than the first panel 21 when viewed from the viewpoint e0 of the observer positioned in front of the display unit 2 .
  • the entirety of a plurality of display panels may be referred to as a laminated display panel.
  • the image processing unit 3 performs predetermined image processing on the input image, and outputs first image data DAT1 and second image data DAT2 to the display unit 2 .
  • the first panel 21 displays the first image based on the first image data DAT1
  • the second panel 22 displays the second image based on the second image data DAT2, according to the control signal or data sent from the image processing unit 3 via the signal cable. Display two images.
  • the first panel 21 is a color liquid crystal panel and displays a first color image
  • the second panel 22 is a monochrome liquid crystal panel and displays a second monochrome image.
  • a desired image is displayed on the stacked display panel.
  • the pixel p1 of the first panel 21 and the pixel p2 of the second panel 22 are separated by a distance d in the thickness direction of the display panel. Therefore, when the line of sight of the observer faces the front of the pixel (in the case of the line of sight e1 in FIG. 2), the image is perceived as a high-quality image, but the line of sight of the observer is oblique to the pixel. In this case (in the case of lines of sight e2 and e3 in FIG.
  • the image processing section 3 of this embodiment includes a linear transformation section 31, a first image generation section 4, and a second image generation section .
  • the linear conversion section 31 performs predetermined processing on the input image data and outputs the processed data to the first image generation section 4 and the second image generation section 7 .
  • the first image generator 4 and the second image generator 7 respectively generate first image data DAT1 and second image data DAT2.
  • Linear conversion unit 31 receives, as input image data, an input signal RGB ⁇ in which 10-bit gradation is expressed for each of the R, G, and B components.
  • the input signal RGB ⁇ is obtained by applying gamma correction according to gamma characteristics to the gradation of the input image.
  • the linear conversion unit 31 generates a linear signal RGB by converting each component of the input signal RGB ⁇ such that the luminance linearly increases with an increase in the grayscale value.
  • conversion to linear signals RGB is performed using three LUTs (Lookup tables) provided for each component.
  • the second image generation section 7 includes a second main processing section 8 and a second nonlinear transformation section 9 .
  • the second main processing unit 8 receives the linear signals RGB from the linear conversion unit 31 and generates a second processed signal D by performing predetermined processing including smoothing processing. Details of the processing performed by the second main processing unit 8 will be described later.
  • the second non-linear conversion section 9 receives the second processed signal D from the second main processing section 8 and converts the second processed signal D into a non-linear signal using an LUT created based on the display characteristics of the second panel 22. It is converted into a second image signal D ⁇ .
  • the second image signal D ⁇ is output to the display section 2 as the second image data DAT2, and the second image based on the second image signal D ⁇ is displayed on the second panel 22.
  • the first image generation section 4 includes a first main processing section 5 and a first nonlinear transformation section 6 .
  • the first main processing section 5 includes a coefficient calculation section 51 and a calculation section 52 .
  • the coefficient calculator 51 receives the second processed signal D from the second main processor 8 of the second image generator 7 and outputs the coefficient F associated with the second processed signal D using the LUT.
  • the calculation unit 52 receives the linear signal RGB from the linear conversion unit 31 and the coefficient F from the coefficient calculation unit 51, and multiplies the linear signal RGB by the coefficient F to generate the first processed signal RGB'.
  • the light emitted from the light source 23 is transmitted by the second display panel at a transmittance based on the second image data DAT2, and further transmitted by the first display panel at a transmittance based on the first image data DAT1.
  • the desired transmittance corresponding to the input image data is realized in the stacked display panel.
  • the LUT used by the coefficient calculation unit 51 includes the coefficient F is stored.
  • the first non-linear conversion unit 6 receives the first processed signal RGB' from the first main processing unit 5, and converts the first processed signal RGB' using an LUT created for each color component based on the display characteristics of the first panel 21 to convert the first processed signal RGB'. is converted into the first image signal RGB' ⁇ which is a non-linear signal.
  • the first image signal RGB' ⁇ is output to the display section 2 as the first image data DAT1, and the first image based on the first image signal RGB' ⁇ is displayed on the first panel 21.
  • the linear conversion unit 31 prior to the processing by the first main processing unit 5 and the second main processing unit 8, conversion into a linear signal is performed by the linear conversion unit 31. Further, the first processed signal RGB' and the second processed signal D generated by the first main processing unit 5 and the second main processing unit 8, respectively, are converted into nonlinear signals by the first nonlinear conversion unit 6 and the second nonlinear conversion unit 9. , and output to the display unit 2.
  • processing by the first main processing section 5 and the second main processing section 8 is performed on a linear signal equivalent to the gradation seen through the stacked display panel. Therefore, in the first main processing section 5, it becomes possible to perform processing that accurately depends on the colors displayed when a plurality of display panels are combined, and in the second main processing section 8, smoothing processing and the like can be performed. It is possible to obtain more appropriate results in
  • the second main processing section 8 includes a brightness conversion section 81 , a wide range smoothing section 82 , a narrow range smoothing section 85 and a blending section 88 .
  • FIG. 5B is a flowchart showing processing in the second main processing section 8.
  • the luminance converter 81 receives the linear signals RGB and outputs the luminance V based on the gradation value of each pixel in the input image (step S1 in FIG. 5B).
  • the luminance conversion unit 81 of this embodiment outputs the maximum gradation value of each color component of each pixel as the luminance V.
  • FIG. FIG. 6 shows the pixel array I of the input image in this embodiment, and the pixel array I has M ⁇ N pixels. Using the pixel in the upper left corner of FIG. 6 as a reference, the pixel in the m-th row and the n-th column is expressed as im ,n .
  • R m,n , G m,n , B m,n is the value obtained by normalizing each component of the gradation value of the pixel i m,n in the input image in the linear signal RGB in the range of 0 to 1 Then, the maximum value among R m,n , G m,n and B m,n is used as the luminance v m,n of the pixel im ,n as expressed by Equation (1).
  • the luminance conversion unit 81 outputs a luminance V which is a two-dimensional array of luminance v m ,n of each pixel im , n as shown in FIG. Note that the method of calculating the brightness V is not limited to the above example, and for example, the brightness V may be output by weighting the gradation value of each color component of each pixel and taking the sum.
  • Wide area smoothing section 82 and narrow area smoothing section 85 The wide area smoothing unit 82 and the narrow area smoothing unit 85 perform smoothing processing on the luminance information values V′ l and V′ s which are information about the luminance V, and obtain a wide area smoothed value V′ mean-l and a narrow area smoothed value V′ mean ⁇ l. Output the value V' mean-s respectively.
  • Luminance information values V′ l and V′ s are generated using the luminance V.
  • the narrow area smoothing unit 85 performs smoothing processing on the luminance information value V 's of the target area As including the target pixel and peripheral pixels of the target pixel and smaller than the target area A1 of the wide area smoothing unit 82 .
  • the wide area smoothing unit 82 includes a first preprocessing unit 83 and a first smoothing processing unit 84, as shown in FIG. 5A.
  • the first preprocessing unit 83 performs predetermined preprocessing on the luminance V (step S2 in FIG. 5B), and obtains the luminance information value v′ l_m ,n of each pixel im ,n as shown in FIG. 8A. Output the luminance information value V'l , which is a dimensional array. Details of the processing performed by the first preprocessing unit 83 will be described later.
  • the target pixel is the pixel im,n in the m-th row and the n-th column, and the target area Al corresponding to the target pixel im, n is expressed as Al_m,n
  • the target area Al_m,n is the target pixel It is set in an area consisting of a total of k l ⁇ k l pixels including the target pixel i m,n and its peripheral pixels with im,n as the approximate center.
  • k l is specifically, for example, 99, 199, 299, 399, 499, 599, 699, 799, 899, 999. good.
  • the first smoothing processing unit 84 performs smoothing processing on the luminance information value V′ l of the target area Al_m,n indicated by the thick line in FIG. 8B (wide area smoothing step, step S3 in FIG. 5B). This yields the global smoothed value v' mean-l_m,n for the target pixel i m,n .
  • the smoothing processing by the first smoothing processing unit 84 is performed on a relatively large target region Al_m,n for the purpose of suppressing interference patterns.
  • the size k l ⁇ k l of the target area A l_m,n is not limited to the example of the present embodiment, and the size of the display panel and the assumed range of the viewing angle of the observer with respect to the stacked display panel are considered. is determined to be sufficiently large that an interference pattern is not perceived even when is oblique to the laminated display panel.
  • the target area Al_m,n in the present embodiment is configured with the same number of pixels ( kl ) in the row direction and the column direction, but the target region is configured with a different number of pixels in the row direction and the column direction.
  • a region Al_m,n may be set.
  • the first smoothing processing unit 84 of the present embodiment uses an averaging filter with a filter size of k l ⁇ k l for the brightness information value V′ l of the target region A l_m,n thus determined. smoothing process. Therefore, the wide area smoothed value v' mean-l_m,n is a value obtained by dividing the sum of luminance information values V' of pixels in the target area A l_m,n by k l ⁇ k l .
  • the narrow band smoothing unit 85 includes a second preprocessing unit 86 and a second smoothing processing unit 87, as shown in FIG. 5A.
  • the second preprocessing unit 86 performs predetermined preprocessing on the luminance V output from the luminance conversion unit 81 (step S4 in FIG. 5B), and obtains luminance information of each pixel im, n as shown in FIG. 9A.
  • a luminance information value V's which is a two-dimensional array of values v's_m,n, is output. Details of the processing performed by the second preprocessing unit 86 will be described later.
  • the target area A s_m,n is centered about the target pixel im,n and includes the target pixel im,n and its peripheral pixels. is set to a region consisting of a total of k s ⁇ ks pixels including .
  • k s is, for example, 5, 13, 21, 29, 37, 45, 53, 61, and may be within a range between any two of the numerical values exemplified here.
  • the second smoothing processing unit 87 performs smoothing processing on the luminance information value V′ s of the target area A s_m,n indicated by the thick line in FIG. 9B (narrow area smoothing step, step S5 in FIG. 5B). .
  • the narrow area smoothed value v' mean-s_m, n for the target pixel i m ,n is obtained.
  • the target area A s_m,n of the smoothing process by the second smoothing processor 87 is set to be smaller than the target area Al_m,n of the smoothing process by the first smoothing processor 84 .
  • the relationship ks ⁇ kl is satisfied, and the target area A s_m,n of the second smoothing processor 87 becomes part of the target area Al_m,n of the first smoothing processor 84.
  • the target area A s_m,n is set as follows.
  • the smoothing processing by the second smoothing processing unit 87 is caused by a shift in the degree of overlap between the pixels of the first panel 21 and the second panel 22 when the line of sight of the observer is oblique to the stacked display panel.
  • the target area A s_m,n is determined by considering the distance between the pixels of the first panel 21 and the second panel 22 in the thickness direction of the display panel and the angle of the line of sight of the observer with respect to the laminated display panel. is determined to have a minimum size k s ⁇ ks such that the disappearance of the bright spot is not perceptible even in the oblique direction with respect to .
  • the size of the target area A s_m,n of the second smoothing processor 87 is 1/a times the size of the target area Al_m,n of the first smoothing processor 84, for example, 5 ⁇ a ⁇ 50, preferably 10 ⁇ a ⁇ 40, and a is about 20 in this embodiment.
  • a is, for example, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, and may be within a range between any two of the numerical values exemplified here.
  • the target area A s_m,n in the present embodiment is composed of the same number of pixels (k s ) in the row direction and the column direction. An area A s_m,n may be set.
  • the second smoothing processing unit 87 performs smoothing processing on the luminance information value V′ s of the target area A s_m,n thus determined, and applies an averaging filter with a filter size of ks ⁇ ks . Perform smoothing processing using Therefore, the narrow-range smoothed value v' mean-s_m,n is a value obtained by dividing the sum of the luminance information values V' of the pixels in the target area A s_m,n by k s ⁇ ks .
  • the first smoothing processing unit 84 and the second smoothing processing unit 87 of the present embodiment perform smoothing processing using an averaging filter.
  • an averaging filter provides a constant gradient of gradation in an image after smoothing processing.
  • LPF low-pass filter
  • an averaging filter with a wide attenuation band both spatially and in terms of frequency as the LPF.
  • Blending section 88 The blending unit 88 receives the wide area smoothed value V' mean-l from the wide area smoothing unit 82 and the narrow area smoothed value V' mean-s from the narrow area smoothing unit 85, blends them at a predetermined blend ratio, and obtains the blend value is output as the second processed signal D.
  • the blending section 88 as shown in FIG. 10, includes a blending rate determining section 88a and a blending processing section 88b.
  • the blend ratio determination unit 88a of the present embodiment performs processing using the LPF 88a1 based on the Gaussian distribution on the luminance V of the neighboring area An_m, n indicated by the thick line in FIG. to calculate the luminance level v g_m,n of .
  • the LPF 88a1 is for weighting the luminance V of the neighboring area An_m,n according to the distance from the target pixel im,n .
  • a reflected luminance level v g_m,n can be obtained. Note that the weighting by the LPF 88a1 is not limited to the configuration according to the Gaussian distribution of this embodiment, and other weighting methods may be used.
  • the size of the neighboring area A n_m,n is preferably set to be equal to or smaller than the size of the target area A l_m,n in the wide area smoothing unit 82, and is set to be equal to or smaller than the size of the target area A s_m,n in the narrow area smoothing unit 85. more preferably.
  • the neighboring area An_m,n in the present embodiment is composed of the same number of pixels ( kn ) in the row direction and the column direction.
  • An area An_m,n may be set.
  • the method of calculating the luminance level v g_m,n is not limited to the example of this embodiment, and the luminance v m, n of the target pixel im ,n may be used as it is as the luminance level v g_m,n . .
  • the blend ratio determination unit 88a uses the LUT 88a2 storing the blend ratio fl of the wide area smoothed value V′ mean ⁇ l as output data associated with the luminance level Vg as input data to determine the target pixel i m,n Determine the blend ratio fl_m,n corresponding to the luminance level vg_m ,n of .
  • the LUT 88a2 storing the blend ratio f1 is created according to the performance of the first panel 21 for expressing a low gradation area, how easily an interference pattern is perceived according to the actual size of the display panel, and the like.
  • the blend ratio f l of the wide range smoothed value V′ mean-l is monotonically non-decreasing with respect to the luminance level V g .
  • the blend ratio f s of the narrow band smoothed value V′ mean-s is monotonically non-increasing with respect to the luminance level V g .
  • the blend rate f l of the wide range smoothed value V′ mean-l is greater than the blend rate f s of the narrow range smoothed value V' mean-s
  • the brightness level V g is The blend ratios f l and f s are determined so that the blend ratio f s of the narrow range smoothed value V′ mean- s is greater than the blend ratio f l of the wide range smoothed value V′ mean-l in a relatively low region. is more preferable. This makes it possible to suppress the deterioration of the display quality in the low gradation region while suppressing the occurrence of the interference pattern in the display image.
  • FIG. 12 is a graph showing an example of the relationship between the luminance level Vg in the LUT 88a2 and the blend ratio fl of the wide area smoothed value V'mean-l .
  • the blend ratio fl monotonically increases in the region where the luminance level Vg is low, and becomes approximately constant in the region where the luminance level Vg is medium to high. Note that the relationship between the luminance level V g and the blend ratio f l is not limited to this example. It may be related.
  • the blend processing unit 88b calculates the blend value d m, n for the pixel im ,n by Equation (2) (blending step, step S6). Further, the wide area smoothing section 82, the narrow area smoothing section 85, and the blending section 88 repeat the above processing while changing the target pixel im,n (step S7 in FIG. 5B). A two-dimensional array of blend values d m,n for all pixels is output as the second processed signal D.
  • the second image data DAT2 is generated using only the wide-area smoothed value V′ mean-l obtained by performing the smoothing process on the relatively large target area Al by the wide-area smoothing unit 82, on the laminated display panel
  • the interference pattern is less perceptible in the image displayed at .
  • a so-called white halo in which a vaguely bright area appears from a high gradation area toward a low gradation area in an image, tends to spread over a wide range, possibly degrading the display quality of the low gradation area.
  • the present invention by blending the wide-range smoothed value V'mean -l and the narrow-range smoothed value V'mean -s , it is possible to enjoy the effect of suppressing interference patterns, which is an advantage of using the wide-range smoothed value V'mean -l. At the same time, it is possible to suppress deterioration of the display quality in the low gradation area due to the white halo, which is a harmful effect when using the wide area smoothed value V' mean-l .
  • smoothing processing for luminance information values by the wide area smoothing section 82 and the narrow area smoothing section 85 is performed independently in parallel.
  • serial processing is performed in which the result of smoothing processing by one smoothing section is further smoothed by the other smoothing section, the smoothing processing may be excessive and the contrast may decrease, or the smoothing processing by the other smoothing section may occur. effect may be impaired.
  • the above situation can be avoided by independently performing smoothing processing with different sizes of target regions and blending the results.
  • the interference pattern is easily perceived in areas of intermediate gradations and above, and is difficult to be perceived in areas of low gradations.
  • the wide range in blending The ratio of the smoothed value V'mean -l is increased to enhance the effect of suppressing the interference pattern, and in the region where the luminance level Vg is relatively low, the ratio of the narrow-range smoothed value V'mean -s in the blending is increased to achieve a low-order image. It is possible to enhance the effect of suppressing deterioration of the display quality of the tone area.
  • First pre-processing section 83 and second pre-processing section 86 ⁇ Overall Configuration of First Preprocessing Unit 83>
  • the first preprocessing unit 83 of the wide area smoothing unit 82 includes an absolute luminance calculator 83a, a relative luminance calculator 83b, an adjustment coefficient calculator 83c, and an adjustment value calculator 83d.
  • the absolute luminance calculation unit 83a receives the luminance V from the luminance conversion unit 81, and outputs the maximum luminance value V max-l in the region of interest B l including the target pixel.
  • the relative luminance calculation unit 83b receives the data of the luminance V from the luminance conversion unit 81, applies the averaging filter 83b1 to the luminance V in the attention area B1 including the target pixel, and calculates the luminance mean value Vmean -l. do. Further, the relative luminance calculation unit 83b uses the LUT 83b2 to determine the corresponding value f v ⁇ l corresponding to the luminance mean value V mean ⁇ l .
  • the adjustment coefficient calculator 83c determines the adjustment coefficient f a -l using the gradation value of each color component of the pixel.
  • the adjustment coefficient calculator 83c of the present embodiment applies an averaging filter 83c1 to the linear signals RGB in the target area B1 including the target pixel, and calculates the tone average value RGB mean-l . Then, the LUT 83c2 is used to determine the adjustment coefficient f a-l corresponding to the tone mean value RGB mean-l .
  • the adjustment value calculation unit 83d receives the maximum luminance value V max-l from the absolute luminance calculation unit 83a and the corresponding value fv-l from the relative luminance calculation unit 83b, and determines the lower luminance limit value based on equations (3) and (4). Set the value V limit-l .
  • V max ⁇ l ⁇ f v ⁇ l ⁇ V limit ⁇ l f v ⁇ l (3)
  • the adjustment value calculation unit 83d receives the adjustment coefficient f a ⁇ l from the adjustment coefficient calculation unit 83c, and calculates the luminance information value V'l used in the wide area smoothing unit 82 based on Equation (5).
  • V l ' 1 ⁇ f a ⁇ 1 ⁇ (1 ⁇ V limit ⁇ 1 ) (5)
  • the first preprocessing unit 83 is not limited to the above configuration. It is good also as a structure provided with only two.
  • the second preprocessing section 86 of the narrow-area smoothing section 85 includes an absolute luminance calculator 86a, a relative luminance calculator 86b, an adjustment coefficient calculator 86c, and an adjustment value calculator 86d.
  • the processing by these components is the same as the processing by the components of the first preprocessing section 83, except for the size of the attention area Bs containing the target pixel.
  • the absolute luminance calculator 86a outputs the luminance maximum value V max ⁇ s in the attention area B s .
  • the relative luminance calculation unit 86b applies an averaging filter 86b1 to the luminance V in the region of interest B s to calculate the luminance mean value V mean-s , and uses the LUT 86b2 to correspond to the luminance mean value V mean-s. Determine the corresponding value fvs .
  • the adjustment coefficient calculation unit 86c applies an averaging filter 86c1 to the linear signal RGB in the region of interest B s to calculate the tone average value RGB mean-s , and uses the LUT 86c2 to calculate the tone average value RGB mean-s. Determine the adjustment factor f a ⁇ s corresponding to .
  • the adjustment value calculator 86d sets the luminance lower limit value V limit-s based on equations (6) and (7).
  • Vmax-s ⁇ fvs ⁇ Vlimit -s fvs (6)
  • V max-s ⁇ f v-s ⁇ V limit-s V max-s (7)
  • the adjustment value calculator 83d calculates the luminance information value V 's used in the narrow-range smoother 85 based on the equation (8).
  • V s ′ 1 ⁇ f a ⁇ s ⁇ (1 ⁇ V limit ⁇ s ) (8)
  • the second preprocessing unit 86 is not limited to the above configuration. It is good also as a structure provided with only two.
  • ⁇ Absolute Luminance Calculators 83a and 86a> The processing for each target pixel in the absolute luminance calculators 83a and 86a and the effect of the processing will be described in more detail.
  • the region of interest corresponding to the target pixel im,n in the first preprocessing unit 83 is denoted by Bl_m,n
  • the absolute luminance calculator 83a of the first preprocessing unit 83 calculates the maximum luminance V of the region of interest B l_m,n indicated by the thick line in FIG. 14A as the maximum luminance v max ⁇ Calculate as l_m,n .
  • the absolute luminance calculation unit 86a of the second preprocessing unit 86 calculates the maximum value of the luminance V of the region of interest B s_m,n indicated by the thick line in FIG. 14B as the maximum luminance value v max ⁇ Calculate as s_m,n .
  • the wide area smoothed value v′ mean ⁇ l_m,n and the narrow area smoothed value v′ mean ⁇ s_m,n are the luminance before smoothing. It may be smaller than v m,n . In such a case, the peak luminance of the displayed image becomes dull, and a so-called black halo, in which a vaguely dark area appears from a low gradation area toward a high gradation area in the image, is perceived, and the display quality of the high gradation area deteriorates. there is a possibility.
  • the luminance maximum values v max ⁇ l_m,n and v max ⁇ s_m,n calculated by the absolute luminance calculation units 83a and 86a are luminance serves as a lower bound for Luminance information using luminance lower limit values v limit -l_m,n and v limit -s_m, n for target pixel i m, n set based on luminance maximum values v max-l_m ,n , v max-s_m,n
  • the wide area smoothed value v'mean -l_m and the narrow area smoothed value v'mean-s_m,n are equal to or greater than the luminance vm ,n before smoothing. , and it is possible to suppress the blunting of the peak luminance and the black halo.
  • the absolute luminance calculators 83a and 86a are not limited to the above configurations.
  • a configuration for outputting a value obtained by further performing another arithmetic processing on the maximum luminance value v max ⁇ l_m,n and v max ⁇ s_m,n, or a configuration for outputting a value obtained by further performing another arithmetic process on the maximum luminance value v max ⁇ l_m,n A configuration for outputting another representative value may be employed.
  • the relative luminance calculation unit 83b of the first preprocessing unit 83 applies an averaging filter 83b1 having a filter size of j l ⁇ j l to the luminance V of the region of interest B l_m,n in FIG.
  • a luminance mean value v mean-l_m, n corresponding to m, n is calculated.
  • the luminance mean value v mean ⁇ l_m,n is a value obtained by dividing the sum of the luminances V of the pixels in the attention area B l_m,n by j l ⁇ j l .
  • the LUT 83b2 used by the relative luminance calculator 83b stores the corresponding value fv-l as output data associated with the mean luminance value Vmean -l as input data.
  • the corresponding value fv -l_m,n for the target pixel im,n is determined from the luminance mean value vmean-l_m,n .
  • the relative luminance calculation unit 86b of the second preprocessing unit 86 applies an averaging filter 86b1 having a filter size of j s ⁇ j s to the luminance V of the region of interest B s_m,n in FIG.
  • a luminance mean value v mean-s_m, n corresponding to m, n is calculated. Therefore, the luminance mean value v mean-s_m,n is a value obtained by dividing the sum of the luminances V of the pixels in the attention area B s_m,n by j s ⁇ j s .
  • the LUT 86b2 used by the relative luminance calculator 86b stores the corresponding value f sl as output data associated with the luminance mean value V mean-s as input data. Using such LUT 86b2, the corresponding value f s ⁇ l_m,n for the target pixel im,n is determined from the luminance mean value v mean ⁇ s_m ,n.
  • the second panel 22 By using the second panel 22, in other words, by reducing the gradation value of the second panel 22, it is possible to improve the display quality particularly in the low gradation region.
  • the target pixel is surrounded by a relatively high-luminance area, the presence of light diffusing from the target pixel makes it difficult to perceive a change in the expressive power of the target pixel, which has a relatively low luminance. The significance of using the second panel 22 is reduced.
  • the corresponding values f v ⁇ l_m,n and f s ⁇ l_m,n determined by the relative luminance calculators 83b and 86b are the second It functions as the lower limit value of the brightness that can be expected at a perceptible level to improve the power of expression by using the panel 22 .
  • v′ l_m,n and v′ s_m,n it is possible to minimize the use of the second panel 22 while enjoying the effect of improving the expressiveness of low-luminance pixels.
  • the corresponding values f v ⁇ l and f v ⁇ s are monotonically non-decreasing with respect to each of the luminance mean values V mean-l and V mean-s.
  • the second panel 22 is used to improve the display quality in areas where the mean luminance values V mean-l and V mean-s are relatively low, and the mean luminance values V mean-l and V mean- The use of the second panel 22 can be minimized in areas where s is relatively high.
  • FIG. 15 is a graph showing an example of the relationship between the luminance mean value V mean-l and the corresponding value f v-l in the LUT 83b2 of the relative luminance calculator 83b.
  • the relationship between the luminance mean value V mean-l and the corresponding value f v-l is not limited to this example, and may be, for example, a monotonically non-decreasing relationship in a curved line.
  • the relationship between the luminance mean value V mean-s and the corresponding value f v ⁇ s in the LUT 86b2 of the relative luminance calculation unit 86b is the luminance mean value V mean-l and the corresponding value f v ⁇ l in the LUT 83b2 of the relative luminance calculation unit 83b. may be the same as or different from the relationship of
  • the relative luminance calculators 83b and 86b are not limited to the above configurations.
  • the mean luminance values v mean-l_m,n and v mean-s_m,n are subjected to further arithmetic processing, or other representative luminance values in the attention regions B l_m,n and B s_m,n (for example, , median value, mode value, value weighted using a Gaussian filter) may be used to determine the corresponding values f v ⁇ l_m,n and f s ⁇ l_m,n .
  • the adjustment coefficient calculation unit 83c of the first preprocessing unit 83 applies an averaging filter 83c1 having a filter size of j l ⁇ j l to the linear signals RGB of the target region B l_m,n to obtain the target pixel i m, A gradation mean value RGB mean-l_m,n corresponding to n is calculated.
  • the average value of the gradation values of the color components is calculated for each pixel of the region of interest B l_m,n , and the averaging filter 83c1 is applied to the average value to obtain the average gradation value RGB Calculate mean-l_m,n .
  • the LUT 83c2 used by the adjustment coefficient calculator 83c stores the adjustment coefficient f a-l as output data associated with the tone mean value RGB mean-l as input data. Using such a LUT 83c2, the adjustment coefficient f a ⁇ l_m,n for the target pixel im,n is determined from the tone mean value RGB mean ⁇ l_m ,n.
  • the adjustment coefficient calculation unit 86c of the second preprocessing unit 86 applies an averaging filter 86c1 having a filter size of j s ⁇ j s to the linear signal RGB of the target region B s_m,n to obtain the target pixel im, A gradation mean value RGB mean-s_m,n corresponding to n is calculated.
  • the average gradation value RGB Calculate mean-s_m,n .
  • the LUT 86c2 used by the adjustment coefficient calculator 86c stores the adjustment coefficient f a ⁇ s as output data associated with the tone average value RGB mean-s as input data. Using such a LUT 86c2, the adjustment coefficient f a ⁇ s_m ,n for the target pixel im,n is determined from the tone mean value RGB mean ⁇ s_m ,n.
  • the adjustment coefficients f a ⁇ l_m,n and f a ⁇ s_m,n determined by the adjustment coefficient calculation units 83c and 86c are the target pixels i m, n functions as a coefficient reflecting the degree of necessity of the second panel 22 based on the gradation value of the color component. Therefore, by calculating the brightness information values v ′ l_m,n and v ′ s_m,n using the adjustment coefficients f a ⁇ l_m,n and f a ⁇ s_m,n , the effect of improving the display quality in the low-gradation region can be obtained. It is possible to minimize the use of the second panel 22 while enjoying the benefits.
  • the adjustment coefficients f a ⁇ 1 and f a ⁇ s are monotonic non-monotonic values for each of the tone average values RGB mean ⁇ 1 and RGB mean ⁇ s.
  • An increase is preferred.
  • the second panel 22 is used to improve the display quality in regions where the average grayscale values RGB mean-l and RGB mean-s are relatively low, and the average grayscale values RGB mean-l and RGB mean- l are improved.
  • the use of the second panel 22 can be minimized in areas where the mean-s is relatively high.
  • FIG. 16 is a graph showing an example of the relationship between the tone average value RGB mean-l and the adjustment coefficient f a-l in the LUT 83c2 of the adjustment coefficient calculator 83c.
  • the horizontal axis indicates values obtained by normalizing the tone average value RGB mean-l in the range of 0 to 1.
  • the adjustment coefficient f a ⁇ l decreases linearly as the tone average value RGB mean ⁇ l increases, and the adjustment coefficient f a ⁇ l is constant at 0 on the side where the tone average value RGB mean ⁇ l is relatively high.
  • the relationship between the gradation average value RGB mean-l and the adjustment coefficient f a-l is not limited to this example, and may be, for example, a monotonically non-increasing relationship in a curved line.
  • the relationship between the tone mean value RGB mean-s and the adjustment coefficient f a -s in the LUT 86c2 of the adjustment coefficient calculation unit 86c is the same as the tone mean value RGB mean-l and the adjustment coefficient f a -s in the LUT 83c2 of the adjustment coefficient calculation unit 83c. It may be the same as or different from the relationship of -l .
  • the adjustment coefficient calculators 83c and 86c are not limited to the above configurations.
  • the signal values of the linear signals RGB corresponding to each color component are weighted in consideration of the difference in sensitivity of each color component by the observer and the optical characteristics of the display panel, and the weighted signal values are subjected to averaging filters 83c1 and 86c1. may apply.
  • the adjustment coefficient f A configuration may be adopted in which a ⁇ l_m,n and f a ⁇ s_m,n are determined.
  • the attention area B l_m ,n corresponding to the target pixel im ,n is obtained by the first smoothing processor 84 It is preferable to set the area to be the same as the target area Al_m,n in , or to be an area expanded from the target area Al_m,n .
  • the region of interest B s_m,n corresponding to the target pixel im ,n in the absolute luminance calculator 83a, the relative luminance calculator 83b, and the adjustment coefficient calculator 83c of the second preprocessing unit 86 is subjected to the second smoothing It is preferable to set the area to be the same as the target area A s_m,n in the processing unit 87 or to be a larger area than the target area A s_m,n .
  • the target pixel im,n is viewed from the front.
  • the above effects of the absolute luminance calculators 83a and 86a, the relative luminance calculators 83b and 86b, and the adjustment coefficient calculators 83c and 86c can be obtained.
  • the target pixel im,n Even when viewed from above, the above effects of the absolute luminance calculators 83a and 86a, the relative luminance calculators 83b and 86b, and the adjustment coefficient calculators 83c and 86c can be enjoyed.
  • the attention areas B l_m,n and B s_m,n are the target areas A l_m,n in the smoothing processing units 84 and 87, respectively.
  • a slight expansion for A s_m,n is preferred.
  • h is, for example, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, any of the numerical values exemplified here 2 It may be within a range between two.
  • the absolute luminance calculator 83a, the relative luminance calculator 83b, and the adjustment coefficient calculator 83c of the first preprocessing unit 83 calculate the region of interest B l_m ,n corresponding to the target pixel im ,n. are the same, and in the absolute luminance calculation unit 86a, the relative luminance calculation unit 86b, and the adjustment coefficient calculation unit 86c of the second preprocessing unit 86, the attention area B s_m ,n corresponding to the target pixel im ,n is assumed to be the same. bottom.
  • the manner in which the attention areas B l_m,n and B s_m,n are set is not limited to this.
  • the attention area in 83c and the attention areas in the absolute luminance calculator 86a, the relative luminance calculator 86b, and the adjustment coefficient calculator 86c of the second preprocessing unit 86 may be set to be different from each other.
  • the present invention is a program for causing a computer or a processor provided in a display device to execute a method of displaying an image on a display device, the method comprising a wide area smoothing step and a narrow area smoothing step. a blending step; and a displaying step, wherein the display device includes a light source and a plurality of display panels arranged in a stack, the plurality of display panels comprising a first panel, the light source and and a second panel arranged between the first panels, wherein the wide area smoothing step performs smoothing processing on luminance information values of a target region including a target pixel in the input image and surrounding pixels of the target pixel.
  • the brightness information value of a target area including the target pixel and surrounding pixels of the target pixel and smaller than the target area in the wide area smoothing step is smoothed.
  • Processing is performed to output a narrow-range smoothed value
  • the blending step outputs a blended value obtained by blending the wide-range smoothed value and the narrow-range smoothed value at a predetermined blend ratio
  • the display step outputs the blended value.
  • It can also be provided as a program in which an image generated using the image is displayed on a second panel, and the luminance information value is generated using the luminance of the pixels.
  • the program may be stored in a built-in storage unit, or may be stored in a computer-readable non-temporary recording medium. Alternatively, a program stored in an external storage unit may be read out and implemented by so-called cloud computing.
  • the linear conversion unit 31 is configured to receive, as input image data, the input signal RGB ⁇ in which the gradation is represented by 10 bits for each of the R, G, and B components.
  • the format is not limited to this.
  • the input image data may be an input signal whose gradation is represented by 8 bits for each of the R, G, and B components.
  • each region is set so as to have a line-symmetrical shape in each of the row direction and the column direction with the target pixel im,n as the approximate center.
  • each region may be set to have a substantially elliptical shape or a substantially elliptical shape centered about the target pixel im,n .
  • Second non-linear conversion section 21 First panel 22: Second panel 23: Light source 31: Linear conversion section 51: Coefficient calculation section 52: Operation section 81: Luminance conversion unit, 82: wide area smoothing unit, 83: first preprocessing unit, 83a: absolute luminance calculation unit, 83b: relative luminance calculation unit, 83b1: averaging filter, 83c: adjustment coefficient calculation unit, 83c1: averaging filter, 83d: adjustment value calculator, 84: first smoothing processor, 85: narrow band smoother, 86: second preprocessor, 86a: absolute luminance calculator, 86b: relative luminance calculator, 86b1: averaging filter 86c: adjustment coefficient calculator 86c1: averaging filter 86d: adjustment value calculator 87: second smoothing processor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

複数の表示パネルが積層して配置された表示装置において、表示品位の向上を図ることを目的とする。 本発明によれば、画像を表示する表示装置であって、光源と、積層して配置される複数の表示パネルと、広域平滑部と、狭域平滑部と、ブレンド部とを備え、複数の表示パネルは第1パネルと光源及び第1パネルの間に配置される第2パネルとを備え、広域平滑部は対象画素及びその周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、狭域平滑部は対象画素及びその周辺画素を含み広域平滑部の対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、ブレンド部は広域平滑値及び狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、第2パネルはブレンド値を用いて生成された画像を表示し、輝度情報値は画素の輝度を用いて生成される、表示装置が提供される。

Description

画像表示装置、画像表示方法、及び画像表示プログラム
 本発明は、画像表示装置、画像表示方法、及び画像表示プログラムに関する。
 画像表示装置の表示品位を向上させるために、複数の表示パネルを積層して配置し、各表示パネルに画像を表示させる技術が提案されている。特許文献1に開示される表示装置では、表示装置の前面側に配置される第1表示パネルにカラー画像が、第1表示パネルの背面側に配置される第2表示パネルに白黒画像が表示される。これにより、特に表示画像の低階調領域を高品位で表示し、表示装置のコントラストを向上させることが可能となる。
特許第6746464号公報
 前面側の表示パネル上の画素と当該画素に対応する背面側の表示パネル上の画素とは表示パネルの厚み方向において離間しているため、観察者の視線によって画素同士の重なり具合に視差が生じる。観察者の視線が表示画面に対して斜め方向である場合には、画素同士の重なり具合のずれにより輝点の消失や二重像が知覚される場合がある。このような表示品位の低下を抑制するために、特許文献1の表示装置では、第2表示パネル用の白黒画像データに平滑化処理を施し輝度変化を滑らかにしている。
 しかしながら、平滑化処理を行うと、視差に起因する表示品位の低下を抑制できる一方、入力画像によっては干渉模様やハローが発生しやすくなる。
 本発明はこのような事情に鑑みてなされたものであり、複数の表示パネルが積層して配置された表示装置において、表示品位の向上を図ることを目的とする。
 本発明によれば、画像を表示する表示装置であって、光源と、積層して配置される複数の表示パネルと、広域平滑部と、狭域平滑部と、ブレンド部とを備え、前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、前記広域平滑部は、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、前記狭域平滑部は、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑部の前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、前記ブレンド部は、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、第2パネルは、前記ブレンド値を用いて生成された画像を表示し、前記輝度情報値は、画素の輝度を用いて生成される、表示装置が提供される。
 本発明に係る表示装置においては、大きさの異なる対象領域の輝度情報値に対して平滑化処理を行い、その平滑化処理値をブレンドしたブレンド値を用いて第2パネルに表示される画像が生成される。平滑化処理により視差による表示品位の低下を抑制しつつ、相対的に広域及び狭域の関係にある対象領域の平滑化処理値をブレンドすることで、平滑化処理の弊害である干渉模様やハローの発生を抑制することが可能となる。
 以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
 好ましくは、前記ブレンド部は、ブレンド率決定部と、ブレンド処理部とを備え、前記ブレンド率決定部は、前記対象画素の輝度、又は前記対象画素及び前記対象画素の近傍画素を含む近傍領域の輝度を用いて輝度レベルを算出し、前記輝度レベルに基づき前記ブレンド率を決定し、前記ブレンド処理部は、前記ブレンド率を用いて前記ブレンド値を出力する。
 好ましくは、前記ブレンド率決定部は、前記広域平滑値の前記ブレンド率が前記輝度レベルに対して単調非減少となるように、前記ブレンド率を決定する。
 好ましくは、前記広域平滑部は、第1前処理部と、第1平滑化処理部を備え、第1前処理部は、前記広域平滑部の前記対象領域を少なくとも含む領域内の各画素の輝度、及び前記各画素の前記輝度の代表値から選ばれた少なくとも1つを用いて、前記広域平滑部において用いられる前記輝度情報値を生成し、第1平滑化処理部は、当該輝度情報値に対して平滑化処理を行って前記広域平滑値を出力する。
 好ましくは、第1前処理部は、前記各画素の色成分の階調値をさらに用いて、前記広域平滑部の前記対象領域の前記輝度情報値を生成する。
 好ましくは、前記狭域平滑部は、第2前処理部と、第2平滑化処理部を備え、第2前処理部は、前記狭域平滑部の前記対象領域を少なくとも含む領域内の各画素の輝度、及び当該各画素の前記輝度の代表値から選ばれた少なくとも1つを用いて、前記狭域平滑部において用いられる前記輝度情報値を生成し、第2平滑化処理部は、当該輝度情報値に対して平滑化処理を行って前記狭域平滑値を出力する。
 好ましくは、第2前処理部は、前記狭域平滑部の前記対象領域を少なくとも含む前記領域内の前記各画素の色成分の階調値をさらに用いて、前記狭域平滑部の前記対象領域の前記輝度情報値を生成する。
 好ましくは、前記平滑化処理は、平均化フィルタを用いた処理である。
 本発明の別の観点によれば、表示装置に画像を表示する方法であって、広域平滑ステップと、狭域平滑ステップと、ブレンドステップと、表示ステップとを備え、前記表示装置は、光源と、積層して配置される複数の表示パネルとを備え、前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、前記広域平滑ステップでは、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、前記狭域平滑ステップでは、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑ステップの前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、前記ブレンドステップでは、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、前記表示ステップでは、前記ブレンド値を用いて生成された画像を第2パネルに表示し、前記輝度情報値は、画素の輝度を用いて生成される、方法が提供される。
 本発明の別の観点によれば、コンピュータ、又は表示装置に設けられたプロセッサに、前記表示装置に画像を表示する方法を実行させるためのプログラムであって、前記方法は、広域平滑ステップと、狭域平滑ステップと、ブレンドステップと、表示ステップとを備え、前記表示装置は、光源と、積層して配置される複数の表示パネルとを備え、前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、前記広域平滑ステップでは、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、前記狭域平滑ステップでは、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑ステップの前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、前記ブレンドステップでは、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、前記表示ステップでは、前記ブレンド値を用いて生成された画像を第2パネルに表示し、前記輝度情報値は、画素の輝度を用いて生成される、プログラムが提供される。
本発明の実施形態に係る表示装置1の機能構成を示すブロック図である。 表示装置1の表示部2と観察者の視点e0との位置関係を表す概要図である。 表示装置1の画像処理部3の機能構成を示すブロック図である。 第1主処理部5の機能構成を示すブロック図である。 図5Aは、第2主処理部8の機能構成を示すブロック図である。図5Bは、第2主処理部8における処理を示すフロー図である。 入力画像の画素配列Iを示す概要図である。 輝度Vの2次元配列を示す概要図である。 図8Aは、広域平滑部82において用いられる輝度情報値V'の2次元配列を示す概要図である。図8Bは、広域平滑部82における対象領域Al_m,nの輝度情報値V'を示す概要図である。 図9Aは、狭域平滑部85において用いられる輝度情報値V'の2次元配列を示す概要図である。図9Bは、狭域平滑部85における対象領域As_m,nの輝度情報値V'を示す概要図である。 ブレンド部88の機能構成を示すブロック図である。 ブレンド率決定部88aにおいて用いられる近傍領域An_m,nの輝度Vを示す概要図である。 輝度レベルVと広域平滑値V'mean-lのブレンド率fとの関係の一例を示すグラフである。 図13Aは、第1前処理部83の機能構成を示すブロック図である。図13Bは、第2前処理部86の機能構成を示すブロック図である。 図14Aは、第1前処理部83の絶対輝度算出部83a及び相対輝度算出部83bにおいて用いられる輝度Vの2次元配列を示す概要図である。図14Bは、第2前処理部86の絶対輝度算出部86a及び相対輝度算出部86bにおいて用いられる輝度Vの2次元配列を示す概要図である 相対輝度算出部83bのLUT83b2における輝度平均値Vmean-lと対応値fv-lの関係の一例を示すグラフである。 調整係数算出部83cのLUT83c2における階調平均値RGBmean-lと調整係数fa-lの関係の一例を示すグラフである。
 以下、図面を参照して本発明の実施形態について説明する。以下に示す実施形態中で示した各特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
 なお、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものを指し得る。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行され得る。また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.全体構成
 図1に示すように、本実施形態に係る表示装置1は、表示部2、及び画像処理部3を備える。表示部2と画像処理部3は、信号ケーブルによって相互に通信可能に接続されている。図2に示すように、表示部2は、表示部2の背面側に配置される光源23、及び積層して配置される複数の表示パネルを備える。本実施形態に係る表示部2は、複数の表示パネルとして表示部2の前面側に配置される第1パネル21と、光源23及び第1パネル21の間に配置される第2パネル22との2枚の液晶パネルを備える。表示部2の前方に位置する観察者の視点e0から見た場合、第2パネル22は第1パネル21よりも遠い位置に配置される。なお、以下の説明において、複数の表示パネル(本実施形態においては第1パネル21及び第2パネル22)を合わせた全体を積層表示パネルと称する場合がある。
 画像処理部3は、入力画像に対して所定の画像処理を実行し、第1画像データDAT1及び第2画像データDAT2を表示部2に対して出力する。画像処理部3から信号ケーブルを介して送られる制御信号又はデータに従って、第1パネル21が第1画像データDAT1に基づき第1画像を表示し、第2パネル22が第2画像データDAT2に基づき第2画像を表示する。本実施形態では、第1パネル21はカラー液晶パネルであり、カラー画像の第1画像を表示し、第2パネル22はモノクロ液晶パネルであり、モノクロ画像の第2画像を表示する。
 第1パネル21及び第2パネル22が第1画像及び第2画像を各々表示して光源23からの光Lの透過率を制御することによって、積層表示パネル上に所望の画像が表示される。図2に示すように、第1パネル21の画素p1と第2パネル22の画素p2は、表示パネルの厚み方向において距離dだけ離間している。従って、観察者の視線が画素の正面に向かう方向である場合(図2における視線e1の場合)には高品位な画像として知覚されるが、観察者の視線が画素に対して斜め方向である場合(図2における視線e2,e3の場合)には、画素p1と画素p2の重なり具合のずれにより、輝点の消失や二重像が知覚される可能性がある。第2パネル22の使用に伴うこのような弊害を抑制するために、画像処理部3による第2画像データDAT2の生成に際し、平滑化処理が行われる。
2.画像処理部3
 次に、画像処理部3の各構成要素について詳細に説明する。図1及び図3に示すように、本実施形態の画像処理部3は、線形変換部31と、第1画像生成部4と、第2画像生成部7とを備える。線形変換部31は、入力画像データに所定の処理を行って第1画像生成部4及び第2画像生成部7に対して出力する。第1画像生成部4及び第2画像生成部7は、第1画像データDAT1及び第2画像データDAT2を各々生成する。
2.1.線形変換部31
 線形変換部31は、入力画像データとして、R,G,B成分の各々について10ビットで階調が表現される入力信号RGBγを受信する。ここで、入力信号RGBγは、入力画像の階調に対してガンマ特性に応じたガンマ補正が適用されたものである。線形変換部31は、入力信号RGBγの各成分について階調値の増加に対して輝度が線形に増加する線形特性を示すように変換した線形信号RGBを生成する。本実施形態においては、成分毎に設けられた3つのLUT(Lookup table)を用いて、線形信号RGBへの変換が行われる。
2.2.第2画像生成部7
 第2画像生成部7は、第2主処理部8及び第2非線形変換部9を備える。第2主処理部8は、線形変換部31から線形信号RGBを受け取り、平滑化処理を含む所定の処理を実行して第2処理信号Dを生成する。なお、第2主処理部8が行う処理の詳細は後述する。第2非線形変換部9は、第2主処理部8から第2処理信号Dを受け取り、第2パネル22の表示特性に基づき作成されたLUTを用いて第2処理信号Dを非線形な信号である第2画像信号Dγに変換する。第2画像信号Dγは第2画像データDAT2として表示部2へ出力され、第2画像信号Dγに基づく第2画像が第2パネル22に表示される。
2.3.第1画像生成部4
 第1画像生成部4は、第1主処理部5及び第1非線形変換部6を備える。図4に示すように、第1主処理部5は、係数算出部51及び演算部52を備える。係数算出部51は、第2画像生成部7の第2主処理部8から第2処理信号Dを受け取り、LUTを用いて第2処理信号Dに対応付けられた係数Fを出力する。演算部52は、線形変換部31から線形信号RGBを、係数算出部51から係数Fを受け取り、線形信号RGBに係数Fを乗じることにより第1処理信号RGB'を生成する。本実施形態においては、光源23から発せられた光は、第2表示パネルにより第2画像データDAT2に基づく透過率で透過され、さらに第1表示パネルにより第1画像データDAT1に基づく透過率で透過され、これにより積層表示パネルにおいて入力画像データに応じた所望の透過率が実現される。係数算出部51が用いるLUTには、このような第1表示パネル及び第2表示パネルの透過率の関係に基づき、入力データとしての第2処理信号Dに対応付けられた出力データとしての係数Fが格納されている。
 第1非線形変換部6は、第1主処理部5から第1処理信号RGB'を受け取り、第1パネル21の表示特性に基づき色成分毎に作成されたLUTを用いて第1処理信号RGB'を非線形な信号である第1画像信号RGB'γに変換する。第1画像信号RGB'γは第1画像データDAT1として表示部2へ出力され、第1画像信号RGB'γに基づく第1画像が第1パネル21に表示される。
 本実施形態の画像処理部3においては、第1主処理部5及び第2主処理部8による処理に先駆けて線形変換部31による線形信号への変換が行われる。また、第1主処理部5及び第2主処理部8が各々生成した第1処理信号RGB'及び第2処理信号Dは、第1非線形変換部6及び第2非線形変換部9により非線形な信号に変換されて表示部2へ出力される。このような構成では、積層表示パネルを通して見える階調と同等の線形な信号に対して第1主処理部5及び第2主処理部8による処理が行われる。従って、第1主処理部5においては、複数の表示パネルを組み合わせた場合に表示される色により正確に依拠した処理を行うことが可能となり、第2主処理部8においては、平滑化処理等においてより適切な結果を得ることが可能となる。
3.第2主処理部8
 次に、第2主処理部8が行う処理について詳細に説明する。図5Aに示すように、第2主処理部8は、輝度変換部81と、広域平滑部82と、狭域平滑部85と、ブレンド部88とを備える。図5Bは、第2主処理部8における処理を示すフロー図である。
3.1.輝度変換部81
 輝度変換部81は、線形信号RGBを受け取り、入力画像中の各画素の階調値に基づき輝度Vを出力する(図5BにおけるステップS1)。本実施形態の輝度変換部81は、各画素の各色成分の階調値のうち最大のものを輝度Vとして出力する。図6は本実施形態における入力画像の画素配列Iを示しており、画素配列IはM×N個の画素を有する。図6の左上の端部の画素を基準として、m行n列目の画素をim,nと表す。線形信号RGBにおいて入力画像中の画素im,nの諧調値の各成分を0以上1以下の範囲で正規化した値が(Rm,n,Gm,n,Bm,n)であるとき、式(1)で表されるようにRm,n,Gm,n,Bm,nのうちの最大値を画素im,nの輝度vm,nとして用いる。
   vm,n=max{Rm,n,Gm,n,Bm,n}     (1)
     (0≦Rm,n,Gm,n,Bm,n≦1)
輝度変換部81は、図7に示すような各画素im,nの輝度vm,nの2次元配列である輝度Vを出力する。なお、輝度Vの算出方法は、上記の例に限定されず、例えば、各画素の各色成分の階調値に対して重み付けを行い和をとったものを輝度Vとして出力してもよい。
3.2.広域平滑部82及び狭域平滑部85
 広域平滑部82及び狭域平滑部85は、輝度Vについての情報である輝度情報値V',V'に対して平滑化処理を行い、広域平滑値V'mean-l及び狭域平滑値V'mean-sを各々出力する。輝度情報値V',V'は、輝度Vを用いて生成される。ここで、広域平滑部82が入力画像中の対象画素及び当該対象画素の周辺画素を含む対象領域Aの輝度情報値V'に対して平滑化処理を行うのに対し、狭域平滑部85は対象画素及び当該対象画素の周辺画素を含み広域平滑部82の対象領域Aよりも小さい対象領域Aの輝度情報値V'に対して平滑化処理を行う。
 広域平滑部82は、図5Aに示すように、第1前処理部83、及び第1平滑化処理部84を備える。第1前処理部83は、輝度Vに対して所定の前処理を行い(図5BにおけるステップS2)、図8Aに示すような各画素im,nの輝度情報値v'l_m,nの2次元配列である輝度情報値V'を出力する。なお、第1前処理部83が行う処理の詳細は後述する。
 対象画素をm行n列目の画素im,nとした場合において対象画素im,nに対応する対象領域AをAl_m,nと表すと、対象領域Al_m,nは、対象画素im,nを凡そ中心とし対象画素im,n及びその周辺画素を含む計k×k個の画素からなる領域に設定される。kは、例えば、99~999であり、好ましくは、149~599であり、本実施形態においてはk=301に設定される。kは、具体的には例えば、99、199、299、399、499、599、699、799、899、999であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。第1平滑化処理部84は、図8Bにおいて太線で示された対象領域Al_m,nの輝度情報値V'に対して平滑化処理を行う(広域平滑ステップ、図5BのステップS3)。これにより、対象画素im,nについての広域平滑値v'mean-l_m,nが得られる。
 第1平滑化処理部84による平滑化処理は、干渉模様の抑制を目的として比較的大きな対象領域Al_m,nに対して行われる。対象領域Al_m,nのサイズk×kは、本実施形態の例に限定されるものではなく、表示パネルのサイズや積層表示パネルに対する観察者の視野角の想定範囲を考慮し、視線が積層表示パネルに対して斜め方向である場合でも干渉模様が知覚されない程度に十分大きくなるように決定される。なお、本実施形態における対象領域Al_m,nは行方向及び列方向が同数の画素(k個)で構成されるが、行方向及び列方向が異なる数の画素で構成されるように対象領域Al_m,nを設定してもよい。
 本実施形態の第1平滑化処理部84は、このように決定された対象領域Al_m,nの輝度情報値V'に対して、フィルタサイズがk×kの平均化フィルタを用いた平滑化処理を行う。従って、広域平滑値v'mean-l_m,nは、対象領域Al_m,n内の画素の輝度情報値V'の総和をk×kで除した値となる。
 狭域平滑部85は、図5Aに示すように、第2前処理部86、及び第2平滑化処理部87を備える。第2前処理部86は、輝度変換部81から出力された輝度Vに対して所定の前処理を行い(図5BにおけるステップS4)、図9Aに示すような各画素im,nの輝度情報値v's_m,nの2次元配列である輝度情報値V'を出力する。なお、第2前処理部86が行う処理の詳細は後述する。
 対象画素im,nに対応する対象領域AをAs_m,nと表すと、対象領域As_m,nは、対象画素im,nを凡そ中心とし対象画素im,n及びその周辺画素を含む計k×k個の画素からなる領域に設定される。kは、例えば、5~61であり、好ましくは、11~39であり、本実施形態においてはk=15に設定される。kは、具体的には例えば、5、13、21、29、37、45、53、61であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。第2平滑化処理部87は、図9Bにおいて太線で示された対象領域As_m,nの輝度情報値V'に対して平滑化処理を行う(狭域平滑ステップ、図5BのステップS5)。これにより、対象画素im,nについての狭域平滑値v'mean-s_m,nが得られる。
 第2平滑化処理部87による平滑化処理の対象領域As_m,nは、第1平滑化処理部84による平滑化処理の対象領域Al_m,nよりも小さくなるように設定される。本実施形態においては、k<kの関係を満たし、第2平滑化処理部87の対象領域As_m,nが第1平滑化処理部84の対象領域Al_m,nの一部となるように対象領域As_m,nが設定される。第2平滑化処理部87による平滑化処理は、観察者の視線が積層表示パネルに対して斜め方向である場合の第1パネル21及び第2パネル22の画素同士の重なり具合のずれに起因する輝点の消失を抑制することを目的として、比較的小さな対象領域As_m,nに対して行われる。対象領域As_m,nは、表示パネルの厚み方向における第1パネル21及び第2パネル22の画素間の距離や、積層表示パネルに対する観察者の視線の角度を考慮して、視線が積層表示パネルに対して斜め方向である場合でも輝点の消失が知覚されない程度に最小限のサイズk×kを有するように決定される。第2平滑化処理部87の対象領域As_m,nのサイズが、第1平滑化処理部84の対象領域Al_m,nのサイズに対して縦横1/a倍である場合、例えば、5≦a≦50であり、好ましくは、10≦a≦40であり、本実施形態におけるaは約20である。aは、具体的には例えば、5、10、15、20、25、30、35、40、45、50であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。なお、本実施形態における対象領域As_m,nは行方向及び列方向が同数の画素(k個)で構成されるが、行方向及び列方向が異なる数の画素で構成されるように対象領域As_m,nを設定してもよい。
 第2平滑化処理部87は、このように決定された対象領域As_m,nの輝度情報値V'に対して平滑化処理を行い、フィルタサイズがk×kの平均化フィルタを用いた平滑化処理を行う。従って、狭域平滑値v'mean-s_m,nは、対象領域As_m,n内の画素の輝度情報値V'の総和をk×kで除した値となる。
 本実施形態の第1平滑化処理部84及び第2平滑化処理部87においては、平均化フィルタを用いて平滑化処理を行う。平均化フィルタは、距離に応じて重みをかけるガウシアンフィルタのようなローパスフィルタ(LPF)と比較して、平滑化処理後の画像における階調の勾配が一定となる。これによって、第1パネル21と第2パネル22の相対位置がずれて見えることで生じる干渉模様を軽減することができる。言い換えれば、LPFとして減衰域が空間的にも周波数的にも広くなる平均化フィルタを用いることで、広い範囲において干渉を低減することが可能となる。
3.3.ブレンド部88
 ブレンド部88は、広域平滑部82から広域平滑値V'mean-lを、狭域平滑部85から狭域平滑値V'mean-sを受け取り、これらを所定のブレンド率でブレンドし、ブレンド値を第2処理信号Dとして出力する。ブレンド部88は、図10に示すように、ブレンド率決定部88a、及びブレンド処理部88bを備える。
 ブレンド率決定部88aは、輝度変換部81から輝度Vを受け取り、対象画素の輝度V、又は対象画素及び対象画素の近傍画素を含む近傍領域Aの輝度Vを用いて輝度レベルVを算出する。さらに、ブレンド率決定部88aは、輝度レベルVに基づきブレンド率f,fを決定する。ブレンド率f,fは、広域平滑値V'mean-l及び狭域平滑値V'mean-sをブレンドする際に、式(2)に示すように各平滑値の重み付けに用いられる。
   D=f×V'mean-l+f×V'mean-s     (2)
     (0≦f,f≦1、且つf=1-f
 対象画素im,nに対応する近傍領域AをAn_m,nと表すと、本実施形態の近傍領域An_m,nは、im,nを凡そ中心とし対象画素im,n及びその近傍画素を含む計k×k個の画素からなる領域に設定される。本実施形態においては、k=9に設定される。本実施形態のブレンド率決定部88aは、図11において太線で示された近傍領域An_m,nの輝度Vに対してガウス分布に基づくLPF88a1を用いた処理を行い、対象画素im,nについての輝度レベルvg_m,nを算出する。LPF88a1は近傍領域An_m,nの輝度Vに対して対象画素im,nからの距離に応じた重みづけを行うためのものであり、これにより近傍領域An_m,nにおける輝度Vの分布が反映された輝度レベルvg_m,nを得ることができる。なお、LPF88a1による重み付けは、ガウス分布に従う本実施形態の構成に限定されるものではなく、他の重み付け方法を用いてもよい。
 近傍領域An_m,nのサイズは、大きすぎると対象画素im,nの近傍の輝度Vの分布を輝度レベルvg_m,nに適切に反映できず、ブレンド部88による処理の性能が低下する。従って、近傍領域An_m,nのサイズは、広域平滑部82における対象領域Al_m,nのサイズ以下に設定することが好ましく、狭域平滑部85における対象領域As_m,nのサイズ以下に設定することがさらに好ましい。本実施形態においては、近傍領域An_m,nのサイズを狭域平滑部85における対象領域As_m,nのサイズよりも小さく(k=15に対して、k=9)に設定している。なお、本実施形態における近傍領域An_m,nは行方向及び列方向が同数の画素(k個)で構成されるが、行方向及び列方向が異なる数の画素で構成されるように近傍領域An_m,nを設定してもよい。
 なお、輝度レベルvg_m,nの算出方法は本実施形態の例に限定されるものではなく、対象画素im,nの輝度vm,nをそのまま輝度レベルvg_m,nとして用いてもよい。
 ブレンド率決定部88aは、入力データとしての輝度レベルVgに対応付けられた出力データとして広域平滑値V'mean-lのブレンド率fが格納されたLUT88a2を用いて、対象画素im,nの輝度レベルvg_m,nに対応するブレンド率fl_m,nを決定する。ブレンド率fが格納されるLUT88a2は、第1パネル21による低諧調領域の表現性能や、実際の表示パネルの大きさに応じた干渉模様の知覚されやすさ等に応じて作成される。ここで、広域平滑値V'mean-lのブレンド率fは、輝度レベルVに対して単調非減少であることが好ましい。換言すれば、狭域平滑値V'mean-sのブレンド率fは、輝度レベルVに対して単調非増加であることが好ましい。さらに、輝度レベルVが比較的高い領域においては広域平滑値V'mean-lのブレンド率fが狭域平滑値V'mean-sのブレンド率fよりも大きく、輝度レベルVが比較的低い領域においては狭域平滑値V'mean-sのブレンド率fが広域平滑値V'mean-lのブレンド率fよりも大きくなるように、ブレンド率f,fを決定することがより好ましい。これにより、表示画像における干渉模様の発生を抑制しつつ、低階調領域の表示品位の低下を抑制することが可能となる。
 図12は、LUT88a2における輝度レベルVと広域平滑値V'mean-lのブレンド率fとの関係の一例を示すグラフである。輝度レベルVが低い領域においてはブレンド率fが単調増加し、輝度レベルVが中程度から高い領域においてはブレンド率fが凡そ一定となる。なお、輝度レベルVとブレンド率fとの関係はこの例に限定されるものではなく、例えば、S字型曲線状に単調非減少となる関係や、階段関数状に単調非減少となる関係としてもよい。
 このように得られたブレンド率fl_m,nを用いて、ブレンド処理部88bは、式(2)により画素im,nについてのブレンド値dm,nを算出する(ブレンドステップ、図5BにおけるステップS6)。また、広域平滑部82、狭域平滑部85、及びブレンド部88は、対象画素im,nを変更しながら上記の処理を繰り返す(図5BのステップS7)。全画素のブレンド値dm,nの2次元配列が、第2処理信号Dとして出力される。
 広域平滑部82により比較的大きな対象領域Aに対して平滑化処理を行って得られた広域平滑値V'mean-lのみを用いて第2画像データDAT2を生成した場合、積層表示パネル上に表示された画像において干渉模様が知覚されにくくなる。一方、画像中の高階調領域から低階調領域に向けてぼんやりと明るい領域が現れる所謂白ハローが広範囲に広がりやすくなり、低階調領域の表示品位が低下する可能性がある。狭域平滑部85により最小限のサイズを有するAに対して平滑化処理を行って得られた狭域平滑値V'mean-sのみを用いて第2画像データDAT2を生成した場合、白ハローの発生を狭い範囲に抑制できるが、表示画像において干渉模様が知覚されやすくなる。
 本発明においては、広域平滑値V'mean-l及び狭域平滑値V'mean-sをブレンドすることにより、広域平滑値V'mean-lを用いる利点である干渉模様の抑制効果を享受しつつ、広域平滑値V'mean-lを用いた場合の弊害である白ハローによる低階調領域の表示品位の低下を抑制することができる。
 また、本発明においては、広域平滑部82及び狭域平滑部85による輝度情報値に対する平滑化処理を並列的に独立して行っている。一方の平滑部による平滑化処理の結果にさらに他方の平滑部の平滑化処理を行う直列的な処理を行う場合、平滑化処理が過剰となりコントラストが低下したり、他方の平滑部による平滑化処理の効果が損なわれたりする可能性がある。対象領域の大きさの異なる平滑化処理を独立して行い、その結果をブレンドすることで、上記のような事態を回避することが可能となる。
 また、干渉模様は、中間階調以上の領域において知覚されやすく、低階調領域において知覚されにくい。上記のように広域平滑値V'mean-lのブレンド率fを輝度レベルVに対して単調非減少となるよう設定することにより、輝度レベルVが比較的高い領域においてはブレンドにおける広域平滑値V'mean-lの比率を高めて干渉模様の抑制効果を高めるとともに、輝度レベルVが比較的低い領域においてはブレンドにおける狭域平滑値V'mean-sの比率を高めて低階調領域の表示品位の低下の抑制効果を高めることができる。
3.4.第1前処理部83及び第2前処理部86
<第1前処理部83の全体構成>
 図13Aに示すように、広域平滑部82の第1前処理部83は、絶対輝度算出部83a、相対輝度算出部83b、調整係数算出部83c、及び調整値算出部83dを備える。絶対輝度算出部83aは、輝度変換部81から輝度Vを受け取り、対象画素を含む注目領域Bにおける輝度最大値Vmax-lを出力する。
 相対輝度算出部83bは、輝度変換部81から輝度Vのデータを受け取り、対象画素を含む注目領域Bにおける輝度Vに対して平均化フィルタ83b1を適用し、輝度平均値Vmean-lを算出する。さらに、相対輝度算出部83bは、LUT83b2を用いて輝度平均値Vmean-lに対応する対応値fv-lを決定する。
 調整係数算出部83cは、画素の各色成分の階調値を用いて、調整係数f-lを決定する。本実施形態の調整係数算出部83cは、対象画素を含む注目領域Bにおける線形信号RGBに対して平均化フィルタ83c1を適用し、階調平均値RGBmean-lを算出する。そして、LUT83c2を用いて階調平均値RGBmean-lに対応する調整係数fa-lが決定される。
 調整値算出部83dは、絶対輝度算出部83aから輝度最大値Vmax-lを、相対輝度算出部83bから対応値fv-lを受け取り、式(3)及び式(4)に基づき輝度下限値Vlimit-lを設定する。
   Vmax-l<fv-l⇒Vlimit-l=fv-l     (3)
   Vmax-l≧fv-l⇒Vlimit-lmax-l     (4)
さらに、調整値算出部83dは、調整係数算出部83cから調整係数fa-lを受け取り、式(5)に基づき広域平滑部82において用いられる輝度情報値V'を算出する。
   V'=1-fa-l×(1-Vlimit-l)     (5)
 なお、第1前処理部83は、上記の構成に限定されるものではなく、絶対輝度算出部83a、相対輝度算出部83b、及び調整係数算出部83cのうちいずれか1つのみ、又はいずれか2つのみを備える構成としてもよい。
<第2前処理部86の全体構成>
 図13Bに示すように、狭域平滑部85の第2前処理部86は、絶対輝度算出部86a、相対輝度算出部86b、調整係数算出部86c、及び調整値算出部86dを備える。これらの構成要素による処理は、対象画素を含む注目領域Bの大きさを除いて、第1前処理部83の構成要素による処理と同様である。絶対輝度算出部86aは、注目領域Bにおける輝度最大値Vmax-s出力する。相対輝度算出部86bは、注目領域Bにおける輝度Vに対して平均化フィルタ86b1を適用して輝度平均値Vmean-sを算出し、LUT86b2を用いて輝度平均値Vmean-sに対応する対応値fv-sを決定する。調整係数算出部86cは、注目領域Bにおける線形信号RGBに対して平均化フィルタ86c1を適用して階調平均値RGBmean-sを算出し、LUT86c2を用いて階調平均値RGBmean-sに対応する調整係数fa-sを決定する。
 調整値算出部86dは、式(6)及び式(7)に基づき輝度下限値Vlimit-sを設定する。
   Vmax-s<fv-s⇒Vlimit-s=fv-s     (6)
   Vmax-s≧fv-s⇒Vlimit-s=Vmax-s     (7)
さらに、調整値算出部83dは、式(8)に基づき狭域平滑部85において用いられる輝度情報値V'を算出する。
   V'=1-fa-s×(1-Vlimit-s)     (8)
 なお、第2前処理部86は、上記の構成に限定されるものではなく、絶対輝度算出部86a、相対輝度算出部86b、及び調整係数算出部86cのうちいずれか1つのみ、又はいずれか2つのみを備える構成としてもよい。
<絶対輝度算出部83a,86a>
 絶対輝度算出部83a,86aにおける対象画素毎の処理、及び当該処理の効果について、より詳細に説明する。第1前処理部83において対象画素im,nに対応する注目領域をBl_m,nと表すと、注目領域Bl_m,nは、対象画素im,nを凡そ中心とし対象画素im,n及びその周辺画素を含む計j×j個の画素からなる領域に設定される。本実施形態においては、j=305に設定される。第1前処理部83の絶対輝度算出部83aは、図14Aにおいて太線で示された注目領域Bl_m,nの輝度Vの最大値を、対象画素im,nについての輝度最大値vmax-l_m,nとして算出する。
 第2前処理部86において対象画素im,nに対応する注目領域をBs_m,nと表すと、注目領域Bs_m,nは、対象画素im,nを凡そ中心とし対象画素im,n及びその周辺画素を含む計j×j個の画素からなる領域に設定される。本実施形態においては、j=19に設定される。第2前処理部86の絶対輝度算出部86aは、図14Bにおいて太線で示された注目領域Bs_m,nの輝度Vの最大値を、対象画素im,nについての輝度最大値vmax-s_m,nとして算出する。
 輝度変換部81から出力された輝度Vをそのまま用いて平滑化処理を行うと、広域平滑値v'mean-l_m,n及び狭域平滑値v'mean-s_m,nが平滑化処理前の輝度vm,nよりも小さくなる場合がある。このような場合、表示画像においてピーク輝度の鈍化や、画像中の低階調領域から高階調領域に向けてぼんやりと暗い領域が現れる所謂黒ハローが知覚され、高階調領域の表示品位が低下する可能性がある。本実施形態において、絶対輝度算出部83a,86aが算出する輝度最大値vmax-l_m,n,vmax-s_m,nは、このような平滑化処理に伴う輝度の減少を回避するための輝度の下限値として機能する。輝度最大値vmax-l_m,n,vmax-s_m,nに基づき設定された対象画素im,nについての輝度下限値vlimit-l_m,n,vlimit-s_m,nを用いて輝度情報値v'l_m,n,v's_m,nを算出することにより、広域平滑値v'mean-l_m及び狭域平滑値v'mean-s_m,nが平滑化処理前の輝度vm,n以上の値となり、ピーク輝度の鈍化及び黒ハローを抑制することが可能となる。
 なお、絶対輝度算出部83a,86aは、上記の構成に限定されるものではない。例えば、輝度最大値vmax-l_m,nと,vmax-s_m,nにさらに別の演算処理を行った値を出力する構成や、注目領域Bl_m,n,Bs_m,nにおける輝度Vの他の代表値を出力する構成としてもよい。
<相対輝度算出部83b,86b>
 相対輝度算出部83b,86bにおける対象画素毎の処理、及び当該処理の効果について、より詳細に説明する。第1前処理部83の相対輝度算出部83bは、図14Aの注目領域Bl_m,nの輝度Vに対してフィルタサイズがj×jの平均化フィルタ83b1を適用して、対象画素im,nに対応する輝度平均値vmean-l_m,nを算出する。従って、輝度平均値vmean-l_m,nは、注目領域Bl_m,n内の画素の輝度Vの総和をj×jで除した値となる。相対輝度算出部83bが用いるLUT83b2には、入力データとしての輝度平均値Vmean-lに対応付けられた出力データとして対応値fv-lが格納されている。このようなLUT83b2を用いて、輝度平均値vmean-l_m,nから対象画素im,nについての対応値fv-l_m,nを決定する。
 第2前処理部86の相対輝度算出部86bは、図14Bの注目領域Bs_m,nの輝度Vに対してフィルタサイズがj×jの平均化フィルタ86b1を適用して、対象画素im,nに対応する輝度平均値vmean-s_m,nを算出する。従って、輝度平均値vmean-s_m,nは、注目領域Bs_m,n内の画素の輝度Vの総和をj×jで除した値となる。相対輝度算出部86bが用いるLUT86b2には、入力データとしての輝度平均値Vmean-sに対応付けられた出力データとして対応値fs-lが格納されている。このようなLUT86b2を用いて、輝度平均値vmean-s_m,nから対象画素im,nについての対応値fs-l_m,nを決定する。
 第2パネル22を使用することにより、換言すれば、第2パネル22の階調値を小さくすることにより、特に低諧調領域の表示品位を向上させることができる。一方、対象画素の周辺が相対的に高輝度の領域である場合には、当該領域から拡散する光の存在により、相対的に低輝度である対象画素の表現力の変化が知覚されにくいため、第2パネル22を使用する意義が低くなる。本実施形態において、相対輝度算出部83b,86b決定する対応値fv-l_m,n,fs-l_m,nは、注目領域Bl_m,n,Bs_m,n内の対象画素について、第2パネル22を使用することによる表現力の向上効果が知覚可能なレベルで期待できる輝度の下限値として機能する。対応値fv-l_m,n,fs-l_m,nに基づき設定された対象画素im,nについての輝度下限値vlimit-l_m,n,vlimit-s_m,nを用いて輝度情報値v'l_m,n,v's_m,nを算出することにより、低輝度の画素における表現力の向上効果を享受しつつ、第2パネル22の使用を最小限にとどめることが可能となる。
 ここで、相対輝度算出部83b,86bが用いるLUT83b2,86b2において、対応値fv-l,fv-sは、輝度平均値Vmean-l,Vmean-sの各々に対して単調非減少であることが好ましい。このような構成により、輝度平均値Vmean-l,Vmean-sが比較的低い領域において第2パネル22を使用して表示品位を向上させるとともに、輝度平均値Vmean-l,Vmean-sが比較的高い領域において第2パネル22の使用を最小限にとどめることができる。
 図15は、相対輝度算出部83bのLUT83b2における輝度平均値Vmean-lと対応値fv-lの関係の一例を示すグラフである。輝度平均値Vmean-lの増加に伴い対応値fv-lが直線的に増加し、輝度平均値Vmean-lが比較的高い側では対応値fv-l=1で一定となる。なお、輝度平均値Vmean-lと対応値fv-lの関係はこの例に限定されるものではなく、例えば、曲線状に単調非減少となる関係としてもよい。また、相対輝度算出部86bのLUT86b2における輝度平均値Vmean-sと対応値f-sの関係は、相対輝度算出部83bのLUT83b2における輝度平均値Vmean-lと対応値fv-lの関係と同一であってもよく、異なってもよい。
 なお、相対輝度算出部83b,86bは、上記の構成に限定されるものではない。例えば、輝度平均値vmean-l_m,n,vmean-s_m,nにさらに別の演算処理を行った値、又は注目領域Bl_m,n,Bs_m,nにおける輝度の他の代表値(例えば、中央値、最頻値、ガウシアンフィルタを用いて重みづけを行った値)を用いて、対応値fv-l_m,n,fs-l_m,nを決定する構成としてもよい。
<調整係数算出部83c,86c>
 調整係数算出部83c,86cにおける対象画素毎の処理、及び当該処理の効果について、より詳細に説明する。第1前処理部83の調整係数算出部83cは、注目領域Bl_m,nの線形信号RGBに対してフィルタサイズがj×jの平均化フィルタ83c1を適用して、対象画素im,nに対応する階調平均値RGBmean-l_m,nを算出する。本実施形態においては、注目領域Bl_m,nの画素ごとに色成分の階調値の平均値を算出し、当該平均値に対して平均化フィルタ83c1を適用することにより、階調平均値RGBmean-l_m,nを算出する。調整係数算出部83cが用いるLUT83c2には、入力データとしての階調平均値RGBmean-lに対応付けられた出力データとして調整係数fa-lが格納されている。このようなLUT83c2を用いて、階調平均値RGBmean-l_m,nから対象画素im,nについての調整係数fa-l_m,nを決定する。
 第2前処理部86の調整係数算出部86cは、注目領域Bs_m,nの線形信号RGBに対してフィルタサイズがj×jの平均化フィルタ86c1を適用して、対象画素im,nに対応する階調平均値RGBmean-s_m,nを算出する。本実施形態においては、注目領域Bs_m,nの画素ごとに色成分の階調値の平均値を算出し、当該平均値に対して平均化フィルタ86c1を適用することにより、階調平均値RGBmean-s_m,nを算出する。調整係数算出部86cが用いるLUT86c2には、入力データとしての階調平均値RGBmean-sに対応付けられた出力データとして調整係数fa-sが格納されている。このようなLUT86c2を用いて、階調平均値RGBmean-s_m,nから対象画素im,nについての調整係数fa-s_m,nを決定する。
 第2パネル22を使用することによる表現力の向上効果は、画素の各色成分の階調値によっても変化する。本実施形態において、調整係数算出部83c,86cが決定する調整係数fa-l_m,n,fa-s_m,nは、注目領域Bl_m,n,Bs_m,n内の対象画素im,nについて、色成分の階調値に基づく第2パネル22の必要度合いを反映した係数として機能する。従って、調整係数fa-l_m,n,fa-s_m,nを用いて輝度情報値v'l_m,n,v's_m,nを算出することにより、低諧調領域における表示品位の向上効果を享受しつつ、第2パネル22の使用を最小限にとどめることが可能となる。
 ここで、調整係数算出部83c,86cが用いるLUT83c2,86c2において、調整係数fa-l,fa-sは、階調平均値RGBmean-l,RGBmean-sの各々に対して単調非増加であることが好ましい。このような構成により、階調平均値RGBmean-l,RGBmean-sが比較的低い領域において第2パネル22を使用して表示品位を向上させるとともに、階調平均値RGBmean-l,RGBmean-sが比較的高い領域において第2パネル22の使用を最小限にとどめることができる。
 図16は、調整係数算出部83cのLUT83c2における階調平均値RGBmean-lと調整係数fa-lの関係の一例を示すグラフである。横軸は、階調平均値RGBmean-lを0以上1以下の範囲で正規化した値を示している。階調平均値RGBmean-lの増加に伴い調整係数fa-lが直線的に減少し、階調平均値RGBmean-lが比較的高い側では調整係数fa-l=0で一定となる。なお、階調平均値RGBmean-lと調整係数fa-lの関係はこの例に限定されるものではなく、例えば、曲線状に単調非増加となる関係としてもよい。また、調整係数算出部86cのLUT86c2における階調平均値RGBmean-sと調整係数fa-sの関係は、調整係数算出部83cのLUT83c2における階調平均値RGBmean-lと調整係数fa-lの関係と同一であってもよく、異なってもよい。
 なお、調整係数算出部83c,86cは、上記の構成に限定されるものではない。例えば、観察者による各色成分の感度の差異や表示パネルの光学特性を考慮して各色成分に対応する線形信号RGBの信号値に重み付けを行い、重み付けした信号値に対して平均化フィルタ83c1,86c1を適用してもよい。また、注目領域Bl_m,n,Bs_m,nにおける階調値の他の代表値(例えば、中央値、最頻値、ガウシアンフィルタを用いて重みづけを行った値)を用いて調整係数fa-l_m,n,fa-s_m,nを決定する構成としてもよい。
<注目領域>
 第1前処理部83の絶対輝度算出部83a、相対輝度算出部83b、及び調整係数算出部83cにおける対象画素im,nに対応する注目領域Bl_m,nは、第1平滑化処理部84における対象領域Al_m,nと同一か、対象領域Al_m,nよりも拡大した領域となるように設定することが好ましい。同様に、第2前処理部86の絶対輝度算出部83a、相対輝度算出部83b、及び調整係数算出部83cにおける対象画素im,nに対応する注目領域Bs_m,nは、第2平滑化処理部87における対象領域As_m,nと同一か、対象領域As_m,nよりも拡大した領域となるように設定することが好ましい。
 注目領域Bl_m,n,Bs_m,nを各平滑化処理部84,87における対象領域Al_m,n,As_m,nと同一とすることにより、対象画素im,nを正面から見た際に絶対輝度算出部83a,86a、相対輝度算出部83b,86b、及び調整係数算出部83c,86cに係る上記の効果を享受することができる。また、注目領域Bl_m,n,Bs_m,nを各平滑化処理部84,87における対象領域Al_m,n,As_m,nよりも拡大させることにより、対象画素im,nを斜め方向から見た際にも絶対輝度算出部83a,86a、相対輝度算出部83b,86b、及び調整係数算出部83c,86cに係る上記の効果を享受することができる。なお、各平滑化処理部84,87における対象領域Al_m,n,As_m,nに対する注目領域Bl_m,n,Bs_m,nの拡大量が大きすぎると、白ハロー等の弊害が起きやすくなる。従って、実際の表示パネルの条件に応じた当該弊害の起きやすさを考慮して、注目領域Bl_m,n,Bs_m,nを各平滑化処理部84,87における対象領域Al_m,n,As_m,nに対してわずかに拡大させることが好ましい。注目領域Bl_m,n,Bs_m,nを各平滑化処理部84,87における対象領域Al_m,n,As_m,nの各々に対して、行方向及び列方向にh画素ずつ拡大させる場合、例えば、1≦h≦15であり、好ましくは、1≦h≦10であり、本実施形態においては、h=4である。hは、具体的には例えば、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
 なお、本実施形態では、第1前処理部83の絶対輝度算出部83a、相対輝度算出部83b、及び調整係数算出部83cにおいては、対象画素im,nに対応する注目領域Bl_m,nを同一とし、第2前処理部86の絶対輝度算出部86a、相対輝度算出部86b、及び調整係数算出部86cにおいては、対象画素im,nに対応する注目領域Bs_m,nを同一とした。注目領域Bl_m,n,Bs_m,nの設定態様はこれに限定されるものではなく、例えば、第1前処理部83の絶対輝度算出部83a、相対輝度算出部83b、及び調整係数算出部83cにおける注目領域、及び第2前処理部86の絶対輝度算出部86a、相対輝度算出部86b、及び調整係数算出部86cにおける注目領域を各々相互に異なるように設定してもよい。
4.他の実施形態
 本発明は、コンピュータ、又は表示装置に設けられたプロセッサに、表示装置に画像を表示する方法を実行させるためのプログラムであって、前記方法は、広域平滑ステップと、狭域平滑ステップと、ブレンドステップと、表示ステップとを備え、前記表示装置は、光源と、積層して配置される複数の表示パネルとを備え、前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、前記広域平滑ステップでは、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、前記狭域平滑ステップでは、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑ステップの前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、前記ブレンドステップでは、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、前記表示ステップでは、前記ブレンド値を用いて生成された画像を第2パネルに表示し、前記輝度情報値は、画素の輝度を用いて生成される、プログラムとして提供することもできる。当該プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。
 上記実施形態においては、線形変換部31が、R,G,B成分の各々について10ビットで階調が表現される入力信号RGBγを入力画像データとして受信する構成であったが、入力画像データの形式はこれに限定されるものではない。一例として、入力画像データとして、R,G,B成分の各々について8ビットで階調が表現される入力信号を用いてもよい。
 上記実施形態においては、対象画素im,nに対応する対象領域Al_m,n,As_m,n、近傍領域An_m,n、及び注目領域Bl_m,n,Bs_m,nとして四角形状の領域を設定したが、各領域の形状はこれに限定されるものではない。好ましくは、対象画素im,nを凡そ中心とし、行方向及び列方向の各々において線対称な形状を有するように各領域を設定する。例えば、対象画素im,nを凡そ中心とする略楕円形状又は略長円形状となるように各領域を設定してもよい。
 以上、本発明に係る種々の実施形態を説明したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1:表示装置、2:表示部、3:画像処理部、4:第1画像生成部、5:第1主処理部、6:第1非線形変換部、7:第2画像生成部、8:第2主処理部、9:第2非線形変換部、21:第1パネル、22:第2パネル、23:光源、31:線形変換部、51:係数算出部、52:演算部、81:輝度変換部、82:広域平滑部、83:第1前処理部、83a:絶対輝度算出部、83b:相対輝度算出部、83b1:平均化フィルタ、83c:調整係数算出部、83c1:平均化フィルタ、83d:調整値算出部、84:第1平滑化処理部、85:狭域平滑部、86:第2前処理部、86a:絶対輝度算出部、86b:相対輝度算出部、86b1:平均化フィルタ、86c:調整係数算出部、86c1:平均化フィルタ、86d:調整値算出部、87:第2平滑化処理部、88:ブレンド部、88a:ブレンド率決定部、88a1:LPF、88b:ブレンド処理部、p1:画素、p2:画素

Claims (10)

  1.  画像を表示する表示装置であって、
     光源と、積層して配置される複数の表示パネルと、広域平滑部と、狭域平滑部と、ブレンド部とを備え、
     前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、
     前記広域平滑部は、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、
     前記狭域平滑部は、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑部の前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、
     前記ブレンド部は、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、
     第2パネルは、前記ブレンド値を用いて生成された画像を表示し、
     前記輝度情報値は、画素の輝度を用いて生成される、表示装置。
  2.  請求項1に記載の表示装置であって、
     前記ブレンド部は、ブレンド率決定部と、ブレンド処理部とを備え、
     前記ブレンド率決定部は、前記対象画素の輝度、又は前記対象画素及び前記対象画素の近傍画素を含む近傍領域の輝度を用いて輝度レベルを算出し、前記輝度レベルに基づき前記ブレンド率を決定し、
     前記ブレンド処理部は、前記ブレンド率を用いて前記ブレンド値を出力する、表示装置。
  3.  請求項2に記載の表示装置であって、
     前記ブレンド率決定部は、前記広域平滑値の前記ブレンド率が前記輝度レベルに対して単調非減少となるように、前記ブレンド率を決定する、表示装置。
  4.  請求項1から請求項3のいずれか1つに記載の表示装置であって、
     前記広域平滑部は、第1前処理部と、第1平滑化処理部を備え、
     第1前処理部は、前記広域平滑部の前記対象領域を少なくとも含む領域内の各画素の輝度、及び前記各画素の前記輝度の代表値から選ばれた少なくとも1つを用いて、前記広域平滑部において用いられる前記輝度情報値を生成し、
     第1平滑化処理部は、当該輝度情報値に対して平滑化処理を行って前記広域平滑値を出力する、表示装置。
  5.  請求項4に記載の表示装置であって、
     第1前処理部は、前記各画素の色成分の階調値をさらに用いて、前記広域平滑部の前記対象領域の前記輝度情報値を生成する、表示装置。
  6.  請求項1から請求項5のいずれか1つに記載の表示装置であって、
     前記狭域平滑部は、第2前処理部と、第2平滑化処理部を備え、
     第2前処理部は、前記狭域平滑部の前記対象領域を少なくとも含む領域内の各画素の輝度、及び当該各画素の前記輝度の代表値から選ばれた少なくとも1つを用いて、前記狭域平滑部において用いられる前記輝度情報値を生成し、
     第2平滑化処理部は、当該輝度情報値に対して平滑化処理を行って前記狭域平滑値を出力する、表示装置。
  7.  請求項6に記載の表示装置であって、
     第2前処理部は、前記狭域平滑部の前記対象領域を少なくとも含む前記領域内の前記各画素の色成分の階調値をさらに用いて、前記狭域平滑部の前記対象領域の前記輝度情報値を生成する、表示装置。
  8.  請求項1から請求項7のいずれか1つに記載の表示装置であって、
     前記平滑化処理は、平均化フィルタを用いた処理である、表示装置。
  9.  表示装置に画像を表示する方法であって、
     広域平滑ステップと、狭域平滑ステップと、ブレンドステップと、表示ステップとを備え、
     前記表示装置は、光源と、積層して配置される複数の表示パネルとを備え、
     前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、
     前記広域平滑ステップでは、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、
     前記狭域平滑ステップでは、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑ステップの前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、
     前記ブレンドステップでは、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、
     前記表示ステップでは、前記ブレンド値を用いて生成された画像を第2パネルに表示し、
     前記輝度情報値は、画素の輝度を用いて生成される、方法。
  10.  コンピュータ、又は表示装置に設けられたプロセッサに、前記表示装置に画像を表示する方法を実行させるためのプログラムであって、
     前記方法は、広域平滑ステップと、狭域平滑ステップと、ブレンドステップと、表示ステップとを備え、
     前記表示装置は、光源と、積層して配置される複数の表示パネルとを備え、
     前記複数の表示パネルは、第1パネルと、前記光源及び第1パネルの間に配置される第2パネルとを備え、
     前記広域平滑ステップでは、入力画像中の対象画素及び前記対象画素の周辺画素を含む対象領域の輝度情報値に対して平滑化処理を行って広域平滑値を出力し、
     前記狭域平滑ステップでは、前記対象画素及び前記対象画素の周辺画素を含み前記広域平滑ステップの前記対象領域よりも小さい対象領域の輝度情報値に対して平滑化処理を行って狭域平滑値を出力し、
     前記ブレンドステップでは、前記広域平滑値及び前記狭域平滑値を所定のブレンド率でブレンドしたブレンド値を出力し、
     前記表示ステップでは、前記ブレンド値を用いて生成された画像を第2パネルに表示し、
     前記輝度情報値は、画素の輝度を用いて生成される、プログラム。
PCT/JP2022/003816 2022-02-01 2022-02-01 画像表示装置、画像表示方法、及び画像表示プログラム WO2023148814A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/003816 WO2023148814A1 (ja) 2022-02-01 2022-02-01 画像表示装置、画像表示方法、及び画像表示プログラム
TW112102051A TWI834481B (zh) 2022-02-01 2023-01-17 影像顯示裝置、影像顯示方法及儲存影像顯示程式的電腦可讀取記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/003816 WO2023148814A1 (ja) 2022-02-01 2022-02-01 画像表示装置、画像表示方法、及び画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2023148814A1 true WO2023148814A1 (ja) 2023-08-10

Family

ID=87553324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003816 WO2023148814A1 (ja) 2022-02-01 2022-02-01 画像表示装置、画像表示方法、及び画像表示プログラム

Country Status (1)

Country Link
WO (1) WO2023148814A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133683A (ja) * 2009-12-24 2011-07-07 Samsung Electronics Co Ltd 画像処理装置、画像処理方法、プログラム、および表示装置
US20110279749A1 (en) * 2010-05-14 2011-11-17 Dolby Laboratories Licensing Corporation High Dynamic Range Displays Using Filterless LCD(s) For Increasing Contrast And Resolution
JP2014011501A (ja) * 2012-06-27 2014-01-20 Canon Inc 画像処理装置、画像処理方法
JP2018041056A (ja) * 2016-08-31 2018-03-15 パナソニック液晶ディスプレイ株式会社 液晶表示装置
JP2019090886A (ja) * 2017-11-13 2019-06-13 キヤノン株式会社 表示装置、表示制御方法、およびプログラム
JP2020086380A (ja) * 2018-11-30 2020-06-04 パナソニック液晶ディスプレイ株式会社 表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133683A (ja) * 2009-12-24 2011-07-07 Samsung Electronics Co Ltd 画像処理装置、画像処理方法、プログラム、および表示装置
US20110279749A1 (en) * 2010-05-14 2011-11-17 Dolby Laboratories Licensing Corporation High Dynamic Range Displays Using Filterless LCD(s) For Increasing Contrast And Resolution
JP2014011501A (ja) * 2012-06-27 2014-01-20 Canon Inc 画像処理装置、画像処理方法
JP2018041056A (ja) * 2016-08-31 2018-03-15 パナソニック液晶ディスプレイ株式会社 液晶表示装置
JP2019090886A (ja) * 2017-11-13 2019-06-13 キヤノン株式会社 表示装置、表示制御方法、およびプログラム
JP2020086380A (ja) * 2018-11-30 2020-06-04 パナソニック液晶ディスプレイ株式会社 表示装置

Also Published As

Publication number Publication date
TW202333135A (zh) 2023-08-16

Similar Documents

Publication Publication Date Title
US8633952B2 (en) Gamut mapping and subpixel rendering systems and methods
US7619641B2 (en) Color display
EP1898354B1 (en) Edge-based image enhancement
KR20160076432A (ko) 화상 표시 방법 및 화상 표시 장치
US8004537B2 (en) Apparatus, method, and program product for color correction
EP1904996A2 (en) Method and apparatus for converting colour signals for driving an rgbw display and a display using the same
US20090273614A1 (en) Gamut mapping and subpixel rendering systems and methods
WO2023148814A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP5550483B2 (ja) 画像処理装置
TWI834481B (zh) 影像顯示裝置、影像顯示方法及儲存影像顯示程式的電腦可讀取記錄媒體
US11776491B2 (en) Display control device, image display device, display control method, and recording medium to control a light emission amount of a region based on a light source control value for the region
JP2016118689A (ja) 画像表示方法及び画像表示装置
JP2019008326A (ja) 画像表示方法及び画像表示装置
JP6873965B2 (ja) 液晶表示装置及び映像信号処理方法
JP6992176B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
TWI338512B (en) Display systems
JP6758128B2 (ja) 画像表示装置および画像表示方法
JP4189810B2 (ja) 映像補正装置
JP2018128946A (ja) 画像処理装置、画像処理システム及びプログラム
JP2020034876A (ja) 表示装置およびテレビジョン受像機
JP2005354228A (ja) 画像処理方法、画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924727

Country of ref document: EP

Kind code of ref document: A1