WO2018167898A1 - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
WO2018167898A1
WO2018167898A1 PCT/JP2017/010539 JP2017010539W WO2018167898A1 WO 2018167898 A1 WO2018167898 A1 WO 2018167898A1 JP 2017010539 W JP2017010539 W JP 2017010539W WO 2018167898 A1 WO2018167898 A1 WO 2018167898A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
correction
retinex
display device
unit
Prior art date
Application number
PCT/JP2017/010539
Other languages
English (en)
French (fr)
Inventor
田中　和彦
中嶋　満雄
伸宏 福田
樋口　晴彦
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to US16/493,234 priority Critical patent/US10659747B1/en
Priority to PCT/JP2017/010539 priority patent/WO2018167898A1/ja
Priority to JP2019505607A priority patent/JP6738480B2/ja
Priority to CN201780088365.6A priority patent/CN110402455B/zh
Publication of WO2018167898A1 publication Critical patent/WO2018167898A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours

Definitions

  • the present invention relates to video processing technology.
  • Patent Document 1 As background art in this technical field.
  • MSR Multi Scale Retinex
  • any one of a plurality of blurred images having different blur conditions generated from a plurality of peripheral functions having different scales according to the pixel value level of an original image to be processed is selected. Is selected for each pixel to create a composite blurred image. It is described that a low-pass filter is applied to the synthesized blurred image to prevent the occurrence of unnatural boundary discontinuity and to perform Retinex processing.
  • the parameters indicating the characteristics of the subject photographed in the video signal have various parameters such as brightness, color, frequency component, etc., but the values differ depending on the video scene. In order to perform video display with good visibility, it is necessary to perform video correction by changing characteristics such as video contrast correction in accordance with video characteristics.
  • Patent Document 1 in which the performance of dynamic range compression is improved by adjusting a plurality of scales in the MSR, the contribution of the image to the plurality of scales is considered, but the characteristics of the subject Is not considered. Therefore, the correction is uniform regardless of the characteristics of the subject in the video. Also, the contribution of the image to the difference in reflection properties is not taken into consideration.
  • the present invention has been made in view of the background art and problems described above, and an object of the present invention is to provide a video display device that more suitably improves the fineness of the video and the visibility of the shadow portion.
  • the present invention includes a video input unit, a video correction unit that corrects a video input to the video input unit, and a video display unit that displays the video corrected by the video correction unit.
  • the video correction unit performs local luminance correction on the video input by the video input unit, obtains a correction intensity for each local luminance correction, and locally performs correction based on the correction intensity. It is assumed that the saturation correction is performed.
  • an image display device that can obtain an image with improved visibility.
  • an image display device that performs image correction by decomposing an image for each light reflection property will be described with reference to a projector configuration.
  • a front projector will be described, but the form may be a rear projection television.
  • a display device using a direct-view flat display such as a liquid crystal display, a plasma display, or an organic EL display may be used without enlarging the panel. This is the same in any of the following embodiments.
  • FIG. 1 is an example of a configuration diagram of a video display apparatus according to the present embodiment.
  • This video display device receives a video input signal 10 as an input, for example, an input signal processing unit 11 that converts a compressed video signal into an internal video signal 12 by IP decoder, IP conversion, a scaler, and the like, and a video that receives the internal video signal 12 as input.
  • the optical system apparatus 200 receives a light source 203 for irradiating a light beam for projecting an image on a screen and a display control signal 15 and adjusts the gradation of the light beam from the light source 203 for each pixel to create a projected image. It comprises a panel 202 and a lens 201 for enlarging and projecting a projected image on a screen.
  • the lens 201 of the optical system device 200 is not necessary. The user looks directly at the panel 202.
  • the first Retinex processing unit 20 and the second Retinex processing unit 22 perform video processing based on the Retinex theory on the internal video signal 12 to obtain the first corrected video signal 21 and the second corrected video signal. 23 is output.
  • Retinex theory is a theory showing visual characteristics of the human eye such as color constancy and brightness constancy. According to this theory, it is possible to separate the illumination light component from the image and extract the reflected light component.
  • image correction processing based on the Retinex theory removes the influence of illumination light components that cause it to be difficult to see subjects such as people in a dark room or under bright backlight, and extracts reflected light components. By doing so, an image with high visibility can be obtained. For this reason, the natural dynamic range that humans see and feel can be suitably compressed even with digital gradation.
  • C / S Center / Surround
  • MSR Multiscale Retinex
  • SSR is a model that extracts the luminance component of reflected light for one scale from the video (for example, see Reference 2 below), and extends SSR to extract the luminance component of reflected light for a plurality of scales from the video.
  • a model (for example, see Reference 3 below) is an MSR.
  • Reference Document 2 D.D. J. et al. Jobson and G. A. Woodell, Properties of a Center / Surround Retinex: Part Surround Design, NASA Technical Memory, 110188, 1995.
  • the first Retinex processing unit 20 uses the McCann99 model having excellent illumination light estimation performance
  • the second Retinex processing unit 22 uses an MSR model having excellent contrast correction performance.
  • the feature analysis unit 24 analyzes the characteristics of the internal video signal 12 and outputs a first video synthesis control signal 29 and a second video synthesis control signal 25 to the video synthesis unit 26.
  • the video synthesis unit 26 synthesizes the corrected video signal 21 and the corrected video signal 23 based on the first video synthesis control signal 29 and the second video synthesis control signal 25 and outputs the corrected video signal 13.
  • FIG. 3 shows an example of the configuration of the video composition unit 26.
  • the corrected video signal 21 is multiplied by ⁇ by the gain control unit 27, and the corrected video signal 23 is multiplied by (1 ⁇ ) by the gain control unit 28, added by the adding unit 30, and then ⁇ by the gain control unit 31.
  • the corrected video signal 13 is obtained by being multiplied.
  • FIGS. 1 to 3 Next, an example of the operation of the configuration shown in FIGS. 1 to 3 will be described with reference to FIGS. 4A to 4C and FIGS. 5A to 5F.
  • the horizontal axis represents the luminance level and the vertical axis represents the gain, and each shows an example of the gain characteristic with respect to the luminance level of the first Retinex processing unit 20 and the second Retinex processing unit 22, respectively.
  • the McRenn 99 model is used for the first Retinex processing unit 20 and the MSR model is used for the second Retinex processing unit 22 is shown.
  • the first Retinex processing unit 20 based on the McCann99 model has a gain peak g1 between the luminance levels LV1 and LV2.
  • the second Retinex processing unit 22 using the MSR model has a gain peak g2 between LV2 and LV3.
  • FIG. 4C shows the first output from the feature analysis unit 24 shown in FIG. 2 when the characteristics of the first Retinex processing unit 20 and the second Retinex processing unit 22 are the same as those in FIGS. 4A and 4B described above. It is a figure which shows an example of the synthetic
  • the configuration control value is set such that the composite control value ⁇ is decreased at a luminance level where the gain of the first Retinex processing unit 20 is higher than the gain of the second Retinex processing unit 22, and conversely, When the gain of one Retinex processing unit 20 is lower than the gain of the second Retinex processing unit 22, the synthesis control value ⁇ is controlled to be larger.
  • the input / output characteristics of the composite output video of the first Retinex processor 20 and the second Retinex processor 22 output from the adder 30 are set to linear characteristics.
  • FIG. 5A and 5B show an example of the control of the second video composition control signal 25 output from the feature analysis unit 24.
  • the horizontal axis represents the luminance level of the video
  • the vertical axis represents the number of pixels in one screen
  • the distribution of each luminance level is graphed as a histogram.
  • the histogram h1 indicates that the distribution in the range from the luminance levels LV1 to LV3 is greater than the distribution of the luminance levels below LV1 and above LV3.
  • a histogram h0 indicated by a one-dot chain line is obtained.
  • the horizontal axis represents the luminance level of the input video
  • the vertical axis represents the luminance level of the output video.
  • the luminance distribution of FIG. 5A described above is the histogram h1
  • An example of the video composition control signal 25 is shown. This is an input / output level characteristic controlled by the gain control value ⁇ .
  • the luminance distribution in FIG. 5A is a histogram h0
  • the characteristic is indicated by a dotted line in FIG. 5B
  • the luminance distribution in FIG. 5A is a histogram h1
  • the characteristic is indicated by a solid line in FIG. 5B.
  • ⁇ is 1 in LV2, but is smaller than 1 in LV1 and larger than 1 in LV3.
  • the slope of the input / output characteristic curve in the range from LV1 to LV3 where the luminance distribution is large becomes steep with respect to the slope of the other regions due to the gain control value ⁇ . It is controlled as follows. By obtaining the corrected video signal 13 with such characteristics, more output luminance levels are assigned to an area having a large distribution in the video, so that a video with good visibility can be obtained.
  • 5C to 5F are diagrams for explaining an example of control when the luminance distribution is different from that in FIG. 5A.
  • FIG. 5C shows an example of a histogram in the case where the luminance distribution of the luminance level below LV2 is higher than the luminance level above LV2.
  • An example of the gain control value ⁇ in this case is shown in FIG. 5D.
  • the characteristic curve As shown in FIG. 5D, by controlling the slope of the characteristic curve of LV2 or less having a large luminance distribution to be steeper compared to the luminance level of LV2 or more, the characteristic curve is more increased for the luminance band having a large image distribution. Assign an output brightness level. Thereby, an image with good visibility can be obtained.
  • FIG. 5E shows an example of a histogram when the luminance distribution of the luminance level of LV2 or higher is higher than the luminance level of LV2 or lower.
  • An example of the gain control value ⁇ in this case is shown in FIG. 5F.
  • FIG. 5F by controlling so that the slope of the characteristic curve with LV2 or higher with a large luminance distribution becomes steeper compared with the luminance level with LV2 or lower, the characteristic curve is more increased with respect to the luminance band with a large video distribution. Therefore, it is possible to obtain a video with good visibility.
  • the above-described series of control of the video composition unit 26 obtains the advantages of both Retinex processing using the McCann99 model with excellent illumination light estimation performance and Retinex processing using the MSR model with excellent contrast correction performance, and has good visibility. A corrected image is obtained.
  • the combination of Retinex models is not limited to the above example, but may be a combination of Retinex demoles of different methods. Further, the present invention is not limited to a combination of two models, and may be a combination of three or more models. In that case, the plurality of Retinex processing units shown in FIG. 2 may be configured to be arranged in parallel so that the corrected video of each Retinex processing unit is synthesized by the synthesis processing unit 26 to obtain the corrected video signal 13.
  • Embodiment 2 is an example in which the operation of the image correction unit 100 in the image display apparatus of FIG. Differences from the first embodiment will be described below. Portions that are not particularly described are the same as those in the first embodiment, and thus description thereof is omitted.
  • the image correction unit 100 will be described with reference to FIG.
  • the first Retinex processing unit 20 and the second Retinex processing unit 22 perform video processing based on Retinex theory of different methods on the internal video signal 12, respectively, so that the corrected video signal 21 and the corrected video signal 23 are processed. Is output.
  • the second Retinex processing unit 22 performs Retinex processing with a larger scale than the first Retinex processing unit 20.
  • the scale of Retinex processing is the size of the pixel range referred to in Retinex processing.
  • the feature analysis unit 24 analyzes the characteristics of the internal video signal 12 and outputs the first video synthesis control signal 29 and the second video synthesis control signal 25 to the video synthesis unit 26.
  • the video synthesis unit 26 synthesizes the corrected video signal 21 and the corrected video signal 23 based on the video synthesis control signal 29 and the video synthesis control signal 25 and outputs the corrected video signal 13.
  • the second video composition control signal 25 and the gain control value ⁇ of the second embodiment are the same as those of the first embodiment, the description thereof is omitted.
  • the gain control value ⁇ by the first video composition control signal 29 in the second embodiment is different from that in the first embodiment. This will be described below.
  • FIG. 6 shows an example of output characteristics of the first video composition control signal in the feature analysis unit 24 in the second embodiment.
  • the horizontal axis represents the luminance level of the video
  • the vertical axis represents the value of the first video composition control signal 29.
  • ⁇ is decreased when the luminance level is low
  • ⁇ is increased when the luminance level is high.
  • the composition ratio can be varied according to the luminance level.
  • the corrected video signal 13 obtained by the video synthesizing unit 26 when the luminance level is small, the ratio of the second Retinex processing unit 22 can be increased. Further, when the luminance level is high, the ratio of the first Retinex processing unit 20 can be increased.
  • the first retinex processing unit 20 having a small Retinex processing scale includes a large amount of reflected light components having a relatively high frequency component, it is possible to reduce the fineness of the video by increasing the composition ratio in a video region with high luminance. A feeling can be heightened.
  • the second retinex processing unit 22 having a large Retinex processing scale includes a large amount of reflected light components having a relatively low frequency component, it is possible to reduce the shadow of the video by increasing the composition ratio in the video region having a low luminance. The visibility of a part can be improved.
  • the characteristics shown in FIG. 6 are merely examples, and the maximum value, the minimum value, the gradient of the characteristics, and the like at each luminance level may be determined according to the characteristics of the Retinex process.
  • the video composition control signal 29 is generated according to the luminance level of the video, but may be controlled according to the frequency component.
  • the control is performed according to the frequency component, for example, when the frequency component for each region of the video signal is high, the ratio of the video signal obtained from the Retinex processing unit having a small scale size in the corrected video signal 13 is increased. However, when the frequency component for each region of the video signal is low, the ratio of the video signal obtained from the Retinex processing unit having a large scale size in the corrected video signal 13 is increased.
  • composition control using both the luminance level and the frequency component of the image may be performed. In this case, for example, the above-described control value corresponding to the luminance level and the control value corresponding to the frequency component are added or integrated. Then, the control may be performed with the normalized value.
  • both the fineness of the image and the visibility of the shadow portion can be achieved. Is possible.
  • FIG. 7 is a configuration example of the first Retinex processing unit 20 and detects two reflected light components 101 and 102 by performing video processing based on Retinex theory using the internal video signal 12 as an input signal.
  • a reflected light detection unit 150 and a reflected light control unit 180 that receives the two reflected light components detected, adjusts the reflected light, and then recombines them to output the corrected video signal 13.
  • the reflection of light is, for example, light that is specularly reflected like a mirror on a smooth surface (hereinafter referred to as specular), or light that is diffusely reflected by fine irregularities on a rough surface (hereinafter referred to as diffuse).
  • specular specular
  • diffuse specular
  • ambient light ambient light that is scattered light by repeatedly reflecting the surrounding environment.
  • the material can be expressed by how light is reflected.
  • FIG. 10 is a diagram for explaining an example of the Phong reflection model.
  • the figure is composed of a light source, a light beam extending from the light source, a sphere on which the light beam reaches, a floor on which the sphere is placed, and an observer who observes this situation. Observation is performed at the position of the viewpoint, and observation equipment such as a camera or the like may be used, whether it is actually observed with the eyes.
  • specular is light 501 in which light rays are reflected on the surface of the sphere in the line-of-sight direction. This is because the light source is reflected on the surface of the sphere, and the circular highlight 504 in the figure is the specular range.
  • specular in the case of a plastic sphere, a small circular highlight with high brightness is produced.
  • the radius of highlights of rubber-like spheres is wider than that of plastics, but the brightness is low.
  • the specular follows the power of the line of sight and the cosine of the reflected light.
  • the diffuse is light that diffuses and reflects light 502 having a light beam hitting the sphere surface. Since the brightness of the diffuse is determined by the direction of the light beam and the surface of the sphere, that is, the cosine of the light beam and the normal line, the portion of the sphere surface that is directly exposed to light is the range of the diffuse.
  • the ambient light is light 503 that has entered the shadowed portion. This is because the reflected light is reflected several times in the surroundings and the scattered light remains averaged throughout the environment, so that there is a certain brightness even in the shadow portion where the direct light does not reach. Light is diffusely reflected as a shadow, and the brightness is determined by the direction of the ray and the surface of the sphere, the cosine of the ray vector, that is, the normal.
  • the reflected light in the reflected light detection unit is composed of ambient, diffuse, and specular
  • the ambient in the image follows a wide scale Gaussian
  • the diffuse follows the luminance distribution by the cosine
  • the specular follows a luminance distribution by the cosine power.
  • the ambient filter is Fa (x, y)
  • the diffuse filter is Fd (x, y)
  • the specular filter is Fs (x, y)
  • each filter is represented by the following equation.
  • FIG. 11A, FIG. 11B, and FIG. 11C are diagrams for explaining the distribution of ambient, diffuse, and specular with the vertical axis representing luminance level and the horizontal axis representing one-dimensional position coordinates.
  • the levels of the diffuse and specular distributions are sharply lowered compared to the ambient Gaussian distribution.
  • the video Ia by the ambient filter is almost only the ambient component in order to average the whole.
  • the specular components are averaged by the filter, and are almost only the ambient component and the diffuse component. Since the image Is by the specular filter is hardly averaged, all of the ambient component, the diffuse component, and the specular component remain. This is shown in Equation 5.
  • Equation 6 When the reflection component in the logarithmic space is obtained in the same manner as MSR, Equation 6 is obtained.
  • Speculars such as mirrors and metals are considered to be total reflection, so the cosine power is infinite.
  • Formula 7 may be used as the specular reflection component.
  • Equation 8 is obtained.
  • a gain of a high luminance region as shown in FIG. 12A is added to the specular Rspecular of Equation 6, and a gain of a middle and low luminance region as shown in FIG. 12B is added to the diffuser Rdiffuse. May be added.
  • the input / output curve in FIG. 12A is g (I)
  • the gain is 0 when the input luminance I is low, the gain gradually increases from medium luminance, and the gain is 1 when the luminance increases.
  • the input / output curve of FIG. 12B is 1-g (I), the gain is 1 when the luminance is low, the gain gradually decreases from the middle luminance, and the gain becomes 0 at the high luminance.
  • Equation 6 becomes a homomorphic filter when a gain and an exponential function are added after weighted averaging.
  • the logarithmic function and the exponential function may be approximated by, for example, a function using a power and its inverse function.
  • the function f is expressed by Equation 9.
  • FIG. 8 is a diagram for explaining processing of the reflected light detection unit according to the third embodiment.
  • the reflected light detection unit 150 includes a specular filter unit 151, a diffuse filter unit 153, an ambient filter unit 155, function conversion units 157, 159, 161, a specular detection unit 163, and a diffuse detection unit 164.
  • the function conversion unit may be a logarithmic function or may be approximated by a power function.
  • FIG. 9A is a diagram illustrating processing of the reflected light control unit according to the first embodiment.
  • the reflected light control unit 180 may be configured by a weighted average based on the weights W1 and W2, or may be configured by a weighted average based on the weights W1 and W2, a gain G, and an inverse function conversion unit 182.
  • the inverse function conversion unit is an inverse function of the function used in the function conversion unit.
  • a specular correction gain 183 having a high gain in the high luminance region of FIG. 12A
  • a diffuse correction gain 184 having a high gain in the middle / low luminance region of FIG. 12B are added to the configuration of FIG. 9A. Also good.
  • the first corrected video signal 21 having a high quality in consideration of the material of the object in the video can be obtained from the first Retinex processing unit 20.
  • the second Retinex processing unit 22 performs video correction using the MSR model.
  • processing is performed in which the scale size is larger than that of the first Retinex processing unit 20 described above.
  • the first corrected video signal 21 becomes a video signal in consideration of the properties of the object
  • the second corrected video signal 23 is a video that has been subjected to contrast correction in a relatively large area of the video. Signal.
  • These corrected video signals are synthesized in the same manner as the operation of the video synthesis unit 26 described in the second embodiment.
  • the ratio of the second corrected video signal can be increased in the region where the video brightness level is low, so that the contrast improvement effect can be increased, and in the region where the video brightness level is high, the video correction signal considering the nature of the object can be increased. Since the ratio can be increased, an image with good visibility can be obtained as the corrected image signal 13 over the entire band of the luminance level of the image.
  • two types of Retinex processing with different characteristics are performed on the input video, and two Retinex processing result videos are synthesized according to the characteristics of the input video to generate an output video.
  • the color image is decomposed into a luminance component and two color difference components.
  • the color thinned by the Retinex process is emphasized by saturation enhancement, so that the effect of Retinex is more suitably achieved without reducing the color rendering.
  • FIG. 13 is an example of the configuration of the video correction unit in the present embodiment.
  • the input internal video signal 12 is a color video composed of three RGB components, and is converted into a luminance signal 512 and two types of color difference signals 520 by the RGB ⁇ YCbCr conversion unit 40.
  • the color difference signal 520 has two types of components, Cb and Cr, but the present invention is not limited to this.
  • the luminance signal 512 is input to the luminance correction unit 500.
  • the brightness correction unit 500 has the same function as the video correction unit 100 of FIG. 2 in the first embodiment, and thus detailed description thereof is omitted.
  • the luminance signal 513 and the two types of color difference signals 520 output as the correction result of the luminance correction unit 500 are converted into an RGB image 521 by the YCbCr ⁇ RGB conversion unit 41.
  • the RGB ⁇ YCbCr conversion unit 40 and the YCbCr ⁇ RGB conversion unit 41 can be realized by a 3 ⁇ 3 matrix operation.
  • An example of calculation formulas of the RGB ⁇ YCbCr conversion unit 40 and the YCbCr ⁇ RGB conversion unit 41 is shown in Formulas 10 and 11.
  • the calculation coefficient may vary depending on the video format, but the present invention does not depend on the value of this coefficient.
  • the RGB image 521 is an image in which only the luminance component is corrected by the luminance correction unit 500 without changing the color difference component with respect to the input internal video signal 12.
  • the correction processing by the luminance correction unit 500 is processing in a direction in which luminance is emphasized, only the luminance value is emphasized without changing the color difference component, so that the color of the video becomes light and the color rendering property is deteriorated. There is a possibility.
  • the color rendering properties are improved by using a saturation emphasizing circuit described below.
  • the saturation enhancement is uniformly performed on the RGB image 521, the saturation is enhanced regardless of the correction level of the luminance correction unit 500, and thus the obtained image becomes unnatural.
  • the brightness correction magnification calculation unit 44 calculates the correction strength of the brightness correction unit 500.
  • Various methods can be considered as the correction strength calculation method.
  • the luminance signal 513 is converted into the luminance signal 512 using luminance signals before and after the luminance correction unit 500 as shown in Expression 12. The value divided by is used as the luminance correction magnification 525.
  • the luminance correction magnification 525 is defined as 1.
  • the luminance correction magnification may be calculated in the luminance correction unit 500 and directly acquired by the luminance correction magnification calculation unit 44.
  • the saturation correction magnification 526 is calculated by the saturation magnification calculator 45 without using the luminance correction magnification 525 as it is.
  • two types of adjustment parameters a saturation correction ratio 527 and a saturation correction magnification upper limit 528, are prepared in the setting register 47. ing.
  • FIG. 14 is a graph showing the relationship between the luminance correction magnification 525 that is input to the saturation magnification calculator 45 and the saturation correction magnification 526 that is output.
  • the characteristic indicated by the solid line in the graph is the input / output characteristic of the saturation magnification calculator 45, and the broken line is an auxiliary line for making it easier to see. This input / output characteristic is generated using Equation 13.
  • the intermediate value A is calculated by subtracting 1 from the luminance correction magnification 525.
  • the intermediate value A is compared with 0, and the larger value is set as the intermediate value B.
  • the intermediate value B is multiplied by the saturation correction ratio 527 to calculate the intermediate value C, and the obtained intermediate value C is compared with the saturation correction magnification upper limit value 528 to set the smaller value as the intermediate value D.
  • the saturation correction magnification 526 is calculated by adding 1 to the intermediate value D.
  • the saturation correction ratio 527 is a value corresponding to the slope of the oblique portion of the graph, and is a parameter indicating the ratio of how much the luminance correction magnification 525 is reflected in the saturation correction.
  • a value obtained by adding 1 to the saturation correction magnification upper limit value 528 is the upper limit value of the saturation correction magnification 526 so that the saturation is not excessively emphasized in an area where the luminance correction magnification 525 is a large value. It becomes possible to restrict to.
  • the saturation correction magnification 526 is always a value of 1 or more, and the process of reducing the saturation is not performed. Note that the present invention is not limited to this, and it is also possible to perform a process of reducing the saturation.
  • This formula is a general formula as an RGB ⁇ HSV conversion formula.
  • the outline will be described below.
  • the maximum one is MAX0 and the minimum one is MIN0.
  • the case is classified according to the magnitude relationship of R0, G0, and B0, and the value of the hue H0 is obtained according to Equation 14.
  • H0 takes a value in the range of 0 to 360.
  • R0, G0, and B0 are all equal, MAX0-MIN0 is 0, so H0 cannot be defined. This corresponds to the case where the pixel is achromatic. For this reason, in this case, saturation correction is not performed later as an exception process.
  • Saturation S0 and lightness V0 are also calculated by Equation 14. Saturation S0 cannot be divided when MAX0 is 0, but MAX0 is 0 only because R0, G0, and B0 are all 0. Therefore, the exception is when R0, G0, and B0 are all equal. Apply processing.
  • Saturation correction processing is performed on the saturation S0 (shown as 523 in FIG. 13), hue H0 and lightness V0 (both shown as 522 in FIG. 13) thus calculated.
  • the hue H0 and the lightness V0 are not corrected, but are directly input to the HSV ⁇ RGB conversion unit 43 as the hue 1 and the lightness V1.
  • the multiplication circuit 46 multiplies the saturation correction magnification 526, and the resultant saturation S1 (shown by 524 in FIG. 13) is input to the HSV ⁇ RGB conversion unit 43.
  • the present embodiment includes a video input unit, a video correction unit that performs video correction on the video input by the video input unit, and a video display unit that displays the video corrected by the video correction unit.
  • the video correction unit performs local luminance correction on the video input by the video input unit, acquires a correction intensity for each local luminance correction, and performs local correction based on the correction intensity.
  • the saturation correction is performed.
  • the local luminance correction in the video correction unit is correction using Retinex correction, and the luminance correction gain is obtained as the correction strength by comparing the video before and after correction, and the local color correction is performed according to the gain. It is configured to change the intensity of degree correction.
  • FIG. 15 shows an example of the configuration of the video display apparatus according to the present embodiment.
  • the difference from FIG. 1 is that a user setting unit 400 is provided.
  • the user setting unit 400 inputs an operation signal 401 from a user via an operation of an operation button on the remote controller or the apparatus main body, and outputs an operation command signal to the video correction unit 100 in accordance with the operation signal, so that the video display device It is configured so that the presence / absence of correction and the amount of correction in video processing can be set. Thereby, the setting which switches the image
  • FIG. 16 shows an example of setting items that can be set by the user setting unit 400 in this embodiment.
  • FIG. 16 shows a setting menu screen 1800 displayed by the video display device, and shows an example of the setting menu screen.
  • the setting menu screen 1800 is generated by a menu screen signal generation unit (not shown) of the video display device, and is output instead of the corrected video signal 13.
  • the setting menu screen 1800 is output by being superimposed on the corrected video signal 13.
  • the synthesis control value ⁇ may be set to 1, and the operation of the second Retinex processing unit 22 may be turned off.
  • the selection item “Retinex2 only” is selected, conversely, only the processing of the second Retinex processing unit 22 is applied to the processing of the video correction unit, and the first Retinex processing unit 20 The processing is not applied to the processing of the video correction unit.
  • the synthesis control value ⁇ may be set to 0, and the operation of the first Retinex processing unit 20 may be turned off.
  • the selection item “Combining Retinex1 and 2” is selected, the processing of the first Retinex processing unit 20 and the processing of the second Retinex processing unit 22 are combined as described in the above embodiment. And output.
  • the selection item “Combining Retinex1 and 2” and the selection item “Retinex OFF” are two. You may just present one. Also, three items may be presented: a selection item “Combining Retinex1 and 2”, a selection item “Retinex1 only”, and a selection item “Retinex OFF”. That is, at least two items of the exemplified options may be presented.
  • the intensity of each Retinex process can be set. Specifically, the slide bars 1821 and 1822 are moved via the operation of the operation buttons on the remote controller or the apparatus main body, and the strength of each Retinex process is set.
  • the process in that case can be realized, for example, by adding an offset corresponding to the strength to the gain of each Retinex process shown in FIGS. 4A and 4B. For example, when the strength is strong, a plus-direction offset is added to the gain of FIGS. 4A and 4B, and when the strength is weak, a minus-direction offset is added.
  • the processing for adding the offset the processing for adding the offset is inserted into the first Retinex processing unit 20 and the second Retinex processing unit 22 or to the corrected video signal 21 and the corrected video signal 23. This can be achieved.
  • the item “Retinex intensity setting” 1820 may be configured to switch between an active state and an inactive state according to the selection state of the item “Retinex method selection” 1810.
  • the slide bar for the processing that is OFF in the item “Retinex method selection” 1810 may be in an inactive state.
  • the saturation magnification calculation unit 45 uses the values of the saturation correction ratio 527 and the saturation correction magnification upper limit value 528, which are two types of parameters stored in the setting register 47, as the luminance correction magnification. It is determined how the value of 525 is reflected in the saturation correction magnification 526.
  • the saturation correction ratio 527 correspond to the slide bar 1831 and the saturation correction magnification upper limit value 528 to the slide bar 1832, the user can adjust these values according to his / her preference. Become. In this embodiment, when the saturation correction function is turned off, it is assumed that the slide bar 1831 is leftmost and the value of the saturation correction ratio 527 is set to 0. A menu item for selecting ON / OFF may be added.
  • this embodiment sets a menu that allows the user to set local saturation correction. Accordingly, the video correction processing in each embodiment of the present invention can be adjusted by the user according to the user's preference, the purpose of use or the usage environment of the video display device, and a more convenient video display device can be provided.
  • these parameters can be changed according to the type of video input, the viewing environment acquired by the optical sensor, and the like.
  • the type of video is classified in the form of movies, sports, news programs, presentation materials, etc., it is determined which video is input manually or automatically, video classification and register setting values prepared in advance
  • the register value can be automatically changed according to the type of input video.
  • video classification methods such as use of metadata such as EPG information attached to the video and video type determination by machine learning can be considered.
  • the brightness of the video viewing location and the color temperature of the illumination can be acquired by using the camera and the optical sensor, so the register setting value is automatically changed according to the viewing environment by using the same table. It becomes possible.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

映像表示装置において、より好適に演色性を維持しつつ、視認性を向上した映像を得ることを目的とする。　上記目的を達成するために、映像入力部と、映像入力部で入力された映像に映像補正を行う映像補正部と、映像補正部で補正された映像を表示する映像表示部を備え、映像補正部は、映像入力部で入力された映像に対して、局所的な輝度補正を行い、局所的な輝度補正の局所毎の補正強度を取得して、該補正強度にもとづいて局所的な彩度補正を行う構成とする。

Description

映像表示装置
　本発明は、映像処理技術に関する。
　本技術分野の背景技術として、特許文献１がある。この公報には、Ｍｕｌｔｉ　Ｓｃａｌｅ　Ｒｅｔｉｎｅｘ（ＭＳＲ）処理において、処理対象となる原画像の画素値レベルに応じて、スケールの異なる複数の周辺関数から生成されるぼやけ具合の異なる複数のぼやけ画像からいずれかを画素毎に選択することで、合成ぼやけ画像を作成する。合成ぼやけ画像に対してローパスフィルタを施すことによって、不自然な境界の不連続の発生を防止し、Ｒｅｔｉｎｅｘ処理を行なう、と記載されている。
特開２００５－００４５０６号公報
　映像信号中に撮影されている被写体の特性を示すパラメータとして、例えば輝度、色、周波数成分など、様々なパラメータを有しているが、映像のシーンが異なるとそれらの値も異なる。視認性の良好な映像表示を行うためには、映像の特徴に応じて映像のコントラスト補正などの特性を変更して映像補正を行う必要がある。
　しかし、特許文献１のような、ＭＳＲに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、被写体の特徴は考慮されていない。それ故、映像中の被写体の特徴に係わらず、一様な補正となる。また、反射の性質の違いに対する映像の寄与は考慮されていない。
　本発明は、上記背景技術及び課題に鑑み、映像の精細感や陰影部分の視認性をより好適に向上した映像表示装置を提供することを目的とする。
　本発明は、その一例を挙げるならば、映像入力部と、映像入力部で入力された映像に映像補正を行う映像補正部と、映像補正部で補正された映像を表示する映像表示部を備え、映像補正部は、映像入力部で入力された映像に対して、局所的な輝度補正を行い、局所的な輝度補正の局所毎の補正強度を取得して、該補正強度にもとづいて局所的な彩度補正を行う構成とする。
　本発明によれば、より好適に視認性を向上した映像を得ることができる映像表示装置を提供できる。
本発明の実施例１に係る映像表示装置の構成例の図である。 映像補正部の構成例の図である。 映像合成部の構成例の図である。 第１のレティネックス処理部の特性の一例である。 第２のレティネックス処理部の特性の一例である。 映像合成制御信号の特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 本発明の実施例２に係る特徴分析部の動作特性の図である。 本発明の実施例３に係るレティネックス処理部の構成の一例である。 反射光検出部の構成の一例である。 反射光制御部の構成の一例である。 反射光制御部の構成の一例である。 Ｐｈｏｎｇ反射モデルによる反射光の性質を説明する図である。 ガウシアン分布を説明する図である。 余弦による輝度分布を説明する図である。 余弦のべき乗による輝度分布を説明する図である。 映像の輝度値によるスペキュラ補正ゲインを説明する図である。 映像の輝度値によるディフューズ補正ゲインを説明する図である。 本発明の実施例４に係る映像補正部の構成の一例である。 彩度倍率算出部の構成の一例である。 本発明の実施例５に係る映像表示装置の構成例の図である。 設定メニュー画面の一例である。
　以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
　本実施例では、光の反射の性質毎に映像を分解して映像補正を行う映像表示装置をプロジェクタの構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行なわず、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。この点については、以降のいずれの実施例でも同様である。
　図１は、本実施例の映像表示装置の構成図の例である。
　本映像表示装置は、映像入力信号１０を入力とし、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、内部映像信号１２を入力とする映像補正部１００と、補正映像信号１３を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部１４と、映像を表示する光学系装置２００で構成される。
　光学系装置２００は、スクリーンへ映像を投影するための光線を照射する光源２０３と、表示制御信号１５を入力とし、光源２０３からの光線の階調を画素毎に調整し、投射映像を作成するパネル２０２と、投射映像をスクリーンに拡大投影するためのレンズ２０１で構成される。
　なお、映像表示装置が、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの直視平面ディスプレイである場合は、光学系装置２００のレンズ２０１は不要である。ユーザーはパネル２０２を直視することとなる。
　映像補正部１００の構成の一例を図２に示す。第１のレティネックス処理部２０および第２のレティネックス処理部２２は、内部映像信号１２に対してレティネックス理論に基づく映像処理を行い、第１の補正映像信号２１および第２の補正映像信号２３を出力する。
　ここで、レティネックス（Ｒｅｔｉｎｅｘ）理論とは、色恒常性や明るさ恒常性といった人間の目の視覚特性を示した理論である。この理論によれば、映像から照明光成分を分離し、反射光成分を抽出することができる。
　それ故、Ｒｅｔｉｎｅｘ理論に基づいた映像補正処理では、暗い室内や明るい逆光下の映像も、該映像中の人物等の被写体を見づらくする原因である照明光成分の影響を取り除き、反射光成分を抽出することで、視認性の高い映像が得られる。このため、人間が見て感じる、自然なダイナミックレンジをデジタル階調でも好適に圧縮できる。
　Ｒｅｔｉｎｅｘ理論には、照明光成分または反射光成分の推定手法により、多くのモデルが存在する。例えば、下記参考文献１では、ＭｃＣａｎｎ９９、ＰＳＥＵＤＯ、Ｐｏｉｓｓｏｎ、ＱＰのモデルについて比較されている。
　また、局所的な照明光成分がガウシアン分布に従うと推定し、反射光成分を抽出するＲｅｔｉｎｅｘをＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ（以下、Ｃ／Ｓと記載する）　Ｒｅｔｉｎｅｘと呼ぶ。このＲｅｔｉｎｅｘに代表されるモデルには、Ｓｉｎｇｌｅ　Ｓｃａｌｅ　Ｒｅｔｉｎｅｘモデル（以下、ＳＳＲ）やＭｕｌｔｉｓｃａｌｅ　Ｒｅｔｉｎｅｘモデル（以下、ＭＳＲと呼ぶ）等がある。
　ＳＳＲは、一つのスケールに対する反射光の輝度成分を映像中から抽出するモデル（例えば、下記参考文献２参照）で、ＳＳＲを拡張し、複数のスケールに対する反射光の輝度成分を映像中から抽出するモデル（例えば、下記参考文献３参照）がＭＳＲである。
〔参考文献１〕野里 良裕,他 「適応的階調補正のハードウェア実現における Ｒｅｔｉｎｅｘ理論の比較評価」, 信学技報, SIS2005-16, (2005).
　〔参考文献２〕Ｄ．Ｊ．Ｊｏｂｓｏｎ　ａｎｄ　Ｇ．Ａ．Ｗｏｏｄｅｌｌ，　Ｐｒｏｐｅｒｔｉｅｓ　ｏｆ　ａ　Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ　Ｒｅｔｉｎｅｘ：　Ｐａｒｔ　２．Ｓｕｒｒｏｕｎｄ　Ｄｅｓｉｇｎ，ＮＡＳＡ　Ｔｅｃｈｎｉｃａｌ　Ｍｅｍｏｒａｎｄｕｍ，１１０１８８，１９９５．
　〔参考文献３〕Ｚｉａ－ｕｒ　Ｒａｈｍａｎ，　Ｄａｎｉｅｌ　Ｊ．　Ｊｏｂｓｏｎ，　ａｎｄ　Ｇｌｅｎｎ　Ａ．　Ｗｏｏｄｅｌｌ，　”Ｍｕｌｔｉｓｃａｌｅ　Ｒｅｔｉｎｅｘ　Ｆｏｒ　Ｃｏｌｏｒ　Ｉｍａｇｅ　Ｅｎｈａｎｃｅｍｅｎｔ”，　ＩＣＩＰ　’９６。
　本実施例では、一例として、第１のレティネックス処理部２０は、照明光推定性能に優れるＭｃＣａｎｎ９９モデルを用い、第２のレティネックス処理部２２は、コントラスト補正性能に優れるＭＳＲモデルを用いることとする。特徴分析部２４は、内部映像信号１２の特徴を分析し、映像合成部２６へ第１の映像合成制御信号２９および第２の映像合成制御信号２５を出力する。映像合成部２６では、第１の映像合成制御信号２９および第２の映像合成制御信号２５に基づき、補正映像信号２１および補正映像信号２３を合成して補正映像信号１３を出力する。
　図３は、映像合成部２６の構成の一例を示している。補正映像信号２１は、利得制御部２７でα倍され、補正映像信号２３は、利得制御部２８で（１－α）倍され、加算部３０で加算処理された後、利得制御部３１でβ倍されて補正映像信号１３が得られる。
　次に、図１から図３に示した構成の動作の一例を図４Ａ～Ｃ、図５Ａ～Ｆを用いて説明する。
　まず、本実施例における第１の映像合成制御信号２９による制御について説明する。
　図４Ａおよび図４Ｂは、横軸が輝度レベル、縦軸がゲインを示しており、それぞれ第１のレティネックス処理部２０、第２のレティネックス処理部２２の輝度レベルに対するゲイン特性の一例を示している。本実施例における、第１のレティネックス処理部２０にＭｃＣａｎｎ９９モデルを用い、第２のレティネックス処理部２２にＭＳＲモデルを用いた場合の一例を示している。図４Ａの例では、ＭｃＣａｎｎ９９モデルによる第１のレティネックス処理部２０は、輝度レベルＬＶ１とＬＶ２の間にゲインのピークｇ１を有している。図４Ｂの例では、ＭＳＲモデルを用いた第２のレティネックス処理部２２はＬＶ２とＬＶ３の間にゲインのピークｇ２を有している。
　図４Ｃは、第１のレティネックス処理部２０および第２のレティネックス処理部２２の特性が、上述の図４Ａおよび図４Ｂの場合の、図２に示した特徴分析部２４から出力する第１の映像合成制御信号２９による合成制御値αの一例を示す図である。構成制御値は、図４Ｃのように、第１のレティネックス処理部２０のゲインが、第２のレティネックス処理部２２のゲインよりも高い輝度レベルでは合成制御値αを小さくし、逆に第１のレティネックス処理部２０のゲインが、第２のレティネックス処理部２２のゲインよりも低い輝度レベルでは合成制御値αを大きくするように制御する。これにより、加算部３０から出力される、第１のレティネックス処理部２０と第２のレティネックス処理部２２の合成出力映像の入出力特性をリニアな特性とする。
　以上の処理により、照明光推定性能に優れるＭｃＣａｎｎ９９モデルによるレティネックス処理とコントラスト補正性能に優れるＭＳＲモデルによるレティネックス処理の両者の利点を得る合成映像を得ることができる。
　次に、本実施例における第２の映像合成制御信号２５による制御について説明する。
　図５Ａおよび図５Ｂは、特徴分析部２４から出力する第２の映像合成制御信号２５の制御の一例を示している。
　まず図５Ａは、横軸が映像の輝度レベル、縦軸が１画面中の画素の個数を表しており、各輝度レベルの分布をヒストグラムとしてグラフ化したものである。図５Ａの例において、ヒストグラムｈ１は、輝度レベルＬＶ１からＬＶ３までの範囲の分布が、ＬＶ１以下およびＬＶ３以上の輝度レベルの分布よりも多いことを示している。なお、輝度レベルＬＶ１からＬＶ３までの範囲の分布がフラットな場合は、一点鎖線で示すヒストグラムh0になる。
　図５Ｂは、横軸が入力映像の輝度レベル、縦軸が出力映像の輝度レベルを表しており、上述した図５Ａの輝度分布がヒストグラムｈ１の場合に、特徴分析部２４から出力される第２の映像合成制御信号２５の一例を示している。これは、利得制御値βにより制御される入出力レベル特性である。図５Ａの輝度分布がヒストグラムh0の場合には図５Ｂの点線で示した特性となり、図５Ａの輝度分布がヒストグラムh1の場合には図５Ｂの実線で示した特性となる。ここで、βは、点線で示すリニアな特性を基準（β＝１）とするものである。当該βを入力レベルに応じて可変することにより、図５Ｂの実線で示すような特性が得られる。図５Ｂの例では、βはLV2では1であるが、LV1では1より小さく、LV3では1より大きい値である。このように、図５Ａのヒストグラムｈ１の場合には、利得制御値βにより、輝度分布が多いＬＶ１からＬＶ３の範囲の入出力特性曲線の傾きが、それ以外の領域の傾きに対して急峻になるよう制御される。このような特性で補正映像信号１３を得ることにより映像中の分布が多い領域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。
　図５Ｃから図５Ｆは、輝度分布が図５Ａとは異なる場合の制御の一例を説明する図である。
　まず、図５ＣはＬＶ２以下の輝度レベルの輝度分布がＬＶ２以上の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図５Ｄに示している。図５Ｄのように、輝度分布が多いＬＶ２以下の特性曲線の傾きがＬＶ２以上の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てる。これにより、視認性の良好な映像を得ることができる。
　次に、図５ＥはＬＶ２以上の輝度レベルの輝度分布がＬＶ２以下の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図５Ｆに示している。図５Ｆのように、輝度分布が多いＬＶ２以上の特性曲線の傾きがＬＶ２以下の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。
　以上説明した映像合成部２６の一連の制御によって、照明光推定性能に優れるＭｃＣａｎｎ９９モデルによるレティネックス処理とコントラスト補正性能に優れるＭＳＲモデルによるレティネックス処理の両者の利点を得ながら、かつ視認性の良い補正映像が得られる。
　なお、以上の説明において、レティネックスモデルの組み合わせは上述の例に限ったものではなく、異なる方式のレティネックスデモルの組み合わせでもよい。また、２方式のモデルの組み合わせに限ったものでなく、３つ以上のモデルの組み合わせでも良い。その場合は、図２に示す複数のレティネックス処理部は、並列に並べて各レティネックス処理部の補正映像を合成処理部２６で合成して補正映像信号１３を得るように構成すればよい。
　実施例２は、図１の映像表示装置における映像補正部１００の動作が、実施例１と異なる例である。以下に実施例１との相違について説明する。特に説明の無い部分は実施例１と同様であるため、説明を省略する。
　実施例２の映像補正部１００について、図２を用いて説明する。第１のレティネックス処理部２０および第２のレティネックス処理部２２は、内部映像信号１２に対して、それぞれ異なる方式のレティネックス理論に基づく映像処理を行い、補正映像信号２１および補正映像信号２３を出力する。本実施例では、第１のレティネックス処理部２０よりも第２のレティネックス処理部２２の方がスケールの大きなレティネックス処理を行うものとする。ここで、レティネックス処理のスケールとは、レティネックス処理において参照する画素範囲の大きさである。
　特徴分析部２４は、内部映像信号１２の特徴を分析し、第１の映像合成制御信号２９および第２の映像合成制御信号２５を映像合成部２６へ出力する。映像合成部２６では、映像合成制御信号２９および映像合成制御信号２５に基づき、補正映像信号２１および補正映像信号２３を合成して補正映像信号１３を出力する。
　ここで、実施例２の第２の映像合成制御信号２５および利得制御値βは、実施例１と同様であるため、説明を省略する。
　実施例２の第１の映像合成制御信号２９による利得制御値αは、実施例１と異なるものである。以下にこれを説明する。
　図６に、実施例２における、特徴分析部２４における第１の映像合成制御信号の出力特性の一例を示す。図６は、横軸が映像の輝度レベル、縦軸が第１の映像合成制御信号２９の値を示している。図６のように、例えば、輝度レベルが低い場合はαを小さく、高い場合はαを大きくする。このようにαを制御することで合成比率を輝度レベルに応じて可変できる。映像合成部２６によって得る補正映像信号１３において、輝度レベルが小さい場合は、第２のレティネックス処理部２２の割合を大きくできる。また、輝度レベルが大きい場合は、第１のレティネックス処理部２０の割合を大きくできる。つまり、レティネックス処理のスケールが小さい第１のレティネクス処理部２０からは比較的高い周波数成分の反射光成分を多く含むため、輝度が高い映像領域にて合成割合を大きくとることで、映像の精細感を高めることができる。また、レティネックス処理のスケールが大きな第２のレティネクス処理部２２からは比較的低い周波数成分の反射光成分を多く含むため、輝度が低い映像領域にて合成割合を大きくとることで、映像の陰影部分の視認性を高めることができる。なお、図６に示した特性は一例であり、各輝度レベルにおける最大値、最小値や特性の傾きなどは、レティネックス処理の特性に応じて決定すればよい。
　以上説明した実施例において、映像合成制御信号２９は、映像の輝度レベルに応じて生成する一例を示したが、周波数成分に応じた制御であってもよい。周波数成分に応じて制御をする場合は、例えば、映像信号の領域毎の周波数成分が高い場合には、補正映像信号１３において、スケールサイズの小さいレティネックス処理部から得られる映像信号の割合を大きくし、映像信号の領域毎の周波数成分が低い場合には、補正映像信号１３において、スケールサイズの大きなレティネックス処理部から得られる映像信号の割合を大きくする。さらに、映像の輝度レベルと周波数成分の両者を用いた合成制御を行ってもよく、その場合は、例えば、輝度レベルに応じた上述の制御値と、周波数成分に応じた制御値の加算または積算して正規化した値にて制御を行えばよい。
　以上説明した本発明の実施例２によれば、異なる複数のレティネックス処理の補正映像をレティネックス処理のスケールに応じて合成することにより、映像の精細感と陰影部分の視認性を両立することが可能となる。
　次に図１に示した映像表示装置における映像補正部１００に異なるレティネックスモデルを用いた場合の実施例について説明する。映像補正部１００の構成は、一例として図２の構成を用いることとするが、これに限ったものではない。図７は、第１のレティネックス処理部２０の構成例であり、内部映像信号１２を入力信号とし、Ｒｅｔｉｎｅｘ理論に基づく映像処理を行うことで、２つの反射光成分１０１と１０２とを検出する反射光検出部１５０と、検出された２つの反射光成分を入力とし、反射光を調整した後、再合成を行うことで補正映像信号１３を出力する反射光制御部１８０で構成される。
　次に、反射光検出部１５０および反射光制御部１８０について説明する。
　光の反射は、被写体の性質により、例えば、滑らかな表面で鏡のような鏡面反射をする光（以下、スペキュラと呼ぶ）、ざらざらした表面の細かな凹凸により拡散反射する光（以下、ディフューズと呼ぶ）、そして周囲の環境に対し反射等を繰り返すことで散乱した光である環境光（以下、アンビエントと呼ぶ）等に分類される。
　例えば、３次元コンピュータグラフィックス分野に於いて、これら３つの光の性質を用いて物体表面の陰影を表現する反射モデルに、Ｐｈｏｎｇ反射モデルがある。Ｐｈｏｎｇ反射モデルによれば、材質は光の反射具合により表現できる。
　例えば、プラスチック球体にスポットライトを当てた場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。このハイライトの部分がスペキュラである。また、ディフューズやアンビエントも材質に応じて輝度が異なる。
　図１０は、Ｐｈｏｎｇ反射モデルの例を説明する図である。図は、光源と光源から延びる光線、光線が到達した球体と球体を載せた床、この様子を観測する観測者で構成される。観測は、視点の位置で行われ、実際に目で観測しても、カメラ等の観測機器を使用してもよい。
　図１０に於いてスペキュラは、光線が球体表面で視線方向に反射した光５０１である。これは、光源が球体表面に映りこんだものであり、図中の円形のハイライト５０４がスペキュラの範囲である。例えば、プラスチックの球体の場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。Ｐｈｏｎｇ反射モデルでは、スペキュラは視線と反射光の余弦のべき乗に従うと仮定している。
　図１０に於いてディフューズは、光線が球体表面に当たった光５０２が拡散反射する光である。ディフューズの輝度は、光線と球体表面の向き、すなわち光線と法線との余弦で決まるため、球体表面で光が直接当たる部分がディフューズの範囲である。
　図１０に於いてアンビエントは、影となる部分に回りこんだ光５０３である。これは、周囲で幾度も反射し、散乱した光が環境全体に平均化されて留まったものあるため、直接光が届かない影の部分にも一定の輝度がある。影となる拡散反射する光で、光線と球体表面の向き、光線ベクトルすなわち法線との余弦で明るさが決まる。
　以上より、Ｐｈｏｎｇ反射モデルは、次の式で表される。
Figure JPOXMLDOC01-appb-M000001
　そこで、本実施例による反射光検出部に於ける反射光は、アンビエント、ディフューズ、スペキュラで構成されるとし、映像中のアンビエントは、広いスケールのガウシアンに従い、ディフューズは余弦による輝度分布に従い、スペキュラは余弦のべき乗による輝度分布に従うとする。アンビエントのフィルタをＦａ（ｘ，ｙ）、ディフューズのフィルタをＦｄ（ｘ，ｙ）、スペキュラのフィルタをＦｓ（ｘ，ｙ）とすると、各フィルタは次式となる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　また、図１１Ａ、図１１Ｂ、図１１Ｃは、それぞれ縦軸を輝度のレベル、横軸を１次元位置座標で表現したアンビエント、ディフューズ、スペキュラの分布を説明する図である。このように、アンビエントのガウシアン分布に比べ、ディフューズ、スペキュラの分布は急峻にレベルが下がることが分かる。
　ここで、アンビエントのフィルタによる映像Iaは、全体を平均化するため、ほぼアンビエント成分のみとなる。ディフューズのフィルタによる映像Idは、スペキュラの成分はフィルタにより平均化され、ほぼアンビエント成分とディフューズ成分のみとなる。スペキュラのフィルタによる映像Isは、殆ど平均化されないため、アンビエント成分とディフューズ成分とスペキュラ成分すべてが残る。これを数式５に示す。
Figure JPOXMLDOC01-appb-M000005
　これを、ＭＳＲと同様に対数空間による反射成分を求めると数式６となる。
Figure JPOXMLDOC01-appb-M000006
　また、鏡や金属等のスペキュラは、全反射と考えられるため、余弦のべき乗は無限大となる。この時、スペキュラによる反射成分は、数式７を用いてもよい。
Figure JPOXMLDOC01-appb-M000007
　また、アンビエントは環境全体の平均的な光であるため、ガウシアンフィルタの代わりに平均値フィルタまたは平均輝度を用いてもよい。例えば平均輝度を用いると数式８となる。
Figure JPOXMLDOC01-appb-M000008
　また、スペキュラが目立つのは高輝度のハイライトであることが多く、ディフューズは中低輝度の場合が多い。そこで、例えば、数式６のスペキュラＲｓｐｅｃｕｌａｒに対しては、図１２Ａに示すような高輝度領域のゲインを加え、ディフューズＲｄｉｆｆｕｓｅに対しては、図１２Ｂに示すような中低輝度度領域のゲインを加えてもよい。ここで、図１２Ａの入出力曲線をｇ（Ｉ）とすると、入力輝度Ｉが低輝度の時はゲインが０となり、中輝度から徐々にゲインが高くなり、高輝度になるとゲインは１となる。図１２Ｂの入出力曲線は１－ｇ（Ｉ）で、低輝度の時にゲインが１で、中輝度から徐々にゲインが低くなり、高輝度でゲインが０となる。
　また、ＭＳＲの例と同様、数式６は、加重平均後にゲインと指数関数を加えると準同型フィルタとなる。この準同型フィルタに対し、対数関数および指数関数を、例えばべき乗を用いた関数およびその逆関数で近似してもよい。この場合、関数ｆとすると数式９となる。
Figure JPOXMLDOC01-appb-M000009
　以上により、Ｐｈｏｎｇ反射モデルを用いて、反射の性質を考慮した補正が行える。
　図８および図９を用いて、数式９を説明する。
　図８は、実施例３による反射光検出部の処理を説明する図である。反射光検出部１５０は、スペキュラフィルタ部１５１、ディフューズフィルタ部１５３と、アンビエントフィルタ部１５５と、関数変換部１５７、１５９、１６１と、スペキュラ検出部１６３と、ディフューズ検出部１６４とで構成される。尚、関数変換部は、対数関数でもよく、べき乗関数で近似してもよい。
　図９Ａは、実施例１による反射光制御部の処理を説明する図である。反射光制御部１８０は、重みＷ１とＷ２による加重平均で構成してもよく、重みＷ１とＷ２による加重平均と、ゲインＧと、逆関数変換部１８２にて構成してもよい。ただし、逆関数変換部は、関数変換部で用いた関数の逆関数である。また、図９Ｂに示すように、図９Ａの構成に図１２Ａの高輝度域に高いゲインを持つスペキュラ補正ゲイン１８３と図１２Ｂの中低輝度域に高いゲインを持つディフューズ補正ゲイン１８４を加えてもよい。
　以上の構成によれば、反射光成分を抽出する際に、光の反射の性質毎、すなわちスペキュラ、ディフューズ、アンビエント毎に映像を分解し、それぞれの性質に応じて補正量を変えることで、第１のレティネックス処理部２０から映像中のオブジェクトの材質を考慮した、質感の高い第１の補正映像信号２１を得ることができる。
　次に、第２のレティネックス処理部２２は、ＭＳＲモデルを用いた映像補正を行うものとする。このとき、上述した第１のレティネックス処理部２０よりもスケールサイズを大きくとった処理を行う。
　以上のような構成とすることで、第１の補正映像信号２１はオブジェクトの性質を考慮した映像信号となり、第２の補正映像信号２３は映像の比較的大きな面積でのコントラスト補正を行った映像信号となる。これらの補正映像信号に対して、実施例２で説明した映像合成部２６の動作と同様に合成を行う。これにより、映像の輝度レベルが低い領域では、第２の補正映像信号の割合が大きくできるので、コントラスト改善効果を大きくでき、映像の輝度レベルが高い領域ではオブジェクトの性質を考慮した映像補正信号の割合を大きくできるので、補正映像信号１３として映像の輝度レベルの全帯域に渡って視認性の良好な映像を得ることができる。
　以上説明した本発明の実施例３によれば、上述した実施例２の効果に加えて、より質感の高い出力映像を得ることが可能となる。
　実施例１から３では、入力映像に対して特性の異なる2種類のレティネックス処理を行い、入力された映像の特徴に応じて２つのレティネックス処理結果映像を合成して出力映像を生成することにより、映像の精細感や陰影部分の視認性を改善する方法について記載した。すなわち、カラー映像に対してレティネックス処理を適用して、映像の精細感や陰影部分の視認性改善を図る方法として、カラー映像を輝度成分と２種類の色差成分に分解し、輝度成分に対してレティネックス処理を適用した後、２種類の色差成分を再合成してカラー映像を復元する方法について説明した。
　しかし、この方法によってカラー映像に対してレティネックス処理を行った場合、映像の精細感や陰影部分の視認性が改善すると同時にレティネックス処理によって輝度成分を強調した部分では、色差成分の値を変えずに輝度成分のみを強調するため色が薄くなる傾向があり、映像の演色性を低下させてしまう可能性が考えられる。
　そこで、本実施例では、これを解決するために、レティネックス処理で薄くなった色を、彩度強調で強調することで、演色性を低下させずに、より好適にレティネックスの効果である映像の精細感や陰影部分の視認性向上を図る点について説明する。
　本実施例は、実施例１の図１における映像表示装置の映像補正部１００を図１３に示す映像補正部に置き替えた構成とする。すなわち、図１３は、本実施例における映像補正部の構成の一例である。
　図１３において、入力される内部映像信号１２は、ＲＧＢの３成分から構成されるカラー映像であり、ＲＧＢ→ＹＣｂＣｒ変換部４０により、輝度信号５１２と二種類の色差信号５２０に変換される。ここでは、色差信号５２０はＣｂとＣｒの二種類の成分を持つ場合を想定しているが、本発明はこれに限定されるものではない。次に輝度信号５１２は輝度補正部５００に入力される。輝度補正部５００は、実施例１における図２の映像補正部１００と同様の機能を有するので、その詳細な説明は省略する。輝度補正部５００の補正結果として出力された輝度信号５１３と二種類の色差信号５２０はＹＣｂＣｒ→ＲＧＢ変換部４１によってＲＧＢ画像５２１に変換される。ここで、ＲＧＢ→ＹＣｂＣｒ変換部４０とＹＣｂＣｒ→ＲＧＢ変換部４１は３×３の行列演算で実現することが可能である。ＲＧＢ→ＹＣｂＣｒ変換部４０とＹＣｂＣｒ→ＲＧＢ変換部４１の計算式の一例を数式１０及び数式１１に示す。演算の係数は映像フォーマットによって変化することがあるが、本発明はこの係数の値に依存するものではない。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　ここまでの構成により、ＲＧＢ画像５２１は入力される内部映像信号１２に対して、色差成分は変更せず、輝度成分のみ輝度補正部５００によって補正した映像となる。ここで、輝度補正部５００による補正処理が輝度を強調する方向の処理の場合、色差成分を変更せずに輝度値のみが強調されるため、映像の色が薄くなり、演色性が低下してしまう可能性がある。
　これを改善するために本実施例では、以下に述べる彩度強調回路を用いて演色性の改善を行う。ここで、ＲＧＢ画像５２１に対して一律に彩度強調を行うと、輝度補正部５００の補正の強弱によらず、彩度が強調されるため得られる画像は不自然なものとなる。
　そこで、本実施例では輝度補正倍率算出部４４によって、輝度補正部５００の補正の強弱を算出する。補正の強弱の算出方法としてはいろいろな方法が考えられるが、本実施例では、数式１２に示すように、輝度補正部５００の前後の輝度信号を用いて、輝度信号５１３の値を輝度信号５１２で割った値を輝度補正倍率５２５として使用する。
Figure JPOXMLDOC01-appb-M000012
　ここで、輝度信号５１２が０の場合は、割り算を行えないため、輝度補正倍率５２５は１と定義する。
　なお、輝度補正部５００の前後の輝度信号を比較する以外にも、輝度補正部５００内で輝度補正倍率を演算し、それを直接、輝度補正倍率算出部４４が取得するようにしても良い。
　また、輝度補正倍率５２５をそのまま彩度補正倍率として使用すると、映像の暗部等で輝度補正倍率５２５が大きめの値となっている領域等で、彩度が強調されすぎることがあるため、本実施例では輝度補正倍率５２５をそのまま使用せずに、彩度倍率算出部４５によって彩度補正倍率５２６を算出する。また、彩度補正倍率５２６の特性を使用者が変更できるようにするために、設定レジスタ４７の中に、彩度補正比５２７と彩度補正倍率上限値５２８という２種類の調整パラメータを用意している。
　次に彩度倍率算出部４５の動作の一例について、図１４と数式１３を用いて説明する。なお、この動作はあくまでも一例であり、本発明はこの動作に限定されるものではない。
　図１４は、彩度倍率算出部４５の入力である輝度補正倍率５２５と出力である彩度補正倍率５２６の関係を示したグラフである。グラフにおいて実線で示した特性が、彩度倍率算出部４５の入出力特性であり、破線はこれを見やすくするための補助線である。この入出力特性は数式１３を用いて生成されたものである。
Figure JPOXMLDOC01-appb-M000013
　以下、これについて説明する。
　輝度補正倍率５２５は０以上の実数であるため、輝度補正倍率５２５から１を減算して中間値Ａを算出する。この中間値Ａと０を比較して大きい方の値を中間値Ｂとする。次に中間値Ｂに彩度補正比５２７を乗算し中間値Ｃを算出し、得られた中間値Ｃと彩度補正倍率上限値５２８を比較して小さい方の値を中間値Ｄとする。この中間値Ｄに１を加算することで、彩度補正倍率５２６を算出する。この一連の処理により、図１４のグラフの特性が生成される。ここで、彩度補正比５２７はグラフの斜めの部分の傾きに相当する値であり、輝度補正倍率５２５をどの程度彩度補正に反映させるかの比率を示すパラメータとなる。彩度補正倍率上限値５２８はこれに１を加えた値が、彩度補正倍率５２６の上限値となり、これにより輝度補正倍率５２５が大きな値となっている領域で彩度を強調しすぎないように制限することが可能となる。また、今回の特性では、彩度補正倍率５２６は常に１以上の値になり、彩度を弱める処理は行わないようになっている。なお、本発明はこれに限定されるものでは無く、彩度を弱める処理を行うようにすることも可能である。
　このようにして算出した彩度補正倍率５２６による彩度補正の方法について次に説明する。図１３において、まず、輝度補正後のＲＧＢ画像５２１をＲＧＢ→ＨＳＶ変換部４２によって、色相Ｈ、彩度Ｓ、明度Ｖに変換する。この変換式の一例を数式１４に示す。
Figure JPOXMLDOC01-appb-M000014
　この式はＲＧＢ→ＨＳＶ変換式として一般的なものである。以下にその概略を説明する。最初に、輝度補正後のＲＧＢ画像５２１の各成分Ｒ０、Ｇ０、Ｂ０に関して、最大のものをＭＡＸ０、最小のものをＭＩＮ０とする。次に、Ｒ０、Ｇ０、Ｂ０の大小関係によって場合分けを行い、数式１４に従い色相Ｈ０の値を得る。式の定義から明らかなように、Ｈ０は０から３６０の範囲の値を取ることになる。なお、Ｒ０、Ｇ０、Ｂ０が全て等しい場合は、ＭＡＸ０－ＭＩＮ０が０となるため、Ｈ０を定義することはできない。これはその画素が無彩色である場合に相当する。このため、この場合は例外処理として、後段で彩度補正を行わないこととする。彩度Ｓ０、明度Ｖ０についても数式１４によって算出する。彩度Ｓ０はＭＡＸ０が０の時に割り算を行えないが、ＭＡＸ０が０というのはＲ０、Ｇ０、Ｂ０が全て０の場合にのみ成立するため、前述のＲ０、Ｇ０、Ｂ０が全て等しい場合の例外処理を適用する。
　このようにして算出した彩度Ｓ０（図１３中の５２３で図示）、色相Ｈ０と明度Ｖ０（共に図１３中の５２２で図示）に対して、彩度補正処理を行う。本実施例の彩度補正処理では、色相Ｈ０と明度Ｖ０は補正せずに、色相１と明度Ｖ１としてそのままＨＳＶ→ＲＧＢ変換部４３へ入力される。彩度Ｓ０については、乗算回路４６によって彩度補正倍率５２６を乗算し、その結果である彩度Ｓ１（図１３中の５２４で図示）がＨＳＶ→ＲＧＢ変換部４３へ入力される。なお、乗算回路４６の出力が０．０～１．０の範囲内に収まらない場合には、０．０～１．０の範囲内に収まるようにクリッピング処理を行い、その結果が彩度Ｓ１となる。この様にして算出された彩度補正後の色相Ｈ１、彩度Ｓ１、明度Ｖ１は、ＨＳＶ→ＲＧＢ変換部４３により、ＲＧＢに変換され、映像補正後の補正映像信号１３としてタイミング制御部１４へ送られる。ＨＳＶ→ＲＧＢ変換部４３の処理の一例を数式１５に示す。
Figure JPOXMLDOC01-appb-M000015
　この式もＨＳＶ→ＲＧＢ変換式として一般的なものであることから、概略のみ説明する。まず、明度Ｖ１はそのまま最大成分ＭＡＸ１として使用される。次に式１５に基づき、最大成分ＭＡＸ１と彩度Ｓ１から最小成分ＭＩＮ１を算出する。その後、色相Ｈ１の値に応じて、式１５に従ってＲ１、Ｇ１、Ｂ１を得る。先に述べた様に、Ｒ０＝Ｇ０＝Ｂ０の場合は、色相Ｈ１、彩度Ｓ１、明度Ｖ１には有効な値が設定されていないため、例外処理として、Ｒ０、Ｇ０、Ｂ０の値をそのままＲ１、Ｇ１、Ｂ１の値とする。
　なお、本実施例では説明をわかりやすくするため、ＲＧＢをＨＳＶに完全に変換してから彩度補正を行い、その後にＨＳＶからＲＧＢを求める手順で説明したが、必ずしもこのように実装する必要は無い。本処理では最終的な色相との値を必要としないため、最終的な色相との値の算出等の一部の演算処理を省略して実装することも可能である。
　以上のように、本実施例は、映像入力部と、映像入力部で入力された映像に映像補正を行う映像補正部と、映像補正部で補正された映像を表示する映像表示部を備え、映像補正部は、映像入力部で入力された映像に対して、局所的な輝度補正を行い、局所的な輝度補正の局所毎の補正強度を取得して、該補正強度にもとづいて局所的な彩度補正を行う構成とする。
　また、映像補正部における局所的な輝度補正はレティネックス補正を用いた補正であり、補正前後の映像を比較することにより輝度補正のゲインを補正強度として取得し、ゲインに応じて局所的な彩度補正の強度を変更するように構成する。
　これにより、演色性を低下させずに、より好適にレティネックスの効果である映像の精細感や陰影部分の視認性の向上を図ることができる。
　本実施例では、本発明の映像表示装置において、使用者が補正特性を設定する場合の制御方法の一例を説明する。
　図１５は、本実施例における映像表示装置の構成の一例を示したものであり、図１と異なる点はユーザー設定部４００を設けた点である。ユーザー設定部４００は、リモコンや装置本体の操作ボタンの操作を介してユーザーからの操作信号４０１を入力し、操作信号に応じて、操作命令信号を映像補正部１００に出力して、映像表示装置における映像処理での補正の有無や補正量などを設定できるように構成している。これにより、表示部に表示される映像をユーザーの所望の状態に切り替える設定を行なうことができる。
　図１６に、本実施例における、ユーザー設定部４００で設定可能な設定項目の例を示す。図１６は、映像表示装置が表示する設定メニュー画面１８００であり、設定メニュー画面の一例を示している。設定メニュー画面１８００は、映像表示装置のメニュー画面信号生成部（図示省略）で生成され、補正映像信号１３に替えて出力される。または、設定メニュー画面１８００は補正映像信号１３に重畳して出力される。
　まず、設定メニュー画面１８００の例の「Retinex方式選択」１８１０の項目について説明する。「Retinex方式選択」１８１０の項目により、各実施例で説明した第１のレティネックス処理部２０および第２のレティネックス処理部２２の両者のレティネックス処理の使用の要否を選択できる。選択は、リモコンや装置本体の操作ボタンの操作を介して、カーソル１８１１を移動させることにより行なうように構成する。選択項目とその場合の処理について説明する。例えば、「Retinex1 only 」の選択項目が選択された場合は、第１のレティネックス処理部２０の処理のみを映像補正部の処理に適用し、第２のレティネックス処理部２２の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを１にしてもよく、第２のレティネックス処理部２２の動作自体をＯＦＦしてもよい。次に、「Retinex2 only 」の選択項目が選択された場合は、逆に、第２のレティネックス処理部２２の処理のみを映像補正部の処理に適用し、第１のレティネックス処理部２０の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを０にしてもよく、第１のレティネックス処理部２０の動作自体をＯＦＦしてもよい。「Combining Retinex1 and 2」の選択項目が選択された場合は、上述の実施例で説明したように、第１のレティネックス処理部２０の処理と第２のレティネックス処理部２２の処理とを合成して出力する。「Retinex OFF」の選択項目が選択された場合は、第１のレティネックス処理部２０の処理と第２のレティネックス処理部２２の処理との両者とも映像補正部の処理に適用しない。両者の動作をＯＦＦにしてもよく、映像補正部に入力される映像について、映像補正部をバイパスして出力してもよい。
　上述の「Retinex方式選択」１８１０の項目では、必ずしも、上述の４つの選択項目をユーザーに提示する必要はなく、例えば、「Combining Retinex1 and 2」の選択項目および「Retinex OFF」の選択項目の２つを提示するだけでもよい。また、「Combining Retinex1 and 2」の選択項目、「Retinex1 only 」の選択項目、「Retinex OFF」の選択項目の３つを提示してもよい。すなわち、例示した選択肢のうち少なくとも２項目を提示すればよい。
　次に、設定メニュー画面１８００の例の「Retinex強度設定」１８２０の項目について説明する。「Retinex強度設定」１８２０の項目では、それぞれのレティネックス処理の強度を設定できる。具体的には、リモコンや装置本体の操作ボタンの操作を介して、スライドバー１８２１や１８２２を移動して、それぞれのレティネックス処理の強度を設定する。その場合の処理は、例えば、図４Ａと図４Ｂに示しているそれぞれのレティネックス処理のゲインに、強度に応じたオフセットを付加することで実現できる。例えば、強度が強い場合には、図４Ａおよび図４Ｂのゲインに対してプラス方向のオフセット、強度が弱い場合にはマイナス方向のオフセットを付加する。このオフセットを付加する処理については、第１のレティネックス処理部２０および第２のレティネックス処理部２２の内部もしくは、補正映像信号２１および補正映像信号２３に対して、オフセットを付加する処理を挿入することで実現できる。
　なお、「Retinex強度設定」１８２０の項目は、「Retinex方式選択」１８１０の項目の選択状態に応じて、アクティブ、非アクティブの状態を切り替えるように構成してもよい。すなわち、「Retinex方式選択」１８１０の項目でＯＦＦになっている処理についてのスライドバーは、非アクティブ状態としてもよい。
　次に、設定メニュー画面１８００の例の「Retinex彩度設定」１８３０の項目について説明する。図１３を用いて説明したように、彩度倍率算出部４５では設定レジスタ４７に格納されている二種類のパラメータである彩度補正比５２７と彩度補正倍率上限値５２８の値によって輝度補正倍率５２５の値をどのように彩度補正倍率５２６に反映させるかを決定している。ここで、彩度補正比５２７をスライドバー１８３１に、彩度補正倍率上限値５２８をスライドバー１８３２に対応させることで、使用者がこれらの値を自分の好みに合わせて調整することが可能となる。また、この実施例では、彩度補正機能をOFFする場合には、スライドバー１８３１を一番左にして、彩度補正比５２７の値を０にすることを想定しているが、明示的にＯＮ／ＯＦＦを選択するメニュー項目を追加しても良い。
　以上のように、本実施例は、局所的な彩度補正をユーザーが設定可能なメニューを設定する。これにより、本発明の各実施例における映像補正処理をユーザーの好みや映像表示装置の使用目的または使用環境にあわせてユーザーが調整することが可能となり、より使い勝手のよい映像表示装置が提供できる。
　また、これらのパラメータについては、ユーザメニュー以外にも、入力される映像の種類や光センサー等によって取得した視聴環境の状態に応じて変更することも可能である。例えば、映像の種類を映画、スポーツ、ニュース番組、プレゼン資料のような形で分類し、手動または自動で入力された映像がどの分類に属するかを判別し、あらかじめ用意した映像分類とレジスタ設定値の対応テーブルを参照することで、入力映像の種類に応じてレジスタ値を自動的に変更することが可能である。映像の分類には映像に付帯しているＥＰＧ情報などのメタデータの利用や機械学習による映像種判定などの方法が考えられる。また、カメラや光センサーを用いることで、映像視聴場所の明るさや照明の色温度を取得することができるので、同様のテーブルを用いることで視聴環境に応じてレジスタ設定値を自動的に変更することが可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０：映像入力信号、１２：内部映像信号、１３：補正映像信号、１５：表示制御信号、２０：第１のレティネックス処理部、２１：第１の補正映像信号、２２：第２のレティネックス処理部、２３：第２の補正映像信号、２４：特徴分析部、２５：映像合成制御信号、２６：映像合成部、２７、２８、３１：利得制御部、２９：映像合成制御信号、３０：加算器、３２：照度レベル信号、３３：適応制御による補正映像信号、４０：ＲＧＢ→ＹＣｂＣｒ変換部、４１：ＹＣｂＣｒ→ＲＧＢ変換部、４２：ＲＧＢ→ＨＳＶ変換部、４３：ＨＳＶ→ＲＧＢ変換部、４４：輝度補正倍率算出部、４５：彩度倍率算出部、４６：乗算回路（クリッピング機能付き）、４７：設定レジスタ、１００：映像補正部、１０１：スケール１による反射光成分、１０２：スケール２による反射光成分、１２０：ＭＳＲによる反射光検出部、１２２：スケール１フィルタによるコンボリューション積の結果、１２４：スケール２フィルタによるコンボリューション積の結果、１２６：スケール１によるＳＳＲの結果値、１２８：スケール２によるＳＳＲの結果値、１３０：ＭＳＲによる反射光制御部、１３１：各ＳＳＲの結果に対する加重平均結果値（ゲイン含む）、１５２：スペキュラフィルタによるコンボリューション積の結果、１５４：ディフューズフィルタによるコンボリューション積の結果、１５６：アンビエントフィルタによるコンボリューション積の結果、１５８：スペキュラフィルタに対する関数変換の結果、１６０：ディフューズフィルタに対する関数変換の結果、１６２：アンビエントフィルタに対する関数変換の結果、１８１：スペキュラおよびディフューズに対する加重平均結果値（ゲイン含む）、３０２：エッジ信号、５００：輝度補正部、５２５：輝度補正倍率、５２６：彩度補正倍率、５２７：彩度補正比、５２８：彩度補正倍率上限値、１８００：設定メニュー画面

Claims (11)

  1. 　映像入力部と、
    　前記映像入力部で入力された映像に映像補正を行う映像補正部と、
    　前記映像補正部で補正された映像を表示する映像表示部を備え、
    　前記映像補正部は、前記映像入力部で入力された映像に対して、局所的な輝度補正を行い、前記局所的な輝度補正の局所毎の補正強度を取得して、該補正強度にもとづいて局所的な彩度補正を行うことを特徴とする映像表示装置。
  2. 　請求項１に記載の映像表示装置であって、
    　前記映像補正部における前記局所的な輝度補正はレティネックス補正を用いた補正であり、当該補正前後の映像を比較することにより当該輝度補正のゲインを前記補正強度として取得し、前記ゲインに応じて前記局所的な彩度補正の強度を変更することを特徴とする映像表示装置。
  3. 　請求項１に記載の映像表示装置であって、
    　前記局所的な彩度補正をユーザーが設定可能なメニューを設定することを特徴とする映像表示装置。
  4. 　請求項１または２に記載の映像表示装置であって、
    　前記局所的な輝度補正の局所毎の補正強度から１を減じた値に対して、第一の調整パラメータである倍率値を乗じた上で、第二の調整パラメータである上限値によるクリップ処理を行い、その結果に１を加算した値を彩度補正倍率として局所的な彩度補正を行うことを特徴とする映像表示装置。
  5. 　請求項１または２に記載の映像表示装置であって、
    　前記局所的な輝度補正の局所毎の補正強度に対して、第一の調整パラメータである倍率値を用いた乗算処理と第二の調整パラメータである上限値によるクリップ処理を行うことで算出された彩度補正倍率を用いて局所的な彩度補正を行うことを特徴とする映像表示装置。
  6. 　請求項４または５に記載の映像表示装置であって、
    　前記第一の調整パラメータである倍率値と前記第二の調整パラメータである上限値をメニューによってユーザーが調整可能であることを特徴とする映像表示装置。
  7. 　請求項４または５に記載の映像表示装置であって、
    　前記第一の調整パラメータである倍率値と前記第二の調整パラメータである上限値を、前記映像入力部に入力された映像の種類や視聴環境に応じて調整する手段を搭載したことを特徴とする映像表示装置。
  8. 　請求項１に記載の映像表示装置であって、
    　前記局所的な輝度補正は、前記映像入力部から入力された映像について第１のレティネックス処理を行ない、前記映像入力部から入力された映像について、前記第１のレティネックス処理と方式の異なる第２のレティネックス処理を行ない、前記映像入力部から入力された映像の特徴に応じて前記第１のレティネックス処理によって処理した映像と前記第２のレティネックス処理によって処理した映像とを合成する映像合成処理によって実現する映像補正処理であることを特徴とする映像表示装置。
  9. 　請求項８に記載の映像表示装置であって、
    　前記第１のレティネックス処理におけるスケールと、前記第２のレティネックス処理におけるスケールが異なることを特徴とする映像表示装置。
  10. 　請求項９に記載の映像表示装置であって、
    　前記第１のレティネックス処理におけるスケールは前記第２のレティネックス処理におけるスケールよりも小さく、
    　前記映像合成処理は、前記映像入力部から入力された映像の輝度が比較的高い場合に、前記第１のレティネックス処理を施した映像の合成比率を前記第２のレティネックス処理を施した映像よりも大きくし、前記映像入力部から入力された映像の輝度が比較的低い場合に、前記第１のレティネックス処理を施した映像の合成比率を前記第２のレティネックス処理を施した映像よりも小さくすることを特徴とする映像表示装置。
  11. 　請求項８から１０のいずれか一項に記載の映像表示装置であって、
    　前記第１のレティネックス処理は、入力映像を複数の反射光成分に分離し、分離された前記複数の反射光成分のそれぞれを重み値によって調整し、加重平均し、映像中の反射光の割合を制御する処理であり、
    　前記第２のレティネックス処理は、前記第１のレティネックス処理よりもスケールの大きなレティネックス処理であることを特徴とする映像表示装置。
PCT/JP2017/010539 2017-03-15 2017-03-15 映像表示装置 WO2018167898A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/493,234 US10659747B1 (en) 2017-03-15 2017-03-15 Video display device
PCT/JP2017/010539 WO2018167898A1 (ja) 2017-03-15 2017-03-15 映像表示装置
JP2019505607A JP6738480B2 (ja) 2017-03-15 2017-03-15 映像表示装置
CN201780088365.6A CN110402455B (zh) 2017-03-15 2017-03-15 影像显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010539 WO2018167898A1 (ja) 2017-03-15 2017-03-15 映像表示装置

Publications (1)

Publication Number Publication Date
WO2018167898A1 true WO2018167898A1 (ja) 2018-09-20

Family

ID=63523460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010539 WO2018167898A1 (ja) 2017-03-15 2017-03-15 映像表示装置

Country Status (4)

Country Link
US (1) US10659747B1 (ja)
JP (1) JP6738480B2 (ja)
CN (1) CN110402455B (ja)
WO (1) WO2018167898A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102670076B1 (ko) * 2019-07-22 2024-05-28 삼성디스플레이 주식회사 테스트 영상 측정 장치, 표시 장치 및 휘도 보정 방법
CN112053341A (zh) * 2020-09-01 2020-12-08 广东电网有限责任公司 一种基于光反射率和人工智能的合金材料的表面温度测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278528A (ja) * 1999-03-24 2000-10-06 Fuji Photo Film Co Ltd 画像処理装置及び方法
JP2008011286A (ja) * 2006-06-30 2008-01-17 Brother Ind Ltd 画像処理プログラムおよび画像処理装置
WO2015097780A1 (ja) * 2013-12-25 2015-07-02 日立マクセル株式会社 映像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4076302B2 (ja) * 1999-08-31 2008-04-16 シャープ株式会社 画像の輝度補正方法
JP4345366B2 (ja) 2003-06-12 2009-10-14 コニカミノルタホールディングス株式会社 画像処理プログラムおよび画像処理装置
JP4396387B2 (ja) * 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置
JP5669513B2 (ja) * 2010-10-13 2015-02-12 オリンパス株式会社 画像処理装置、画像処理プログラム、及び、画像処理方法
US9565388B2 (en) * 2013-04-03 2017-02-07 Hitachi Maxell, Ltd. Video display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278528A (ja) * 1999-03-24 2000-10-06 Fuji Photo Film Co Ltd 画像処理装置及び方法
JP2008011286A (ja) * 2006-06-30 2008-01-17 Brother Ind Ltd 画像処理プログラムおよび画像処理装置
WO2015097780A1 (ja) * 2013-12-25 2015-07-02 日立マクセル株式会社 映像表示装置

Also Published As

Publication number Publication date
CN110402455A (zh) 2019-11-01
JPWO2018167898A1 (ja) 2019-12-12
CN110402455B (zh) 2023-08-18
US20200137370A1 (en) 2020-04-30
US10659747B1 (en) 2020-05-19
JP6738480B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
US10134359B2 (en) Device or method for displaying image
US10134323B2 (en) Image display device
JP6550138B2 (ja) 映像処理装置
KR101648762B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
WO2018159162A1 (ja) 画像処理装置およびその制御方法及びプログラム
JP2014072595A (ja) 映像処理装置
JP6046238B2 (ja) 映像表示装置
WO2018167898A1 (ja) 映像表示装置
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
JP7344975B2 (ja) 映像表示装置およびプロジェクタ
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
JP2005004582A (ja) 画像処理装置、画像処理プログラム、および電子カメラ
Huo et al. Evaluation of HDR tone mapped image and single exposure image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900479

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505607

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17900479

Country of ref document: EP

Kind code of ref document: A1