WO2021070342A1 - 映像表示装置およびプロジェクタ - Google Patents

映像表示装置およびプロジェクタ Download PDF

Info

Publication number
WO2021070342A1
WO2021070342A1 PCT/JP2019/040086 JP2019040086W WO2021070342A1 WO 2021070342 A1 WO2021070342 A1 WO 2021070342A1 JP 2019040086 W JP2019040086 W JP 2019040086W WO 2021070342 A1 WO2021070342 A1 WO 2021070342A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gain
video
unit
input
Prior art date
Application number
PCT/JP2019/040086
Other languages
English (en)
French (fr)
Inventor
青木 浩司
中嶋 満雄
智美 古畑
絵梨子 矢部
加藤 篤
尚弥 岡
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2021551055A priority Critical patent/JP7344975B2/ja
Priority to US17/767,623 priority patent/US20230051479A1/en
Priority to PCT/JP2019/040086 priority patent/WO2021070342A1/ja
Priority to CN201980101191.1A priority patent/CN114556907A/zh
Publication of WO2021070342A1 publication Critical patent/WO2021070342A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present invention relates to a video processing technique.
  • Patent Document 1 is a background technology in this technical field.
  • one of a plurality of blurred images having different degrees of blurring generated from a plurality of peripheral functions having different scales is selected for each pixel in the Multi Scale Retainx process according to the pixel value level of the original image to be processed.
  • one embodiment of the present invention includes, for example, a video input unit, a first luminance processing unit that performs a first luminance processing on the video input from the video input unit, and a first luminance processing unit.
  • a video input unit a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • a first luminance processing unit that performs a first luminance processing on the video input from the video input unit
  • the image compositing unit has more for the luminance band having a large frequency distribution.
  • a luminance level conversion process is performed in which the output luminance level is assigned and the luminance level is converted for each pixel so as to improve the visibility of the image, and the gain of the luminance level conversion process is the image input from the image input unit. It may be configured to be variable according to the average pixel value level of.
  • This is an example of the configuration of the Retinex processing unit according to the third embodiment of the present invention.
  • This is an example of the configuration of the reflected light detection unit.
  • This is an example of the configuration of the reflected light control unit.
  • This is an example of the configuration of the reflected light control unit.
  • It is a figure explaining the property of the reflected light by a Phong reflection model. It is a figure explaining Gaussian distribution.
  • It is a figure explaining the luminance distribution by the power of the cosine.
  • It is a figure explaining the specular correction gain by the luminance value of an image.
  • It is a figure explaining the diffuse correction gain by the brightness value of an image.
  • Example 1 an image display device that decomposes an image according to the nature of light reflection and corrects the image will be described with the configuration of a projector (projection type image display device).
  • a projector projection type image display device
  • an example of a front projector will be described, but the form may be a rear projection television.
  • a display device using a direct-view flat display such as a liquid crystal display, a plasma display, or an organic EL display may be used without magnifying the panel. This point is the same in all the following examples.
  • FIG. 1 is an example of a configuration diagram of the video display device of this embodiment.
  • This video display device receives a video input signal 10 as an input, and receives, for example, an input signal processing unit 11 that converts a compressed video signal into an internal video signal 12 by a decoder, IP conversion, a scaler, or the like, and a video input from the internal video signal 12.
  • the optical system device 200 receives a light source 203 that irradiates a light beam for projecting an image on a screen and a display control signal 15, and adjusts the gradation of the light ray from the light source 203 for each pixel to create a projected image. It is composed of a panel 202 and a lens 201 for magnifying and projecting a projected image on a screen.
  • the image display device is a direct-view flat display such as a liquid crystal display, a plasma display, or an organic EL display
  • the lens 201 of the optical system device 200 is unnecessary. The user will look directly at the panel 202.
  • FIG. 2 shows an example of the configuration of the image correction unit 100.
  • the first retinex processing unit 20 and the second retinex processing unit 22 perform video processing on the internal video signal 12 based on the retinex theory, and perform the first corrected video signal 21 and the second corrected video signal. 23 is output.
  • the Retinex theory is a theory that shows the visual characteristics of the human eye such as color constancy and brightness constancy.
  • the illumination light component can be separated from the image and the reflected light component can be extracted.
  • the influence of the illumination light component which is a cause of making it difficult to see the subject such as a person in the image, is removed even in the image in a dark room or under bright backlight, and the reflected light component is extracted. By doing so, a highly visible image can be obtained. Therefore, the natural dynamic range that humans can see and feel can be suitably compressed even with digital gradation.
  • C / S Retinex Retinex that extracts the reflected light component by presuming that the local illumination light component follows the Gaussian distribution is called Center / Surround (hereinafter referred to as C / S) Retinex.
  • Models represented by this Retainx include a Single Scale Retainex model (hereinafter, SSR) and a Multiscale Retainex model (hereinafter, referred to as MSR).
  • the SSR is a model that extracts the luminance component of the reflected light for one scale from the image (see, for example, Reference 2 below). It extends the SSR and extracts the luminance component of the reflected light for a plurality of scales from the image.
  • the model (see, eg, reference 3 below) is the MSR.
  • the first Retinex processing unit 20 uses a McCann99 model having excellent illumination light estimation performance
  • the second Retinex processing unit 22 uses an MSR model having excellent contrast correction performance.
  • the feature analysis unit 24 analyzes the features of the internal video signal 12, and outputs the first video synthesis control signal 29 and the second video synthesis control signal 25 to the video synthesis unit 26.
  • the video compositing unit 26 synthesizes the corrected video signal 21 and the corrected video signal 23 based on the first video compositing control signal 29 and the second video compositing control signal 25, and outputs the corrected video signal 13.
  • FIG. 3 shows an example of the configuration of the video compositing unit 26.
  • the corrected video signal 21 is multiplied by ⁇ by the gain control unit 27, the corrected video signal 23 is multiplied by (1- ⁇ ) by the gain control unit 28, added by the addition unit 30, and then ⁇ by the gain control unit 31.
  • the corrected video signal 13 is obtained by multiplying.
  • FIGS. 1 to 3 Next, an example of the operation of the configurations shown in FIGS. 1 to 3 will be described with reference to FIGS. 4A to 4C and 5A to 5F.
  • the horizontal axis represents the luminance level and the vertical axis represents the gain, and shows an example of the gain characteristics with respect to the luminance level of the first retinex processing unit 20 and the second retinex processing unit 22, respectively.
  • An example of the case where the McCann99 model is used for the first retinex processing unit 20 and the MSR model is used for the second retinex processing unit 22 in this embodiment is shown.
  • the first Retinex processing unit 20 according to the McCann99 model has a gain peak g1 between the luminance levels LV1 and LV2.
  • the second Retinex processing unit 22 using the MSR model has a gain peak g2 between LV2 and LV3.
  • the characteristics of the first Retinex processing unit 20 and the second Retinex processing unit 22 are output from the feature analysis unit 24 shown in FIG. 2 in the case of FIGS. 4A and 4A described above. It is a figure which shows an example of the synthesis control value ⁇ by the image synthesis control signal 29 of.
  • the configuration control value as shown in FIG. 4C, when the gain of the first Retinex processing unit 20 is higher than the gain of the second Retinex processing unit 22, the composite control value ⁇ is reduced, and conversely, the second When the gain of the Retinex processing unit 20 of 1 is lower than the gain of the second Retinex processing unit 22, the combined control value ⁇ is controlled to be large.
  • the input / output characteristics of the combined output video of the first Retinex processing unit 20 and the second Retinex processing unit 22 output from the addition unit 30 are set to linear characteristics.
  • 5A and 5B show an example of control of the second video composition control signal 25 output from the feature analysis unit 24.
  • the horizontal axis represents the brightness level of the image and the vertical axis represents the number of pixels in one screen, and the distribution of each brightness level is graphed as a histogram.
  • the histogram h1 shows that the distribution in the range of luminance levels LV1 to LV3 is larger than the distribution of luminance levels below LV1 and above LV3.
  • the histogram h0 shown by the alternate long and short dash line is obtained.
  • the horizontal axis represents the brightness level of the input video and the vertical axis represents the brightness level of the output video
  • the second is output from the feature analysis unit 24.
  • An example of the image composition control signal 25 of the above is shown.
  • This is an input / output level characteristic controlled by the gain control value ⁇ .
  • the luminance distribution in FIG. 5A is the histogram h0
  • the characteristic is shown by the dotted line in FIG. 5B
  • the luminance distribution in FIG. 5A is the histogram h1
  • the characteristic is shown by the solid line in FIG. 5B.
  • is 1 in LV2, but less than 1 in LV1 and greater than 1 in LV3.
  • the slope of the input / output characteristic curve in the range of LV1 to LV3 which has a large luminance distribution, becomes steeper with respect to the slope of the other regions due to the gain control value ⁇ . Is controlled.
  • a larger output luminance level is assigned to a region having a large distribution in the video, so that a video with good visibility can be obtained.
  • 5C to 5F are diagrams illustrating an example of control when the luminance distribution is different from that of FIG. 5A.
  • FIG. 5C shows an example of a histogram when the luminance distribution of the luminance level of LV2 or less is larger than the luminance level of LV2 or more.
  • An example of the gain control value ⁇ in this case is shown in FIG. 5D.
  • the amount is larger than that of the luminance band having a large luminance distribution. Assign the output luminance level of. As a result, it is possible to obtain an image with good visibility.
  • FIG. 5E shows an example of a histogram when the luminance distribution of the luminance level of LV2 or more is larger than the luminance level of LV2 or less.
  • An example of the gain control value ⁇ in this case is shown in FIG. 5F.
  • the combination of Retinex models is not limited to the above example, and may be a combination of Retinex demoles of different methods. Further, the combination of two models is not limited to the combination of three or more models. In that case, the plurality of Retinex processing units shown in FIG. 2 may be arranged in parallel so that the correction video of each Retinex processing unit is combined by the synthesis processing unit 26 to obtain the corrected video signal 13.
  • Example 2 The second embodiment is an example in which the operation of the image correction unit 100 in the image display device of FIG. 1 is different from that of the first embodiment. The difference from the first embodiment will be described below. Since the parts not particularly described are the same as those in the first embodiment, the description thereof will be omitted.
  • the image correction unit 100 of the second embodiment will be described with reference to FIG.
  • the first Retinex processing unit 20 and the second Retinex processing unit 22 perform video processing on the internal video signal 12 based on the Retinex theory of different methods, and the corrected video signal 21 and the corrected video signal 23 Is output.
  • the second Retinex processing unit 22 performs the Retinex processing on a larger scale than the first Retinex processing unit 20.
  • the scale of the Retinex processing is the size of the pixel range referred to in the Retinex processing.
  • the feature analysis unit 24 analyzes the features of the internal video signal 12, and outputs the first video synthesis control signal 29 and the second video synthesis control signal 25 to the video synthesis unit 26.
  • the video compositing unit 26 synthesizes the corrected video signal 21 and the corrected video signal 23 based on the video compositing control signal 29 and the video compositing control signal 25, and outputs the corrected video signal 13.
  • the second video composition control signal 25 and the gain control value ⁇ of the second embodiment are the same as those of the first embodiment, the description thereof will be omitted.
  • the gain control value ⁇ by the first video composition control signal 29 of the second embodiment is different from that of the first embodiment. This will be described below.
  • FIG. 6 shows an example of the output characteristics of the first video synthesis control signal in the feature analysis unit 24 in the second embodiment.
  • the horizontal axis shows the brightness level of the image
  • the vertical axis shows the value of the composition control value ⁇ by the first image composition control signal 29.
  • the composition ratio can be changed according to the brightness level.
  • the ratio of the second retinex processing unit 22 can be increased.
  • the ratio of the first Retinex processing unit 20 can be increased.
  • the image can be finely defined by increasing the composition ratio in the image region having high brightness. You can enhance the feeling.
  • the second retinex processing unit 22 which has a large scale of retinex processing, contains a large amount of reflected light components having relatively low frequency components, by increasing the composition ratio in the image region where the brightness is low, the shadow of the image is shaded. The visibility of the part can be improved.
  • the characteristics shown in FIG. 6 are examples, and the maximum value, the minimum value, the slope of the characteristics, and the like at each luminance level may be determined according to the characteristics of the Retinex process.
  • the video composition control signal 29 is an example of being generated according to the brightness level of the video, but the control may be performed according to the frequency component.
  • the control may be performed according to the frequency component.
  • the frequency component for each region of the video signal when the frequency component for each region of the video signal is high, the ratio of the video signal obtained from the retinex processing unit having a small scale size is increased in the corrected video signal 13.
  • the frequency component for each region of the video signal is low, the ratio of the video signal obtained from the Retinex processing unit having a large scale size is increased in the corrected video signal 13.
  • synthesis control using both the brightness level and the frequency component of the image may be performed. In that case, for example, the above-mentioned control value according to the brightness level and the control value according to the frequency component are added or integrated. Then, control may be performed with the normalized value.
  • FIG. 7 is a configuration example of the first Retinex processing unit 20.
  • the internal video signal 12 is used as an input signal, and video processing based on the Retainx theory is performed to detect the two reflected light components 101 and 102. It is composed of a reflected light detection unit 150 and a reflected light control unit 180 that outputs a corrected video signal 13 by inputting two detected reflected light components, adjusting the reflected light, and then performing resynthesis.
  • ambient ambient light
  • the material can be expressed by the degree of light reflection.
  • the rubber-like sphere has a wider radius of highlights than plastic, but the brightness is lower. This highlight is the specular.
  • the brightness of diffuse and ambient also differs depending on the material.
  • FIG. 10 is a diagram illustrating an example of a Phong reflection model.
  • the figure consists of a light source, a light beam extending from the light source, a sphere reached by the light source, a floor on which the sphere is placed, and an observer observing this situation.
  • the observation is performed at the position of the viewpoint, and the observation may be carried out by the eyes or by using an observation device such as a camera.
  • the specular is light 501 in which light rays are reflected on the surface of a sphere in the line-of-sight direction. This is because the light source is reflected on the surface of the sphere, and the circular highlight 504 in the figure is the range of the specular.
  • the specular In the case of a plastic sphere, a small circular highlight with high brightness can be created. Also, the rubber-like sphere has a wider radius of highlights than plastic, but the brightness is lower.
  • the Phong reflection model assumes that the specular follows the power of the line of sight and the cosine of the reflected light.
  • the diffuse is light that is diffusely reflected by the light 502 that the light beam hits the surface of the sphere. Since the brightness of the diffuser is determined by the direction of the light ray and the surface of the sphere, that is, the cosine of the light ray and the normal line, the portion of the surface of the sphere where the light directly hits is the range of the diffuser.
  • the ambient is the light 503 that wraps around the shadowed part. This is because the scattered light is averaged and stays in the entire environment because it is reflected many times in the surroundings, so there is a certain brightness even in the shadow part where the direct light does not reach. It is a diffusely reflected light that becomes a shadow, and its brightness is determined by the direction of the ray and the surface of the sphere, and the cosine of the ray vector, that is, the normal.
  • Equation 1 the Phong reflection model is expressed by Equation 1.
  • the reflected light in the reflected light detection unit is composed of ambient, diffuse, and specular
  • the ambient in the image follows a wide-scale Gaussian
  • the diffuse follows the luminance distribution by the cosine.
  • the specular follows the brightness distribution based on the power of the cosine.
  • the ambient filter is Fa (x, y)
  • the diffuse filter is Fd (x, y)
  • the specular filter is Fs (x, y)
  • FIGS. 11A, 11B, and 11C are diagrams for explaining the distribution of ambient, diffuse, and specular in which the vertical axis represents the brightness level and the horizontal axis represents one-dimensional position coordinates. In this way, it can be seen that the levels of the diffuse and specular distributions drop sharply compared to the ambient Gaussian distribution.
  • the image Ia by the ambient filter is almost only the ambient component because it averages the whole.
  • the specular component is averaged by the filter, and the image Id is almost only the ambient component and the diffuse component. Since the image Is by the specular filter is hardly averaged, all the ambient component, the diffuse component and the specular component remain. This is shown in Equation 5.
  • Equation 6 If the reflection component in the logarithmic space is calculated in the same way as MSR, it becomes Equation 6.
  • the formula 7 may be used as the reflection component by the specular.
  • an average filter or average brightness may be used instead of the Gaussian filter.
  • the equation 8 is obtained.
  • the specular is often noticeable in high-brightness highlights, and the diffuse is often in medium-low brightness. Therefore, for example, the gain in the high-luminance region as shown in FIG. 12A is added to the specular Rspecular of Equation 6, and the gain in the medium- and low-luminance region as shown in FIG. 12B is applied to the diffuse Rdiffuse. May be added.
  • the input / output curve of FIG. 12A is g (I)
  • the gain becomes 0 when the input luminance I is low
  • the gain gradually increases from the medium luminance
  • the input / output curve of FIG. 12B is 1-g (I)
  • the gain is 1 at low luminance
  • the gain gradually decreases from medium luminance
  • Equation 6 becomes a homomorphic filter when a gain and an exponential function are added after the weighted average.
  • the logarithmic function and the exponential function may be approximated to this quasi-isomorphic filter by, for example, a function using a power and its inverse function. In this case, if the function f is used, the equation 9 is obtained.
  • the Phong reflection model can be used to make corrections that take into account the nature of reflection.
  • Equation 9 will be described with reference to FIGS. 8 and 9.
  • FIG. 8 is a diagram illustrating the processing of the reflected light detection unit according to the third embodiment.
  • the reflected light detection unit 150 includes a specular filter unit 151, a diffuse filter unit 153, an ambient filter unit 155, a function conversion unit 157, 159, 161, a specular detection unit 163, and a diffuse detection unit 164.
  • the function conversion unit may be a logarithmic function or may be approximated by a power function.
  • FIG. 9A is a diagram illustrating the processing of the reflected light control unit according to the first embodiment.
  • the reflected light control unit 180 may be configured by a weighted average of weights W1 and W2, or may be configured by a weighted average of weights W1 and W2, a gain G, and an inverse function conversion unit 182.
  • the inverse function conversion unit is an inverse function of the function used in the function conversion unit.
  • a specular correction gain 183 having a high gain in the high luminance region of FIG. 12A
  • a diffuse correction gain 184 having a high gain in the medium and low luminance region of FIG. 12B are added to the configuration of FIG. 9A. May be good.
  • the image when extracting the reflected light component, the image is decomposed for each property of light reflection, that is, for each specular, diffuse, and ambient, and the correction amount is changed according to each property. From the first Retinex processing unit 20, it is possible to obtain a first corrected video signal 21 having a high texture in consideration of the material of the object in the video.
  • the second Retinex processing unit 22 shall perform image correction using the MSR model. At this time, a process having a scale size larger than that of the first Retinex processing unit 20 described above is performed.
  • the first corrected video signal 21 becomes a video signal in consideration of the properties of the object
  • the second corrected video signal 23 is a video obtained by contrast correction in a relatively large area of the video. It becomes a signal.
  • These corrected video signals are combined in the same manner as the operation of the video compositing unit 26 described in the second embodiment.
  • the ratio of the second corrected video signal can be increased in the region where the brightness level of the image is low, so that the contrast improvement effect can be increased, and in the region where the brightness level of the image is high, the image correction signal in consideration of the property of the object can be obtained. Since the ratio can be increased, it is possible to obtain an image with good visibility over the entire band of the brightness level of the image as the corrected image signal 13.
  • Example 4 a video display device that decomposes a video according to the nature of light reflection and corrects the video will be described with a projector configuration.
  • a projector configuration In the following, an example of a front projector will be described, but the form may be a rear projection television.
  • a display device using a direct-view flat display such as a liquid crystal display, a plasma display, or an organic EL display may be used without magnifying the panel. This point is the same in all the following examples.
  • FIG. 13 is an example of a configuration diagram of the video display device of this embodiment.
  • This video display device receives a video input signal 10 as an input, and receives, for example, an input signal processing unit 11 that converts a compressed video signal into an internal video signal 601 by a decoder, IP conversion, a scaler, or the like, and a video input from the internal video signal 601.
  • the video correction unit 1000 may be simply expressed as a video processing unit.
  • the optical system device 200 receives a light source 203 that irradiates a light beam for projecting an image on a screen and a display control signal 15, and adjusts the gradation of the light ray from the light source 203 for each pixel to create a projected image. It is composed of a panel 202 and a lens 201 for magnifying and projecting a projected image on a screen.
  • the image display device is a direct-view flat display such as a liquid crystal display, a plasma display, or an organic EL display
  • the lens 201 of the optical system device 200 is unnecessary. The user will look directly at the panel 202.
  • FIG. 14 shows an example of the configuration of the image correction unit 1000.
  • the color conversion unit 602 converts the internal video signal 601 input in RGB format into, for example, the YUV format, and outputs the internal video signal 625.
  • the format of the internal video signal 625 is not limited to the YUV format as long as it can be converted into a luminance signal Y and a color signal.
  • the first retinex processing unit 20 and the second retinex processing unit 22 perform video processing based on the retinex theory on the luminance signal Y of the internal video signal 625, and perform the first corrected video signal 21 and the second The corrected video signal 23 of is output. Since the operations of the first Retinex processing unit 20 and the second Retinex processing unit 22 are the same as those in the first embodiment, detailed description thereof will be omitted.
  • the feature analysis unit 24 analyzes the features of the internal video signal 625 and outputs the first video synthesis control signal 29 and the second video synthesis control signal 25 to the video synthesis unit 26.
  • the video compositing unit 26 synthesizes the corrected video signal 21 and the corrected video signal 23 based on the first video compositing control signal 29 and the second video compositing control signal 25, and outputs the corrected video signal 13.
  • the operation of the video compositing unit 26 is the same as that of the example described in the first embodiment, and detailed description thereof will be omitted.
  • the color conversion unit 603 converts the brightness signal Y of the corrected video signal 13 and the color signal UV of the internal video signal 625 into an RGB format corrected video signal 604 and outputs it.
  • a video timing difference may occur between the corrected video signal 13 and the internal video signal 625 due to the processing configurations of the respective Retinex processing units and the video synthesis unit 26 described above, but here, the timing difference Is corrected and converted into a corrected video signal 604.
  • the output video generation unit 605 corrects the internal video signal 601 based on the ratio of the video signal level between the internal video signal 601 and the corrected video signal 604, and outputs the new output video signal 606.
  • FIG. 15 shows an example of the configuration of the output video generation unit 605.
  • the absolute value conversion unit 610 calculates the absolute value of the video level from the RGB component of the corrected video signal 604, and outputs the video level signal 620.
  • the absolute value conversion unit 611 calculates the absolute value of the video level from the RGB component of the internal video signal 601 and outputs the video level signal 621.
  • the ratio calculator 612 obtains the ratio of the magnitudes of the video level signal 620 and the video level signal 621 described above, and outputs the correction ratio signal 622.
  • the video correction unit 613 corrects the internal video signal 601 based on the correction ratio signal 622 and outputs the output video signal 606. Specifically, the RGB component of the internal video signal 601 is multiplied by the correction ratio signal 622 to perform correction.
  • FIG. 16 An example of this specific correction is shown in FIG. In FIG. 16, in the RGB color space, the RGB level of the video signal is shown on each RGB axis.
  • the vector V1 has information on the ratio of the plurality of color parameters of the internal video signal 601.
  • the level of the corrected video signal 604 is (r2, g2, b2)
  • the absolute value of the vector that is, the length of the vectors V1 and V2 is obtained from each RGB component and used as the video level signals 620 and 621.
  • the ratio calculator 612 the ratio of the magnitude is obtained from the absolute value of the image level, and the image correction unit 613 performs multiplication as shown in Equation 10.
  • the output video signal 606 obtained in this way is shown by the broken line of V3 in FIG. That is, since the vector is in the same direction as V1 and the ratio of the plurality of color parameters of the internal video signal 601 is maintained, it is possible to obtain an image with good visibility while maintaining the hue of the internal video signal 601. It becomes.
  • the processing is described as "correcting the internal video signal 601", but the RGB level vector of the internal video signal 601 and its absolute value, and the RGB level vector of the corrected video signal 604 It can be said that a new output video signal is generated based on the absolute value.
  • the video correction process of the output video generation unit 605 described so far has described an example of correcting the internal video signal 601 using the ratio of the absolute values of the internal video signal 601 and the corrected video signal 604 at each RGB level.
  • the internal video signal 601 can also be corrected using the ratio of the signal (Y).
  • FIG. 17 shows an example of the configuration of the image correction unit 1000 in that case.
  • the color conversion unit 602 outputs the internal video signal 626 from the RGB format signal of the internal video signal 601. Since the operations of the first Retinex processing unit 20, the second Retinex processing unit 22, the feature analysis unit 24, and the video compositing unit 26 are the same as those described above, the description thereof will be omitted.
  • the ratio calculator 631 in the output video generation unit 630 obtains the ratio between the level of the corrected luminance signal 13 and the luminance signal level of the internal video signal 626, and outputs the corrected ratio signal 632.
  • the video correction unit 633 corrects the internal video signal 601 based on the correction ratio signal 632 and outputs the output video signal 608. Specifically, the RGB component of the internal video signal 601 is multiplied by the correction ratio signal 632 to perform correction. Also in this configuration example, it is possible to obtain an image with good visibility while maintaining the color tone of the internal image signal 601.
  • information on the color of the image signal before image correction by the Retinex process (vector information in the color space or information on the ratio of a plurality of color parameters) and the Retinex process.
  • a new video signal can be generated based on the information of the absolute value of the color space vector or the ratio of the brightness before and after the video correction by. This makes it possible to generate and display a video signal that is closer to the color balance before the Retinex processing, while obtaining the effect of improving the visibility by the Retinex processing.
  • Example 5 In this embodiment, for the video display devices of Examples 1 to 4 of the present invention, the visibility improvement processing is input to the input video by using the gain of the visibility improvement processing using the Retinex processing performed for each pixel. On the other hand, an example of dynamically controlling the control will be described.
  • the brightness of the image scene is brightened by using the gain that emphasizes the visibility improving effect of the pixel-by-pixel retinex processing described in Examples 1 to 4 above. It is possible to dynamically control the gain of the visibility improvement processing for each pixel in conjunction with.
  • FIG. 18 shows an example of a configuration diagram of the video display device according to the fifth embodiment of the present invention.
  • This example is an improved example based on the image display device of the fourth embodiment of the present invention among the first to fourth embodiments of the present invention. Therefore, the same processing units as those of the video display device of the fourth embodiment are designated by the same reference numerals. Since the configuration and processing of the same processing unit as that of the video display device of the fourth embodiment are as already described in the first to fourth embodiments, the repeated description will be omitted.
  • the input signal processing unit 1800 shown in FIG. 18 calculates APL (Average Picture Level) information 1850, which is the average pixel value of the entire input video.
  • the input signal processing unit 1800 transmits the calculated APL information 1850 to the video correction unit 1810.
  • the user setting unit 1820 shown in FIG. 18 receives an operation signal 1821 which is an operation input from the user, and displays a setting menu screen described later in response to the operation signal 1821 to enable user setting of each item. Details of the setting menu screen will be described later.
  • the configuration of the image correction unit 1810 for example, the configuration of FIG. 19 which is an improvement of the configuration of FIG. 14 of the fourth embodiment may be used.
  • the image correction unit of FIG. 19 is configured to be able to acquire APL information 1850 from the input signal processing unit 1800.
  • the feature analysis unit 24 of the APL information 1850 can perform processing using the APL information 1850 acquired from the input signal processing unit 1800.
  • the configuration of FIG. 20 which is an improvement of the configuration of FIG. 17 of the fourth embodiment may be used.
  • the image correction unit of FIG. 20 is configured to be able to acquire APL information 1850 from the input signal processing unit 1800.
  • the feature analysis unit 24 of the APL information 1850 can perform processing using the APL information 1850 acquired from the input signal processing unit 1800.
  • the feature analysis unit 24 controls the video synthesis control signal 25 using the APL information 1850, and controls the magnitude of the gain control value ⁇ used by the gain control unit 31.
  • the visibility improvement processing intensity can be controlled by controlling the gain control value ⁇ .
  • the image correction unit 1810 of the present embodiment can change the gain control value ⁇ based on the APL information 1850 to control the visibility improvement processing intensity.
  • the detailed control method will be described later.
  • FIG. 21 is a diagram showing a setting menu screen 2100 which is an example of a setting menu screen displayed by the video display device of this embodiment.
  • the setting menu screen 2100 is generated by the menu screen signal generation unit (not shown) of the video display device, and is output in place of the corrected video signal 13, the output video signal 606, or the output video signal 608. Alternatively, the setting menu screen 2100 may be superimposed on these video signals and output.
  • the item of "Retinex method selection” 2110 in the example of the setting menu screen 2100 will be described. From the item of "Retinex method selection” 2110, it is possible to select whether or not to use the retinex processing of both the first retinex processing unit 20 and the second retinex processing unit 22 described in each embodiment. The selection is made by moving the cursor 2111 in response to the operation signal 1821 generated based on the operation of the operation buttons of the remote controller or the main body of the apparatus. The selection items and the processing in that case will be described.
  • the processing of the first Retinex processing unit 20 is applied to the processing of the image correction unit, and the processing of the second Retinex processing unit 22 is the image correction. Does not apply to part processing.
  • the synthesis control value ⁇ may be set to 1, and the operation itself of the second Retinex processing unit 22 may be turned off.
  • the processing of the second Retinex processing unit 22 is applied to the processing of the video correction unit, and the first Retinex processing unit 20
  • the processing does not apply to the processing of the video correction unit.
  • the synthesis control value ⁇ may be set to 0, or the operation itself of the first Retinex processing unit 20 may be turned off.
  • the magnitude of the effect of the processing of the gain control unit 31 of FIG. 3 can be set. Specifically, the magnitude of the amplitude of the amount of change in the gain control value ⁇ is changed according to the movement of the slide bar 2121.
  • the slide bar 2121 can be set to four levels of level 1, level 2, level 3, and level 4 according to the user's selection. Level 1, level 2, and level 3 are available.
  • the amplitude of the change amount of the gain control value ⁇ increases as the level increases. Detailed settings will be described later.
  • the larger the amplitude of the change amount of the gain control value ⁇ the stronger the visibility improving process.
  • the user can move the cursor 2131 and select either “ON” or “OFF” via the operation of the remote controller or the operation buttons of the device main body. ..
  • the image correction unit 1810 can control the magnitude of the above-mentioned gain control value ⁇ by the user selection of the above-mentioned “Visibility improvement processing intensity setting" 2120 item. However, it does not change in conjunction with the APL value indicated by the APL information 1850.
  • the image correction unit 1810 changes the above-mentioned gain control value ⁇ in conjunction with the APL value indicated by the APL information 1850.
  • control of the gain control value ⁇ linked to the APL information 1850 can be made different for each user selection of the above-mentioned "Visibility improvement processing intensity setting" 2120 item. A specific control example will be described later.
  • the user can adjust the image correction processing of the image display device according to the user's preference, the purpose of use of the image display device, or the usage environment. is there. This makes it possible to provide a more convenient image display device.
  • FIG. 22 shows the brightness visibility improvement in the state where “OFF” of the “video adaptive visibility improvement process” is selected in the item “video adaptive visibility improvement process” 2130 of the setting menu screen 2100 shown in FIG.
  • An example of setting control of the gain control value ⁇ which is a gain is shown.
  • the user selection status for the item "Visibility improvement processing intensity setting” 2120 is level 1 (Lv.1), level 2 (Lv.2), level 3 (Lv.3). ), Level 4 (Lv.4) is shown.
  • Lv.1 level 1
  • Lv.2 level 2
  • Lv.3 level 3
  • Lv.4 Level 4
  • the user in the item of "Visibility improvement processing intensity setting" 2120 It shall indicate the selected level.
  • those marked with (ON) after the notation of Lv.1, Lv.2, Lv.3, or Lv.4 are the "video adaptive visibility” of the setting menu screen 2100 shown in FIG. It is assumed that the selected state of "video adaptive visibility improvement processing" in the item of “improvement processing” 2130 is “ON”.
  • those marked with (OFF) after the notation of Lv.1, Lv.2, Lv.3, or Lv.4 are the "video-adaptive visual recognition" of the setting menu screen 2100 shown in FIG. It is assumed that the selected state of the "video adaptive visibility improving process” is “OFF” in the item of "sex improving process” 2130. The same applies to the figures after this figure.
  • the APL value indicated by the APL information 1850 is shown in percentage notation.
  • the maximum gain is set to 100 and the minimum gain is set to 0, which are normalized and shown in the table.
  • the actual magnification of the minimum gain that is normalized and takes a value of 0 may be set to 1.0. Since the actual magnification of the maximum gain depends on the design concept, it may be set to a suitable magnification in the video display device.
  • the values from 0 to 100 may be considered as linearly normalized values, or may be considered as normalized values using a logarithmic curve or the like.
  • the luminance visibility improvement gain ⁇ increases as the user selection state for the item “visibility improvement processing intensity setting” 2120 increases to level 1, level 2, level 3, and level 4. Set. This makes it possible to select the effect of the luminance visibility improving process according to the user's preference.
  • the luminance visibility improvement gain ⁇ is fixed to 0 (minimum gain) when the user selection state is level 1.
  • the luminance visibility improvement gain ⁇ is fixed at 13 when the user selection state is level 2.
  • the luminance visibility improvement gain ⁇ is fixed at 57 when the user selection state is level 3.
  • the luminance visibility improvement gain ⁇ is fixed at 100 (maximum gain) when the user selection state is level 4. That is, in the example of FIG. 22, the luminance visibility improving gain ⁇ does not change in conjunction with the value of APL.
  • the luminance visibility improvement gain ⁇ is set to be saturated. Has been done.
  • the value of the luminance visibility improvement gain ⁇ at the time of saturation is set so as to increase according to the level of the user selection state for the item “visibility improvement processing intensity setting” 2120.
  • the maximum effect of the luminance visibility improving gain ⁇ can be set according to the user's preference, and in a scene where the APL is low, the luminance visibility improving gain ⁇ can be changed in conjunction with the APL. ..
  • the gain of the gain control unit 31 shown in FIG. 3 can be controlled for each pixel, and the effect of improving the luminance visibility can be suitably changed. The same effect cannot be obtained by adjusting the contrast applied to the entire screen.
  • FIG. 25 shows the “video adaptive visibility improvement process” in the item “video adaptive visibility improvement process” 2130 when the user selection state for the item “visibility improvement processing intensity setting” 2120 is level 1.
  • This is a comparison between a setting example of the luminance visibility improving gain ⁇ in which the selection state of is “OFF” and a setting example of the luminance visibility improving gain ⁇ of “ON”.
  • the item of “Video adaptive visibility improvement processing” 2130 is “.
  • the luminance visibility improvement gain ⁇ is controlled to be large in any APL.
  • the user can confirm the effect of the "image-adaptive visibility improvement process” by visually observing the displayed image, which is preferable.
  • the visibility improvement processing is dynamically performed on the input image by using the gain of the visibility improvement processing using the Retinex processing performed for each pixel.
  • the color correction ratio described in the fourth embodiment is also an example of dynamically controlling the input video.
  • the image display device is provided with a function of multiplying the color correction ratio by a gain to dynamically control the input image.
  • the video display device of the sixth embodiment of the present invention is an improved example based on the video display device of the fifth embodiment. Therefore, the configuration example of the video display device of the sixth embodiment will also be described with reference to FIG. 18, which is a configuration example of the video display device of the fifth embodiment.
  • FIG. 18 is a configuration example of the video display device of the fifth embodiment.
  • a portion that performs a process different from that of the fifth embodiment will be described, and a repetitive description will be omitted for a portion that performs a process common to the fifth embodiment.
  • Luminance visibility improvement gain which is a gain that emphasizes visibility improvement, based on the relationship between the user selection state for the item of "image adaptive visibility improvement processing" 2130 and the APL of the input image stored in the APL information 1850.
  • the user selection state for the item of "visibility improvement processing intensity setting" 2120 on the setting menu screen 2100 shown in FIG. Based on the relationship between the user selection state for the item of "improvement processing” 2130 and the APL of the input video stored in the APL information 1850, the value of the gain to be multiplied by the color correction ratio described in the fourth embodiment is set.
  • the gain is referred to as a color correction ratio gain.
  • the value of the color correction ratio described in the fourth embodiment is specifically the color correction ratio 622 of FIG. 15 or the color correction ratio 632 of FIG.
  • the value of the color correction ratio 622 described above is used for the gain setting control (gain setting control) of the color correction ratio described below. ..
  • the value of the color correction ratio 632 described above is used for the gain setting control (gain setting control) of the color correction ratio described below. ..
  • These color correction ratio parameters are parameters for bringing the color balance after Retinex processing closer to the color balance before Retinex processing. Specifically, as the intensity of the Retinex treatment increases, the color balance tends to change in the direction in which the saturation is lost. However, the color balance should be corrected in the direction of increasing the saturation by these color correction ratios. Can be done.
  • FIGS. 26 to 30 the user selection state for the item “Visibility improvement processing intensity setting” 2120 and the item “Video adaptive visibility improvement processing” 2130 on the setting menu screen 2100 shown in FIG. 21.
  • An example of the relationship between the user selection state, the APL of the input video stored in the APL information 1850, and the setting of the color correction ratio gain value will be described.
  • FIG. 26 shows the color correction ratio gain in a state where “OFF” of “video adaptive visibility improvement processing” is selected in the item of “video adaptive visibility improvement processing” 2130 of the setting menu screen 2100 shown in FIG. An example of setting control of the value of is shown.
  • the user selection status for the item of "visibility improvement processing intensity setting" 2120 is level 1 (Lv.1), level 2 (Lv.2), and level as in FIG. It is shown up to 3 (Lv.3) and level 4 (Lv.4). Further, in the columns arranged side by side in the table of FIG. 26, the value of APL indicated by the APL information 1850 is shown in percentage notation as in FIG. 22.
  • the maximum color correction ratio gain is set to 100 and the minimum color correction ratio gain is set to 0 to normalize and show in the table. It is written.
  • the actual magnification of the maximum color correction ratio gain which is normalized and takes a value of 100, may be set to 1.0.
  • the actual magnification of the minimum color correction ratio gain that is normalized and takes a value of 0 may be set to 0, 0.5, or the like.
  • the values from 0 to 100 may be considered as linearly normalized values, or may be considered as normalized values using a logarithmic curve or the like.
  • the color correction ratio gain is set to increase as the user selection state for the item “Visibility improvement processing intensity setting” 2120 increases to level 1, level 2, level 3, and level 4. ..
  • the control of FIG. 26 of the sixth embodiment is performed in addition to the control of the luminance visibility improvement gain ⁇ , which is the gain that emphasizes the visibility improvement shown in FIG.
  • the luminance visibility is controlled by controlling the color correction ratio gain of FIG. The color balance can be corrected according to the effect of the improvement process.
  • the color correction ratio gain is fixed at 0 (minimum color correction ratio) when the user selection state is level 1.
  • the color correction ratio gain is fixed at 38 when the user selection state is level 2.
  • the color correction ratio gain is fixed at 69 when the user selection state is level 3.
  • the color correction ratio gain is fixed at 100 (maximum color correction ratio gain) when the user selection state is level 4. That is, in the example of FIG. 26, the color correction ratio gain does not change in conjunction with the value of APL.
  • any of the user selection states of level 1, level 2, level 3, and level 4 when the APL exceeds a predetermined value (for example, 60%), the color correction ratio gain is set to be saturated. There is. In FIG. 27, the value of the color correction ratio gain at the time of saturation is set in common without changing according to the level of the user selection state for the item “Visibility improvement processing intensity setting” 2120. The reason for setting in this way and its effect will be described later.
  • a predetermined value for example, 60%
  • the control of FIG. 27 of the sixth embodiment is performed in addition to the control of the luminance visibility improvement gain ⁇ , which is the gain that emphasizes the visibility improvement shown in FIG. 23. Then, when the effect of the luminance visibility improving process is variable in conjunction with the APL by controlling the luminance visibility improving gain ⁇ shown in FIG. 23, it is variable in conjunction with the APL by controlling the color correction ratio gain in FIG. 27. It is possible to correct the color balance suitable for the effect of the luminance visibility improving process.
  • the color correction of the output image generation unit 605 of FIG. 19 and the image correction unit 633 of FIG. 20 are pixelated. It can be controlled in units, and the color correction effect can be suitably changed. The same effect cannot be obtained by the color correction adjustment applied to the entire screen.
  • FIG. 29 shows a supplementary explanation arrow group 2910 and a supplementary explanation arrow group 2920 added to FIG. 28.
  • the setting control of the color correction ratio gain for an image having a relatively high APL (hereinafter referred to as "high APL image”) will be described.
  • the color correction ratio gain setting control shown in FIG. 29 when the user selection state for the item of "visibility improvement processing intensity setting" 2120 is level 1, level 2, or level 3 (that is, the visibility improvement processing intensity is For cases other than the maximum level 4), when the selection state of "image adaptive visibility improvement processing” changes from “OFF” to "ON”, in high APL images, the color correction ratio is as shown by the arrow group 2910. The gain goes up.
  • the maximum color correction ratio gain is increased at any of the levels 1, level 2, and level 3.
  • the maximum color correction ratio gain is the same value as when the user selection state for the item "Visibility improvement processing intensity setting" 2120 is level 4 when the selection state of "Video adaptive visibility improvement processing" is "OFF". Is.
  • the reason for controlling in this way is as follows.
  • the color correction ratio is for color correction for correcting the saturation lost when the intensity of the Retinex treatment is increased, the intensity of the Retinex treatment is increased. Then, it is better to set the color correction ratio gain as large as possible.
  • the color correction ratio is increased in an image in which the intensity of the Retinex processing is not strong and the APL is relatively low (hereinafter referred to as "low APL image"), the saturation becomes larger than necessary or black. There is a possibility that color noise may occur in the image and unnecessary chromatic colors may be emphasized in the gray image.
  • the color correction ratio gain is set to an intermediate value instead of the maximum color correction ratio gain. I had to do it. This has been a problem that the merit of color correction using the color correction ratio gain cannot be obtained to the maximum when there is no "image adaptive visibility improvement processing".
  • the minimum color correction ratio gain is reduced when the APL is 0% at any level.
  • the maximum color correction ratio gain is the same value as when the user selection state for the item "Visibility improvement processing intensity setting" 2120 is level 1 when the selection state of "Video adaptive visibility improvement processing" is "OFF". Is.
  • the reason for controlling in this way is as follows.
  • the luminance visibility improvement gain ⁇ shown in FIG. 23 is also controlled. Therefore, for a low APL image, the luminance visibility by controlling the luminance visibility improvement gain ⁇ is also performed.
  • the intensity of the Retinex treatment in the propensity treatment is low. Therefore, it is not necessary to maintain a high color correction ratio gain for a low APL image.
  • the color correction ratio gain is increased under the condition that the intensity of the Retinex processing is not strong and the APL image is low, the saturation becomes larger than necessary, color noise occurs in the black image, and the gray image There is a possibility of causing a demerit that unnecessary chromatic colors are emphasized. Therefore, for low APL images, it is preferable to set the color correction ratio gain so low that no demerit occurs. For the above two reasons, as shown in FIG. 29, it can be said that the control of gradually lowering the color correction ratio gain according to the APL is more preferable for the low APL image.
  • the high APL image is displayed regardless of whether the user selection state for the item “Visibility improvement processing intensity setting” 2120 is level 1, level 2, level 3, or level 4. While maximizing the merit of the maximum color correction ratio gain in the above, control is performed to gradually reduce the color correction ratio gain according to the APL for a low APL image. In this case, it is not necessary to make a difference depending on the level selected by the user for the item of "Visibility improvement processing intensity setting" 2120. Therefore, in the example of FIG. 29, the selected state of "Video adaptive visibility improvement processing" is ". In the case of "ON", the control of the color correction ratio gain is common regardless of the level selected by the user.
  • the color correction ratio gain control is not necessarily performed. Do not have to be common. In this case, the effect of the present invention can be obtained as long as the tendency of increase / decrease of the color correction ratio gain with respect to APL described in FIG. 29 is maintained.
  • a graph showing a setting control example in which the selection state of the “video adaptive visibility improvement processing” is “ON” among the setting control examples of the luminance visibility improvement gain ⁇ shown in FIG. 24 is shown in the upper half of FIG. ..
  • a graph showing a setting control example in which the selection state of “video adaptive visibility improvement processing” is “ON” is shown in the lower half of FIG.
  • the luminance visibility improving gain ⁇ increases from APL 0% to about APL 30% and saturates at about APL 30%.
  • the color correction ratio gain increases from APL 0% to about APL 60% and saturates at about APL 60%.
  • the luminance visibility improvement gain ⁇ and the color correction ratio gain increase, the luminance visibility is improved by increasing the APL value at which the increase in the color correction ratio gain saturates.
  • the increase in gain ⁇ is made larger than the saturated APL value.
  • the increase in the color correction ratio gain becomes slower than the increase in the luminance visibility improvement gain ⁇ .
  • the increase in the color correction ratio gain with respect to the APL should be controlled to be slower than the increase in the luminance visibility improvement gain ⁇ with respect to the APL. For example, at low APL, it is possible to prevent the color correction ratio gain from becoming larger than necessary with respect to the luminance visibility improving effect, so that the above-mentioned demerits can be reduced.
  • the luminance visibility improvement gain ⁇ is saturated at about 30% of APL, and the luminance visibility improvement gain ⁇ at the time of saturation is saturated.
  • the value is set to be different depending on the level of the user selection state for the item of "Visibility improvement processing intensity setting" 2120.
  • the color correction ratio gain is saturated at about 60% APL, and the value of the color correction ratio gain at the time of saturation is the same regardless of the level of the user selection state for the item "Visibility improvement processing intensity setting" 2120. Is set to.
  • the image display device of the sixth embodiment of the present invention described above it is possible to dynamically control the visibility improvement processing by using the gain of the visibility improvement processing using the Retinex processing performed for each pixel. Moreover, it is possible to perform more suitable color correction for the dynamic visibility improving process.
  • Video input signal 12 Internal video signal 13 Corrected video signal 15 Display control signal 20 First retinex processing unit 21 First corrected video signal 22 Second retinex processing unit 23 Second corrected video signal 24 Feature analysis unit 25 Video synthesis control signal 26 Video synthesis control unit 27, 28, 31 Gain control unit 29 Video synthesis control signal 30 Adder 32 Illumination level signal 33 Corrected video signal by adaptive control 100 Video correction unit 101 Reflected light component by scale 1 102 Scale 2 Reflected light component 120 Reflected light detector by MSR 122 Result of convolution product by scale 1 filter 124 Result of convolution product by scale 2 filter 126 Result value of SSR by scale 1 128 Result value of SSR by scale 2 130 Reflection by MSR Optical control unit 131 Weighted average result value (including gain) for each SSR result 152 Result of convolution product by specular filter 154 Result of convolution product by diffuse filter 156 Result of convolution product by ambient filter 158 Result of function conversion for specular filter 160 Result of function conversion for diffuse filter 162 Function

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

【課題】より好適に視認性を向上した映像を得る。 【解決手段】映像表示装置において、映像入力部と、映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、映像入力部から入力された映像について、第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、映像入力部から入力された映像の特徴に応じて第1のレティネックス処理部が処理した映像と第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、映像合成部の出力映像に基づく映像を表示可能な表示部とを備え、映像合成部は、第1のレティネックス処理部が処理した映像と第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、輝度レベル変換処理のゲインを、映像入力部から入力された映像の平均画素値レベルに応じて可変するように構成する。

Description

映像表示装置およびプロジェクタ
 本発明は、映像処理技術に関する。
 本技術分野の背景技術として、特許文献1がある。この公報には、Multi Scale Retinex処理において、処理対象となる原画像の画素値レベルに応じて、スケールの異なる複数の周辺関数から生成されるぼやけ具合の異なる複数のぼやけ画像からいずれかを画素毎に選択することで、合成ぼやけ画像を作成する。合成ぼやけ画像に対してローパスフィルタを施すことによって、不自然な境界の不連続の発生を防止し、Retinex処理を行う、と記載されている(要約参照)。
特開2005-004506号公報
 映像信号中に撮影されている被写体の特性を示すパラメータとして、例えば輝度、色、周波数成分など、様々なパラメータを有しているが、映像のシーンが異なるとそれらの値も異なる。視認性の良好な映像表示を行うためには、映像の特徴に応じて映像のコントラスト補正などの特性を変更して映像補正を行う必要がある。
 しかし、前記特許文献1のような、MSRに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、被写体の特徴は考慮されていない。それ故、映像中の被写体の特徴に係わらず、一様な補正となる。
 また、前記特許文献1のような、MSRに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、反射の性質の違いに対する映像の寄与は考慮されていない。
 上記課題を解決するために、本発明の一実施の態様は、例えば、映像入力部と、映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、映像入力部から入力された映像について、第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、映像入力部から入力された映像の特徴に応じて第1のレティネックス処理部が処理した映像と第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、映像合成部の出力映像に基づく映像を表示可能な表示部と、を備え、映像合成部は、第1のレティネックス処理部が処理した映像と第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、前記輝度レベル変換処理のゲインを、映像入力部から入力された映像の平均画素値レベルに応じて可変するように構成すればよい。
 本発明によれば、より好適に視認性を向上した映像を得ることができる。
本発明の実施例1に係る映像表示装置の構成例の図である。 映像補正部の構成例の図である。 映像合成部の構成例の図である。 第1のレティネックス処理部の特性の一例である。 第2のレティネックス処理部の特性の一例である。 映像合成制御信号の特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 特徴分析部の動作特性の図である。 本発明の実施例3に係るレティネックス処理部の構成の一例である。 反射光検出部の構成の一例である。 反射光制御部の構成の一例である。 反射光制御部の構成の一例である。 Phong反射モデルによる反射光の性質を説明する図である。 ガウシアン分布を説明する図である。 余弦による輝度分布を説明する図である。 余弦のべき乗による輝度分布を説明する図である。 映像の輝度値によるスペキュラ補正ゲインを説明する図である。 映像の輝度値によるディフューズ補正ゲインを説明する図である。 本発明の実施例4に係る映像表示装置の構成図の例である。 映像補正部の構成の一例である。 出力映像生成部の構成の一例である。 映像信号レベルの一例である。 本発明の実施例4に係る映像補正部の構成の一例である。 本発明の実施例5に係る映像表示装置の構成図の例である。 映像補正部の構成の一例である。 映像補正部の構成の一例である。 本発明の実施例5に係る設定メニュー画面の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例の説明図である。 本発明の実施例6に係る色補正比率利得の制御の一例である。 本発明の実施例6に係る色補正比率利得の制御の一例である。 本発明の実施例6に係る色補正比率利得の制御の一例である。 本発明の実施例6に係る色補正比率利得の制御の一例の説明図である。 本発明の実施例6に係る輝度視認性向上利得の制御と色補正比率利得の制御の一例の説明図である。
 以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
 (実施例1)
 本実施例では、光の反射の性質毎に映像を分解して映像補正を行う映像表示装置をプロジェクタ(投射型映像表示装置)の構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行わず、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。この点については、以降のいずれの実施例でも同様である。
 図1は、本実施例の映像表示装置の構成図の例である。
 本映像表示装置は、映像入力信号10を入力とし、例えば圧縮映像信号のデコーダ、IP変換、スケーラ等により内部映像信号12に変換する入力信号処理部11と、内部映像信号12を入力とする映像補正部100と、補正映像信号13を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号15を生成するタイミング制御部14と、映像を表示する光学系装置200で構成される。
 光学系装置200は、スクリーンへ映像を投影するための光線を照射する光源203と、表示制御信号15を入力とし、光源203からの光線の階調を画素毎に調整し、投射映像を作成するパネル202と、投射映像をスクリーンに拡大投影するためのレンズ201で構成される。
 なお、映像表示装置が、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイである場合は、光学系装置200のレンズ201は不要である。ユーザーはパネル202を直視することとなる。
 映像補正部100の構成の一例を図2に示す。第1のレティネックス処理部20および第2のレティネックス処理部22は、内部映像信号12に対してレティネックス理論に基づく映像処理を行い、第1の補正映像信号21および第2の補正映像信号23を出力する。
 ここで、レティネックス(Retinex)理論とは、色恒常性や明るさ恒常性といった人間の目の視覚特性を示した理論である。この理論によれば、映像から照明光成分を分離し、反射光成分を抽出することができる。
 それ故、Retinex理論に基づいた映像補正処理では、暗い室内や明るい逆光下の映像も、該映像中の人物等の被写体を見づらくする原因である照明光成分の影響を取り除き、反射光成分を抽出することで、視認性の高い映像が得られる。このため、人間が見て感じる、自然なダイナミックレンジをデジタル階調でも好適に圧縮できる。
 Retinex理論には、照明光成分または反射光成分の推定手法により、多くのモデルが存在する。例えば、下記参考文献1では、McCann99、PSEUDO、Poisson、QPのモデルについて比較されている。
 また、局所的な照明光成分がガウシアン分布に従うと推定し、反射光成分を抽出するRetinexをCenter/Surround(以下、C/Sと記載する) Retinexと呼ぶ。このRetinexに代表されるモデルには、Single Scale Retinexモデル(以下、SSR)やMultiscale Retinexモデル(以下、MSRと呼ぶ)等がある。
 SSRは、一つのスケールに対する反射光の輝度成分を映像中から抽出するモデル(例えば、下記参考文献2参照)で、SSRを拡張し、複数のスケールに対する反射光の輝度成分を映像中から抽出するモデル(例えば、下記参考文献3参照)がMSRである。
 〔参考文献1〕野里 良裕,他 「適応的階調補正のハードウェア実現におけるRetinex理論の比較評価」,信学技報,SIS2005-16,(2005).
 〔参考文献2〕D.J.Jobson and G.A.Woodell,Properties of a Center/Surround Retinex:Part 2.Surround Design,NASA Technical Memorandum,110188,1995.
 〔参考文献3〕Zia-ur Rahman,Daniel J.Jobson,and Glenn A.Woodell,”Multiscale Retinex For Color Image Enhancement”,ICIP’96
 本実施例では、一例として、第1のレティネックス処理部20は、照明光推定性能に優れるMcCann99モデルを用い、第2のレティネックス処理部22は、コントラスト補正性能に優れるMSRモデルを用いることとする。特徴分析部24は、内部映像信号12の特徴を分析し、映像合成部26へ第1の映像合成制御信号29および第2の映像合成制御信号25を出力する。映像合成部26では、第1の映像合成制御信号29および第2の映像合成制御信号25に基づき、補正映像信号21および補正映像信号23を合成して補正映像信号13を出力する。
 図3は、映像合成部26の構成の一例を示している。補正映像信号21は、利得制御部27でα倍され、補正映像信号23は、利得制御部28で(1-α)倍され、加算部30で加算処理された後、利得制御部31でβ倍されて補正映像信号13が得られる。
 次に、図1から図3に示した構成の動作の一例を図4A~C、図5A~Fを用いて説明する。
 まず、本実施例における第1の映像合成制御信号29による制御について説明する。
 図4Aおよび図4Bは、横軸が輝度レベル、縦軸がゲインを示しており、それぞれ第1のレティネックス処理部20、第2のレティネックス処理部22の輝度レベルに対するゲイン特性の一例を示している。本実施例における、第1のレティネックス処理部20にMcCann99モデルを用い、第2のレティネックス処理部22にMSRモデルを用いた場合の一例を示している。図4Aの例では、McCann99モデルによる第1のレティネックス処理部20は、輝度レベルLV1とLV2の間にゲインのピークg1を有している。図4Bの例では、MSRモデルを用いた第2のレティネックス処理部22はLV2とLV3の間にゲインのピークg2を有している。
 図4Cは、第1のレティネックス処理部20および第2のレティネックス処理部22の特性が、上述の図4Aおよび図4Aの場合の、図2に示した特徴分析部24から出力する第1の映像合成制御信号29による合成制御値αの一例を示す図である。構成制御値は、図4Cのように、第1のレティネックス処理部20のゲインが、第2のレティネックス処理部22のゲインよりも高い輝度レベルでは合成制御値αを小さくし、逆に第1のレティネックス処理部20のゲインが、第2のレティネックス処理部22のゲインよりも低い輝度レベルでは合成制御値αを大きくするように制御する。これにより、加算部30から出力される、第1のレティネックス処理部20と第2のレティネックス処理部22の合成出力映像の入出力特性をリニアな特性とする。
 以上の処理により、照明光推定性能に優れるMcCann99モデルによるレティネックス処理とコントラスト補正性能に優れるMSRモデルによるレティネックス処理の両者の利点を得る合成映像を得ることができる。
 次に、本実施例における第2の映像合成制御信号25による制御について説明する。
 図5Aおよび図5Bは、特徴分析部24から出力する第2の映像合成制御信号25の制御の一例を示している。
 まず、図5Aは、横軸が映像の輝度レベル、縦軸が1画面中の画素の個数を表しており、各輝度レベルの分布をヒストグラムとしてグラフ化したものである。図5Aの例において、ヒストグラムh1は、輝度レベルLV1からLV3までの範囲の分布が、LV1以下およびLV3以上の輝度レベルの分布よりも多いことを示している。なお、輝度レベルLV1からLV3までの範囲の分布がフラットな場合は、一点鎖線で示すヒストグラムh0になる。
 図5Bは、横軸が入力映像の輝度レベル、縦軸が出力映像の輝度レベルを表しており、上述した図5Aの輝度分布がヒストグラムh1の場合に、特徴分析部24から出力される第2の映像合成制御信号25の一例を示している。これは、利得制御値βにより制御される入出力レベル特性である。図5Aの輝度分布がヒストグラムh0の場合には図5Bの点線で示した特性となり、図5Aの輝度分布がヒストグラムh1の場合には図5Bの実線で示した特性となる。ここで、βは、点線で示すリニアな特性を基準(β=1)とするものである。当該βを入力レベルに応じて可変することにより、図5Bの実線で示すような特性が得られる。図5Bの例では、βはLV2では1であるが、LV1では1より小さく、LV3では1より大きい値である。このように、図5Aのヒストグラムh1の場合には、利得制御値βにより、輝度分布が多いLV1からLV3の範囲の入出力特性曲線の傾きが、それ以外の領域の傾きに対して急峻になるよう制御される。このような特性で補正映像信号13を得ることにより映像中の分布が多い領域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。
 図5Cから図5Fは、輝度分布が図5Aとは異なる場合の制御の一例を説明する図である。
 まず、図5CはLV2以下の輝度レベルの輝度分布がLV2以上の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図5Dに示している。図5Dのように、輝度分布が多いLV2以下の特性曲線の傾きがLV2以上の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てる。これにより、視認性の良好な映像を得ることができる。
 次に、図5EはLV2以上の輝度レベルの輝度分布がLV2以下の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図5Fに示している。図5Fのように、輝度分布が多いLV2以上の特性曲線の傾きがLV2以下の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。
 以上説明した映像合成部26の一連の制御によって、照明光推定性能に優れるMcCann99モデルによるレティネックス処理とコントラスト補正性能に優れるMSRモデルによるレティネックス処理の両者の利点を得ながら、かつ視認性の良い補正映像が得られる。
 なお、以上の説明において、レティネックスモデルの組み合わせは上述の例に限ったものではなく、異なる方式のレティネックスデモルの組み合わせでもよい。また、2方式のモデルの組み合わせに限ったものでなく、3つ以上のモデルの組み合わせでもよい。その場合は、図2に示す複数のレティネックス処理部は、並列に並べて各レティネックス処理部の補正映像を合成処理部26で合成して補正映像信号13を得るように構成すればよい。
 (実施例2)
 実施例2は、図1の映像表示装置における映像補正部100の動作が、実施例1と異なる例である。以下に実施例1との相違について説明する。特に説明の無い部分は実施例1と同様であるため、説明を省略する。
 実施例2の映像補正部100について、図2を用いて説明する。第1のレティネックス処理部20および第2のレティネックス処理部22は、内部映像信号12に対して、それぞれ異なる方式のレティネックス理論に基づく映像処理を行い、補正映像信号21および補正映像信号23を出力する。本実施例では、第1のレティネックス処理部20よりも第2のレティネックス処理部22の方がスケールの大きなレティネックス処理を行うものとする。ここで、レティネックス処理のスケールとは、レティネックス処理において参照する画素範囲の大きさである。
 特徴分析部24は、内部映像信号12の特徴を分析し、第1の映像合成制御信号29および第2の映像合成制御信号25を映像合成部26へ出力する。映像合成部26では、映像合成制御信号29および映像合成制御信号25に基づき、補正映像信号21および補正映像信号23を合成して補正映像信号13を出力する。
 ここで、実施例2の第2の映像合成制御信号25および利得制御値βは、実施例1と同様であるため、説明を省略する。
 実施例2の第1の映像合成制御信号29による利得制御値αは、実施例1と異なるものである。以下にこれを説明する。
 図6に、実施例2における、特徴分析部24における第1の映像合成制御信号の出力特性の一例を示す。図6は、横軸が映像の輝度レベル、縦軸が第1の映像合成制御信号29による合成制御値αの値を示している。図6のように、例えば、輝度レベルが低い場合はαを小さく、高い場合はαを大きくする。このようにαを制御することで合成比率を輝度レベルに応じて可変できる。映像合成部26によって得る補正映像信号13において、輝度レベルが小さい場合は、第2のレティネックス処理部22の割合を大きくできる。また、輝度レベルが大きい場合は、第1のレティネックス処理部20の割合を大きくできる。つまり、レティネックス処理のスケールが小さい第1のレティネクス処理部20からは比較的高い周波数成分の反射光成分を多く含むため、輝度が高い映像領域にて合成割合を大きくとることで、映像の精細感を高めることができる。
 また、レティネックス処理のスケールが大きな第2のレティネクス処理部22からは比較的低い周波数成分の反射光成分を多く含むため、輝度が低い映像領域にて合成割合を大きくとることで、映像の陰影部分の視認性を高めることができる。なお、図6に示した特性は一例であり、各輝度レベルにおける最大値、最小値や特性の傾きなどは、レティネックス処理の特性に応じて決定すればよい。
 以上説明した実施例において、映像合成制御信号29は、映像の輝度レベルに応じて生成する一例を示したが、周波数成分に応じた制御であってもよい。周波数成分に応じて制御をする場合は、例えば、映像信号の領域毎の周波数成分が高い場合には、補正映像信号13において、スケールサイズの小さいレティネックス処理部から得られる映像信号の割合を大きくし、映像信号の領域毎の周波数成分が低い場合には、補正映像信号13において、スケールサイズの大きなレティネックス処理部から得られる映像信号の割合を大きくする。さらに、映像の輝度レベルと周波数成分の両者を用いた合成制御を行ってもよく、その場合は、例えば、輝度レベルに応じた上述の制御値と、周波数成分に応じた制御値の加算または積算して正規化した値にて制御を行えばよい。
 以上説明した本発明の実施例2によれば、異なる複数のレティネックス処理の補正映像をレティネックス処理のスケールに応じて合成することにより、映像の精細感と陰影部分の視認性を両立することが可能となる。
 (実施例3)
 次に、図1に示した映像表示装置における映像補正部100に異なるレティネックスモデルを用いた場合の実施例について説明する。映像補正部100の構成は、一例として図2の構成を用いることとするが、これに限ったものではない。図7は、第1のレティネックス処理部20の構成例であり、内部映像信号12を入力信号とし、Retinex理論に基づく映像処理を行うことで、2つの反射光成分101と102とを検出する反射光検出部150と、検出された2つの反射光成分を入力とし、反射光を調整した後、再合成を行うことで補正映像信号13を出力する反射光制御部180で構成される。
 次に、反射光検出部150および反射光制御部180について説明する。
 光の反射は、被写体の性質により、例えば、滑らかな表面で鏡のような鏡面反射をする光(以下、スペキュラと呼ぶ)、ざらざらした表面の細かな凹凸により拡散反射する光(以下、ディフューズと呼ぶ)、そして周囲の環境に対し反射等を繰り返すことで散乱した光である環境光(以下、アンビエントと呼ぶ)等に分類される。
 例えば、3次元コンピュータグラフィックス分野に於いて、これら3つの光の性質を用いて物体表面の陰影を表現する反射モデルに、Phong反射モデルがある。Phong反射モデルによれば、材質は光の反射具合により表現できる。
 例えば、プラスチック球体にスポットライトを当てた場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。このハイライトの部分がスペキュラである。また、ディフューズやアンビエントも材質に応じて輝度が異なる。
 図10は、Phong反射モデルの例を説明する図である。図は、光源と光源から延びる光線、光線が到達した球体と球体を載せた床、この様子を観測する観測者で構成される。観測は、視点の位置で行われ、実際に目で観測しても、カメラ等の観測機器を使用してもよい。
 図10に於いてスペキュラは、光線が球体表面で視線方向に反射した光501である。これは、光源が球体表面に映りこんだものであり、図中の円形のハイライト504がスペキュラの範囲である。例えば、プラスチックの球体の場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。Phong反射モデルでは、スペキュラは視線と反射光の余弦のべき乗に従うと仮定している。
 図10に於いてディフューズは、光線が球体表面に当たった光502が拡散反射する光である。ディフューズの輝度は、光線と球体表面の向き、すなわち光線と法線との余弦で決まるため、球体表面で光が直接当たる部分がディフューズの範囲である。
 図10に於いてアンビエントは、影となる部分に回りこんだ光503である。これは、周囲で幾度も反射し、散乱した光が環境全体に平均化されて留まったものあるため、直接光が届かない影の部分にも一定の輝度がある。影となる拡散反射する光で、光線と球体表面の向き、光線ベクトルすなわち法線との余弦で明るさが決まる。
 以上より、Phong反射モデルは、数式1で表される。
Figure JPOXMLDOC01-appb-M000001
 そこで、本実施例による反射光検出部に於ける反射光は、アンビエント、ディフューズ、スペキュラで構成されるとし、映像中のアンビエントは、広いスケールのガウシアンに従い、ディフューズは余弦による輝度分布に従い、スペキュラは余弦のべき乗による輝度分布に従うとする。アンビエントのフィルタをFa(x,y)、ディフューズのフィルタをFd(x,y)、スペキュラのフィルタをFs(x,y)とすると、各フィルタは、数式2~数式4となる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 また、図11A、図11B、図11Cは、それぞれ縦軸を輝度のレベル、横軸を1次元位置座標で表現したアンビエント、ディフューズ、スペキュラの分布を説明する図である。このように、アンビエントのガウシアン分布に比べ、ディフューズ、スペキュラの分布は急峻にレベルが下がることが分かる。
 ここで、アンビエントのフィルタによる映像Iaは、全体を平均化するため、ほぼアンビエント成分のみとなる。ディフューズのフィルタによる映像Idは、スペキュラの成分はフィルタにより平均化され、ほぼアンビエント成分とディフューズ成分のみとなる。スペキュラのフィルタによる映像Isは、殆ど平均化されないため、アンビエント成分とディフューズ成分とスペキュラ成分すべてが残る。これを数式5に示す。
Figure JPOXMLDOC01-appb-M000005
 これを、MSRと同様に対数空間による反射成分を求めると数式6となる。
Figure JPOXMLDOC01-appb-M000006
 また、鏡や金属等のスペキュラは、全反射と考えられるため、余弦のべき乗は無限大となる。このとき、スペキュラによる反射成分は、数式7を用いてもよい。
Figure JPOXMLDOC01-appb-M000007
 また、アンビエントは環境全体の平均的な光であるため、ガウシアンフィルタの代わりに平均値フィルタまたは平均輝度を用いてもよい。例えば平均輝度を用いると数式8となる。
Figure JPOXMLDOC01-appb-M000008
 また、スペキュラが目立つのは高輝度のハイライトであることが多く、ディフューズは中低輝度の場合が多い。そこで、例えば、数式6のスペキュラRspecularに対しては、図12Aに示すような高輝度領域のゲインを加え、ディフューズRdiffuseに対しては、図12Bに示すような中低輝度度領域のゲインを加えてもよい。ここで、図12Aの入出力曲線をg(I)とすると、入力輝度Iが低輝度のときはゲインが0となり、中輝度から徐々にゲインが高くなり、高輝度になるとゲインは1となる。図12Bの入出力曲線は1-g(I)で、低輝度のときにゲインが1で、中輝度から徐々にゲインが低くなり、高輝度でゲインが0となる。
 また、MSRの例と同様、数式6は、加重平均後にゲインと指数関数を加えると準同型フィルタとなる。この準同型フィルタに対し、対数関数および指数関数を、例えばべき乗を用いた関数およびその逆関数で近似してもよい。この場合、関数fとすると数式9となる。
Figure JPOXMLDOC01-appb-M000009
 以上により、Phong反射モデルを用いて、反射の性質を考慮した補正が行える。
 図8および図9を用いて、数式9を説明する。
 図8は、実施例3による反射光検出部の処理を説明する図である。反射光検出部150は、スペキュラフィルタ部151、ディフューズフィルタ部153と、アンビエントフィルタ部155と、関数変換部157、159、161と、スペキュラ検出部163と、ディフューズ検出部164とで構成される。なお、関数変換部は、対数関数でもよく、べき乗関数で近似してもよい。
 図9Aは、実施例1による反射光制御部の処理を説明する図である。反射光制御部180は、重みW1とW2による加重平均で構成してもよく、重みW1とW2による加重平均と、ゲインGと、逆関数変換部182にて構成してもよい。ただし、逆関数変換部は、関数変換部で用いた関数の逆関数である。また、図9Bに示すように、図9Aの構成に図12Aの高輝度域に高いゲインを持つスペキュラ補正ゲイン183と図12Bの中低輝度域に高いゲインを持つディフューズ補正ゲイン184を加えてもよい。
 以上の構成によれば、反射光成分を抽出する際に、光の反射の性質毎、すなわちスペキュラ、ディフューズ、アンビエント毎に映像を分解し、それぞれの性質に応じて補正量を変えることで、第1のレティネックス処理部20から映像中のオブジェクトの材質を考慮した、質感の高い第1の補正映像信号21を得ることができる。
 次に、第2のレティネックス処理部22は、MSRモデルを用いた映像補正を行うものとする。このとき、上述した第1のレティネックス処理部20よりもスケールサイズを大きくとった処理を行う。
 以上のような構成とすることで、第1の補正映像信号21はオブジェクトの性質を考慮した映像信号となり、第2の補正映像信号23は映像の比較的大きな面積でのコントラスト補正を行った映像信号となる。これらの補正映像信号に対して、実施例2で説明した映像合成部26の動作と同様に合成を行う。これにより、映像の輝度レベルが低い領域では、第2の補正映像信号の割合が大きくできるので、コントラスト改善効果を大きくでき、映像の輝度レベルが高い領域ではオブジェクトの性質を考慮した映像補正信号の割合を大きくできるので、補正映像信号13として映像の輝度レベルの全帯域に渡って視認性の良好な映像を得ることができる。
 以上説明した本発明の実施例3によれば、上述した実施例2の効果に加えて、より質感の高い出力映像を得ることが可能となる。
 (実施例4)
 本実施例では、光の反射の性質毎に映像を分解して映像補正を行う映像表示装置をプロジェクタの構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行わず、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。この点については、以降のいずれの実施例でも同様である。
 図13は、本実施例の映像表示装置の構成図の例である。
 本映像表示装置は、映像入力信号10を入力とし、例えば圧縮映像信号のデコーダ、IP変換、スケーラ等により内部映像信号601に変換する入力信号処理部11と、内部映像信号601を入力とする映像補正部1000と、出力映像信号606を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号15を生成するタイミング制御部14と、映像を表示する光学系装置200で構成される。なお、映像補正部1000は単に映像処理部と表現してもよい。
 光学系装置200は、スクリーンへ映像を投影するための光線を照射する光源203と、表示制御信号15を入力とし、光源203からの光線の階調を画素毎に調整し、投射映像を作成するパネル202と、投射映像をスクリーンに拡大投影するためのレンズ201で構成される。
 なお、映像表示装置が、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイである場合は、光学系装置200のレンズ201は不要である。ユーザーはパネル202を直視することとなる。
 映像補正部1000の構成の一例を図14に示す。色変換部602は、RGB形式で入力される内部映像信号601を、例えばYUV形式に変換して内部映像信号625を出力する。ここで、内部映像信号625の形式は、輝度信号Yと色信号に変換できればよく、YUV形式に限ったわけではない。第1のレティネックス処理部20および第2のレティネックス処理部22は、内部映像信号625の輝度信号Yに対してレティネックス理論に基づく映像処理を行い、第1の補正映像信号21および第2の補正映像信号23を出力する。第1のレティネックス処理部20および第2のレティネックス処理部22の動作は、実施例1と同一であるので詳述は省略する。
 特徴分析部24は、内部映像信号625の特徴を分析し、映像合成部26へ第1の映像合成制御信号29および第2の映像合成制御信号25を出力する。映像合成部26では、第1の映像合成制御信号29および第2の映像合成制御信号25に基づき、補正映像信号21および補正映像信号23を合成して補正映像信号13を出力する。この映像合成部26の動作は実施例1で説明した一例と同一とし、詳細な説明は省略する。色変換部603は、補正映像信号13の輝度信号Yと、内部映像信号625の色信号UVを用い、RGB形式の補正映像信号604に変換して出力する。このとき、補正映像信号13と内部映像信号625との間には、上述の各レティネックス処理部と映像合成部26の処理構成により映像のタイミング差が生ずる場合があるが、ここではそのタイミング差を補正して補正映像信号604に変換する。
 出力映像生成部605は、内部映像信号601と、補正映像信号604との映像信号レベルの比率に基づき、内部映像信号601に補正を加えて、新たな出力映像信号606として出力する。図15に出力映像生成部605の構成の一例を示す。絶対値化部610は、補正映像信号604のRGB成分より映像レベルの絶対値を算出し、映像レベル信号620を出力する。絶対値化部611は、内部映像信号601のRGB成分より映像レベルの絶対値を算出し、映像レベル信号621を出力する。比率演算器612は、前述の映像レベル信号620と映像レベル信号621の大きさの比率を求め、補正比率信号622を出力する。映像補正部613は、補正比率信号622に基づき内部映像信号601を補正して出力映像信号606を出力する。具体的には、内部映像信号601のRGB成分に対して、それぞれ補正比率信号622を乗算して補正を行う。
 この具体的な補正の一例を図16に示す。図16では、RGB色空間において、RGB各軸上に映像信号のRGBレベルを示している。上述した内部映像信号601のRGBレベルが、(r1、g1、b1)であった場合をV1の矢印(実線)で示すベクトルとなる。ここで、ベクトルV1は、内部映像信号601の複数の色パラメータの比率の情報を有するものである。同様に、補正映像信号604のレベルが、(r2、g2、b2)であったとき、V2の矢印(実線)で示すベクトルとなる。上述した各絶対値化部610、611では、各RGB成分からベクトルの絶対値、つまりベクトルV1,V2の長さを求めて映像レベル信号620、621とする。比率演算器612では、この映像レベルの絶対値より大きさの比率を求め、映像補正部613で数式10に示すように乗算を行う。
Figure JPOXMLDOC01-appb-M000010
 このようにして得る出力映像信号606は、図16のV3の破線で示すようになる。つまり、V1と同一方向のベクトルとなり、内部映像信号601の複数の色パラメータの比率が維持されるため、内部映像信号601の色合いを保持した上で、視認性の良好な映像を得ることが可能となる。
 当該処理について、以上の説明では、「内部映像信号601を補正する」と説明しているが、内部映像信号601のRGBレベルのベクトルとその絶対値、および補正映像信号604のRGBレベルのベクトルとその絶対値とに基づいて新たな出力映像信号を生成しているともいえる。
 ここまで説明した出力映像生成部605の映像補正処理は、内部映像信号601と補正映像信号604の各RGBレベルの絶対値の比率を用いて内部映像信号601を補正する一例を述べたが、輝度信号(Y)の比率を用いて内部映像信号601を補正することもできる。
 その場合の映像補正部1000の構成の一例を図17に示す。色変換部602は、内部映像信号601のRGB形式の信号から内部映像信号626を出力する。第1のレティネックス処理部20、第2のレティネックス処理部22、特徴分析部24、映像合成部26の動作は上述と同様な動作であるため説明は省略する。出力映像生成部630における比率演算器631は、補正後の輝度信号13のレベルと内部映像信号626の輝度信号レベルとの比率を求め、補正比率信号632を出力する。映像補正部633は、補正比率信号632に基づき内部映像信号601を補正して出力映像信号608を出力する。具体的には、内部映像信号601のRGB成分に対して、それぞれ補正比率信号632を乗算して補正を行う。この構成例においても内部映像信号601の色合いを保持した上で、視認性の良好な映像を得ることが可能となる。
 以上説明した本実施例の映像表示装置によれば、レティネックス処理による映像補正前の映像信号の色に関する情報(色空間上のベクトル情報または複数の色パラメータの比率の情報)と、レティネックス処理による映像補正前後の色空間ベクトルの絶対値または輝度の比率の情報に基づいて新たな映像信号を生成することができる。これにより、レティネックス処理による視認性の向上効果を得つつ、よりレティネックス処理前の色バランスに近い映像信号を生成して表示することが可能となる。
 (実施例5)
 本実施例では、本発明の実施例1~4の映像表示装置に対して、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理を入力映像に対してダイナミックに制御する例を説明する。
 一般的な画面全体に施すダイナミックコントラスト制御とは異なり、上述の実施例1~4で説明した画素毎のレティネックス処理の視認性向上効果を強調する利得を用いることで、映像のシーンの明るさに連動して画素毎の視認性向上処理の利得をダイナミックに制御することができる。
 これは、上述の実施例1~4の映像補正部の映像補正処理の後段または前段に単純に画面全体に施すダイナミックコントラスト制御を組み合わせた場合とは効果が異なる。すなわち、画面全体に施すダイナミックコントラスト制御では、画素毎に異なるレティネックス処理の視認性向上効果を画素毎に強調することができないためである。
 以下、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理を入力映像に対してダイナミックに制御する例の詳細を説明する。
 図18は、本発明の実施例5の映像表示装置の構成図の一例を示したものである。本例は、本発明の実施例1~4のうち、本発明の実施例4の映像表示装置をもとに改良した例である。よって、実施例4の映像表示装置と同一の処理部については同一の符号が付してある。実施例4の映像表示装置と同一の処理部については、その構成および処理は、実施例1~4で既に説明した通りであるので、繰り返しの説明は省略する。
 図18に示す入力信号処理部1800では、入力映像全体の平均画素値であるAPL(Average Picture Level=平均画素値レベル)情報1850を算出する。入力信号処理部1800は、算出したAPL情報1850を、映像補正部1810に伝送する。
 図18に示すユーザー設定部1820は、ユーザーからの操作入力である操作信号1821を受け付け、操作信号1821に応じて、後述する設定メニュー画面を表示して各項目のユーザー設定を可能とする。設定メニュー画面の詳細は後述する。
 次に、図18の映像補正部1810の構成について、図19および図20を用いて説明する。
 映像補正部1810の構成は、例えば、実施例4の図14の構成を改良した図19の構成を用いればよい。図19の映像補正部は、図14の映像補正部と異なり、入力信号処理部1800からAPL情報1850を取得できるように構成されている。APL情報1850の特徴分析部24は、入力信号処理部1800から取得したAPL情報1850を用いる処理を行うことができる。
 また、映像補正部1810の構成の別の例としては、例えば、実施例4の図17の構成を改良した図20の構成を用いればよい。図20の映像補正部は、図17の映像補正部と異なり、入力信号処理部1800からAPL情報1850を取得できるように構成されている。APL情報1850の特徴分析部24は、入力信号処理部1800から取得したAPL情報1850を用いる処理を行うことができる。特徴分析部24は、APL情報1850を用いて映像合成制御信号25を制御し、利得制御部31が用いる利得制御値βの大小を制御する。上述の各実施例で説明した通り、利得制御値βを制御することにより視認性向上処理強度を制御することができる。
 したがって、本実施例の映像補正部1810は、APL情報1850に基づいて、利得制御値βを可変して、視認性向上処理強度を制御することが可能となる。詳細な制御方法については後述する。
 次に、図21を用いて、上述の設定メニュー画面について説明する。図21は、本実施例の映像表示装置が表示する設定メニュー画面の一例である設定メニュー画面2100を示す図である。
 設定メニュー画面2100は、映像表示装置のメニュー画面信号生成部(図示省略)で生成され、補正映像信号13、出力映像信号606、または出力映像信号608に替えて出力される。または、設定メニュー画面2100はこれらの映像信号に重畳して出力されてもよい。
 設定メニュー画面2100の例の「Retinex方式選択」2110の項目について説明する。「Retinex方式選択」2110の項目により、各実施例で説明した第1のレティネックス処理部20および第2のレティネックス処理部22の両者のレティネックス処理の使用の要否を選択できる。選択は、リモコンや装置本体の操作ボタンの操作に基づいて生成される操作信号1821に応じてカーソル2111を移動させることにより行うように構成する。選択項目とその場合の処理について説明する。
 例えば、「Retinex1 only」の選択項目が選択された場合は、第1のレティネックス処理部20の処理のみを映像補正部の処理に適用し、第2のレティネックス処理部22の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを1にしてもよく、第2のレティネックス処理部22の動作自体をOFFしてもよい。
 次に、「Retinex2 only」の選択項目が選択された場合は、逆に、第2のレティネックス処理部22の処理のみを映像補正部の処理に適用し、第1のレティネックス処理部20の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを0にしてもよく、第1のレティネックス処理部20の動作自体をOFFしてもよい。「Combining Retinex1 and 2」の選択項目が選択された場合は、上述の実施例で説明したように、第1のレティネックス処理部20の処理と第2のレティネックス処理部22の処理とを合成して出力する。
 「Retinex OFF」の選択項目が選択された場合は、第1のレティネックス処理部20の処理と第2のレティネックス処理部22の処理との両者とも映像補正部の処理に適用しない。両者の動作をOFFにしてもよく、映像補正部に入力される映像について、映像補正部をバイパスして出力してもよい。
 上述の「Retinex方式選択」2110の項目では、必ずしも、上述の4つの選択項目をユーザーに提示する必要はなく、例えば、「Combining Retinex1 and 2」の選択項目および「Retinex OFF」の選択項目の2つを提示するだけでもよい。また、「Combining Retinex1 and 2」の選択項目、「Retinex1 only」の選択項目、「Retinex OFF」の選択項目の3つを提示してもよい。すなわち、例示した選択肢のうち少なくとも2項目を提示すればよい。
 次に、設定メニュー画面2120の例の「視認性向上処理強度設定」2120の項目について説明する。当該項目は、図3の利得制御部31の処理の効果の大小を設定できる。具体的には、スライドバー2121の移動に応じて、利得制御値βの変化量の振幅の大小を変更する。本図の例では、スライドバー2121はユーザーの選択によってレベル1、レベル2、レベル3、レベル4の4段階のレベルに設定することが可能となっているレベルがレベル1、レベル2、レベル3、レベル4と大きくなるにつれて利得制御値βの変化量の振幅が大きくなるように設定する。詳細な設定は後述する。ここで、図5B、図5D、図5Fのいずれの特性においても、利得制御値βの変化量の振幅が大きくなれば、視認性向上処理が強くなることとなる。
 次に、設定メニュー画面2120の例の「映像適応型視認性向上処理」2130の項目について説明する。これは、本実施例の入力信号処理部1800が取得したAPL情報1850を用いて、映像補正部1810が利得制御値βを可変する機能をONするかOFFするかを選択する項目である。
 「映像適応型視認性向上処理」2130の項目では、リモコンや装置本体の操作ボタンの操作を介して、ユーザーがカーソル2131を移動させ、「ON」か「OFF」のいずれかを選択可能とする。「OFF」が選択された場合には、映像補正部1810は、上述の利得制御値βは、上述の「視認性向上処理強度設定」2120の項目のユーザー選択により大きさを制御することができるが、APL情報1850の示すAPLの値に連動して変化しない。「ON」が選択された場合には、、映像補正部1810は、上述の利得制御値βは、APL情報1850の示すAPLの値に連動して変化する。
 また、上述の「視認性向上処理強度設定」2120の項目のユーザー選択毎に、APL情報1850に連動する利得制御値βの制御を異ならせることができる。具体的な制御例については後述する。
 以上説明した通り、図21に示す設定メニュー画面2100を用いることにより、映像表示装置の映像補正処理をユーザーの好みや映像表示装置の使用目的または使用環境にあわせてユーザーが調整することが可能である。これにより、より使い勝手のよい映像表示装置が提供できる。
 次に、図22~25を用いて、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLと、視認性向上を強調するゲインである利得制御値βとの設定の関係の一例を説明する。
 図22は、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「OFF」が選択された状態の、輝度視認性向上利得である利得制御値βの設定制御の一例を示している。
 図22の表において縦に並ぶ行には「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1(Lv.1)、レベル2(Lv.2)、レベル3(Lv.3)、レベル4(Lv.4)まで示されている。なお、図22から図30の各図において、単にLv.1、Lv.2、Lv.3、またはLv.4と表記した場合には、「視認性向上処理強度設定」2120の項目においてユーザーが選択したレベルを示すものとする。
 また、当該Lv.1、Lv.2、Lv.3、またはLv.4の表記の後に、(ON)と表記されているものは、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「ON」であることを示すものとする。同様に、当該Lv.1、Lv.2、Lv.3、またはLv.4の表記の後に、(OFF)と表記されているものは、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」であることを示すものとする。本図以降の図でも同様である。
 また、図22の表において横に並ぶ列にはAPL情報1850の示すAPLの値がパーセンテージ表記で示されている。
 ここで、図22においては、輝度視認性向上利得βの制御の特性をより一般化して説明するために、最大利得を100とし最小利得を0として正規化して表中に表記している。例えば、正規化されて0の値を取る最小利得の実際の倍率は1.0と設定してもよい。最大利得の実際の倍率は設計思想に依存するため、映像表示装置において好適な倍率に設定すればよい。正規化された値のうち0~100までの値は、線形に正規化した値と考えてもよいし、対数曲線等を用いて正規化した値と考えてもよい。
 図22の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4と大きくなるにつれて、輝度視認性向上利得βが大きくなるように設定する。これにより、輝度視認性向上処理の効果をユーザーの好みに応じて選択することが可能となる。
 しかしながら、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」であるため、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4の各状態において、輝度視認性向上利得βはAPLの値に対して固定である。
 例えば、図22の例では、輝度視認性向上利得βはユーザー選択状態がレベル1のときは0(最小利得)に固定である。輝度視認性向上利得βはユーザー選択状態がレベル2のときは13に固定である。輝度視認性向上利得βはユーザー選択状態がレベル3のときは57に固定である。輝度視認性向上利得βはユーザー選択状態がレベル4のときは100(最大利得)に固定である。すなわち、図22の例では、輝度視認性向上利得βはAPLの値に対して連動して変化することはない。
 次に、図23を用いて、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「ON」が選択された状態の、輝度視認性向上利得βの設定制御の一例を示している。図23の表中の各値の定義は図22と同様であるため、説明を省略する。図23の例では、図22と異なり、輝度視認性向上利得βはAPLの値に対して連動して変化する。図23の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが0%から所定の値(例えば30%)までは、輝度視認性向上利得βが増加するように設定されている。
 また、ユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが所定の値(例えば30%)を超えると、輝度視認性向上利得βは飽和するように設定されている。飽和時の輝度視認性向上利得βの値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに応じて大きくなるように設定されている。
 すなわち、図23の例では、輝度視認性向上利得βの最大効果をユーザーの好みで設定可能としつつ、APLが低いシーンでは、輝度視認性向上利得βをAPLに連動させて可変することができる。当該制御例では、図3に示す利得制御部31の画素単位の利得を制御することができ、輝度視認性向上効果を好適に可変することができる。画面全体に施すコントラスト調整では当該制御例を同様の効果を得ることはできない。
 次に、図22の輝度視認性向上利得βの制御例と、図23の輝度視認性向上利得βの制御例の両者を、図24のグラフに示す。輝度視認性向上利得βの設定制御の特徴は図22および図23の説明で説明した通りであるので、再度の説明は省略する。
 次に、図24に示される輝度視認性向上利得βの設定制御のうち、さらに特徴的な例について図25を用いて説明する。図25は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1であるときの、「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」の輝度視認性向上利得βの設定例と、「ON」の輝度視認性向上利得βの設定例を比較したものである。図25の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態が最小選択レベルのレベル1のままであっても、「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」から「ON」へ切り替わったときに、いずれのAPLでも輝度視認性向上利得βが大きくなるように制御する。これにより、ユーザーは、表示映像を目視することにより「映像適応型視認性向上処理」の効果を確認することができ、好適である。
 以上説明した本発明の実施例5の映像表示装置によれば、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理をダイナミックに制御することが可能となる。
 (実施例6)
 本実施例は、本発明の実施例5の映像表示装置において、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理を入力映像に対してダイナミックに制御する場合に、実施例4で説明した色補正比率も入力映像に対してダイナミックに制御する例である。
 具体的には、本発明の実施例5の映像表示装置に対して、色補正比率に利得を乗じて入力映像に対してダイナミックに制御する機能を追加するものである。
 本発明の実施例6の映像表示装置は、実施例5の映像表示装置をもとに改良した例である。よって、実施例6の映像表示装置の構成例も、実施例5の映像表示装置の構成例である図18を用いて説明するものとする。以下、図18に記載される構成のうち、実施例5と異なる処理を行う部分について説明するものとし、実施例5と共通の処理を行う部分については、繰り返しの説明は省略する。
 本発明の実施例6の映像表示装置では、実施例5の映像表示装置と同様に、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLの関係に基づいて、視認性向上を強調するゲインである輝度視認性向上利得βを設定する。
 これに加えて、本発明の実施例6の映像表示装置では、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLの関係に基づいて、実施例4で説明した色補正比率に乗じる利得の値を設定する。本実施例では、当該利得を色補正比率利得と称する。
 ここで、実施例4で説明した色補正比率の値とは、具体的には、図15の色補正比率622または、図17の色補正比率632である。実施例6において、映像補正部1810の構成として図19の構成例を採用する場合は、上述の色補正比率622の値を以下に説明する色補正比率の利得設定制御(ゲイン設定制御)に用いる。実施例6において、映像補正部1810の構成として図20の構成例を採用する場合は、上述の色補正比率632の値を以下に説明する色補正比率の利得設定制御(ゲイン設定制御)に用いる。
 これらの色補正比率パラメータは、レティネックス処理後の色バランスを、レティネックス処理前の色バランスに近づけるためのパラメータである。具体的には、レティネックス処理の強度が強くなると、彩度が失われる方向に色バランスが変化する傾向があるが、これらの色補正比率により当該色バランスを彩度が上がる方向に修正することができる。
 図26~図30を用いて、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLと、色補正比率利得の値の設定の関係の一例を説明する。
 図26は、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「OFF」が選択された状態の、色補正比率利得の値の設定制御の一例を示している。
 図26の表において縦に並ぶ行には、図22同様に「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1(Lv.1)、レベル2(Lv.2)、レベル3(Lv.3)、レベル4(Lv.4)まで示されている。また、図26の表において横に並ぶ列には、図22同様に、APL情報1850の示すAPLの値がパーセンテージ表記で示されている。
 ここで、図26においては、色補正比率利得の値の制御の特性をより一般化して説明するために、最大色補正比率利得を100とし最小色補正比率利得を0として正規化して表中に表記している。例えば、正規化されて100の値を取る最大色補正比率利得の実際の倍率は1.0と設定してもよい。例えば、正規化されて0の値を取る最小色補正比率利得の実際の倍率は0や0.5などと設定してもよい。正規化された値のうち0~100までの値は、線形に正規化した値と考えてもよいし、対数曲線等を用いて正規化した値と考えてもよい。
 図26の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4と大きくなるにつれて、色補正比率利得が大きくなるように設定する。ここで、実施例6の図26の制御は、図22に示した視認性向上を強調するゲインである輝度視認性向上利得βの制御に加えて行われるものである。すると、図22に示す輝度視認性向上利得βの制御により輝度視認性向上処理の効果をユーザーの好みに応じて選択された場合に、図26の色補正比率利得の制御により、その輝度視認性向上処理の効果に応じた色バランスの修正を行うことができる。
 しかしながら、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」であるため、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4の各状態において、色補正比率利得はAPLの値に対して固定である。
 例えば、図26の例では、色補正比率利得はユーザー選択状態がレベル1のときは0(最小色補正比率)に固定である。色補正比率利得はユーザー選択状態がレベル2のときは38に固定である。色補正比率利得はユーザー選択状態がレベル3のときは69に固定である。色補正比率利得はユーザー選択状態がレベル4のときは100(最大色補正比率利得)に固定である。すなわち、図26の例では、色補正比率利得はAPLの値に対して連動して変化することはない。
 次に、図27を用いて、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「ON」が選択された状態の、色補正比率利得の設定制御の一例を示している。図27の表中の各値の定義は図26と同様であるため、説明を省略する。図27の例では、図26と異なり、色補正比率利得はAPLの値に対して連動して変化する。図27の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが0%から所定の値(例えば60%)までは色補正比率利得が増加するように設定されている。
 また、ユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが所定の値(例えば60%)を超えると、色補正比率利得は飽和するように設定されている。図27において、飽和時の色補正比率利得の値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに応じて変わることなく共通に設定されている。このように設定する理由とその効果については後述する。
 ここで、実施例6の図27の制御は、図23に示した視認性向上を強調するゲインである輝度視認性向上利得βの制御に加えて行われるものである。すると、図23に示す輝度視認性向上利得βの制御により輝度視認性向上処理の効果がAPLに連動して可変する場合に、図27の色補正比率利得の制御によりAPLに連動して可変する輝度視認性向上処理の効果に対して好適な色バランスの修正を行うことができる。
 すなわち、図27の制御例では、色補正比率622または色補正比率632に色補正比率利得を乗じることにより、図19の出力映像生成部605や、図20の映像補正部633の色補正を画素単位で制御することができ、色補正効果を好適に可変することができる。画面全体に施す色補正調整では当該制御例を同様の効果を得ることはできない。
 次に、図26の色補正比率利得の制御例と、図27の色補正比率利得の制御例の両者を、図28のグラフに示す。色補正比率利得の設定制御の特徴は図26および図27の説明で説明した通りであるので、再度の説明は省略する。
 次に、図28に示される色補正比率利得の設定制御による効果について図29を用いて説明する。図29は、図28に補足説明用の矢印群2910と、補足説明用の矢印群2920を加えたものである。
 まず、APLが比較的高い映像(以下「高APL映像」と称する。)に対する色補正比率利得の設定制御について説明する。図29に示される色補正比率利得の設定制御において、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3の場合(すなわち、視認性向上処理強度が最大のレベル4以外の場合)については、「映像適応型視認性向上処理」の選択状態が「OFF」から「ON」に変化したとき、高APL映像では、矢印群2910のように色補正比率利得が上昇する。   
 図29の例では、APLが60%以上では、レベル1、レベル2、レベル3のいずれのレベルにおいても最大色補正比率利得まで上昇する。当該最大色補正比率利得は「映像適応型視認性向上処理」の選択状態が「OFF」における、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル4である場合と同じ値である。このように制御する理由は以下の通りである。
 すなわち、上述の通り、そもそも色補正比率は、レティネックス処理の強度が強くなったときに失われた彩度を修正する色補正のためのものであるので、レティネックス処理の強度が強くなる状態ではできる限り大きい色補正比率利得とした方がよい。一方で、レティネックス処理の強度が強くない条件下かつAPLが比較的低い映像(以下「低APL映像」と称する。)において色補正比率を高めると、必要以上に彩度が大きくなったり、黒映像に色ノイズが生じたり、グレー映像において不要な有彩色が強調されるというデメリットを生じる可能性があった。
 したがって、「映像適応型視認性向上処理」の選択状態が「OFF」の場合は、低APLの映像において色補正比率利得を高めることのデメリットを最小限にしながら、高APLの映像において「視認性向上処理強度設定」2120の項目についてユーザーが選択したレベルに対応する視認性向上処理の効果に対する色補正効果を得るために、色補正比率利得を最大色補正比率利得ではなく中間的な値に設定する必要があった。これが、「映像適応型視認性向上処理」がない場合における、色補正比率利得を用いた色補正のメリットを最大限に得られない課題となっていた。
 これに対し、本実施例に係る図29の制御例では、「映像適応型視認性向上処理」の選択状態が「ON」の場合は、APL応じて色補正比率利得を可変できるので、当該課題は解消し、高APLの映像において「視認性向上処理強度設定」2120の項目についてユーザーが選択したレベルに関わらず最大色補正比率利得を用いることが可能となり、色補正比率利得を用いた色補正のメリットを最大限に得ることができるようになっている。
 次に、低APL映像に対する色補正比率利得の設定制御について説明する。図29に示される色補正比率利得の設定制御において、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル2、レベル3、レベル4の場合については、「映像適応型視認性向上処理」の選択状態が「OFF」から「ON」に変化したとき、低APL映像では、矢印群2920のように色補正比率利得が低下する。特に、視認性向上処理強度が最大のレベル4が選択されている場合は低下が最も大きい。図29の例では、APLが60%より低いときは、レベル2、レベル3、レベル4のいずれのレベルにおいても、「OFF」の状態よりも色補正比率利得が低くなる。図29の例では、いずれのレベルにおいてもAPLが0%のときに最小色補正比率利得まで低下する。当該最大色補正比率利得は「映像適応型視認性向上処理」の選択状態が「OFF」における、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1である場合と同じ値である。このように制御する理由は以下の通りである。
 すなわち、図29の制御を行うときに、図23に示す輝度視認性向上利得βの制御も行われているので、低APLの映像に対しては、輝度視認性向上利得βの制御による輝度視認性向処理におけるレティネックス処理の強度が低くなっている。よって、低APLの映像に対して、色補正比率利得を高く維持する必要がない。
 また、上述の通り、レティネックス処理の強度が強くない条件下かつ低APL映像において色補正比率利得を高めると、必要以上に彩度が大きくなったり、黒映像に色ノイズが生じたり、グレー映像において不要な有彩色が強調されるというデメリットを生じる可能性がある。よって、低APLの映像に対しては、デメリットが生じない程度に色補正比率利得を低く設定した方が好ましい。以上の2点の理由により、図29に示すように、低APLの映像に対しては、APLに応じて色補正比率利得を徐々に低下させていく制御がより好適といえる。
 図29の例では、以上説明した理由により、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの場合にも、高APL映像における最大色補正比率利得のメリットを最大限に得つつ、低APLの映像に対しては、APLに応じて色補正比率利得を徐々に低下させていく制御を行っている。この場合特に「視認性向上処理強度設定」2120の項目についてのユーザーが選択したレベルにより差をつける必要はないため、図29の例では、「映像適応型視認性向上処理」の選択状態が「ON」の場合は、ユーザーの選択した当該レベルに関わらず、色補正比率利得の制御を共通としている。
 ただし、「映像適応型視認性向上処理」の選択状態が「ON」の場合にユーザーの選択したレベルによって、色補正比率利得の制御を異ならせる必要がある場合は、必ずしも色補正比率利得の制御を共通にする必要はない。この場合、図29に説明したAPLに対する色補正比率利得の増減の傾向さえ維持すれば本発明の効果を得ることができる。
 次に、本実施例の「映像適応型視認性向上処理」の選択状態が「ON」の場合における、輝度視認性向上利得βの設定制御例と、色補正比率利得の設定制御例の比較説明を、図30を用いて行う。
 図24に示した輝度視認性向上利得βの設定制御例のうち「映像適応型視認性向上処理」の選択状態が「ON」の設定制御例を示すグラフを図30の上半分に示している。図28に示した色補正比率利得の設定制御例のうち「映像適応型視認性向上処理」の選択状態が「ON」の設定制御例を示すグラフを図30の下半分に示している。図30に示されるように、本実施例に係る映像表示装置では、輝度視認性向上利得βは、APL0%からAPL30%程度まで増加し、APL30%程度で飽和する。これに対し、色補正比率利得は、APL0%からAPL60%程度まで増加し、APL60%程度で飽和する。
 このように、本実施例に係る映像表示装置では、輝度視認性向上利得βと色補正比率利得とがともに増加する場合に、色補正比率利得の増加が飽和するAPLの値を輝度視認性向上利得βの増加が飽和するAPLの値よりも大きくしている。これにより、色補正比率利得の増加が、輝度視認性向上利得βの増加よりも緩やかになる。
 上述の通り、低APLにおいて、色補正比率利得が輝度視認性向上効果に対して必要以上に大きくなると、黒映像に色ノイズが生じたり、グレー映像において不要な有彩色が強調されるというデメリットを生じる可能性があることを説明した。ここで、図30に示す本実施例に係る映像表示装置の制御のように、APLに対する色補正比率利得の増加を、APLに対する輝度視認性向上利得βの増加よりも緩やかにするように制御すれば、低APLにおいて、色補正比率利得が輝度視認性向上効果に対して必要以上に大きくなることを防止することができるので、上述のデメリットを低減することが可能となる。
 また、図30から分かるように、映像適応型視認性向上処理の選択状態が「ON」の場合、APL30%程度で輝度視認性向上利得βが飽和し、飽和時の輝度視認性向上利得βの値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに応じて異なるように設定されている。これに対し、APL60%程度で色補正比率利得が飽和し、飽和時の色補正比率利得の値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに関わらず同じなるように設定されている。このような関係にすることにより、視認性向上処理効果をユーザーの好みにより調整できるようにするとともに、色補正による色バランス修正効果を最大限まで利用することが可能となる。
 以上説明した本発明の実施例6の映像表示装置によれば、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理をダイナミックに制御することが可能であり、かつ、ダイナミックな視認性向上処理に対してより好適な色補正を行うことができる。
10 映像入力信号
12 内部映像信号
13 補正映像信号
15 表示制御信号
20 第1のレティネックス処理部
21 第1の補正映像信号
22 第2レティネックス処理部
23 第2の補正映像信号
24 特徴分析部
25 映像合成制御信号
26 映像合成部
27、28、31 利得制御部
29 映像合成制御信号
30 加算器
32 照度レベル信号
33 適応制御による補正映像信号
100 映像補正部
101 スケール1による反射光成分
102 スケール2による反射光成分
120 MSRによる反射光検出部
122 スケール1フィルタによるコンボリューション積の結果
124 スケール2フィルタによるコンボリューション積の結果
126 スケール1によるSSRの結果値
128 スケール2によるSSRの結果値
130 MSRによる反射光制御部
131 各SSRの結果に対する加重平均結果値(ゲイン含む)
152 スペキュラフィルタによるコンボリューション積の結果
154 ディフューズフィルタによるコンボリューション積の結果
156 アンビエントフィルタによるコンボリューション積の結果
158 スペキュラフィルタに対する関数変換の結果
160 ディフューズフィルタに対する関数変換の結果
162 アンビエントフィルタに対する関数変換の結果
181 スペキュラおよびディフューズに対する加重平均結果値(ゲイン含む)
302 エッジ信号
601 内部映像信号
602、603 色変換部
604 補正映像信号
605、607、630 出力映像生成部
606、608 出力映像信号
610、611 絶対値化部
612、631 比率演算器
613、615、633 映像補正部
1000、3000 映像補正部

Claims (30)

  1.  映像入力部と、
     前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
     前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
     前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、
     前記映像合成部の出力映像に基づく映像を表示可能な表示部と、を備え、
     前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
     前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変する、映像表示装置。
  2.  請求項1に記載の映像表示装置において、
     前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    映像表示装置。
  3.  請求項2に記載の映像表示装置において、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    映像表示装置。
  4.  請求項1に記載の映像表示装置において、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記表示部には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
     前記設定メニュー画面では、
     前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
     前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    映像表示装置。
  5.  請求項4に記載の映像表示装置において、
     前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち前記輝度レベル変換処理のゲインを最も小さくする段階が選択されている場合において、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記映像入力部から入力された映像の平均画素値レベルがいずれの値であっても、前記輝度レベル変換処理のゲインの変更後の値は、変更前の値よりも増加する、
    映像表示装置。
  6.  映像入力部と、
     前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
     前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
     前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、
     前記映像入力部から入力された映像が有する色空間上のベクトルと同じ方向の色空間上のベクトルに対して、前記映像合成部で合成された映像の信号における色空間ベクトルの絶対値に基づいて算出する色補正比率を用いた補正を行った映像を生成する映像生成部と、
     前記映像生成部の出力映像に基づく映像を表示可能な表示部と、を備え、
     前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
     前記映像合成部は、前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであり、
     前記映像生成部は、前記色補正比率に第2のゲインを乗じることが可能であり、
     前記映像生成部は、前記色補正比率に乗じる前記第2のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものである、
    映像表示装置。
  7.  請求項6に記載の映像表示装置において、
     前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    映像表示装置。
  8.  請求項7に記載の映像表示装置において、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    映像表示装置。
  9.  請求項6に記載の映像表示装置において、
     前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    映像表示装置。
  10.  請求項6に記載の映像表示装置において、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記表示部には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
     前記設定メニュー画面では、
     前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
     前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    映像表示装置。
  11.  請求項10に記載の映像表示装置において、
     前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    映像表示装置。
  12.  請求項11に記載の映像表示装置において、
     前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階が以外の段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値を超えている場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも増加する、
    映像表示装置。
  13.  請求項11に記載の映像表示装置において、
     前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値より小さい場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも低下する、
    映像表示装置。
  14.  請求項6に記載の映像表示装置において、
     前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第1の値を超えると第1のゲインで飽和するように可変するものであり、
     前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第2の値を超えると前記第2のゲインで飽和するように可変するものであり、
     平均画素値レベルの前記第2の値は前記第1の値よりも高い値である、
    映像表示装置。
  15.  請求項14に記載の映像表示装置において、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更可能であるが、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更した場合でも、前記色補正比率に乗じる前記第2のゲインが飽和する前記第2のゲインは変化しない、
    映像表示装置。
  16.  映像入力部と、
     前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
     前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
     前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、
     前記映像合成部の出力映像に基づく表示映像を投射可能な映像投射部と、を備え、
     前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
     前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変する、
    プロジェクタ。
  17.  請求項16に記載のプロジェクタにおいて、
     前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    プロジェクタ。
  18.  請求項17に記載のプロジェクタにおいて、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    プロジェクタ。
  19.  請求項16に記載のプロジェクタにおいて、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記映像投射部から投射する表示映像には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
     前記設定メニュー画面では、
     前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
     前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    プロジェクタ。
  20.  請求項19に記載のプロジェクタにおいて、
     前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち前記輝度レベル変換処理のゲインを最も小さくする段階が選択されている場合において、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記映像入力部から入力された映像の平均画素値レベルがいずれの値であっても、前記輝度レベル変換処理のゲインの変更後の値は、変更前の値よりも増加する、
    プロジェクタ。
  21.  映像入力部と、
     前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
     前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
     前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、
     前記映像入力部から入力された映像が有する色空間上のベクトルと同じ方向の色空間上のベクトルに対して、前記映像合成部で合成された映像の信号における色空間ベクトルの絶対値に基づいて算出する色補正比率を用いた補正を行った映像を生成する映像生成部と、
     前記映像生成部の出力映像に基づく表示映像を投射可能な映像投射部と、を備え、
     前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
     前記映像合成部は、前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであり、
     前記映像生成部は、前記色補正比率に第2のゲインを乗じることが可能であり、
     前記映像生成部は、前記色補正比率に乗じる前記第2のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものである、
    プロジェクタ。
  22.  請求項21に記載のプロジェクタにおいて、
     前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    プロジェクタ。
  23.  請求項22に記載のプロジェクタにおいて、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    プロジェクタ。
  24.  請求項21に記載のプロジェクタにおいて、
     前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    プロジェクタ。
  25.  請求項21に記載のプロジェクタにおいて、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記映像投射部が投射する表示映像には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
     前記設定メニュー画面では、
     前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
     前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    プロジェクタ。
  26.  請求項25に記載のプロジェクタにおいて、
     前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    プロジェクタ。
  27.  請求項26に記載のプロジェクタにおいて、
     前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階が以外の段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値を超えている場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも増加する、
    プロジェクタ。
  28.  請求項26に記載のプロジェクタにおいて、
     前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値より小さい場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも低下する、
    プロジェクタ。
  29.  請求項21に記載のプロジェクタにおいて、
     前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第1の値を超えると第1のゲインで飽和するように可変するものであり、
     前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第2の値を超えると前記第2のゲインで飽和するように可変するものであり、
     平均画素値レベルの前記第2の値は前記第1の値よりも高い値である、
    プロジェクタ。
  30.  請求項29に記載のプロジェクタにおいて、
     ユーザーからの操作入力を受け付ける操作入力部を備え、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更可能であるが、
     前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更した場合でも、前記色補正比率に乗じる前記第2のゲインが飽和する前記第2のゲインは変化しない、
    プロジェクタ。
PCT/JP2019/040086 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ WO2021070342A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021551055A JP7344975B2 (ja) 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ
US17/767,623 US20230051479A1 (en) 2019-10-10 2019-10-10 Video display device and projector
PCT/JP2019/040086 WO2021070342A1 (ja) 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ
CN201980101191.1A CN114556907A (zh) 2019-10-10 2019-10-10 影像显示装置以及投影仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/040086 WO2021070342A1 (ja) 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ

Publications (1)

Publication Number Publication Date
WO2021070342A1 true WO2021070342A1 (ja) 2021-04-15

Family

ID=75437840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040086 WO2021070342A1 (ja) 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ

Country Status (4)

Country Link
US (1) US20230051479A1 (ja)
JP (1) JP7344975B2 (ja)
CN (1) CN114556907A (ja)
WO (1) WO2021070342A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191824A (ja) * 1992-01-09 1993-07-30 Matsushita Electric Ind Co Ltd 映像信号補正装置
JP2000513907A (ja) * 1997-03-06 2000-10-17 松下電器産業株式会社 映像信号の画質補正回路
JP2005198338A (ja) * 2005-02-16 2005-07-21 Hitachi Ltd 画像表示装置
JP2006311167A (ja) * 2005-04-28 2006-11-09 Hitachi Ltd 映像処理装置及び映像表示装置
JP2010130399A (ja) * 2008-11-28 2010-06-10 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010213008A (ja) * 2009-03-10 2010-09-24 Sharp Corp 信号処理装置、映像表示装置及び信号処理方法
WO2015097780A1 (ja) * 2013-12-25 2015-07-02 日立マクセル株式会社 映像表示装置
WO2017046905A1 (ja) * 2015-09-16 2017-03-23 日立マクセル株式会社 映像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4212134B2 (ja) * 1997-12-25 2009-01-21 三洋電機株式会社 画像信号処理装置
JP2003177727A (ja) * 2001-12-13 2003-06-27 Nec Viewtechnology Ltd 画像表示装置および光量調節方法
JP4271978B2 (ja) * 2003-04-18 2009-06-03 株式会社日立製作所 映像表示装置
BRPI0409513A (pt) * 2003-04-25 2006-04-18 Visioneered Image Systems Inc fonte de iluminação de área led para emitir luz de uma cor desejada, monitor de vìdeo colorido e métodos de determinar a degradação dos led (s) representativos de cada cor e de operar e de calibrar o monitor
KR100526615B1 (ko) * 2003-12-29 2005-11-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP3953507B2 (ja) * 2005-10-18 2007-08-08 シャープ株式会社 液晶表示装置
US8531379B2 (en) * 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
JP2012205051A (ja) * 2011-03-25 2012-10-22 Sanyo Electric Co Ltd 表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191824A (ja) * 1992-01-09 1993-07-30 Matsushita Electric Ind Co Ltd 映像信号補正装置
JP2000513907A (ja) * 1997-03-06 2000-10-17 松下電器産業株式会社 映像信号の画質補正回路
JP2005198338A (ja) * 2005-02-16 2005-07-21 Hitachi Ltd 画像表示装置
JP2006311167A (ja) * 2005-04-28 2006-11-09 Hitachi Ltd 映像処理装置及び映像表示装置
JP2010130399A (ja) * 2008-11-28 2010-06-10 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010213008A (ja) * 2009-03-10 2010-09-24 Sharp Corp 信号処理装置、映像表示装置及び信号処理方法
WO2015097780A1 (ja) * 2013-12-25 2015-07-02 日立マクセル株式会社 映像表示装置
WO2017046905A1 (ja) * 2015-09-16 2017-03-23 日立マクセル株式会社 映像処理装置

Also Published As

Publication number Publication date
CN114556907A (zh) 2022-05-27
JP7344975B2 (ja) 2023-09-14
US20230051479A1 (en) 2023-02-16
JPWO2021070342A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
US10134359B2 (en) Device or method for displaying image
KR101234958B1 (ko) 적응성 콘트래스트 개선
US10134323B2 (en) Image display device
CN101141595A (zh) 图像校正方法和设备
US7826680B2 (en) Integrated histogram auto adaptive contrast control (ACC)
JP6550138B2 (ja) 映像処理装置
KR101648762B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP2007212834A (ja) 画像表示方法及びその装置
JP6046238B2 (ja) 映像表示装置
JP6738480B2 (ja) 映像表示装置
WO2021070342A1 (ja) 映像表示装置およびプロジェクタ
JP2011045015A (ja) 画像処理装置及び方法、並びに画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19948387

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551055

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19948387

Country of ref document: EP

Kind code of ref document: A1