WO2005027042A1 - 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 - Google Patents

視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 Download PDF

Info

Publication number
WO2005027042A1
WO2005027042A1 PCT/JP2004/013602 JP2004013602W WO2005027042A1 WO 2005027042 A1 WO2005027042 A1 WO 2005027042A1 JP 2004013602 W JP2004013602 W JP 2004013602W WO 2005027042 A1 WO2005027042 A1 WO 2005027042A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
value
visual processing
processing device
function
Prior art date
Application number
PCT/JP2004/013602
Other languages
English (en)
French (fr)
Inventor
Haruo Yamashita
Tatsumi Watanabe
Yusuke Monobe
Takeshi Ito
Akio Kojima
Yasuhiro Kuwahara
Toshiharu Kurosawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/571,296 priority Critical patent/US20070109447A1/en
Priority to EP04773246.6A priority patent/EP1667065B1/en
Priority to KR1020117000704A priority patent/KR101089426B1/ko
Publication of WO2005027042A1 publication Critical patent/WO2005027042A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement

Definitions

  • Visual processing device Description: Visual processing device, visual processing method, visual processing program, and semiconductor device (technical field)
  • the present invention relates to a visual processing device, and more particularly to a visual processing device that performs visual processing such as spatial processing or gradation processing of an image signal.
  • spatial processing and gradation processing are known. Spatial processing is to perform processing of a pixel of interest using pixels around the pixel of interest to which a filter is applied.
  • techniques for performing contrast enhancement of the original image and dynamic range (D R) compression using a spatially processed image signal are known.
  • contrast enhancement the difference between the original image and the blur signal (sharp component of the image) is added to the original image to sharpen the image.
  • DR compression a part of the blur signal is subtracted from the original image to compress the dynamic range.
  • the gradation process is a process of converting a pixel value using a look-up table (LUT) for each pixel of interest irrespective of pixels around the pixel of interest, and is sometimes referred to as gamma correction.
  • LUT look-up table
  • pixel values are converted using LUT that sets the gradation of the gradation level having a high appearance frequency (large area) in the original image.
  • gradation processing As gradation processing using LUTs, gradation processing (histogram equalization method), which determines and uses one LUT for the entire original image, and determines LUTs for each image area obtained by dividing the original image into multiple parts It is known that the gradation processing (local histogram equalization method) to be used is disclosed in, for example, Japanese Patent Application Laid-Open No. 2000-57373 (page 3, FIG. 1'3 to FIG. 16). See Fig.).
  • Figure 48 shows edge enhancement and contrast enhancement using unsharp masking. Shown is a visual processing device 400 for performing.
  • a visual processing device 400 shown in FIG. 8 performs spatial processing on an input signal IS and outputs an unsharp signal US, and a spatial processing unit 401 that subtracts the unsharp signal US from the input signal IS and outputs a difference signal DS.
  • FIG. 49 shows the enhancement functions R1 to R3.
  • the horizontal axis represents the difference signal DS
  • the vertical axis represents the emphasis processing signal TS.
  • the enhancement function R 1 is a linear enhancement function for the difference signal DS.
  • the enhancement function R2 is a nonlinear enhancement function for the difference signal DS, and is a function for suppressing excessive contrast.
  • a larger suppression effect (a suppression effect by a larger suppression ratio) is exerted on an input X having a large absolute value (X is the value of the differential signal DS).
  • the enhancement function R2 is represented by a graph having a smaller slope for an input X having a larger absolute value.
  • the emphasis function R3 is a non-linear emphasis function for the differential signal DS, and suppresses small amplitude noise components. That is, a larger suppression effect (a suppression effect by a larger suppression ratio) is exerted on an input X having a small absolute value (X is the value of the differential signal DS).
  • the enhancement function R 3 is represented by a graph having a larger slope for an input X having a larger absolute value.
  • the emphasis processing section 403 uses one of these emphasis functions R 1 to R 3.
  • the difference signal DS is a sharp component of the input signal IS.
  • the intensity of the difference signal DS is converted and added to the input signal IS. For this reason, the edge and contrast of the input signal IS are enhanced in the output signal OS.
  • FIG. 50 shows a visual processing device 406 for improving local contrast (intensity) (for example, see Japanese Patent No. 2832954 (page 2, FIG. 5)).
  • the visual processing device 406 shown in FIG. 5.0 includes a spatial processing unit 407, a subtraction unit 408, a first conversion unit 409, a multiplication unit 410, a second conversion unit 411, and an addition unit 412. Have.
  • the spatial processing unit 407 performs spatial processing on the input signal IS Outputs unsharp signal US.
  • the subtraction unit 408 subtracts the unsharp signal US from the input signal IS and outputs a difference signal DS.
  • the first converter 409 outputs an amplification coefficient signal GS for locally amplifying the difference signal DS based on the intensity of the unsharp signal US.
  • the multiplier 410 multiplies the difference signal DS by the amplification coefficient signal GS, and outputs a contrast emphasis signal HS obtained by locally amplifying the difference signal DS.
  • the second converter 41 1 locally corrects the intensity of the unsharp signal US and outputs a corrected unsharp signal AS.
  • the adder 412 adds the contrast enhancement signal HS and the corrected unsharp signal AS, and outputs an output signal OS.
  • the amplification coefficient signal GS is a nonlinear weighting coefficient for locally optimizing the contrast of a portion where the contrast is not appropriate in the input signal IS. Therefore, in the input signal IS, an appropriate portion of the contrast is output as it is, and an inappropriate portion is output after being optimized.
  • FIG. 51 shows a visual processing device 416 that performs dynamic range compression (for example, see Japanese Patent Application Laid-Open No. 2001-298619 (page 3, FIG. 9) :).
  • the visual processing device 416 shown in Fig. 5 "I” performs spatial processing on the input signal IS and outputs an unsharp signal US, and a spatial processing unit 417, and inverts the unsharp signal US using an LUT.
  • An LUT operation unit 418 that outputs a LUT processing signal LS
  • an addition unit 419 that adds the input signal IS and the LUT processing signal LS and outputs an output signal OS are provided.
  • the 1_re-processed signal 1_3 is added to the input signal IS to compress a dynamic range of a low-frequency component (a frequency component lower than the cutoff frequency of the spatial processing unit 417) of the input signal IS. For this reason, the high frequency component is retained while compressing the dynamic range of the input signal IS. (Disclosure of the Invention)
  • a person who views the visually processed image it is required for a person who views the visually processed image to obtain an image with a higher visual effect. For example, when a visually processed image is displayed, the displayed image is viewed under the influence of the display environment. Therefore, in the present invention, a person who views a visually processed image has a more visual effect. It is an object to obtain a high-quality image.
  • the visual processing device includes a parameter output unit and a conversion unit.
  • the parameter output means outputs a brightness adjustment parameter based on a parameter representing the ambient light.
  • the conversion unit is configured to calculate the luminance of the target pixel based on the luminance adjustment parameter output from the parameter output unit, the luminance of the target pixel to be subjected to the visual processing, and the luminance of peripheral pixels located around the target pixel. Is converted.
  • the parameter representing the ambient light is measured by, for example, an optical sensor that detects the intensity of the light, and is input to the parameter output unit.
  • the parameter representing the ambient light is created by the user's judgment and input to the parameter output means.
  • the brightness adjustment parameters include, for example, a look-up table (LUT) that stores the brightness of the target pixel, the brightness of the surrounding pixels, and the converted brightness of the target pixel for the calculation results of those values, and the like. Coefficient matrix data for converting the luminance, the luminance of peripheral pixels, or the operation result of those values. Further, the brightness adjustment parameter may include a parameter representing the ambient light.
  • LUT look-up table
  • the parameter output means selects and outputs a brightness adjustment parameter corresponding to the parameter representing the ambient light from the plurality of brightness adjustment parameters, or generates the brightness adjustment parameter by an operation corresponding to the parameter representing the ambient light, Output.
  • the visual processing device is the visual processing device according to claim 1, wherein the parameter output unit is configured to output a brightness adjustment parameter based on a parameter representing ambient light and an external parameter input from outside. Is output.
  • the external parameter is, for example, a parameter representing a visual effect required by a user who views an image. More specifically, it is a value such as contrast required by the user who views the image (the same applies to this section below).
  • the parameter output means outputs a brightness adjustment parameter based on a parameter representing environmental light and an external parameter.
  • the brightness adjustment parameter may further include, for example, an external parameter.
  • the visual processing device is the visual processing device according to claim 1, wherein the parameter output unit outputs a brightness adjustment parameter based on a parameter representing ambient light, A second mode for outputting a brightness adjustment parameter based on a parameter representing light and an external parameter inputted from the outside, and being switched based on a switching signal. .
  • a brightness adjustment parameter corresponding to the ambient light is output.
  • brightness adjustment parameters according to the ambient light and external parameters are output.
  • a predetermined brightness adjustment parameter preset in the system is output.
  • the user himself / herself sets values such as contrast required by the user who views the image, and outputs a brightness adjustment parameter according to the set values and the ambient light.
  • the visual processing device With the visual processing device according to the present invention, it is possible to switch between using a value such as contrast preset by the user who views an image, or using a default value preset in the system. Become.
  • the visual processing device is the visual processing device according to claim 1, wherein the conversion unit performs an operation for enhancing a difference or a ratio between the luminance of the target pixel and the luminance of peripheral pixels.
  • the emphasis operation includes not only the emphasis in the positive direction but also the emphasis in the negative direction.
  • it includes a process of smoothing the brightness of the target pixel and the brightness of the peripheral pixels, and a process of enhancing local contrast.
  • the visual processing device for example, it is possible to enhance local contrast and maintain the contrast that is viewed in an environment where ambient light exists.
  • the visual processing device is the visual processing device according to claim 1, wherein a time change of a parameter representing environmental light or a luminance adjustment parameter is controlled.
  • the time change adjusting unit controls a time change such as, for example, slowing down the response of the parameter over time or delaying the response of the parameter over time.
  • the time change adjusting unit may use, for example, a smoothing filter such as an IIR filter or a means for outputting a value obtained by integrating the values of the respective parameters or an average of the integrated values. It may be configured.
  • the visual processing device of the present invention by controlling the time change of the parameter representing the ambient light or the brightness adjustment parameter, for example, it is possible to suppress a sudden change in the parameter, and to suppress the flickering of the display screen. Becomes possible.
  • the visual processing method includes a parameter output step and a conversion step.
  • the parameter output step outputs a brightness adjustment parameter based on a parameter representing the ambient light.
  • the luminance of the target pixel is determined based on the luminance adjustment parameter output in the parameter output step, the luminance of the target pixel to be subjected to visual processing, and the luminance of peripheral pixels located around the target pixel. Convert.
  • the parameter representing the ambient light is measured by, for example, an optical sensor that detects the intensity of light.
  • the parameter representing the ambient light is created by the user's judgment.
  • the brightness adjustment parameters include, for example, a look-up table (LUT) that stores the brightness of the target pixel, the brightness of the surrounding pixels, and the converted brightness of the target pixel for the calculation results of those values, and the like. Coefficient matrix data for converting the luminance, the luminance of peripheral pixels, or the operation result of those values. Further, the brightness adjustment parameter may include a parameter representing the ambient light.
  • LUT look-up table
  • the parameter output step includes, for example, selecting and outputting a brightness adjustment parameter corresponding to a parameter representing ambient light from a plurality of brightness adjustment parameters, or generating a brightness adjustment parameter by an operation corresponding to the parameter representing ambient light, Output.
  • the visual processing method according to the present invention makes it possible to realize visual processing according to ambient light. In other words, it is possible to realize visual processing with a higher visual effect. Become. .
  • a visual processing program is a program for causing a computer to perform a visual processing method.
  • the visual processing method includes a parameter output step and a conversion step.
  • the parameter output step outputs a brightness adjustment parameter based on the parameter representing the ambient light.
  • the conversion step is based on the brightness adjustment parameters output by the parameter output step, the brightness of the target pixel to be subjected to visual processing, and the brightness of peripheral pixels located around the target pixel. Is converted.
  • the parameter representing the ambient light is measured by, for example, an optical sensor that detects the intensity of light.
  • the parameter representing the ambient light is created by the user's judgment.
  • the brightness adjustment parameters include, for example, a look-up table (LUT) that stores the brightness of the target pixel, the brightness of the surrounding pixels, and the converted brightness of the target pixel for the calculation results of those values, and the like. Coefficient matrix data for converting the luminance, the luminance of peripheral pixels, or the operation result of those values. Further, the brightness adjustment parameter may include a parameter representing the ambient light.
  • LUT look-up table
  • the parameter output step includes, for example, selecting and outputting a brightness adjustment parameter corresponding to a parameter representing ambient light from a plurality of brightness adjustment parameters, or generating a brightness adjustment parameter by an operation corresponding to the parameter representing ambient light, Output.
  • the visual processing program according to the present invention makes it possible to realize visual processing according to ambient light. That is, it is possible to realize visual processing with a higher visual effect.
  • the semiconductor device includes a parameter output unit and a conversion unit.
  • the parameter output unit outputs a brightness adjustment parameter based on a parameter representing the ambient light.
  • the conversion unit converts the luminance of the target pixel based on the luminance adjustment parameter output from the parameter output unit, the luminance of the target pixel to be subjected to visual processing, and the luminance of peripheral pixels located around the target pixel. I do.
  • the parameter representing the ambient light is, for example, an optical sensor that detects the intensity of light. It is measured and input to the parameter output section. Alternatively, the parameter representing the ambient light is created by the user's judgment and input to the parameter output unit.
  • the brightness adjustment parameters include, for example, a look-up table (LUT) that stores the brightness of the target pixel, the brightness of the surrounding pixels, and the converted brightness of the target pixel for the calculation results of those values, and the like. Coefficient matrix data for converting the luminance, the luminance of peripheral pixels, or the operation result of those values. Further, the brightness adjustment parameter may include a parameter representing the ambient light.
  • LUT look-up table
  • the parameter output unit for example, selects and outputs a brightness adjustment parameter corresponding to the parameter representing the ambient light from a plurality of brightness adjustment parameters, or generates the brightness adjustment parameter by an operation corresponding to the parameter representing the ambient light. And output.
  • visual processing according to environmental light can be realized. That is, it is possible to realize visual processing with a higher visual effect.
  • the visual processing device of the present invention it is possible for a person who views a visually processed image to obtain an image with a higher visual effect.
  • FIG. 1 is a block diagram (first embodiment) for explaining the structure of the visual processing device 1.
  • FIG. 2 is an example of profile data (first embodiment).
  • FIG. 3 is a flowchart (first embodiment) for explaining the visual processing method.
  • FIG. 4 is a block diagram (first embodiment) illustrating the structure of the visual processing unit 500.
  • FIG. 5 is an example of profile data (first embodiment).
  • FIG. 6 is a block diagram (first embodiment) for explaining the structure of the visual processing device 5 20.
  • FIG. 7 is a block diagram (first embodiment) for explaining the structure of the visual processing device 5 25.
  • FIG. 8 is a block diagram (first embodiment) for explaining the structure of the visual processing device 530.
  • FIG. 9 is a block diagram (first embodiment) for explaining the structure of the profile data registration device 701.
  • FIG. 10 is a flowchart (first embodiment) for explaining the visual processing profile creation method.
  • FIG. 11 is a block diagram (first embodiment) for explaining the structure of the visual processing device 90 1.
  • FIG. 12 is a graph (first embodiment) showing the relationship between the input signal I S ′ and the output signal O S ′ when the change degree function f k (z) is changed.
  • FIG. 13 is a graph (first embodiment) showing change degree functions f "I (z) and f2 (z).
  • FIG. 14 is a block diagram (first embodiment) illustrating the structure of the visual processing device 905.
  • FIG. 15 is a block diagram (first embodiment) illustrating the structure of the visual processing device 11.
  • FIG. 16 is a block diagram (first embodiment) for explaining the structure of the visual processing device 21.
  • FIG. 17 is an explanatory diagram (first embodiment) illustrating the dynamic range compression function F4.
  • FIG. 18 is an explanatory diagram (first embodiment) illustrating the enhancement function F5.
  • FIG. 19 is a block diagram (first embodiment) illustrating the structure of the visual processing device 31.
  • FIG. 20 is a block diagram (first embodiment) illustrating the structure of the visual processing device 41.
  • FIG. 21 is a block diagram (first embodiment) illustrating the structure of the visual processing device 51.
  • FIG. 22 is a block diagram (first embodiment) illustrating the structure of the visual processing device 61.
  • FIG. 23 is a block diagram (first embodiment) illustrating the configuration of the visual processing device 71.
  • FIG. 24 is a block diagram (second embodiment) illustrating the configuration of the visual processing device 600.
  • FIG. 25 is a graph (second embodiment) for explaining the conversion by the expression M 20.
  • FIG. 26 is a graph (second embodiment) for explaining the conversion by the expression M2.
  • FIG. 27 is a graph (second embodiment) illustrating the conversion by the equation M21.
  • FIG. 28 is a flowchart (second embodiment) for explaining the visual processing method.
  • FIG. 29 is a graph (second embodiment) showing the tendency of the function QM (A).
  • FIG. 30 is a graph (second embodiment) showing the tendency of the function ⁇ 2 ( ⁇ ).
  • FIG. 31 is a graph (second embodiment) showing the tendency of the function QT 3 (A).
  • FIG. 32 is a graph (second embodiment) showing the tendency of the function a 4 (A, B).
  • FIG. 33 is a block diagram (second embodiment) illustrating the structure of an actual contrast setting unit 605 as a modification.
  • FIG. 34 is a block diagram (second embodiment) illustrating the structure of the actual contrast setting unit 605 as a modification.
  • FIG. 35 is not a flowchart (second embodiment) for explaining the operation of the control section 605 e.
  • FIG. 36 is a block diagram (second embodiment) for explaining the structure of a visual processing device 600 including the color difference correction processing unit 60 8.
  • FIG. 37 is an explanatory diagram for explaining the outline of the color difference correction process (second embodiment).
  • FIG. 38 is a flowchart (second embodiment) for explaining the estimation calculation in the color difference correction processing section 608.
  • FIG. 39 is a block diagram (second embodiment) for explaining the structure of a visual processing device 600 as a modified example.
  • FIG. 40 is a block diagram (third embodiment) illustrating the structure of the visual processing device 910.
  • FIG. 41 is a block diagram (third embodiment) illustrating the structure of the visual processing device 920.
  • FIG. 42 is a block diagram illustrating the structure of the visual processing device 9 20 ′ (third embodiment) It is.
  • FIG. 43 is a block diagram (third embodiment) illustrating the structure of the visual processing device 9200 ".
  • FIG. 44 is a block diagram (fourth embodiment) illustrating the entire configuration of the content supply system.
  • FIG. 45 is an example (fourth embodiment) of a mobile phone equipped with the interpolation frame creation device of the present invention.
  • FIG. 46 is a block diagram (fourth embodiment) illustrating the configuration of a mobile phone.
  • FIG. 47 is an example (fourth embodiment) of a digital broadcasting system.
  • FIG. 48 is a block diagram (background art) illustrating the structure of the visual processing device 400 using unsharp masking.
  • FIG. 49 is an explanatory diagram (background art) illustrating the enhancement functions R1 to R3.
  • FIG. 50 is a block diagram (background art) illustrating the structure of a visual processing device 406 that improves local contrast.
  • FIG. 51 is a block diagram (background art) illustrating the structure of a visual processing device 416 that compresses a dynamic range.
  • first to fourth embodiments as the best mode of the present invention will be described.
  • a visual processing device using two-dimensional LUT will be described.
  • a visual processing device that corrects ambient light when ambient light is present in the environment for displaying an image will be described.
  • a visual processing device 1 using a two-dimensional LUT according to a first embodiment of the present invention will be described with reference to FIGS. Also, using Fig. 11 to Fig. 14, visual processing A modified example of the device will be described. Further, a visual processing device that realizes visual processing equivalent to the visual processing device 1 will be described with reference to FIGS.
  • the visual processing device 1 is a device that performs visual processing such as spatial processing and gradation processing of an image signal.
  • the visual processing device 1 constitutes an image processing device together with a device that performs color processing of an image signal in a device that handles images such as a computer, a television, a digital camera, a mobile phone, a PDA, a printer, and a scanner.
  • Fig. 1 shows the basic configuration of a visual processing device "! That performs visual processing on an image signal (input signal IS) and outputs a visual processing image (output signal OS).
  • the visual processing device 1 acquires the input signal IS.
  • the spatial processing unit 2 that performs spatial processing on the luminance value of each pixel of the original image and outputs an unsharp signal US, and the input signal IS and the unsharp signal US for the same pixel
  • a visual processing unit 3 that performs processing and outputs an output signal OS.
  • the spatial processing unit 2 obtains a lian sharp signal U S by, for example, a low-pass spatial filter that passes only the low-pass space of the input signal I S.
  • Low-pass spatial filters include FIR (Finite Impulse Re spones) type low-pass spatial filters or IIR (lnfinite I mp ulse Re spones) type low-pass spatial filters that are commonly used to generate unsharp signals. May be used.
  • the visual processing unit 3 has a two-dimensional LUT 4 that gives the relationship between the input signal IS and the unsharp signal US and the output signal OS, and the two-dimensional LUT 4 is applied to the input signal IS and the unsharp signal US. Refer to output signal OS.
  • the profile data has a row (or column) corresponding to each pixel value of the input signal IS and a column (or row) corresponding to each pixel value of the unsharp signal US.
  • the pixel value of the output signal OS corresponding to the combination of the input signal IS and the unsharp signal US is stored.
  • Profile data is stored in or connected to the visual processing device 1
  • the device 8 registers the two-dimensional LUT 4.
  • the profile data registration device 8 stores a plurality of profile data created in advance by a personal computer (PC) or the like. For example, a plurality of profile data that realizes contrast enhancement, D-range compression processing, or gradation correction (for details, see ⁇ Profile Data> below) is stored.
  • the visual processing device 1 can change the registered contents of the profile data of the two-dimensional LUT 4 using the profile data registration device 8 and realize various visual processes.
  • An example of profile data is shown in Figure 2.
  • the profile data shown in FIG. 2 is profile data for causing the visual processing device 1 to realize processing equivalent to that of the visual processing device 400 shown in FIG.
  • the profile data is represented in a 64 ⁇ 64 matrix format.
  • the upper 6 bits of the luminance value of the input signal IS represented by 8 bits are displayed.
  • the upper 6 bits of the luminance value of the unsharp signal US expressed by 8 bits are shown.
  • the value of the output signal OS is shown in 8 bits as a matrix element for two luminance values.
  • the value C (value of the output signal OS) of each element of the profile data shown in FIG. 2 is the value A of the input signal IS (for example, a value obtained by truncating the lower 2 bits of the input signal IS expressed by 8 bits).
  • the value B of the unsharp signal US for example, the value obtained by truncating the lower 2 bits of the unsharp signal US expressed by 8 bits
  • G A + 0.5 * (A-B) (hereinafter , The expression M 11 1).
  • the value C obtained by the expression M11 may be a negative value.
  • the elements of the profile data corresponding to the value A of the input signal IS and the value B of the unsharp signal US may have a value of 0.
  • the value C obtained by the expression M11 may be saturated. In other words, it may exceed the maximum value 255 that can be represented by 8 bits.
  • the value A of the input signal IS and the value of the unsharp signal US The element of profile data corresponding to B may have the value 255. In FIG.
  • the function R5 is a function for outputting the amplification coefficient signal GS from the unsharp signal US in the first conversion unit 409
  • the function R6 is a modified unsharp signal from the unsharp signal US in the second conversion unit 411. This function outputs the sharp signal AS.
  • the processing equivalent to the visual processing device 416 shown in FIG. Can be realized.
  • the function R8 is a function for outputting the LUT processing signal L S from the unsharp signal U S.
  • the value C of a certain element of the profile data obtained by Expressions Ml2 and Ml3 exceeds the range of 0 ⁇ C ⁇ 255, the value C of the element may be set to 0 or 255.
  • FIG. 3 is a flowchart illustrating a visual processing method in the visual processing device 1.
  • the visual processing method shown in FIG. 3 is realized by hardware in the visual processing device 1 and performs visual processing of the input signal I S (see FIG. 1).
  • the input signal IS is spatially processed by a low-pass spatial filter (step S11), and an unsharp signal US is obtained. Further, the value of the two-dimensional LUT 4 for the input signal IS and the unsharp signal US is referred to, and the output signal OS is output (step S12). The above processing is performed for each pixel input as the input signal IS.
  • Each step of the visual processing method shown in FIG. 3 may be realized as a visual processing program by a computer or the like.
  • the visual processing device 1 uses the value A of the input signal IS and the unsharp signal Visual processing is performed using profile data created based on a two-dimensional function corresponding to the US value B. For this reason, pixels of the same density existing at different locations in the image can be brightened or darkened, including surrounding information, instead of being converted uniformly. You can adjust tomorrow. More specifically, the background of the same density can be brightened without changing the density of the human hair in the image.
  • the visual processing device 1 uses 2D LUT 4 to perform visual processing of the input signal IS.
  • the visual processing device 1 has a hardware X configuration that does not depend on a visual processing effect to be realized. That is, the visual processing device 1 can be composed of general-purpose hardware, which is effective in reducing hardware costs.
  • the profile data registered in the two-dimensional LUT 4 can be changed by the profile data registration device 8. Therefore, the visual processing device 1 can realize various visual processes by changing the profile data without changing the hardware configuration of the visual processing device 1. More specifically, the visual processing device 1 can simultaneously perform spatial processing and gradation processing.
  • the profile data registered in the two-dimensional LUT 4 can be calculated in advance. No matter how complicated the profile data is once created, the time required for visual processing using it is constant. Therefore, even if the visual processing has a complicated configuration when configured with hardware or software, the processing time depends on the complexity of the visual processing when the visual processing device 1 is used. Without doing so, it is possible to speed up visual processing. ⁇ Modification>
  • the profile data of the 64 ⁇ 64 matrix format has been described.
  • the effect of the present invention does not depend on the size of the profile data.
  • the two-dimensional LUT 4 can have profile data corresponding to all possible combinations of values of the input signal IS and the unsharp signal US.
  • the profile data may be in the form of a 256 x 256 matrix. In this case, the memory capacity required for the two-dimensional LUT4 is increased, but more accurate Visual processing can be realized.
  • the profile data consists of the upper 6-bit value of the luminance value of the input signal IS expressed in 8 bits and the upper 6-bit value of the luminance value of the unsharp signal US expressed in 8 bits. It explained that the value of the output signal OS for and was stored.
  • the visual processing device 1 further includes an interpolation unit that linearly interpolates the value of the output signal OS based on the adjacent profile data elements and the magnitudes of the lower two bits of the input signal IS and the unsharp signal US. You may have.
  • the interpolation unit may be provided in the visual processing unit 3 and may output a value obtained by linearly interpolating the value stored in the two-dimensional LUT 4 as the output signal OS.
  • FIG. 4 shows a visual processing unit 500 including an interpolation unit 501 as a modification of the visual processing unit 3.
  • the visual processing unit 500 receives a two-dimensional LUT4 that gives the relationship between the input signal IS and the unsharp signal US and the pre-interpolation output signal NS, the pre-interpolation output signal NS, the input signal IS, and the unsharp signal US.
  • an interpolation unit 501 for outputting an output signal OS.
  • the two-dimensional LUT4 consists of the upper 6 bits of the luminance value of the input signal IS represented by 8 bits and the upper 6 bits of the luminance value of the unsharp signal US represented by 8 bits. And the value of the output signal N ⁇ before interpolation for the value of.
  • the value of the output signal NS before interpolation is stored as an 8-bit value, for example.
  • the interval including each value is (the value of the upper 6 bits of the input signal IS, the value of the upper 6 bits of the unsharp signal US), (the minimum 6 bits exceeding the value of the upper 6 bits of the input signal IS).
  • Bit value, the value of the upper 6 bits of the unsharp signal US), (the value of the upper 6 bits of the input signal IS, the minimum 6 bits that exceed the value of the upper 6 bits of the unsharp signal US) Value), (the minimum 6-bit value exceeding the upper 6 bits of the input signal IS, and the minimum 6 bit value exceeding the upper 6 bits of the unsharp signal US) This is the section surrounded by the four pre-interpolation output signals N stored.
  • the value of the lower 2 bits of the input signal IS and the value of the lower 2 bits of the unsharp signal US are input to the interpolation unit 501, and the four values output by the two-dimensional LUT 4 are used by using these values.
  • the value of the output signal NS before interpolation is linearly interpolated. More specifically, using the lower 2 bits of the input signal IS and the lower 2 bits of the unsharp signal US, a weighted average of the four values of the output signal NS before interpolation is calculated, Output signal OS is output.
  • interpolation unit 501 may perform linear interpolation only on either the input signal I S or the unsharp signal U S.
  • the average value (simple average or weighted average) and the maximum value of the input signals IS of the target pixel and the peripheral pixels of the target pixel are obtained for the input signal IS of the target pixel.
  • the minimum value, or the median value may be output as the unsharp signal US.
  • the average value, the maximum value, the minimum value, or the median value of only the peripheral pixels of the target pixel may be output as the unsharp signal US. ( Four ) .
  • the value C of each element of the profile data is created based on a linear function M 11 for each of the value A of the input signal I S and the value B of the unsharp signal U S.
  • the value C of each element of the profile data may be created based on a non-linear function with respect to the value A of the input signal I S.
  • the value C of each element of the profile data is created based on a nonlinear function, that is, a two-dimensional nonlinear function, for each of the value A of the input signal IS and the value B of the unsharp signal US. Also good.
  • FIG. 5 shows an example of such profile data.
  • the profile data shown in FIG. 5 is profile data for causing the visual processing device 1 to realize contrast enhancement suited to visual characteristics.
  • the profile data is expressed in a 64 ⁇ 64 matrix format, and the upper 6 bits of the luminance value of the input signal IS expressed in 8 bits in the column direction (vertical direction). But 8 in the row direction (horizontal direction) The upper 6 bits of the luminance value of the unsharp signal US expressed in bits are shown. Also, the value of the output signal OS is shown in 8 bits as an element of a matrix for two luminance values.
  • the value C (value of the output signal OS) of each element of the profile data shown in FIG. 5 is the value A of the input signal IS (for example, a value obtained by truncating the lower 2 bits of the input signal IS expressed by 8 bits).
  • the value B of the unsharp signal US for example, the value obtained by truncating the lower two bits of the unsharp signal US represented by 8 bits
  • the conversion function F1 the inverse conversion function F2 of the conversion function
  • the enhancement function F3 F 2 (F 1 (A) + F 3 (F 1 (A)-F 1 (B))) (hereinafter referred to as formula M14).
  • the transformation function F 1 is a common logarithmic function.
  • the inverse transformation function F 2 is an exponential function (antilog) as an inverse function of the common logarithmic function.
  • the enhancement function F3 is one of the enhancement functions R1 to R3 described with reference to FIG.
  • the value C obtained by Equation M14 may be a negative value.
  • the value of the profile data element corresponding to the value A of the input signal I S and the value B of the unsharp signal U S may be 0.
  • the value C obtained by Expression M14 may be saturated. In other words, the maximum value of 255 that can be expressed in 8 bits may be exceeded.
  • the element of the profile data corresponding to the value A of the input signal IS and the value B of the unsharp signal US may have a value of 255.
  • the elements of the profile data obtained in this way are displayed in contour lines. A more detailed explanation of the non-linear profile data is given in ⁇ Profile Data> below.
  • the profile data provided in the two-dimensional LUT 4 may include a plurality of gradation conversion curves (gamma curves) that realize gradation correction of the input signal IS.
  • Each tone conversion curve is a monotonically increasing function, such as a gamma function having a different gamma coefficient, and is associated with the value of the unsharp signal US. The association is performed such that, for example, a gamma function having a large gamma coefficient is selected for a small value of the unsharp signal US.
  • the unsharp signal US plays a role as a selection signal for selecting at least one gradation conversion curve from a group of gradation conversion curves included in the profile data.
  • the gradation conversion of the value A of the input signal IS is performed using the gradation conversion curve selected by the value B of the unsharp signal US.
  • the profile data registration device 8 is built in or connected to the visual processing device 1, stores a plurality of profile data created in advance by a PC or the like, and changes the registration content of the two-dimensional LUT 4.
  • the profile data stored in the profile data registration device 8 is created by a PC installed outside the visual processing device 1.
  • the profile data registration device 8 acquires profile data from a PC via a network or a recording medium.
  • the profile data registration device 8 registers a plurality of stored profile data in the two-dimensional LUT 4 according to predetermined conditions. This will be described in detail with reference to FIGS. Note that portions having substantially the same functions as those of the visual processing device 1 described with reference to FIG.
  • FIG. 6 shows a block diagram of a visual processing device 520 that determines the image of the input signal IS and switches the profile data registered in the two-dimensional LUT 4 based on the determination result.
  • the visual processing device 520 has the same structure as the visual processing device 1 shown in FIG. A profile data registration unit 521 having the same function as the profile data registration device 8 is provided. Further, the visual processing device 520 includes an image determination unit 522.
  • the image determination unit 522 receives the input signal I S as an input and outputs the determination result S A of the input signal I S as an output.
  • the profile data registration unit 521 receives the determination result S A as input, and outputs the profile data PD selected based on the determination result S A.
  • the image determination section 522 determines the image of the input signal IS. In the determination of the image, the brightness of the input signal IS is determined by acquiring the pixel values such as the brightness and the brightness of the input signal IS.
  • the profile data registration unit 5 2 1 acquires the determination result S A and switches and outputs the profile data PD based on the determination result S A. More specifically, for example, when the input signal IS is determined to be bright, a profile for compressing the dynamic range is selected. As a result, it is possible to maintain the contrast even for an overall bright image. In addition, considering the characteristics of the device that displays the output signal OS, a profile is selected so that the output signal OS with an appropriate dynamic range is output.
  • the visual processing device 5 20 can realize appropriate visual processing according to the input signal IS.
  • the image determination unit 5 2 2 may determine not only pixel values such as luminance and brightness of the input signal IS but also image characteristics such as spatial frequency.
  • FIG. 7 shows a block diagram of a visual processing device 525 that switches the profile data registered in the two-dimensional LUT 4 based on the input result from the input device for inputting the condition regarding the brightness.
  • the visual processing device 5 25 has a profile data registration unit 5 having the same function as the profile data registration device 8 in addition to the same structure as the visual processing device 1 shown in FIG. It has 2 6. Further, the visual processing device 525 has an input device 527 connected by wire or wirelessly. More specifically, the input device 527 is an input signal or an input button provided on an image processing device itself such as a computer that outputs an OS, a television, a digital camera, a mobile phone, a PDA, a printer, and a scanner. It is realized as a remote control for each device.
  • the input device 527 is an input device for inputting a condition relating to brightness, and includes, for example, switches such as “bright” and “dark”.
  • the input device 527 outputs an input result SB by operation of a user.
  • the profile data registration unit 526 acquires the input result SB, and switches and outputs the profile data PD based on the input result SB. More specifically, for example, when the user inputs “bright”, a profile for compressing the dynamic range of the input signal IS is selected and output as profile data PD. This makes it possible to maintain the contrast even when the environment in which the device that displays the output signal OS is placed is in the “bright J state”.
  • the visual processing device 5 2 5 can realize appropriate visual processing in accordance with the input from the input device 5 2 7.
  • the conditions related to brightness include not only the conditions related to the brightness of ambient light around the medium that outputs output signals such as computers, televisions, digital cameras, mobile phones, and PDAs, but also output signals such as printer paper. It may be a condition related to the brightness of the medium itself. In addition, for example, conditions relating to the brightness of the medium itself for inputting an input signal such as scanner paper may be used.
  • These may be input automatically not only by a switch but also by a photo sensor.
  • the input device 527 may be a device for not only inputting the condition regarding the brightness but also for directly operating the profile switching to the profile data registration unit 526.
  • the input device 5 27 may display a list of profile data and allow the user to select in addition to the condition regarding brightness.
  • the input device 527 may be a device for identifying a user.
  • the input device 527 may be a camera for identifying a user or a device for inputting a user name.
  • profile data that suppresses an excessive change in luminance is selected.
  • FIG. 8 shows a block diagram of a visual processing device 5350 that switches the profile data registered in the two-dimensional LUT 4 based on the detection results from the lightness detection unit for detecting two types of brightness.
  • the visual processing device 5 30 includes a profile data registration unit 5 31 having the same function as the profile data registration device 8 in addition to the same structure as the visual processing device 1 shown in FIG. Further, the visual processing device 5 3 0 includes a brightness detection unit 5 3 2.
  • the brightness detection section 532 is composed of an image determination section 5222 and an input device 527.
  • the image determination unit 5 2 2 and the input device 5 2 7 are the same as described with reference to FIGS.
  • the lightness detection unit 5 3 2 receives the input signal I S and outputs the determination result S A from the image determination unit 5 2 2 and the input result S B from the input device 5 2 7 as detection results.
  • the profile data registration unit 5 31 receives the judgment result S A and the input result S B as inputs, and switches and outputs the profile data PD based on the judgment result S A and the input result S B. More specifically, for example, when the ambient light is in a “bright” state and the input signal IS is also determined to be bright, a profile that compresses the dynamic range of the input signal IS is selected, and the profile data PD Is output as. This makes it possible to maintain the contrast when displaying the output signal OS.
  • the visual processing device 530 can realize appropriate visual processing.
  • each profile data registration unit may not be provided integrally with the visual processing device.
  • the profile data registration unit may be a server having a plurality of profile data, or a plurality of servers having the respective profile data, connected to the visual processing device via a network.
  • the network is a connection means capable of communication, such as a dedicated line, a public line, the Internet, or a LAN, and may be wired or wireless.
  • the determination result SA and the input result SB are also transmitted from the visual processing device to the profile data registration unit via the same network.
  • the profile data registration device 8 has a plurality of profile data, and realizes different visual processing by switching registration with the two-dimensional LUT 4.
  • the visual processing device 1 may include a plurality of two-dimensional LUTs in which profile data for realizing different visual processing is registered. In this case, the visual processing device 1 realizes different visual processing by switching the input to each 2D LUT or switching the output from each 2D LUT. Also good.
  • the profile data registration device 8 may be a device that generates new profile data based on a plurality of profile data and registers the generated profile data in the two-dimensional LUT 4.
  • FIG. 9 is a block diagram mainly illustrating a profile data registration device 7 0 1 as a modified example of the profile data registration device 8.
  • the profile data registration device 7 0 1 is a device for switching the profile data registered in the two-dimensional LUT 4 of the visual processing device 1.
  • the profile data registration device 700 registers multiple profile data.
  • Profile data registration unit 702 a profile creation execution unit 703 that generates new profile data based on a plurality of profile data, and a parameter for generating new port file data.
  • a control unit 705 for controlling each unit.
  • a plurality of profile data are registered in the profile data registration unit 720, similarly to the profile data registration unit 8 or the respective profile data registration units shown in FIGS. 6 to 8.
  • the selected profile data selected by the control signal C10 from 5 is read.
  • two pieces of selected profile data are read from the profile data registration unit 7202, and they are respectively referred to as first selected profile data d10 and second selected profile data d11.
  • the profile data read from the profile data registration unit 70 2 is determined by the input of the parameter input unit 7 06.
  • the parameter input unit 706 inputs desired visual processing effects, the degree of the processing, information on the visual environment of the processed image, and the like as parameters manually or automatically from a sensor or the like.
  • the control unit 70 5 designates the profile data to be read from the parameters input by the parameter input unit 70 6 by the control signal c 1 0, and sets the synthesis value of each profile data to the control signal c 12 Specify more.
  • the profile creation execution unit 703 includes a profile generation unit 7 that creates the generated profile data d6 as new profile data from the first selected profile data d10 and the second selected profile data d11. It has 0 4.
  • the profile generation section 704 acquires the first selected profile data d10 and the second selected profile data d11 from the profile data registration section 702. Further, a control signal c 12 specifying the degree of synthesis of each selected profile data is acquired from the control unit 70 5.
  • the profile generation unit 704 generates a control signal c 1 2 for the value [m] of the first selected profile data d “I 0 and the value [n] of the second selected profile data d 11.
  • the generation profile of the value [I] Create the data d6.
  • the value [k] satisfies 0 ⁇ k ⁇ 1
  • the first selected profile data d1 0 and the second selected profile data d1 1 are internally divided
  • the value [k] is k ⁇
  • the first selected profile data d 10 and the second selected profile data d 11 are externally divided.
  • the two-dimensional LUT 4 obtains the generated profile data d6 generated by the profile generating unit 704, and stores the obtained value at the address specified by the count signal c "I1" of the control unit 705.
  • the profile data d6 is associated with the same image signal value to which each selected profile data used to create the generated profile data d6 is associated.
  • new profile data that realizes further different visual processing can be created based on profile data that realizes different visual processing.
  • a visual processing profile creation method executed in the visual processing device including the profile data registration device 701 will be described with reference to FIG.
  • the address of the profile data registration unit 7202 is designated at a fixed count cycle, and the image signal value stored in the designated address is read (step S701). ). More specifically, the control unit 705 outputs a count signal c10 according to the parameter input by the parameter input unit 706.
  • the count signal c 10 specifies the addresses of two profile data that realize different visual processes in the profile data registration unit 702. As a result, the first selected profile data d10 and the second selected profile data d11 are read from the profile data registration unit 702.
  • the profile generation unit 704 obtains a control signal c12 specifying the degree of synthesis from the control unit 705 (step S702).
  • the profile generation unit 704 calculates, for the value [m] of the first selection profile data d 10 and the value [n] of the second selection profile data d 11, the synthesis degree specified by the control signal c 12 Using the value [k], generate profile data for the value [I] Create d6 (Step S703)-.
  • the generated profile data d 6 is written to the two-dimensional L U T 4 (step S 7 0 4).
  • the write destination address is specified by the count signal G 11 from the control unit 705 applied to the two-dimensional LUT 4.
  • the control unit 705 determines whether or not the processing for all data of the selected profile data has been completed (step 705), and from step S701 to step S705 until the processing is completed. Is repeated.
  • the new profile data thus stored in the two-dimensional LUT 4 is used to execute visual processing.
  • the profile data registration unit 702 can realize visual processing of an arbitrary degree of processing only by providing a small number of profile data, and the storage capacity of the profile data registration unit 702 can be reduced. Becomes possible.
  • the profile data registration device 701 may be provided not only in the visual processing device 1 shown in FIG. 1 but also in the visual processing devices shown in FIGS. In this case, the profile data registration unit 702 and the profile creation execution unit 703 are used in place of the respective profile data registration units 521, 526, 531 shown in FIGS.
  • the parameter input unit 706 and the control unit 705 may be used instead of the image determination unit 522 in FIG. 6, the input device 527 in FIG. 7, and the brightness detection unit 532 in FIG. No.
  • the visual processing device may be a device that converts the brightness of the input signal IS.
  • a visual processing device 9 0 1 that converts brightness will be described with reference to FIG.
  • the visual processing device 90 1 is a device for converting the brightness of the input signal IS ′, A processing unit 902 that performs predetermined processing on the input signal IS ′ and outputs a processed signal US ′, and a conversion unit 903 that converts the input signal IS ′ using the input signal IS ′ and the processed signal US ′ Is done.
  • the processing unit 902 operates similarly to the spatial processing unit 2 (see FIG. 1), and performs spatial processing of the input signal I S ′.
  • the spatial processing as described in the above ⁇ Modification> (3) may be performed.
  • the conversion unit 903 includes a two-dimensional LUT similarly to the visual processing unit 3 and includes an output signal OS ′ (value [y] based on the input signal IS ′ (value [X]) and the processed signal US ′ (value [z]). ]) Is output.
  • the value of each element of the two-dimensional LUT included in the conversion unit 903 is determined based on the gain or offset determined according to the value of the function fk (z) relating to the degree of change in brightness with respect to the input signal IS, It is determined by applying the value [X].
  • the function f k (z) relating to the degree of change in brightness is referred to as a “degree of change function”.
  • this function is called a “conversion function”, and the conversion functions (a) to (d) are shown as examples.
  • Figures 12 (a) to 12 (d) show the relationship between the input signal IS 'and the output signal OS' when the degree of change function fk (z) is changed.
  • the degree-of-change function f l (z) acts as a gain of the input signal I S ′. Therefore, the gain of the input signal I S 'changes according to the value of the change degree function f 1 (z), and the value [y] of the output signal OS' changes.
  • FIG. 12 (a) shows a change in the relationship between the input signal I S ′ and the output signal OS ′ when the value of the change degree function f 1 (z) changes.
  • the degree-of-change function f 1 (z) increases (f 1 (z)> 1), the value [y] of the output signal increases. That is, the converted image becomes brighter.
  • the degree of change function fl (z) becomes smaller (f 1 (z) ⁇ 1), the value [y] of the output signal becomes smaller. That is, the converted image becomes dark.
  • the degree-of-change function f 1 (z) is a function whose minimum value in the domain of the value [z] does not become less than the value [0].
  • the output signal may be clipped to the range of possible values.
  • the value [y] of the output signal may be clipped to the value [1] if it exceeds the value [1], or the value [y] of the output signal if it is less than the value [0]. ] May be clipped to the value [0]. This is the same for the following conversion functions (b) to (d).
  • the change degree function f 2 ( Z ) acts as an offset of the input signal IS ′. Therefore, the offset of the input signal IS 'changes and the value [y] of the output signal OS' changes according to the value of the change degree function f 2 (z).
  • Figure 12 (b) shows the change in the relationship between the input signal I S 'and the output signal OS' when the value of the change function f 2 (z) changes.
  • the output signal value [y] increases. That is, the converted image becomes brighter.
  • the value [y] of the output signal decreases as the degree of change function f 2 (z) decreases (f 2 (z) ⁇ 0). In other words, the image after conversion becomes dark.
  • the degree-of-change function f 1 (z) acts as the gain of the input signal I S '.
  • the degree-of-change function f 2 (z) acts as an offset of the input signal I S ′. Therefore, the gain of the input signal IS 'changes according to the value of the change degree function f 1 (z), and the offset of the input signal IS' changes according to the value of the change degree function f 2 (z).
  • Figure 12 (c) shows the change in the relationship between the input signal I S 'and the output signal OS' when the values of the change degree function f 1 (z) and change degree function f 2 (z) change.
  • the value [y] of the output signal increases. That is, the converted image becomes brighter.
  • the output signal value [y] becomes smaller as the change function f 1 (z) and the change function f 2 (z) become smaller. That is, the converted image becomes dark.
  • the change rate function f 2 (z) determines “power j” of the “power function.” Therefore, the input signal IS ′ changes according to the value of the change rate function f 2 (z), and the output signal OS 'value [y] changes.
  • Figure 12 (d) shows the change in the relationship between the input signal I S 'and the output signal OS' when the value of the degree of change function f 2 (z) changes.
  • the output signal value [y] increases. That is, the converted image becomes brighter.
  • the value [y] of the output signal decreases as the degree of change function f 2 (z) decreases (f 2 (z) ⁇ 0). In other words, the image after conversion becomes dark.
  • the value [X] is a value obtained by normalizing the value of the input signal I S 'to a range of [0] to [1].
  • visual processing of the input signal I S ′ is performed by a two-dimensional LUT having elements determined using any one of the conversion functions (a) to (d) described above.
  • Each element of the 2D LUT stores the value [y] for the value [X] and the value [z]. Therefore, viewing angle processing for converting the brightness of the input signal I S ′ is realized based on the input signal I S ′ and the processing signal US ′.
  • Figures 13 (a) and 13 (b) show the monotonically decreasing change degree functions f 1 (z) and f 2 (z ) Is shown. Three graphs (a 1 to a 3 and b 1 to b 3) are shown, but all are examples of monotonically decreasing functions.
  • the degree-of-change function f 1 (z) is a function having a range that spans the value [1], and is a function in which the minimum value of the domain of the value [z] does not become less than the value [0].
  • the variability function f 2 ( Z ) is a function having a range that spans the value [0].
  • the value [z] of the processed signal US ' is small in a dark and large area in the image.
  • the value of the variability function for small values of [z] is large. That is, if a two-dimensional LUT created based on the conversion functions (a) to (d) is used, the dark and large area in the image is converted to a bright area. Therefore, for example, in an image photographed in backlight, the dark part is improved for a dark and large area, and the visual effect is improved.
  • the value Cz] of the processed signal US ' is large.
  • the value of the degree of change function for large [ Z ] is small. That is, if a two-dimensional LUT created based on the conversion functions (a) to (d) is used, a bright and large-area portion in the image is converted to dark. Thus, for example, in an image having a bright portion such as the sky, overexposure is performed on a bright and large area, and the visual effect is improved.
  • the above-described conversion function is an example, and may be any function as long as the conversion has the same properties.
  • the 2D LUT is a value that is clipped to the range of values that can be handled as the output signal OS'. May be stored.
  • conversion Unit 903 may output output signal OS ′ by calculating conversion functions (a)-(d) for input signal IS ′ and processed signal US ′.
  • the visual processing device may include a plurality of spatial processing units and perform visual processing using a plurality of unsharp signals having different degrees of spatial processing.
  • FIG. 14 shows the configuration of the visual processing device 905.
  • the visual processing device 905 performs visual processing of the input signal IS ", and performs a first predetermined process on the input signal IS" and outputs a first processed signal U1.
  • a second processing unit 906 b for performing a second predetermined process on the input signal IS "and outputting a second processed signal U 2
  • a second processing unit 906 b for input signal IS a first processed signal U 1
  • a second process A conversion unit 908 for converting the input signal IS "using the signal U2.
  • the first processing unit 906a and the second processing unit 906b operate in the same manner as the spatial processing unit 2 (see FIG. 1) and perform the spatial processing of the input signal IS ".
  • the spatial processing as described in may be performed.
  • the first processing unit 906a and the second processing unit 906b have different sizes of peripheral pixel regions used in spatial processing.
  • the first processing unit 906a uses peripheral pixels included in an area of 30 pixels vertically and 30 pixels horizontally around the pixel of interest (small unsharp signal), whereas the second processing unit 906a uses In 906b, peripheral pixels included in a region of 90 pixels vertically and 90 pixels horizontally around the pixel of interest are used (large unsharp signal).
  • the peripheral pixel area described here is merely an example, and the present invention is not limited to this. It is preferable to generate an unsharp signal from a fairly large area in order to achieve the full effect of visual processing.
  • the conversion unit 908 includes a LUT, and based on the input signal IS "(value [x]), the first processed signal U 1 (value [zl]), and the second processed signal U 2 (value [z 2]) Outputs the output signal OS "(value [y]).
  • the LUT included in the conversion unit 903 is an output signal corresponding to the value [X] of the input signal IS ", the value [z 1] of the first processed signal LM, and the value [z 2] of the second processed signal U 2 O
  • the value of each element of this three-dimensional LU ((the value [y] of the -output signal OS ") is the value [X of the input signal IS '. ], The value [z 1] of the first processing signal U 1, and the value [z 2] of the second processing signal U 2.
  • This three-dimensional LUT can realize the processing described in the above embodiment and the following embodiment.
  • the case where the three-dimensional LUT converts the brightness of the input signal IS ”and the case where the input signal IS "In case of emphasizing conversion" is explained.
  • the conversion unit 908 performs conversion so as to brighten the input signal IS “.
  • the value [z 2] of the second processing signal U 2 is also small. If so, suppress the degree of brightening.
  • the value of each element of the three-dimensional LUT provided in the conversion unit 903 is determined based on the following conversion function (e) or (f).
  • the degree-of-change functions f 11 (z 1) and f 12 (z 2) are the same as the degree-of-change function f 1 (z) described in the above ⁇ Modification> (8).
  • the change degree function f 1 1 (z 1) and the change degree function f 1 2 (z 2) are different functions.
  • [f 1 1 (z 1) / f 1 2 (z 2)] acts as a gain of the input signal IS ", and the value of the first processing signal U 1 and the value of the second processing signal U 2 As a result, the gain of the input signal IS "changes, and the value [y] of the output signal OS" changes.
  • the change degree functions f 21 (z 1) and f 22 (z 2) are the same functions as the change degree function f 2 (z) described in the above ⁇ Modification> (8).
  • the change degree function f 2 1 (z 1) and the change degree function f 22 (z 2) are different functions.
  • the processing in the conversion unit 98 is not limited to the processing using the three-dimensional LUT, and may perform the same calculation as the conversion functions (e) and (f).
  • each element of the three-dimensional LUT need not be strictly determined based on the conversion functions (e) and (f).
  • the conversion in the converter 9 0 8 is a conversion that emphasizes the input signal I S ", it is possible to independently emphasize a plurality of frequency components.
  • the conversion further emphasizes the first processed signal U 1, it is possible to emphasize a shaded portion having a relatively high frequency, and if the conversion further emphasizes the second processed signal U 2. It is possible to emphasize the shading part having a low frequency.
  • the visual processing device 1 can include profile data that realizes various visual processing in addition to those described above.
  • profile data that realizes various visual processing in addition to those described above.
  • expressions for profile data for the first to seventh profile data for realizing various visual processing and the configuration of the visual processing device for realizing visual processing equivalent to the visual processing device 1 including the profile data will be described.
  • Each profile data is determined based on a mathematical expression including an operation for enhancing a value calculated from the input signal I S and the unsharp signal U S.
  • the calculation to be emphasized is, for example, a calculation using a nonlinear enhancement function.
  • the first profile data is determined based on an operation including a function that emphasizes a difference between respective conversion values obtained by performing predetermined conversion on the input signal IS and the unsharp signal us. This makes it possible to convert the input signal IS and the unsharp signal US into different spaces and then emphasize the difference between them. Thereby, for example, it is possible to realize emphasis or the like that matches the visual characteristics.
  • the value C (value of the output signal OS) of each element of the first profile data is the value A of the input signal IS, the value B of the unsharp signal US, the conversion function F1, the inverse conversion function of the conversion function F2, and the enhancement function F3.
  • G F2 (F1 (A) + F3 (F1 (A) -F1 (B))) (hereinafter, referred to as formula Ml).
  • the conversion function F 1 is a common logarithmic function.
  • the inverse transformation function F 2 is an exponential function (antilog) as an inverse function of the common logarithmic function.
  • the enhancement function F3 is any one of the enhancement functions R1 to R3 described with reference to FIG.
  • FIG. 15 shows a visual processing device "! 1" equivalent to the visual processing device 1 in which the first profile data is registered in the two-dimensional LUT 4.
  • the visual processing device 11 is a device that outputs an output signal OS based on a calculation that emphasizes a difference between respective conversion values obtained by performing predetermined conversion on the input signal IS and the unsharp signal us. This makes it possible to enhance the difference between the input signal IS and the unsharp signal US after converting them to a separate space. For example, it is possible to realize enhancement suited to visual characteristics.
  • the visual processing device 11 shown in FIG. 15 performs spatial processing on the luminance value of each pixel of the original image acquired as the input signal IS, and outputs a unsharp signal US.
  • a visual processing unit 13 that performs visual processing of the original image using the unsharp signal US and outputs an output signal OS.
  • the visual processing unit 13 converts a signal space between the input signal IS and the unsharp signal US, and outputs a converted input signal TIS and a converted unsharp signal TUS to a signal space conversion unit 14;
  • a subtractor 17 that receives the signal TIS as a first input, the converted unsharp signal TUS as a second input, and outputs a difference signal DS that is the difference between the two, and an enhancement process that receives the difference signal DS as an input and enhances the difference signal DS
  • An emphasis processor 18 that outputs a signal TS; an adder 19 that outputs a converted input signal TIS as a first input and an emphasis processed signal TS as a second input;
  • an inverse converter 20 that receives the addition signal PS as an input and outputs an output signal OS.
  • the signal space conversion unit 14 includes a first conversion unit 15 that receives the input signal IS and outputs the converted input signal TIS, and a second conversion unit that receives the unsharp signal US and outputs the converted unsharp signal TUS. 16 and further.
  • the first conversion unit 15 converts the input signal of the value A into the conversion input signal T IS of the value F 1 (A) using the conversion function F 1.
  • the second conversion unit 16 converts the unsharp signal US having the value B into the converted unsharp signal TUS having the value F 1 (B) using the conversion function F 1.
  • the subtractor 17 calculates the difference between the converted input signal TIS having the value F 1 (A) and the converted unsharp signal TUS having the value F 1 (B), and calculates the value F 1 (A) -F 1 (B ) Is output as the differential signal DS.
  • the enhancement processing unit 18 uses the enhancement function F3 to perform an enhancement processing signal of a value F3 (F 1 (A) —F 1 (B)) from the difference signal DS of the value F 1 (A) -F 1 (B). Output TS.
  • the adder 19 adds the converted input signal TIS having the value F 1 (A) and the emphasized signal TS having the value F 3 (F 1 (A) —F 1 (B)) to obtain a value F 1 (A) + Outputs the addition signal PS of F3 (F 1 (A) -F 1 (B)).
  • the inverse transform unit 20 inversely transforms the sum signal PS of the value F 1 (A) + F3 (F 1 (A) —F 1 (B)) using the inverse transform function F 2, and obtains the value F 2 (F 1 Outputs the output signal OS of (A) + F 3 (F 1 (A) — F 1 (B)).
  • the calculation using the conversion function F1, the inverse conversion function F2, and the enhancement function F3 may be performed using a one-dimensional LUT for each function, or may be performed without using the LUT. May be. ⁇ Effect >>,
  • the visual processing device 1 and the visual processing device 11 having the first profile data have the same visual processing effect.
  • Visual processing is realized using the converted input signal TIS and the converted unsharp signal TUS that have been converted to logarithmic space by the conversion function F1.
  • Human visual characteristics are logarithmic, and visual processing suitable for the visual characteristics is realized by performing processing after converting to logarithmic space.
  • Each visual processing device realizes contrast enhancement in logarithmic space.
  • the conventional visual processing device 400 shown in FIG. 48 is generally used for enhancing a contour (edge) using an unsharp signal U S with a small degree of blur.
  • the visual processing device 400 is under-enhanced in the bright part of the original image and over-enhanced in the dark part.
  • Visual processing is not suitable. In other words, corrections for brightening tend to be underemphasized, while corrections for darkening tend to be overemphasized.
  • visual processing when visual processing is performed using the visual processing device 1 or the visual processing device 11, visual processing suitable for the visual characteristics can be performed from a dark portion to a bright portion, and the visual direction can be increased.
  • the emphasis and the emphasis in the darkening direction can be balanced.
  • the output signal OS after the visual processing becomes negative and may fail.
  • the transformation function F 1 is not limited to a logarithmic function.
  • the conversion function F 1 is a conversion that removes the gamma correction applied to the input signal IS (for example, the gamma coefficient [0.45]), and the inverse conversion function F 2 is the gamma correction applied to the input signal IS. May be used as the conversion.
  • the visual processing unit 13 may be one that calculates the above formula M1 based on the input signal IS and the unsharp signal US without using the two-dimensional LUT4.
  • one-dimensional LUT may be used in the calculation of each of the functions F1 to F3.
  • the second profile data is determined based on an operation including a function that emphasizes the ratio between the input signal IS and the unsharp signal US. This makes it possible to realize visual processing that emphasizes the shape component, for example.
  • the second profile data is determined based on a calculation that performs dynamic range compression on the ratio between the emphasized input signal IS and the unsharp signal US. This makes it possible to realize visual processing that compresses the dynamic range while enhancing the sharp component, for example.
  • the value C (the value of the output signal OS) of each element of the second profile data is calculated using the value A of the input signal IS, the value B of the unsharp signal US, the dynamic range compression function F4, and the enhancement function F5.
  • C F4 (A) * F5 (A / B) (hereinafter referred to as equation M2).
  • the dynamic range compression function F 4 is, for example, Is a monotonically increasing function of.
  • FA (X) ⁇ ⁇ (o ⁇ r ⁇ i)
  • c enhancement function F5 denoted are power functions.
  • F5 (X) ⁇ ⁇ or (0 ⁇ Qf ⁇ 1).
  • FIG. 16 shows a visual processing device 21 equivalent to the visual processing device 1 in which the second profile data is registered in the two-dimensional LUT 4.
  • the visual processing device 21 is a device that outputs an output signal OS based on a calculation that emphasizes a ratio between the input signal I S and the unsharp signal U S. Thereby, for example, it is possible to realize visual processing for emphasizing the sharp component.
  • the visual processing device 21 outputs the output signal OS based on a calculation that performs dynamic range compression on the ratio of the emphasized input signal IS and unsharp signal US. This makes it possible to realize visual processing that compresses the dynamic range while enhancing the sharp component, for example.
  • the visual processing device 21 shown in FIG. 16 includes a spatial processing unit 22 that performs spatial processing on the luminance value of each pixel of the original image acquired as the input signal IS and outputs an unsharp signal US, It has a visual processing unit 23 that performs visual processing of the original image using the sharp signal US and outputs an output signal OS.
  • the spatial processing unit 22 performs the same operation as the spatial processing unit 2 included in the visual processing device 1, description thereof is omitted.
  • the visual processing unit 23 has a division unit 25 that receives the input signal IS as a first input, the unsharp signal US as a second input, and outputs a division signal RS obtained by dividing the input signal IS by the unsharp signal US, and a division unit.
  • An enhancement processor 26 that receives the signal RS as an input and outputs the enhancement signal TS, and an output processor 27 that receives the input signal IS as a first input, the enhancement signal TS as a second input, and outputs an output signal OS.
  • the output processing unit 27 receives the input signal IS as an input and outputs a dynamic range (DR) -compressed DR-compressed signal DRS.
  • the DR-compressing unit 28 outputs the DR-compressed signal DRS to the "!
  • a multiplying unit 29 is provided which has TS as a second input and outputs an output signal OS.
  • the division unit 25 divides the input signal IS having the value A by the unsharp signal US having the value B, and outputs a division signal RS having the value A / B.
  • the enhancement processor 26 uses the enhancement function F5 to output the enhancement signal TS having the value F5 (A / B) from the division signal RS having the value AZB.
  • DR compression section 28 outputs DR compressed signal DRS of value F4 (A) from input signal IS of value A using dynamic range compression function F4.
  • the multiplier 29 multiplies the DR compressed signal DRS having the value F 4 (A) by the enhancement processing signal TS having the value F 5 (A / B), and outputs an output signal having a value F 4 (A) * F 5 (A / B). Output OS.
  • the calculation using the dynamic range compression function F 4 and the enhancement function F 5 may be performed using a one-dimensional LUT for each function, or may be performed without using a LUT. .
  • the visual processing device 1 and the visual processing device 21 having the second profile data have the same visual processing effect.
  • the gradation level is compressed using the dynamic range compression function F4 shown in Fig. 17 without saturating from the dark to the highlight. That is, assuming that the black level of the reproduction target in the image signal before compression is LO and the maximum white level is L1, the dynamic range L1: L0 before compression is compressed to the dynamic range Q1: QO after compression. .
  • the ratio of image signal level to image signal level is reduced to (Q 1 / QO) * (LO / L 1) times due to the compression of the dynamic range.
  • the dynamic range compression function F 4 is an upward convex power function or the like.
  • the division signal RS having the value AZB that is, the sharp signal
  • the value of the division signal RS is larger than 1
  • the emphasis is performed on the brighter side, Emphasizes in the darker direction when less than 1.
  • human vision has the property of seeing the same contrast if the local contrast is maintained, even if the overall contrast is reduced.
  • the visual processing device 1 and the visual processing device 21 including the second mouth file data can realize the visual processing that does not visually reduce the contrast while compressing the dynamic range. .
  • C is proportional to A because the value of B can be considered constant in the local range. That is, the ratio of the amount of change in the value C to the amount of change in the value A is 1, and the local contrast does not change in the input signal IS and the output signal OS.
  • the visual processing device 1 and the visual processing device 21 including the second profile data can realize visual processing that does not visually lower the contrast while compressing the dynamic range.
  • the visual processing unit 23 may calculate the above equation M2 based on the input signal IS and the unsharp signal US without using the two-dimensional LUT4.
  • one-dimensional LUT may be used in the calculation of each of the functions F4 and F5.
  • the value C of a certain element of the profile data obtained by Equation M2 satisfies C> 255, the value C of that element may be set to 255.
  • the third profile data is determined based on a calculation including a function that emphasizes the ratio between the input signal IS and the unsharp signal US. This makes it possible to realize, for example, visual processing that emphasizes sharp components.
  • the dynamic range compression function F4 may be a direct proportional function having a proportional coefficient of 1.
  • Figure 19 shows a visual processing device with the third profile data registered in the two-dimensional LUT 4.
  • a visual processing device 31 equivalent to 1 is shown. .
  • the visual processing device 31 is a device that outputs the output signal OS based on a calculation that emphasizes the ratio between the input signal IS and the unsharp signal US. Thereby, for example, it is possible to realize visual processing for emphasizing the sharp component.
  • the visual processing device 31 shown in FIG. 19 is different from the visual processing device 21 shown in FIG. 16 in that the visual processing device 31 shown in FIG.
  • portions performing the same operations as those of the visual processing device 21 shown in FIG. 16 will be assigned the same reference numerals, and detailed description thereof will be omitted.
  • the visual processing device 31 performs spatial processing on the luminance value of each pixel of the original image acquired as the input signal IS and outputs the unsharp signal US, and the input signal IS and the unsharp signal US. And a visual processing unit 32 that performs visual processing of the original image and outputs an output signal OS.
  • the spatial processing unit 22 performs the same operation as the spatial processing unit 2 included in the visual processing device 1, description thereof is omitted.
  • the visual processing unit 32 has a division unit 25 that outputs a division signal RS obtained by dividing the input signal IS by the unsharp signal US, with the input signal IS as the first input, the unsharp signal US as the second input, and the division.
  • An enhancement processing unit 26 that receives the signal RS as an input and an enhancement processing signal TS as an output, and a multiplication unit 33 that outputs the output signal OS with the input signal IS as a first input and the enhancement processing signal TS as a second input. It has.
  • the division unit 25 and the enhancement processing unit 26 perform the same operations as described for the visual processing device 21 shown in FIG.
  • the multiplication unit 33 multiplies the input signal IS having the value A by the enhancement processing signal TS having the value F5 (A / B), and outputs an output signal OS having a value A * F5 (A / B).
  • the enhancement function F5 is the same as that shown in FIG.
  • the visual processing device 1 and the visual processing device 31 having the third profile data have the same visual processing effect.
  • the emphasis processing section 26 performs an emphasis process on a sharp signal (divided signal RS) expressed as a ratio of the input signal IS and the unsharp signal US, and multiplies the emphasized sharp signal by the input signal IS. .
  • a sharp signal (divided signal RS) expressed as a ratio of the input signal IS and the unsharp signal US, and multiplies the emphasized sharp signal by the input signal IS.
  • Emphasizing the sharp signal represented as the ratio between the input signal I S and the unsharp signal U S is equivalent to calculating the difference between the input signal I S and the unsharp signal us in a logarithmic space. That is, visual processing suitable for logarithmic human visual characteristics is realized.
  • the amount of enhancement by the enhancement function F5 increases when the input signal IS is large (when it is bright) and decreases when it is small (when it is dark). Also, the amount of enhancement in the direction of brightening is greater than the amount of enhancement in the direction of darkening. For this reason, visual processing suitable for visual characteristics can be realized, and natural visual processing with good balance can be realized.
  • the value C of a certain element of the profile data obtained by Equation M3 satisfies C> 255, the value C of that element may be set to 255.
  • the dynamic range of the input signal IS is not compressed, but the local contrast can be enhanced, and the dynamic range can be visually compressed and expanded.
  • the fourth profile data is determined based on an operation including a function for enhancing the difference between the input signal IS and the unsharp signal US according to the value of the input signal IS. Thereby, for example, it becomes possible to emphasize the sharp component of the input signal IS according to the value of the input signal IS. For this reason, it is possible to properly enhance the input signal IS from the dark part to the bright part. Further, the fourth profile data is determined based on an operation of adding a value obtained by compressing a dynamic range of the input signal IS to the emphasized value. This makes it possible to compress the dynamic range while enhancing the sharp component of the input signal IS according to the value of the input signal IS.
  • the value C (the value of the output signal OS) of each element of the fourth profile data is the value A of the input signal S, the value B of the unsharp signal US, the enhancement amount adjustment function F 6, the enhancement function F 7, and the dynamic range compression function.
  • F8 F8 (A) + F6 (A) * F7 (A-B) (hereinafter, referred to as formula M4).
  • the enhancement amount adjustment function F 6 is a function that monotonically increases with respect to the value of the input signal IS. That is, when the value A of the input signal IS is small, the value of the enhancement amount adjustment function F6 is also small, and when the value A of the input signal IS is large, the value of the enhancement amount adjustment function F6 is also large.
  • the enhancement function F7 is one of the enhancement functions R 1 to R3 described with reference to FIG.
  • FIG. 20 shows a visual processing device 41 equivalent to the visual processing device 1 in which the fourth profile data is registered in the two-dimensional LUT 4.
  • the visual processing device 41 is a device that outputs an output signal OS based on a calculation that emphasizes the difference between the input signal IS and the unsharp signal US according to the value of the input signal IS.
  • the sharp component of the input signal IS can be emphasized according to the value of the input signal IS. For this reason, it is possible to appropriately enhance the input signal IS from the dark part to the bright part.
  • the visual processing device 41 outputs an output signal OS based on an operation of adding a value obtained by performing dynamic range compression on the input signal IS to the emphasized value. This makes it possible to compress the dynamic range while enhancing the sharp component of the input signal I S according to the value of the input signal I S.
  • the visual processing device 41 shown in FIG. 20 performs spatial processing on the luminance value of each pixel of the original image acquired as the input signal IS and outputs an unsharp signal US 2, a visual processing unit 43 that performs visual processing of the original image using the input signal IS and the unsharp signal US, and outputs an output signal OS.
  • the spatial processing unit 42 performs the same operation as the spatial processing unit 2 included in the visual processing device 1, description thereof is omitted.
  • the visual processing unit 43 has an input signal IS as a first input, an unsharp signal US as a second input, a subtraction unit 44 that outputs a difference signal DS that is a difference between the two, and a difference signal DS as an input.
  • An enhancement processing unit 45 that outputs the processing signal TS, an enhancement adjustment unit 46 that receives the input signal IS as an input, and outputs an enhancement adjustment signal IG, a first input of the enhancement adjustment signal IC, and an enhancement processing signal TS.
  • a multiplication unit 47 that outputs a multiplication signal MS obtained by multiplying the emphasis amount adjustment signal IC and the emphasis processing signal TS, an input signal IS as a first input, and a multiplication signal MS as a second input.
  • the output processing unit 48 receives the input signal IS as an input, outputs a dynamic range (DR) -compressed DR-compressed signal DRS, a DR-compressor 49, a DR-compressed signal DRS as a first input, and a multiplied signal MS as a It has an input section 2 and an addition section 50 for outputting an output signal OS.
  • DR dynamic range
  • the subtractor 44 calculates a difference between the input signal IS having the value A and the unsharp signal US having the value B, and outputs a difference signal DS having a value AB.
  • the enhancement processing unit 45 uses the enhancement function F 7, the enhancement processing unit 45 outputs an enhancement processing signal TS having a value F 7 (A ⁇ B) from the difference signal DS having a value A—B.
  • the enhancement amount adjustment unit 46 outputs an enhancement amount adjustment signal IC having a value F 6 (A) from the input signal IS having a value A using the enhancement amount adjustment function F 6.
  • the multiplier 47 multiplies the enhancement amount adjustment signal IC having the value F6 (A) by the enhancement processing signal TS having the value F7 (AB), and outputs a multiplication signal MS having a value F6 (A) * F7 (AB). I do.
  • the DR compression section 49 outputs a DR compressed signal D RS having a value F 8 (A) from the input signal IS having a value A by using a dynamic range compression function F 8.
  • the adder 50 adds the 01 ⁇ compressed signal 01 : 3 ⁇ 43 and the multiplied signal MS of the value F6 (A) * F7 (AB) to obtain a value F8 (A) + F6 (A) * F7 (AB )
  • Output signal OS is output.
  • the enhancement amount adjustment function F 6, enhancement function F 7, dynamic range compression function F 8 Calculations using may be performed using a one-dimensional LUT for each function, or may be performed without using a LUT.
  • the visual processing device 1 and the visual processing device 41 having the fourth profile data have the same visual processing effect.
  • the value A of the input signal IS is used to adjust the amount of enhancement of the difference signal DS. For this reason, it is possible to maintain the local contrast from dark areas to bright areas while performing dynamic range compression.
  • the enhancement amount adjustment function F 6 is a monotonically increasing function, but can be a function in which the amount of increase in the function value decreases as the value A of the input signal I S increases. In this case, the value of the output signal OS is prevented from being saturated.
  • the enhancement function F7 is the enhancement function R2 described with reference to FIG. 49
  • the enhancement amount when the absolute value of the difference signal DS is large can be suppressed. For this reason, it is possible to prevent the enhancement amount in a portion with high definition from being saturated, and it is possible to execute visually natural visual processing.
  • the visual processing units 4.3 may calculate the above formula M4 based on the input signal IS and the unsharp signal US without using the two-dimensional LUT 4. .
  • a one-dimensional LUT may be used.
  • the enhancement processing unit 45 does not need to be provided.
  • the value C of a certain element of the profile data obtained by Equation M4 is 0 ⁇ C ⁇ 2 If the range exceeds 55, the value C of the element may be 0 or 255.
  • the fifth profile data is determined based on an operation including a function of enhancing a difference between the input signal IS and the unsharp signal US according to the value of the input signal IS.
  • the dynamic range compression function F8 may be a direct proportional function having a proportional coefficient of 1.
  • Equation M5 F 7 (A-B)
  • FIG. 21 shows a visual processing device 51 equivalent to the visual processing device 1 in which the fifth profile data is registered in the two-dimensional LUT 4.
  • the visual processing device 51 is a device that outputs an output signal OS based on a calculation that emphasizes the difference between the input signal IS and the unsharp signal US according to the value of the input signal IS.
  • the sharp component of the input signal IS can be emphasized according to the value of the input signal IS. For this reason, it is possible to appropriately enhance the input signal Is from the dark part to the bright part.
  • the visual processing device 51 shown in FIG. 21 is different from the visual processing device 41 shown in FIG.
  • portions performing the same operations as those of the visual processing device 41 shown in FIG. 20 will be assigned the same reference numerals, and detailed description thereof will be omitted.
  • the visual processing device 51 performs a spatial process on the luminance value of each pixel of the original image acquired as the input signal IS and outputs an unsharp signal US, and a spatial processing unit 42 that outputs the input signal IS and the unsharp signal US. Using the visual processing of the original image and the output signal A visual processing unit 52 for outputting an OS.
  • the spatial processing unit 42 performs the same operation as the spatial processing unit 2 included in the visual processing device 1, description thereof is omitted.
  • the visual processing unit 52 has an input signal IS as a first input, an unsharp signal US as a second input, a subtraction unit 44 that outputs a difference signal DS, which is a difference between the two, and a difference signal DS as an input.
  • An enhancement processing unit 45 that outputs a processing signal TS, an input signal IS, and an enhancement adjustment unit 46 that outputs an enhancement adjustment signal IC;
  • an enhancement adjustment signal IG is a first input;
  • an enhancement processing TS As a second input, a multiplication unit 47 that outputs a multiplication signal MS obtained by multiplying the emphasis amount adjustment signal IC and the emphasis processing signal TS, an input signal IS as a first input, and a multiplication signal MS as a second input.
  • an adder 53 for outputting an output signal OS.
  • the subtraction unit 44, the enhancement processing unit 45, the enhancement amount adjustment unit 46, and the multiplication unit 47 perform the same operations as those described for the visual processing device 41 shown in FIG.
  • the adder 53 adds the input signal IS having the value A and the multiplication signal MS having the value F6 (A) * F7 (AB) to obtain the output signal OS having the value A + F6 (A) * F7 (AB). Is output.
  • the visual processing device 1 and the visual processing device 51 having the fifth profile data have the same visual processing effect.
  • the visual processing device 1 and the visual processing device 41 provided with the fourth profile data have substantially the same visual processing effect as the visual processing effect.
  • the emphasis amount of the difference signal DS is adjusted by the value A of the input signal IS. For this reason, it is possible to equalize the amount of contrast enhancement from dark to bright. ⁇ Modifications ⁇ .
  • the enhancement processing unit 45 need not be provided.
  • the value C of a certain element of the profile data obtained by Equation M5 exceeds the range of 0 ⁇ C ⁇ 255, the value C of that element may be set to 0 or 255.
  • the sixth profile data is determined on the basis of an operation for gradation correction of a value obtained by adding the value of the input signal IS to the value obtained by enhancing the difference between the input signal IS and the unsharp signal US.
  • an operation for gradation correction of a value obtained by adding the value of the input signal IS to the value obtained by enhancing the difference between the input signal IS and the unsharp signal US is determined on the basis of an operation for gradation correction of a value obtained by adding the value of the input signal IS to the value obtained by enhancing the difference between the input signal IS and the unsharp signal US.
  • C value of the output signal OS of each element of the sixth profile data is calculated using the value A of the input signal IS, the value B of the unsharp signal US, the enhancement function F9, and the gradation correction function F10.
  • C F 10 (A + F 9 (A—B)) (hereinafter referred to as equation M6).
  • the enhancement function F9 is any one of the enhancement functions R1 to R3 described with reference to FIG.
  • the gradation correction function F10 is a function used in normal gradation correction, such as a gamma correction function, an S-shaped gradation correction function, and an inverse S-shaped gradation correction function.
  • FIG. 22 shows a visual processing device 61 equivalent to the visual processing device 1 in which the sixth profile data is registered in the two-dimensional LUT 4.
  • the visual processing device 61 outputs an output signal OS based on a calculation for correcting a value obtained by adding a value of the input signal IS to a value in which a difference between the input signal IS and the unsharp signal US is emphasized.
  • Device Thereby, for example, it is possible to realize visual processing for performing gradation correction on the input signal IS in which the sharp component is emphasized.
  • the visual processing device 61 shown in FIG. Performs visual processing of the original image using spatial processing unit 62 that performs spatial processing on each luminance value and outputs unsharp signal US, and input signal IS and unsharp signal US, and outputs output signal OS. And a visual processing unit 63 for outputting.
  • the spatial processing unit 62 performs the same operation as the spatial processing unit 2 included in the visual processing device 1, description thereof is omitted.
  • the visual processing unit 63 has an input signal IS as a first input, an unsharp signal US as a second input, and a subtraction unit 64 that outputs a difference signal DS that is a difference between the input signal IS and a difference signal DS.
  • An enhancement processing unit 65 that outputs the processed enhancement signal TS, an addition unit 66 that receives the input signal IS as a first input, uses the enhancement processing signal TS as a second input, and outputs an addition signal PS obtained by adding them,
  • a gradation correction unit 67 that receives the addition signal PS as an input and outputs an output signal OS is provided.
  • the subtraction unit 64 calculates a difference between the input signal I having the value A and the unsharp signal US having the value B, and outputs a difference signal DS having a value AB.
  • the enhancement processing unit 65 outputs an enhancement processing signal TS having a value F 9 (A-B) from the difference signal DS having a value A—B using the enhancement function F 9.
  • the adder 66 adds the value A input signal IS and the value F 9 (A-B) enhanced signal TS, and outputs an addition signal PS of value A + F9 (A-B).
  • the gradation interpolation unit 67 outputs a value F10 (A + F9 (A-B)) from the addition signal PS of the value A + F9 (AB). Outputs signal OS.
  • the calculation using the enhancement function F9 and the gradation correction function F10 may be performed using one-dimensional LUT for each function, or may be performed without using LUT.
  • the visual processing device 1 and the visual processing device 61 provided with the sixth profile data have the same visual processing effect.
  • the difference signal DS is enhanced by an enhancement function F9 and added to the input signal IS. Therefore, it is possible to enhance the contrast of the input signal IS. More Then, the gradation correcting section 67 executes a gradation correction process of the addition signal PS. For this reason, for example, it is possible to further emphasize the contrast with a halftone having a high appearance frequency in the original image. Further, for example, it is possible to brighten the entire addition signal PS. As described above, it is possible to realize the spatial processing and the gradation processing simultaneously.
  • the visual processing unit 63 may calculate the above expression M6 without using the two-dimensional LUT 4 based on the input signal IS and the unsharp signal US.
  • one-dimensional LUT may be used in the calculation of the functions F9 and F10.
  • the value C of a certain element of the profile data obtained by Equation M6 exceeds the range of 0 ⁇ C ⁇ 255, the value C of that element may be set to 0 or 255.
  • the seventh profile data is determined based on an operation of adding a value obtained by tone-correcting the input signal IS to a value obtained by enhancing the difference between the input signal IS and the unsharp signal US.
  • enhancement of the sharp component and gradation correction of the input signal IS are performed independently. For this reason, it is possible to enhance a constant sharp component regardless of the gradation correction amount of the input signal IS.
  • the enhancement function F 11 is any one of the enhancement functions R 1 to R 3 described with reference to FIG.
  • the gradation correction function F12 is, for example, a gamma correction function, an S-shaped gradation correction function, an inverse S-shaped gradation correction function, or the like.
  • Equivalent visual processing device 71 >>-FIG. 23 shows a visual processing device 71 equivalent to the visual processing device 1 in which the seventh profile data is registered in the two-dimensional LUT 4.
  • the visual processing device 71 is a device that outputs an output signal OS based on an operation of adding a value obtained by tone-correcting the input signal IS to a value in which the difference between the input signal IS and the unsharp signal US is emphasized.
  • the enhancement of the sharp component and the gradation correction of the input signal IS are performed independently. For this reason, it is possible to emphasize a certain sharp component regardless of the gradation correction amount of the input signal IS.
  • the visual processing device 71 shown in FIG. 23 includes a spatial processing unit 72 that performs spatial processing on the luminance value of each pixel of the original image acquired as the input signal IS and outputs an unsharp signal US, A visual processing section 73 that performs visual processing of the original image using the signal US and outputs an output signal OS.
  • the spatial processing unit 72 performs the same operation as the spatial processing unit 2 included in the visual processing device 1, and thus the description is omitted.
  • the visual processing unit 73 includes an input signal IS as a first input, an unsharp signal US as a second input, and a subtraction unit 74 that outputs a difference signal DS that is a difference between the input signal IS and a difference signal DS.
  • An enhanced processing unit 75 that outputs the enhanced enhancement processing signal TS, a tone correction unit 76 that receives the input signal IS as an input, and outputs a tone-corrected tone correction signal GC, And an adder 77 that outputs the enhanced signal TS as a second input and outputs an output signal OS.
  • the subtraction unit 74 calculates a difference between the input signal IS having the value A and the unsharp signal US having the value B, and outputs a difference signal DS having a value AB.
  • the emphasis processing section 75 outputs an emphasis processing signal TS of value F 11 (A ⁇ B) from the difference signal DS of value A ⁇ B using the emphasis function F 11.
  • the tone correction unit 76 outputs a tone correction signal GC having a value F 12 (A) from the input signal IS having a value A by using a tone correction function F 12.
  • the adder 77 adds the tone correction signal GC having the value F 1 2 (A) and the enhancement processing signal TS having the value F 11 (A—B) to obtain a value F 12 (A) + F 11 Outputs (AB) output signal OS.
  • the calculation using the enhancement function F 11 and the gradation correction function F 12 may be performed using a one-dimensional LUT for each function, or may be performed without using the LUT.
  • the visual processing device 1 and the visual processing device 71 having the seventh profile data have the same visual processing effect.
  • the input signal IS is subjected to gradation correction by the gradation correction unit 76 and then added to the enhancement processing signal TS. Therefore, even in a region where the gradation correction function F12 has a small gradation change, that is, in a region where the contrast is reduced, the local contrast can be enhanced by adding the enhancement processing signal TS thereafter. .
  • the visual processing unit 73 may calculate the above equation M7 based on the input signal IS and the unsharp signal US without using the two-dimensional LUT4.
  • a one-dimensional LUT may be used in the calculation of the respective functions F 1 1 and F 1 2.
  • the value C of a certain element of the profile data obtained by the equation M7 exceeds the range of 0 ⁇ C ⁇ 255, the value C of the element may be set to 0 or 255.
  • each element of the first to seventh profile data stores a value calculated based on the expressions M1 to M7.
  • the value calculated by the formulas M1 to M7 exceeds the range of values that can be stored in the profile data, the value of the element may be limited in each piece of file data. .
  • some values may be optional .
  • the value of the input signal IS is large, but the value of the unsharp signal US is small, such as a small> light part in a dark night view (a neon part in a night view), a visually processed input
  • the effect of the value of the signal IS on the image quality is small.
  • the value stored in the profile data is an approximate value of the value calculated by the equations Ml to M7, or an arbitrary value. good.
  • a visual processing device 6 0 0 as a second embodiment of the present invention will be described with reference to FIGS. 24 to 39.
  • the visual processing device 600 is a visual processing device that performs visual processing on an image signal (input signal IS) and outputs a visual processing image (output signal OS), and a display device (not shown) that displays the output signal OS. It is a device that performs visual processing according to the installed environment (hereinafter referred to as the display environment).
  • the visual processing device 600 is a device that improves the reduction in the “visual contrast” of the display image due to the influence of ambient light in the display environment by visual processing using human visual characteristics. is there.
  • the visual processing device 60 constitutes an image processing device together with a device that performs image signal color processing in a device that handles images such as a computer, a television, a digital camera, a mobile phone, a PDA, a printer, and a scanner.
  • FIG. 24 shows the basic configuration of the visual processing device 600.
  • the visual processing device 600 includes a target contrast conversion unit 601, a conversion signal processing unit 600, a real contrast conversion unit 603, a target contrast setting unit 604, and a real contrast setting unit 605.
  • the target contrast conversion unit 601 receives the input signal IS as a first input, the target contrast C 1 set in the target contrast setting unit 604 as a second input, and outputs the target contrast signal J S. Note that the definition of the target contrast C1 will be described later.
  • the conversion signal processing unit 602 receives the target contrast signal JS as a first input, the target contrast C 1 as a second input, the actual contrast C 2 set in the actual contrast setting unit 605 as a third input, and performs visual processing.
  • the visual processing signal KS which is the target contrast signal JS, is output. Note that the definition of the actual contrast C2 will be described later.
  • the actual contrast conversion unit 603 uses the visual processing signal KS as the first input, the actual contrast C2 as the second input, and the output signal OS as the output.
  • the target contrast setting unit 604 and the actual contrast setting unit 605 allow the user to set the values of the target contrast C1 and the actual contrast C2 via an input interface or the like.
  • the target contrast conversion unit 601 converts the input signal I S input to the visual processing device 600 into a target contrast signal J S suitable for contrast expression.
  • the luminance value of the image input to the visual processing device 600 is represented by the gradation of the value [0.0 to 1.0].
  • the target contrast conversion unit 601 converts the input signal IS (value [P]) by “Expression M20J, and converts the target contrast signal JS (value [A]).
  • the target contrast CI value [m] indicates that the displayed image displayed by the display device is the maximum. Is set as a contrast value that makes the image look good.
  • FIG. Fig. 25 is a graph showing the relationship between the value of the input signal I S (horizontal axis) and the value of the target contrast signal J S (vertical axis).
  • the target contrast converter 601 converts the input signal IS having a value in the range of [0.0 to 1.0] into a target contrast signal having a value in the range of [1 Zm to 1.0]. Converted to JS.
  • the conversion signal processing section 602 compresses the dynamic range while maintaining the local contrast of the input target contrast signal JS, and outputs the visual processing signal KS.
  • the conversion signal processing unit 622 does not regard the input signal IS (see FIG. 16) in the visual processing device 21 shown in the first embodiment as the target contrast signal JS, and outputs the output signal OS (see FIG. 16) has the same configuration, operation, and effect as when the visual processing signal KS is considered.
  • the converted signal processing unit 60 2 outputs the visual processing signal K S based on a calculation that emphasizes the ratio between the target contrast signal J S and the unsharp signal U S. This makes it possible to implement visual processing that emphasizes sharp components, for example.
  • the converted signal processing unit 60 2 outputs a visual processing signal K S based on an operation for performing dynamic range compression on the ratio of the emphasized target contrast signal J S and the unsharp signal US. This enables, for example, visual processing that compresses the dynamic range while enhancing the sharp component.
  • the conversion signal processing section 602 calculates the luminance of each pixel in the target contrast signal JS. Using the spatial processing unit 622 that performs spatial processing on the value and outputs the unsharp signal US, and the target contrast signal JS and the unsharp signal US, performs visual processing on the target contrast signal JS, and generates a visual processing signal KS And a visual processing unit 623 that outputs
  • the spatial processing unit 622 performs the same operation as the spatial processing unit 2 included in the visual processing device 1 (see FIG. 1), and thus a detailed description is omitted.
  • the visual processing unit 623 includes a division unit 625, an enhancement processing unit 626, and an output processing unit 627 including a compression unit 628 and a multiplication unit 629.
  • the division unit 625 outputs a division signal RS obtained by dividing the target contrast signal J S by the unsharp signal US, with the target contrast signal J S as the first input, the unsharp signal US as the second input.
  • the emphasis processing section 626 receives the division signal RS as a first input, the target contrast C1 as a second input, and the actual contrast C2 as a third input, and outputs an emphasis processing signal TS.
  • the output processing unit 627 receives the target contrast signal JS as a first input, the enhancement processing signal TS as a second input, the target contrast C1 as a third input, the actual contrast C2 as a fourth input, and the visual processing signal KS Is output.
  • the DR compression section 628 receives the target contrast signal JS as a first input, the target contrast C1 as a second input, and the actual contrast C2 as a third input, and receives a dynamic range (DR) compressed DR compressed signal.
  • Output DRS receives the DR compression signal DRS as a first input, the enhancement processing signal TS as a second input, and outputs a visual processing signal KS.
  • the conversion signal processing unit 602 converts the target contrast signal JS (value [A]) by formula M2. And outputs the visual processing signal KS (value [C]).
  • the value [B] is the value of the unsharp signal U S obtained by spatially processing the target contrast signal J S.
  • the spatial processing unit 622 performs spatial processing on the target contrast signal J S having the value [A], and outputs an unsharp signal US having the value [B].
  • the division unit 625 divides the target contrast signal J S having the value [A] by the unsharp signal US having the value [B], and outputs a division signal RS having the value [A / B].
  • the enhancement processor 626 uses the enhancement function F5 to output the enhancement signal TS having the value [F 5 (A / B)] from the division signal RS having the value [A / B].
  • DR compression section 628 outputs DR compressed signal DRS of value [F4 (A)] from target contrast signal J S of value [A] using dynamic range compression function F4.
  • the multiplier 629 multiplies the DR compressed signal DRS having the value [F4 (A)] by the enhancement signal TS having the value [F 5 (A / B)], and obtains the value [F4 (A) * F 5 (A / B)] Outputs the visual processing signal KS.
  • the calculation using the dynamic range compression function F4 and the enhancement function F5 may be performed using a one-dimensional LUT for each function, or may be performed without using the LUT.
  • the visual dynamic range of the visual processing signal K S is determined by the value of the dynamic range compression function F4.
  • FIG. 26 is a graph showing the relationship between the value of the target contrast signal JS (horizontal axis) and the value obtained by applying the dynamic range compression function F4 to the target contrast signal JS (vertical axis).
  • the dynamic range of the target contrast signal JS is compressed by the dynamic range compression function F4. More specifically, the target contrast signal JS having a value in the range of [1 Zm to 1.0] is converted into a value of [1 / n to 1.0] by the dynamic range compression function F4.
  • the value [n] of the actual contrast C2 is set as the visual contrast value of the displayed image under the ambient light of the display environment. That is, the value [n] of the actual contrast C2 can be determined as a value obtained by reducing the value [m] of the target contrast G1 by the influence of the luminance of the ambient light of the display environment.
  • the dynamic range of the target contrast signal JS is compressed from 1: m to 1: n by Expression M2.
  • the “dynamic range” means the ratio between the minimum value and the maximum value of a signal.
  • the local contrast change in the visual processing signal KS is expressed as the ratio of the change before and after the conversion between the value of the target contrast signal JS [A] and the value of the visual processing signal KS [C]. Is done.
  • the value [B] of the unsharp signal US in a local that is, a narrow range, can be regarded as constant. Therefore, the ratio between the change amount of the value C and the change amount of the value A in the expression M2 is 1, and the local contrast between the target contrast signal JS and the visual processing signal KS does not change.
  • the conversion signal processing unit 6002 can realize visual processing that does not reduce the visual contrast while compressing the dynamic range of the target contrast signal J S.
  • the actual contrast conversion unit 603 converts the visual processing signal KS into image data in a range that can be input to a display device (not shown).
  • the image data within the range that can be input to the display device is, for example, image data in which the luminance value of an image is represented by a gradation of a value [0.0 to 1.0].
  • the real contrast conversion unit 603 converts the visual processing signal KS (value [C]) by using “Equation M21” using the real contrast C2 (value [n]), and outputs an output signal OS (value [Q]). I do.
  • FIG. 27 is a graph showing the relationship between the value of the visual processing signal KS (horizontal axis) and the value of the output signal OS (vertical axis). As shown in FIG.
  • the real-contrast conversion unit 603 converts the visual processing signal KS in the range of the value [i Zn ⁇ 1.0] into the output signal OS in the range of the value [0.0 to 1.0].
  • the value of the output signal OS decreases with respect to the value of each visual processing signal KS. This decrease corresponds to the influence of the ambient light on the brightness of the display image.
  • the output signal OS is converted to a value [0]. Further, in the actual contrast conversion unit 603, when a visual processing signal KS having a value [1] or more is input, the output signal OS is converted to a value [1].
  • the visual processing device 600 has the same effect as the visual processing device 21 described in the first embodiment. Hereinafter, effects characteristic of the visual processing device 600 will be described.
  • the output signal OS When ambient light is present in the display environment in which the output signal OS of the visual processing device 600 is displayed, the output signal OS is visually affected by the ambient light.
  • the output signal OS is a signal that has been subjected to processing for correcting the influence of ambient light by the actual contrast converter 603.
  • the output signal OS displayed on the display device is viewed as a display image having the characteristics of the visual processing signal KS.
  • the characteristics of the visual processing signal KS are the dynamic range of the entire image while maintaining local contrast. Is compressed. In other words, the visual processing signal KS is compressed to a dynamic range that can be displayed under the influence of ambient light (corresponding to the actual contrast C2) while maintaining the target contrast G1 at which the display image is optimally displayed locally. Signal.
  • the visual processing device 600 corrects the contrast, which is reduced due to the presence of ambient light, while increasing the visual contrast by processing using the visual characteristics. It can be maintained.
  • a visual processing method that produces the same effect as the visual processing device 600 will be described with reference to FIG. Note that the specific processing of each step is the same as the processing in the visual processing device 600, and the description thereof is omitted.
  • the set target contrast C1 and actual contrast C2 are obtained (step S601).
  • conversion is performed on the input signal I S (step S602), and the target contrast signal J S is output.
  • spatial processing is performed on the target contrast signal JS (step S603), and an unsharp signal US is output.
  • the target contrast signal J S is divided by the unsharp signal US (step S604), and a division signal RS is output.
  • the division signal RS is emphasized by an emphasis function F5 which is a “power function” having an index determined by the target contrast C1 and the actual contrast C2 (step S605), and an emphasis processing signal TS is output.
  • the target contrast signal JS is re-dynamic-range-compressed by a dynamic-range compression function F4, which is a "power function" having an index determined by the target contrast C1 and the actual contrast C2 (step S606).
  • the DR compressed signal D RS is output.
  • the enhancement processing signal TS output in step S605 and the DR compression signal DRS output in step S606 are multiplied (step S607), and a visual processing signal K S is output.
  • the conversion to the visual processing signal KS is performed using the actual contrast C2.
  • Step S608 the output signal OS is output.
  • the processing from step S602 to step S608 is repeated for all the pixels of the input signal IS (step S609).
  • Each step of the visual processing method shown in FIG. 28 may be realized as a visual processing program in the visual processing device 600 or another computer. Further, the processing from step S604 to step S607 may be performed by calculating equation M2.
  • the conversion signal processing unit 602 outputs the visual processing signal KS based on the equation M2.
  • the conversion signal processing unit 602 may output the visual processing signal KS based only on the dynamic range enhancement function F4.
  • the conversion signal processing unit 602 as a modification need not include the spatial processing unit 622, the division unit 625, the enhancement processing unit 626, and the multiplication unit 629, and need only include the DR compression unit 628.
  • the converted signal processing unit 602 as a modified example can output a visual processing signal KS compressed to a dynamic range that can be displayed under the influence of ambient light.
  • the exponent of the emphasis function F 5 is Alternatively, it may be a function of the value [A] of the target contrast signal JS or the value [B] of the unsharp signal US.
  • the exponent of the enhancement function F5 is a function of the value [A] of the target contrast signal JS, and is monotonous when the value [A] of the target contrast signal JS is larger than the value [B] of the unsharp signal US. It is a decreasing function. More specifically, the exponent of the enhancement function F5 is expressed as M (A) * (1- ⁇ ), and the function (A) is the value of the target contrast signal JS [A] as shown in FIG. Is a function that decreases monotonically. Note that the maximum value of the function QM (A) is [1.0].
  • the enhancement function F5 reduces the amount of local contrast enhancement in the high-brightness area. For this reason, when the luminance of the target pixel is higher than the luminance of the surrounding pixels, the local contrast in the high-luminance portion is suppressed from being overemphasized. That is, the luminance value of the target pixel is prevented from being saturated to high luminance, and a so-called overexposed state is suppressed. ⁇ 2 >>.
  • the exponent of the enhancement function F5 is a function of the value [A] of the target contrast signal JS, and increases monotonically when the value [A] of the target contrast signal JS is smaller than the value [B] of the unsharp signal US. Function. More specifically, the exponent of the enhancement function F5 is expressed as a2 (A) * (1 ⁇ r), and the function 2 (A), as shown in FIG. Is a function that increases monotonically with respect to. Note that the maximum value of the function Qf 2 (A) is [1.0].
  • the enhancement function F5 reduces the amount of enhancement of the local contrast in the low luminance part. For this reason, when the luminance of the pixel of interest is lower than the luminance of surrounding pixels, excessive enhancement of local contrast in the low luminance portion is suppressed. In other words, the luminance value of the target pixel is saturated to a low luminance, and the so-called blackened state is suppressed.
  • the exponent of the enhancement function F 5 is a function of the target contrast signal JS value [A] and increases monotonously when the target contrast signal JS value [A] is greater than the unsharp signal US value [B]. Function. More specifically, the exponent of the emphasis function F5 is expressed as 3 (A) * (1 ⁇ r), and the function ⁇ 3 ( ⁇ ) is the value of the target contrast signal JS [A Is a function that increases monotonically with respect to. Note that the maximum value of the function Qf 3 ( ⁇ ) is [1.0].
  • the enhancement function F5 reduces the amount of enhancement of the local contrast in the low-brightness part. For this reason, when the luminance of the target pixel is higher than the luminance of the surrounding pixels, overemphasis of the local contrast in the low luminance part is suppressed. Since the low-luminance part in the image has a relatively low signal level, the ratio of noise is relatively high. By performing such processing, it is possible to suppress the deterioration of the SN ratio.
  • the exponent of the enhancement function F5 is a function of the value [A] of the target contrast signal JS and the value [B] of the unsharp signal US, and corresponds to the absolute value of the difference between the values [A] and [B]. Is a function that decreases monotonically.
  • the exponent of the enhancement function F 5 is a function that increases as the ratio between the value [A] and the value [B] approaches 1. More specifically, the exponent of the enhancement function F5 is expressed as QT 4 (A, B) * (1 -r), and the function Qf 4 (A , B) is a function that monotonically decreases with respect to the absolute value of the value [AB] as shown in Fig. 32.
  • An upper limit or a lower limit may be set for the calculation result of the enhancement function F5 in the above ⁇ 1> to ⁇ 4>. Specifically, when the value [F5 (A / B)] exceeds a predetermined upper limit, the predetermined upper limit is adopted as the calculation result of the enhancement function F5. If the value [F 5 (A / B)] exceeds a predetermined lower limit, the predetermined lower limit is adopted as the calculation result of the enhancement function F 5.
  • the amount of local contrast enhancement by the enhancement function F5 can be limited to an appropriate range, and excessive or insufficient contrast enhancement is suppressed.
  • the above ⁇ 1> to ⁇ 5> can be similarly applied to the case where the calculation using the enhancement function F5 is performed in the first embodiment (for example, the first embodiment ⁇ profile data> (2 ) Or (3).
  • the value [A] is the value of the input signal IS
  • the value [B] is the value of the spatial signal US obtained by spatially processing the input signal IS.
  • the converted signal processing unit 60 has the same configuration as the visual processing device 21 shown in the first embodiment.
  • the conversion signal processing unit 602 as a modification may have a configuration similar to that of the visual processing device 31 (see FIG. 19) shown in the first embodiment.
  • the conversion signal processing unit 602 as a modified example converts the target contrast signal JS (value [A]) and the unsharp signal US (value [B]) into “Expression M 3), a visual processing signal KS (fi
  • the dynamic range of the input signal IS is not compressed, but local contrast can be enhanced.
  • the effect of this local contrast enhancement can give the impression that the dynamic range is “compressed or expanded” “visually”.
  • the enhancement function F5 is a “power function”, and its exponent is the function 1 (A), Of It may be a function having the same tendency as 2 (A), or 3 (A), Of 4 (A, B). Further, as described in the above ⁇ Modification> (ii) ⁇ 5 >>, the calculation result of the enhancement function F5 may have an upper limit or a lower limit.
  • the target contrast setting unit 604 and the actual contrast setting unit 605 allow the user to set the values of the target contrast C1 and the actual contrast C2 via the input interface or the like.
  • the target contrast setting section 604 and the actual contrast setting section 605 may be capable of automatically setting the values of the target contrast C1 and the actual contrast C2.
  • the display device that displays the output signal OS is a display such as a PDP, LCD, or CRT, and the white luminance (white level) and black luminance (black level) that can be displayed without ambient light are known.
  • the actual contrast setting unit 605 that automatically sets the value of the actual contrast C2 will be described.
  • Figure 33 shows the actual contrast setting unit 605 that automatically sets the value of actual contrast C2.
  • the actual contrast setting unit 605 includes a luminance measurement unit 605a, a storage unit 605b, and a calculation unit 605c.
  • the luminance measurement unit 605a is a luminance sensor that measures a luminance value of ambient light in a display environment of a display that displays the output signal OS.
  • the storage unit 605b stores the white luminance (white level) at which the display for displaying the output signal OS can be displayed without ambient light.
  • the calculation unit 605c acquires the values from the luminance measurement unit 605a and the storage unit 605b, respectively, and calculates the value of the actual contrast C2.
  • the calculation unit 605c adds the luminance value of the ambient light acquired from the luminance measurement unit 605a to each of the black-level luminance value and the white-level luminance value stored in the storage unit 605b. Further, the calculation unit 605G outputs a value obtained by dividing the result of addition to the luminance value of the white level using the result of addition to the luminance value of the black level as a value [n] of the actual contrast C2. . As a result, the value [n] of the actual contrast C2 indicates the contrast value displayed by the display in a display environment where ambient light exists.
  • the storage unit 605 b shown in FIG. 33 stores the ratio of the white luminance (white level) and the black luminance (black level) that can be displayed in a state where the display is free of ambient light to the value of the target contrast C 1 [ m] may be stored.
  • the actual contrast setting section 605 simultaneously performs the function of the target contrast setting section 604 for automatically setting the target contrast C1.
  • the storage unit 605b does not store the ratio, and the ratio may be calculated by the calculation unit 605c.
  • the display device that displays the output signal OS is a projector, etc.
  • the white luminance (white level) and black luminance (black level) that can be displayed without ambient light depend on the distance to the screen
  • the actual contrast The actual contrast setting section 605 for automatically setting the value of C2 will be described.
  • Figure 34 shows the actual contrast setting section 605 that automatically sets the value of the actual contrast C2.
  • the actual contrast setting unit 60 5 includes a luminance measurement unit 60 05 d and a control unit 60 05 e.
  • the luminance measuring section 605 d is a luminance sensor that measures a luminance value of the output signal OS displayed by the projector in a display environment.
  • the control unit 605e causes the projector to display the white level and the black level. Further, the luminance value when each level is displayed is obtained from the luminance measuring section 60'5d, and the value of the actual contrast G2 is calculated.
  • An example of the operation of the control unit 605 will be described with reference to FIG. First, the control unit 605e operates the projector in a display environment where ambient light exists, and performs white level display (step S620). The control unit 605e acquires the measured luminance of the white level from the luminance measurement unit 605d (step S621).
  • control unit 605e operates the projector in a display environment where ambient light is present, and performs black level display (step S622).
  • the control unit 605e acquires the measured black level luminance from the luminance measurement unit 605d (step S623).
  • the control unit 605e calculates the ratio between the acquired luminance value of the white level and the luminance value of the black level, and outputs the result as the value of the actual contrast C2.
  • the value [n] of the actual contrast C 2 indicates the contrast value displayed by the projector in a display environment where ambient light exists.
  • the value [m] of the target contrast C 1 can be derived by calculating the ratio between the white level and the black level in a display environment in which no ambient light exists.
  • the actual contrast setting unit 605 simultaneously performs the function of the target contrast setting unit 604 for automatically setting the target contrast C1.
  • the processing in the visual processing device 600 is performed on the luminance of the input signal IS.
  • the present invention is not effective only when the input signal IS is expressed in the YCbG r color space.
  • the input signal IS may be represented by a YUV color space, a Lab color space, a LuV color space, a YIQ color space, an XYZ color space, a YPbPr color space, or the like.
  • the processing described in the above embodiment can be executed for the luminance and lightness of each color space.
  • the processing in the processing device 600 may be performed independently for each of the RGB components.
  • the processing by the target contrast conversion unit 601 is independently performed on the RGB components of the input signal IS, and the RGB components of the target contrast signal JS are output. Furthermore, the conversion signal is converted to the RGB component of the target contrast signal JS.
  • the processing by the signal processing unit 602 is performed independently, and the RGB components of the visual processing signal KS are output. Further, the RGB component of the visual processing signal KS is independently processed by the real contrast converter 603, and the RGB component of the output signal OS is output.
  • a common value is used for the target contrast C1 and the actual contrast G2 in the processing of each of the RGB components.
  • the visual processing device 600 includes a color difference correction processing unit to suppress the hue of the output signal OS from being different from the hue of the input signal IS due to the influence of the luminance component reprocessed by the conversion signal processing unit 602. May be further provided.
  • FIG. 36 shows a visual processing device 600 that includes a color difference correction processing unit 608.
  • the same components as those of the visual processing device 600 shown in FIG. It is assumed that the input signal IS has a color space of YCbCr, and the same processing as described in the above embodiment is performed on the Y component.
  • the color difference correction processing unit 608 will be described.
  • the color difference correction processing unit 608 converts the target contrast signal JS into a first input (value [Yin]), the visual processing signal KS into a second input (value [Yout]), and the Cb component of the input signal IS into the second input (value [Yout]). Input (value [CB in]), the Cr component of the input signal IS as the fourth input (value [CR in]), and the Cb component that has been subjected to the color difference correction processing to the first output (value [CB out] ]). The Cr component that has been subjected to the color difference correction processing is used as the second output (value [CRout]).
  • FIG. 37 outlines the color difference correction process.
  • the color difference correction processing unit 608 has four inputs of [Y in], [Y out], [CB in], and [CR in], and calculates [CBout], [GRout] by calculating these four inputs. ] 2 outputs are obtained.
  • [GBo ut] and [CRo ut] are derived based on the following equation that corrects [CB in] and [CR in] by the difference and ratio between [Y in] and [Yo ut]. You.
  • [CBo ut] is a 1 * ([Y out]-[Y in]) * [CB in] + a 2 * (1— [Y out] / [Y in]) * [CB in] + a 3 * ([Y out] one [Y in]) * [CR in] + a 4 * (1— [Y ut] [Y in]) * [ CR in] + [CB in], which is derived based on (hereinafter referred to as expression CB).
  • [CRo ut] is a 5 * ([Y out]-[Y in]) * [CB in] + a 6 * (1— [Y out] [Y in]) * [CB in] + a 7 * ([Yo ut]-[Y in]) * [CR in] + a 8 * (1-[Y out] / [Y in]) * [CR in] + [CR in] (Hereinafter referred to as expression CR).
  • expression CR For the coefficients a1 to a8 in the expressions CB and CR, values determined in advance by a calculation device external to the visual processing device 600 by an estimation operation described below are used.
  • step S630 four inputs of [ ⁇ in:], [Yout]. [CB in] and [CR in] are obtained (step S630).
  • the value of each input is data prepared in advance to determine the coefficients a 1 to a 8.
  • [Y in:], [CB in] and [CR in] values obtained by thinning out all possible values at predetermined intervals are used.
  • [Yout] a value obtained by thinning out a value that can be output when the value of [Yin] is input to the conversion signal processing unit 602 at a predetermined interval is used.
  • the data prepared in this way is obtained as 4 inputs
  • the obtained [Y in], [CB in] and [CR in] are converted to the Lab color space, and the converted Lab color space
  • the chromaticity values [A in] and [B in] in are calculated (step S631).
  • step S632 using the default coefficients a 1 to a 8, “Expression GBJ” and “Expression CRJ are calculated, and the values of [CBout] and [CRout] are obtained (step S632).
  • the value and [Y out] are converted to the Lab color space, and the chromaticity values [Ao ut] and [Bo ut] in the converted ab color space are calculated (step S633).
  • an evaluation function is calculated using the calculated chromaticity values [A ⁇ n], [Bin], [Aout], and [Bout] (step S634), and the value of the evaluation function is set to a predetermined value. It is determined whether it is less than or equal to the threshold.
  • the evaluation functions are [A in] and [B in ] And [Aut] and [Bout.] are small functions when the change in hue is small, for example, a function such as the sum of squares of the deviation of each component. More specifically, the evaluation function is ([A in] — [Ao ut]) ⁇ 2+ ([ ⁇ i ⁇ ]-[ ⁇ ⁇ ut]) ⁇ 2, and the like.
  • step S635 When the value of the evaluation function is larger than the predetermined threshold value (step S635), the coefficients al to a8 are corrected (step S636), and the operations of steps S632 to S635 are performed using the new coefficients. Repeated.
  • step S635 If the value of the evaluation function is smaller than a predetermined threshold value (step S635), the coefficient a 1 ⁇ a 8 used in the calculation of the evaluation function is output as a result of the estimation calculation (Sutetsu flop S 637).
  • the coefficients a 1 to a 8 are estimated using one of the four input combinations of [Y in], [You out], [CB in], and [CR in] prepared in advance.
  • the calculation may be performed, but the above-described processing may be performed using a plurality of combinations, and coefficients a1 to a8 that minimize the evaluation function may be output as a result of the estimation calculation.
  • the value of the target contrast signal JS is [Y in]
  • the value of the visual processing signal KS is [Y out]
  • the value of the Cb component of the input signal IS is [CB in]
  • the input signal IS The value of the Cr component of the output signal OS is [CR ⁇ n]
  • the value of the Cb component of the output signal OS is [CB out]
  • the value of the Cr component of the output signal OS is [CR out].
  • [Yin], [Yout], [CBin], [CRin], [CBout], and [CROut] may represent values of other signals.
  • the target contrast conversion unit 601 performs processing on each component of the input signal IS.
  • the signal in the RGB color space after processing is converted into a signal in the YCbCr color space, and the value of the Y component is [Yin], the value of the Cb component is [CBin], the value of the Cr component As [CR in].
  • the output signal OS is a signal in the RGB color space
  • the derived [Y ou t], [CB out], and [CR out.] may be converted into an RGB color space, and a conversion process may be performed on each component by the real contrast conversion unit 603 to be used as an output signal OS.
  • the color difference correction processing unit 608 may correct each of the RGB components input to the color difference correction processing unit 608 using the ratio of the signal values before and after the process of the conversion signal processing unit 602.
  • the structure of a visual processing device 600 as a modification will be described with reference to FIG. Note that portions that perform substantially the same functions as those of the visual processing device 600 shown in FIG. 36 are assigned the same reference numerals, and descriptions thereof are omitted.
  • the visual processing device 600 as a modification includes a luminance signal generation unit 610 as a characteristic configuration.
  • Each component of the input signal IS that is a signal in the RGB color space is converted in the target contrast conversion unit 601 into a target contrast signal J S that is a signal in the RGB color space. Since detailed processing has been described above, description thereof will be omitted.
  • the values of the components of the target contrast signal J S are [R in], [G in], and [B in].
  • the luminance signal generation unit 610 generates a luminance signal having a value [Y i n] from each component of the target contrast signal J S.
  • the luminance signal is obtained by adding the values of each component of RGB in a certain ratio.
  • the conversion signal processing unit 602 processes the luminance signal having the value [Y i n] and outputs the visual processing signal KS having the value [Y u t]. Detailed processing is the same as the processing in the conversion signal processing unit 602 (see FIG. 36) that outputs the visual processing signal KS from the target contrast signal J S, and thus the description thereof is omitted.
  • the color difference correction processing unit 608 includes a luminance signal (value [ ⁇ ⁇ n]), a visual processing signal KS (value [Y out]), a target contrast signal JS (values [R in], [G in], and [B in]). ) To output a color difference correction signal (value [Ro ut], [Go ut] v [B out]) which is a signal in the RGB color space. Specifically, the color difference correction processing unit 6OS. Calculates a ratio (value [[Y out] / [Y in]]) between the value [Y in] and the value [You out].
  • the calculated ratio is multiplied by the respective components of the target contrast signal JS (values [R in], [G in], [B in]) as a color difference correction coefficient.
  • a color difference correction signal (values [Rout], [Gout], [Bout]) is output.
  • the actual contrast conversion unit 603 converts each component of the color difference correction signal, which is a signal in the RGB color space, and converts it into an output signal OS, which is a signal in the RGB color space.
  • the detailed processing has been described above, and a description thereof will be omitted.
  • the processing in the conversion signal processing unit 602 is only processing for the luminance signal, and it is not necessary to perform processing for each of the RGB components. This reduces the visual processing load on the RGB color space input signal IS.
  • the visual processing unit 623 shown in FIG. 24 may be formed by a two-dimensional LUT.
  • the two-dimensional LUT is a value of the visual processing signal KS with respect to the value of the target contrast signal JS and the value of the unsharp signal US. Is stored. More specifically, the value of the visual processing signal KS is determined based on “Formula M2” described in [First Embodiment] ⁇ Profile Data> (2) ⁇ Second Profile Data >>.
  • M2J the value of the target contrast signal J S is used as the value A, and the value of the unsharp signal U S is used as the value B.
  • the visual processing device 600 includes a plurality of such two-dimensional LUTs in a storage device (not shown).
  • the storage device may be built in the visual processing device 600 or may be connected to the outside via a wire or wirelessly.
  • Each two-dimensional LUT stored in the storage device is associated with the value of the target contrast C1 and the value of the actual contrast C2. That is, for each combination of the value of the target contrast C 1 and the value of the actual contrast C 2, [Second Embodiment 3 ⁇ Conversion signal processing unit 602> The same operation as described in ⁇ Operation of conversion signal processing unit 602 >> is performed and stored as a two-dimensional LUT.
  • the visual processing unit 623 When the visual processing unit 623 obtains the values of the target contrast C1 and the actual contrast C2, of the two-dimensional LUT stored in the storage device, the two-dimensional LUT associated with each of the obtained values is obtained. Read. Further, the visual processing unit 623 performs visual processing using the read two-dimensional LUT. Specifically, the visual processing unit 623 obtains the value of the target contrast signal JS and the value of the unsharp signal US, reads the value of the visual processing signal KS corresponding to the obtained value from the two-dimensional LUT, and Output the sensed processing signal KS.
  • a visual processing device is a device that performs visual processing of an image by being built in or connected to a device that handles images, such as a computer, a television, a digital camera, a mobile phone, a PDA, a printer, a scanner, and the like. It is realized as an integrated circuit.
  • each functional block of the above embodiment may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI is used, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • a field programmable gate array FPGA
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each block of each visual processing device described in the first embodiment and the second embodiment is performed by, for example, a central processing unit (CPU) provided in the visual processing device.
  • CPU central processing unit
  • programs for performing the respective processes are stored in a storage device such as a hard disk or a ROM, and are read out from the ROM or read out to the RAM and executed.
  • the two-dimensional LUT 4 is stored in a storage device such as a hard disk and a ROM, and is referred to as needed. Further, the visual processing unit 3 receives the provision of profile data from the profile data registration device 8 which is directly connected to the visual processing device 1 or indirectly connected via a network, and as a two-dimensional LUT 4 register.
  • the visual processing device may be a device that performs gradation processing of an image for each frame (for each field) built in or connected to a device that handles moving images.
  • the visual processing method described in the first embodiment is executed.
  • the visual processing program is stored in a storage device such as a hard disk or ROM in a device built in or connected to an image processing device such as a computer, television, digital camera, mobile phone, PDA, printer, scanner, etc. It is a program that executes processing, and is provided, for example, via a recording medium such as a CD-ROM or via a network.
  • the visual processing device described in the first embodiment and the second embodiment can be represented by the configurations shown in FIGS.
  • FIG. 40 is a block diagram showing, for example, the configuration of a visual processing device 910 having the same function as the visual processing device 525 shown in FIG.
  • the sensor 911 and the user input unit 912 have the same functions as the input device 527 (see FIG. 7). More specifically, the sensor 911 is connected to the environment where the visual processing device 910 is installed or from the visual processing device 910. This is a sensor that detects the ambient light in the environment where the OS is displayed, and outputs the detected value as a parameter P1 representing the ambient light.
  • the user input unit 912 is a device that allows the user to set the intensity of the ambient light stepwise, for example, “strong, medium, weak” or steplessly (continuously). The set value is output as the parameter P1 representing the ambient light.
  • the output unit 914 has the same function as the profile data registration unit 526 (see FIG. 7). More specifically, the output unit 914 includes a plurality of profile data associated with the value of the parameter P1 representing the ambient light.
  • the profile data is data in the form of a table that gives the value of the output signal OS with respect to the input signal IS and the signal obtained by spatially processing the input signal IS. Further, the output unit 914 outputs profile data corresponding to the value of the acquired parameter P1 representing the ambient light to the conversion unit 915 as a brightness adjustment parameter P2.
  • the conversion unit 9 15 has the same functions as the spatial processing unit 2 and the visual processing unit 3 (see FIG. 7).
  • the conversion unit 9 15 receives, as inputs, the luminance of the target pixel (target pixel) that is the target of visual processing, the luminance of peripheral pixels located around the target pixel, and the luminance adjustment parameter P 2. Is output and the output signal OS is output.
  • the conversion unit 9 15 performs spatial processing on the target pixel and the surrounding pixels. Further, the conversion unit 915 reads the value of the output signal OS corresponding to the target pixel and the result of the spatial processing from the brightness adjustment parameter P2 in the table format, and outputs the output signal OS as the output signal OS.
  • the brightness adjustment parameter P2 is not limited to the profile data described above.
  • the brightness adjustment parameter P2 may be coefficient matrix data used when calculating the value of the output signal OS from the brightness of the target pixel and the brightness of the peripheral pixels.
  • the coefficient matrix data is data storing a coefficient part of a function used when calculating the value of the output signal OS from the brightness of the target pixel and the brightness of the surrounding pixels.
  • the output unit 914 does not need to include profile data and coefficient matrix data for all values of the parameter P1 representing the ambient light.
  • appropriate profile data or the like may be generated by appropriately dividing the provided profile data or the like according to the acquired parameter P 1 representing the ambient light. .
  • FIG. 41 is a block diagram showing a configuration of a visual processing device 920 that performs the same function as the visual processing device 600 shown in FIG. 24, for example.
  • the output unit 9 2 1 further acquires the external parameter P 3 in addition to the parameter P 1 representing the ambient light, and based on the parameter P 1 representing the ambient light and the external parameter P 3 Outputs brightness adjustment parameter P2.
  • the parameter P 1 representing the ambient light is the same as described in (1) above.
  • the external parameter P 3 is a parameter that represents a visual effect that a user who views the output signal OS, for example, finds. More specifically, it is a value such as contrast (target contrast) required by a user who views an image.
  • the external parameter P 3 is set by the target contrast setting unit 60 4 (see FIG. 24).
  • the default value stored in advance in the output unit 9 2 1 is used.
  • the output unit 921 calculates the value of the real contrast according to the configuration shown in FIGS. 33 and 34 from the parameter P1 representing the ambient light, and outputs it as the brightness adjustment parameter P2. Further, the output unit 921 outputs the external parameter P 3 (target contrast) as the brightness adjustment parameter P 2.
  • the output unit 9221 stores a plurality of profile data stored in the two-dimensional LUT described in [Second Embodiment] ⁇ Modification> (V V i).
  • the profile data is selected from the actual contrast calculated from the parameter P1 that indicates the brightness, and the data in the form of a table is output as the brightness adjustment parameter P2.
  • the converter 922 has the same function as the target contrast converter 601, the converted signal processor 602, and the actual contrast converter 603 (see FIG. 24 above). More Specifically, the input signal IS (the luminance of the target pixel and the luminance of the peripheral pixels) and the luminance adjustment parameter P 2 are input to the conversion unit 922, and the output signal OS is output. For example, the input signal IS is converted into the target contrast signal JS (see FIG. 24) using the target contrast acquired as the brightness adjustment parameter P2. Further, the target contrast signal JS is spatially processed to derive an unsharp signal US (see FIG. 24).
  • the conversion unit 922 includes the visual processing unit 623 as the modification described in [Second Embodiment] ⁇ Modification> (Vii), and is obtained as the luminance adjustment parameter P2.
  • a visual processing signal KS (see Fig. 24) is output from the profile data, the target contrast signal JS, and the unsharp signal US. Further, the visual processing signal KS is converted into an output signal OS using the actual contrast acquired as the brightness adjustment parameter P2.
  • this visual processing device 920 it is possible to select profile data to be used for visual processing based on the external parameter P3 and the parameter P1 representing ambient light, and to correct the effect of ambient light. However, even in an environment where ambient light exists, it is possible to improve the local contrast and bring the output signal OS closer to the user's favorite contrast for viewing the OS.
  • the configuration described in (1) and the configuration described in (2) can be switched and used as necessary. Switching may be performed using an external switching signal. Further, it may be determined which configuration is used depending on whether or not the external parameter P 3 exists.
  • the actual contrast is calculated by the output unit 9 2
  • the actual contrast value may be directly input to the output unit 9 2 1.
  • the visual processing device 920 ′ shown in FIG. 42 is different from the visual processing device 920 shown in FIG. 41 in that the visual processing device 920 ′ has an adjustment unit 925 that makes the time change of the parameter P 1 representing the ambient light slow. .
  • the adjustment unit 925 receives the parameter P 1 representing the ambient light as input and outputs the adjusted output P 4 as output.
  • the output unit 921 can acquire the parameter P1 representing the ambient light without a rapid change, and as a result, the output of the output unit 921 also changes slowly with time.
  • the adjustment unit 925 is realized by an IIR filter, for example.
  • k 1 and k 2 are parameters each having a positive value
  • [P 1] is the value of the parameter P 1 representing the ambient light
  • [P4] ′ is the output of the adjustment unit 925.
  • the value of the delayed output of P4 (for example, the previous output). Note that the processing in adjustment section 925 may be performed using a configuration other than the IIR filter.
  • the adjustment unit 925 may be a means that is provided on the output side of the output unit 921 and directly moderates the time change of the brightness adjustment parameter P 2, like a visual processing device 920 ′′ shown in FIG.
  • the operation of the adjusting unit 925 is the same as described above.
  • k 3 and k 4 are parameters that take positive values
  • [P2] is the value of the brightness adjustment parameter P 2
  • [P4] ' is the output P of the adjustment unit 925. This is the value of 4 delayed outputs (eg, previous output).
  • the processing in adjustment unit 925 may be performed using a configuration other than the IIR filter.
  • FIG. 44 is a block diagram showing an overall configuration of a content supply system eX100 realizing a content distribution service.
  • a communication service providing area is divided into desired sizes, and base stations e X 107 to ex 110 which are fixed wireless stations are installed in each cell.
  • the content supply system eX100 is, for example, an Internet service provider eX102 and a telephone network eX104, and a base station eX107-eX110 on the Internet eX101.
  • PDA personal di ital assistant
  • cara exl 1 3 mobile phone ⁇ tongue ex 1 1 4
  • camera equipped mobile phone ex 1 1 5 etc. Is connected.
  • the content supply system eX100 is not limited to the combination as shown in FIG. 44, and may be connected by combining any of them. Further, each device may be directly connected to the telephone network ex "I04 without going through the base stations ex107 to ex110 which are fixed wireless stations.
  • the camera eX113 is a device capable of shooting moving images such as a digital video camera.
  • PDC Personal Digital Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division Multiple Access
  • GSM Global System for Mobile Communi cat ion
  • PHS Personal Handyphone System
  • the streaming server ex 103 is connected to the camera exll 3 via the base station ex 109 and the telephone network ex 104, and transmits encoded data transmitted by the user using the camera ex 113. Live distribution etc. based on this is possible. Encoding processing of captured data may be performed by the camera eX113, or may be performed by a server or the like that performs data transmission processing. Also, video data shot by the camera ex116 is transmitted to the streaming server ex103 via the computer eX111. May be.
  • the camera ex116 is a device such as a digital camera that can shoot still images and moving images. In this case, the video data may be encoded by the camera e X 1 1 6 or the computer e X 1 1 1.
  • the encoding process is performed in the LSI ex 117 included in the combi- ter exl 11 and the camera ex 116.
  • the software for image encoding and decoding may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by a computer eX111 or the like.
  • the video data may be transmitted by a mobile phone with a camera eX115.
  • the moving image data at this time is data encoded by the LSI included in the mobile phone eX115.
  • the content for example, a video image of a live music that the user shoots with the camera ex113, power camera eX116, or the like is encoded and processed.
  • the streaming server eX103 While transmitting to the streaming server eX103, the streaming server eX103 stream-distributes the above-mentioned content data to the requested client.
  • the client there are a computer eX111, a PDAex112, a camera ex113, a mobile phone ex114, etc., capable of decoding the encoded data.
  • the content supply system exl 00 can receive and reproduce the encoded data at the client, and further receive, decode, and reproduce the data in real time at the client. It is a system that can also realize personal broadcasting o
  • the visual processing device When displaying the content, the visual processing device, the visual processing method, and the visual processing program described in the above embodiment may be used.
  • a computer exl 11, 06 6 ⁇ 11, a camera 61 1 13, a mobile phone eX 114, etc. are provided with the visual processing device described in the above embodiment, and perform a visual processing method and a visual processing program. It may be realized.
  • the streaming server eX "I03 may provide profile data to the visual processing device via the Internet eX10" I.
  • Stream Mindasa The bar ex 103 may create a profile.
  • the visual processing device can acquire the profile data via the Internet eX101, the visual processing device does not need to previously store the profile data used for the visual processing. It is also possible to reduce the capacity.
  • profile data can be obtained from a plurality of servers connected via the Internet eX101, different visual processing can be realized. —A mobile phone will be described as an example.
  • FIG. 45 is a diagram illustrating a mobile phone eX115 including the visual processing device of the above embodiment.
  • the mobile phone eX115 has an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a power camera unit ex203 for capturing images and still images from CCD cameras, etc.
  • a camera unit eX203 a display unit eX202 such as a liquid crystal display for displaying data obtained by decoding data obtained by decoding the images received by the antenna ex201, etc., a main unit including operation keys eX204 group, Audio output unit eX208 such as a speaker for audio output, audio input unit ex205 such as a microphone for audio input, data of captured video or still image, data of received mail, video data or A recording medium eX207 for storing encoded data or decoded data such as still image data, and a slot for attaching the recording medium eX207 to a mobile phone ex115. It has a part eX206.
  • the recording medium eX207 is a flash memory element that can be stored in a plastic case such as an SD card as a kind of electrically erasable and programmable read only memory (EE PROM), which is a nonvolatile memory that can be electrically rewritten and erased. It is stored.
  • a plastic case such as an SD card as a kind of electrically erasable and programmable read only memory (EE PROM), which is a nonvolatile memory that can be electrically rewritten and erased. It is stored.
  • E PROM electrically erasable and programmable read only memory
  • the mobile phone ex 115 has a power supply circuit for the main control unit eX311, which is to control each part of the main unit equipped with the display unit eX202 and operation keys ex2O4.
  • the demultiplexing unit eX308, the recording / reproducing unit ex307, the modulation / demodulation circuit unit eX306, and the audio processing unit ex305 communicate with each other via the synchronous bus ex313. Connected.
  • the power supply circuit eX310 is a digital mobile phone with a camera, which supplies power to each part from the battery pack when the call is turned on and the power key is turned on by user operation. Is activated.
  • the mobile phone ex115 based on the control of the main control unit ex311, consisting of a CPU, ROM, RAM, etc., converts the voice signal collected by the voice input unit eX205 in the voice call mode into a voice processing unit.
  • the digital audio data is converted into digital voice data by eX 305, the spread spectrum processing is performed by the modulation / demodulation circuit section eX306, and the digital / analog conversion processing and the frequency conversion processing are performed by the transmission / reception circuit section ex301. Sent through 2 01.
  • the mobile phone eX115 amplifies the received signal received by the antenna eX201 in the voice call mode, performs frequency conversion processing and analog digital conversion processing, and transmits the signal through the modulation / demodulation circuit section eX306. After performing a tram despreading process and converting the analog signal into an analog audio signal by an audio processing unit eX 305, the analog audio signal is output via an audio output unit eX 208.
  • the text data of the e-mail input by operating the operation key eX204 of the main unit is transmitted to the main control unit ex via the operation input control unit eX304.
  • the main control unit ex 31 1 performs the spread spectrum processing on the text data in the modulation / demodulation circuit unit ex 306, performs the digital / analog conversion processing and the frequency conversion processing in the transmission / reception circuit unit e X 301, and then transmits the data via the antenna e X 201. Transmit to base station ex 110.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface: ex unit 303.
  • the image data captured by the camera unit ex 203 can be directly displayed on the display unit ex 202 via the camera interface unit eX303 and the LCD control unit eX302.
  • a certain image coding unit ex 312 converts the image data supplied from the camera unit ex 203 into coded image data by compression coding, and sends this to the demultiplexing unit eX 308.
  • the mobile phone ex1 The voice collected by the voice input unit eX205 during imaging in 03 is sent to the demultiplexing unit eX308 as digital voice data via the voice processing unit ex305.
  • the demultiplexing unit eX308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit eX305 in a predetermined manner, The resulting multiplexed data is spread-spectrum-processed by the modulation / demodulation circuit section eX306, and subjected to digital-analog conversion processing and frequency conversion processing by the transmission / reception circuit section eX301, followed by the antenna eX201. To send over.
  • the received signal received from the base station ex110 through the antenna eX201 is received by the modem circuit ex306.
  • the spectrum despreading processing is performed, and the multiplexed data obtained as a result is sent to the demultiplexing unit eX308.
  • the demultiplexing unit ex308 demultiplexes the multiplexed data to form an encoded bit stream of the image data.
  • the encoded image data is divided into an encoded bit stream of the audio data, and the encoded image data is supplied to the image decoding unit ex 3 O 9 via the synchronous bus eX3 13 and the audio data is processed by the audio processing unit e. Supply X305.
  • the image decoding unit e X 3 0 9 generates replayed moving image data by decoding the encoded bit stream of the image data, and this is generated via the LCD control unit e X 3 0 2
  • the video data included in the moving image file linked to the homepage is displayed, for example.
  • the audio processing unit ex305 simultaneously converts the audio data into an analog audio signal, and supplies the analog audio signal to the audio output unit ex208, whereby, for example, a moving image file linked to a homepage is output. Is reproduced.
  • the image decoding unit eX309 may include the visual processing device of the above embodiment.
  • the broadcast station ex 409 uses the coding bit rate of video information.
  • the trim is transmitted via radio waves to a communication or broadcast satellite ex410.
  • the broadcasting satellite ex 410 that received it transmitted a broadcast wave, and received this wave with a home antenna eX406 equipped with satellite broadcasting reception equipment, and a TV (receiver) eX4
  • a device such as 01 or set-top box (STB) eX407 decodes the encoded bit stream and reproduces it.
  • a device such as a television (receiver) ex401 or a set-top box (STB) eX407 may include the visual processing device described in the above embodiment. Further, the visual processing method of the above embodiment may be used. Further, a visual processing program may be provided. In addition, the visual processing device described in the above embodiment is also included in a playback device ex 403 that reads and decodes an encoded bit stream recorded on a storage medium eX402, such as a CD or DVD, which is a recording medium. It is possible to implement visual processing methods and visual processing programs. In this case, the reproduced video signal is displayed on the monitor eX404.
  • a storage medium eX402 such as a CD or DVD
  • the visual processing device described in the above embodiment is provided in a set-top box eX407 connected to a cable eX405 for a cable TV or an antenna eX406 of a satellite / terrestrial broadcast, A configuration in which a visual processing method and a visual processing program are implemented and reproduced on a TV monitor eX408 may be considered.
  • the visual processing device described in the above embodiment may be incorporated in the television instead of the set-top box.
  • a car ex 4 12 having an antenna e X 4 1 1 receives a signal from a satellite ex 10 or a base station e X 10 7 or the like, and receives a signal from a car ex 4 1 2. It is also possible to play a moving image on a display device such as 4 13.
  • the image signal can be encoded and recorded on a recording medium.
  • a recorder eX420 such as a DVD recorder for recording an image signal on a DVD disk eX421 and a disk recorder for recording on a hard disk.
  • it can be recorded in the SD force field eX422. If the recorder ex420 is equipped with the decoding device of the above-described embodiment, it interpolates and reproduces the image signal recorded on the DVD disc eX421 or the SD card eX422 to monitor eX42. 408 can be displayed.
  • the configuration of the car navigation eX413 is, for example, a camera section eX203, a camera interface section eX303, and an image encoding section e in the configuration shown in FIG.
  • a configuration excluding x 312 is conceivable, and the same is conceivable for the computer e X 11 1 @television (receiver) e X 401 or the like.
  • the above-mentioned terminals such as the mobile phone eX114 are not only transmission and reception terminals having both an encoder and a decoder, but also transmission terminals having only an encoder and reception terminals having only a decoder. There are three possible implementation formats.
  • the visual processing device, the visual processing method, and the visual processing program described in the above embodiment can be used in any of the above-described apparatus systems, and the effects described in the above embodiment can be obtained.
  • the present invention can also be expressed as follows.
  • Input signal processing means for performing spatial processing on the input image signal and outputting the processed signal
  • Signal computing means for outputting an output signal based on computation for emphasizing a difference between respective values obtained by converting the image signal and the processing signal by a predetermined transformation
  • a visual processing device comprising:
  • the signal calculation means calculates a value A of the image signal, a value B of the processed signal, a conversion function F1, an inverse conversion function F2 of the conversion function F1, and an enhancement function F3, by the following equation F2 (F 1 (A) + F3 (F 1 (A) -F 1 (B))) to calculate the value C of the output signal,
  • the visual processing device according to attachment 1.
  • the conversion function F 1 is a logarithmic function.
  • the visual processing device according to attachment 2.
  • the inverse transformation function F 2 is a gamma correction function.
  • the signal calculation means performs signal space conversion means for converting the signal space of the image signal and the processed signal, and performs enhancement processing on a difference signal between the converted image signal and the converted processed signal.
  • Enhancement processing means for performing, and inverse transformation means for performing an inverse transformation of a signal space on the addition signal of the converted image signal and the difference signal after the enhancement processing, and outputting the output signal,
  • the visual processing device according to any one of supplementary notes 2 to 4.
  • Input signal processing means for performing spatial processing on the input image signal and outputting the processed signal
  • a signal calculation means for outputting an output signal based on a calculation for enhancing a ratio between the image signal and the processing signal
  • a visual processing device comprising:
  • the signal calculation means outputs the output signal based on the calculation that further performs dynamic range compression of the image signal.
  • the signal calculation means outputs the value A of the image signal, the value B of the processed signal, the dynamic range compression function F4, and the enhancement function F5 based on the formula F4 (A) * F5 (A / B). Calculate the signal value C,
  • the visual processing device according to attachment 6 or 7.
  • the dynamic range compression function F 4 is a monotonically increasing function
  • the dynamic range compression function F 4 is a power function.
  • the exponent of the power function in the dynamic range compression function F4 is divided into a target contrast value, which is a target value of contrast when performing image display, and an actual contrast value, which is a contrast value in a display environment when performing image display. Determined based on
  • Appendix 1 The visual processing device according to 2.
  • the enhancement function F 5 is a power function
  • Additional visual processing device according to any one of 8 to 13.
  • the exponent of the power function in the enhancement function F5 is based on a target contrast value which is a target value of contrast when performing image display and an actual contrast value which is a contrast value in a display environment when performing image display. Determined
  • the exponent of the power function in the enhancement function F5 is a value that monotonically decreases with respect to the value A of the image signal when the value A of the image signal is larger than the value B of the processing signal.
  • APPENDIX 14 The visual processing device according to 4 or 15.
  • the exponent of the power function in the enhancement function F5 is a value that monotonically increases with respect to the value A of the image signal when the value ⁇ of the image signal is smaller than the value B of the processing signal.
  • the exponent of the power function in the enhancement function F5 is a value that monotonically increases with respect to the value A of the image signal when the value A of the image signal is larger than the value B of the processing signal.
  • APPENDIX 14 The visual processing device according to 4 or 15.
  • the exponent of the power function in the enhancement function F5 is a value that monotonically increases with respect to the absolute value of the difference between the value A of the image signal and the value B of the processing signal.
  • APPENDIX 14 The visual processing device according to 4 or 15.
  • At least one of the maximum value and the minimum value of the enhancement function F5 is limited within a predetermined range
  • the signal calculation means is an enhancement processing means for performing enhancement processing on a division processing signal obtained by dividing the image signal by the processing signal, and the output based on the image signal and the division processing signal subjected to the enhancement processing.
  • the visual processing device according to appendix 8, further comprising output processing means for outputting a signal.
  • the output processing means performs a multiplication process of the image signal and the emphasized division processing signal.
  • Appendix 21 The visual processing device according to 1.
  • the output processing means includes a DR compression means for performing dynamic range (DR) compression on the image signal, and a multiplication process of the DR-compressed image signal and the emphasized division signal.
  • Appendix 21 The visual processing device according to 1.
  • a first conversion means to be a number
  • a second conversion means for converting the output signal in a third predetermined range into a fourth predetermined range to obtain output image data
  • the second predetermined range is determined based on a target contrast value which is a target value of contrast when performing image display,
  • the third predetermined range is determined based on an actual contrast value that is a contrast value in a display environment when displaying an image.
  • Additional visual processing device according to any one of 8 to 23.
  • the dynamic range compression function F 4 is a function for converting the image signal in the second predetermined range to the output signal in the third predetermined range.
  • APPENDIX 24 The visual processing device according to 4.
  • the first conversion means converts each of the minimum value and the maximum value of the first predetermined range into the minimum value and the maximum value of the second predetermined range
  • the second conversion means converts each of the minimum value and the maximum value of the third predetermined range into each of the minimum value and the maximum value of the fourth predetermined range;
  • the visual processing device according to attachment 24 or 25.
  • the conversion in the first conversion means and the second conversion means is a linear conversion, respectively.
  • Appendix 26 The visual processing device according to 6.
  • APPENDIX 2 The visual processing device according to any one of 4 to 2-7.
  • the setting means includes: storage means for storing a dynamic range of a display device for displaying an image; and a measuring means for measuring luminance of ambient light in a display environment when the image is displayed. Including steps,.
  • the setting means includes a measuring means for measuring the luminance at the time of black level display and at the time of white level display in a display environment of a display device that performs image display.
  • Input signal processing means for performing spatial processing on the input image signal and outputting the processed signal
  • Signal calculating means for outputting an output signal based on an operation for enhancing a difference between the image signal and the processed signal according to a value of the image signal
  • a visual processing device comprising:
  • the signal calculation means outputs the output signal based on a calculation of adding a value obtained by dynamic range compression of the image signal to a value emphasized by the calculation to be emphasized.
  • the signal calculation means calculates a value A of the image signal, a value B of the processed signal, an enhancement amount adjustment function F6, an enhancement function F7, and a dynamic range compression function F8 by the following equation: F8 (A) + F6 ( A)
  • the dynamic range compression function F 8 is a monotonically increasing function
  • the dynamic range compression function F 8 is an upwardly convex function
  • Appendix 35 The visual processing device according to 5.
  • the dynamic range compression function F 8 is a power function
  • Appendix 3 The visual processing device according to 3.
  • the signal calculation means includes enhancement processing means for performing enhancement processing according to a pixel value of the image signal with respect to a difference signal between the image signal and the processed signal, and the image signal and the enhanced difference signal.
  • Output processing means for outputting the output signal based on
  • Appendix 3 The visual processing device according to 3.
  • the output processing means performs an addition process of the image signal and the enhanced difference signal.
  • the output processing unit includes a DR compression unit that performs dynamic range (DR) compression on the image signal, and performs an addition process of the DR-compressed image signal and the emphasized difference signal.
  • DR dynamic range
  • Input signal processing means for performing spatial processing on the input image signal and outputting the processed signal
  • a visual processing device comprising: a signal calculation unit that outputs an output signal based on a calculation of adding a value obtained by correcting the gradation of the image signal to a value that emphasizes a difference between the image signal and the processing signal.
  • the signal calculation means calculates a value of the image signal A, a value of the processed signal B, an enhancement function F 11, and a gradation correction function F 12 by using a formula F 1 2 (A) + F 1 1 (A — Based on B)
  • the output signal value C is calculated based on
  • Appendix 41 The visual processing device according to 1.
  • the signal calculating means performs an enhancement process for performing an enhancement process on a difference signal between the image signal and the processed signal, and performs an addition process on the gradation-corrected image signal and the enhanced difference signal.
  • the visual processing device according to attachment 42, further comprising addition processing means for outputting as an output signal.
  • the second predetermined range is determined on the basis of a target contrast value that is a target value of the contrast when performing image display,
  • the third predetermined range is determined based on an actual contrast value that is a contrast value in a display environment when displaying an image.
  • a first conversion means for converting input image data in a first predetermined range into a second predetermined range to be an image signal
  • the second predetermined range is determined based on a target contrast value that is a target value of contrast when performing image display,
  • the third predetermined range is determined based on an actual contrast value that is a contrast value in a display environment when displaying an image.
  • a visual processing program for causing a computer to perform visual processing, wherein a first conversion step of converting input image data in a first predetermined range into a second predetermined range to be an image signal;
  • the second predetermined range is determined on the basis of a target contrast value that is a target value of the contrast when performing image display,
  • the third predetermined range is determined based on an actual contrast value that is a contrast value in a display environment when displaying an image.
  • a visual processing method for a computer
  • the visual processing device includes input signal processing means and signal calculation means.
  • the input signal processing means performs spatial processing on the input image signal and outputs a processed signal.
  • the signal calculation means outputs an output signal based on a calculation that emphasizes a difference between respective values obtained by converting the image signal and the processed signal by a predetermined conversion.
  • the spatial processing refers to a process of applying a low-pass spatial filter to an input image signal, or an average value, a maximum value, or a minimum value of a pixel of interest and surrounding pixels of the input image signal.
  • the emphasis operation is, for example, an operation for adjusting a gain, an operation for suppressing an excessive contrast, an operation for suppressing a noise component having a small amplitude, and the like (hereinafter, the same applies in this section).
  • the visual processing device of the present invention it is possible to emphasize the difference between the image signal and the processing signal after converting them into different spaces. As a result, for example, it is possible to realize enhancement corresponding to visual characteristics.
  • the visual processing device is the visual processing device according to Supplementary Note 1, wherein the signal calculation unit includes a value A of the image signal, a value B of the processed signal, a conversion function F1, and an inverse of the conversion function F1. Calculate the output signal value C based on the formula F 2 (F 1 (A) + F 3 (F 1 (A) -F 1 (B))) for the conversion function F 2 and the enhancement function F 3 .
  • the enhancement function F 3 is, for example, a function that adjusts the gain, a function that suppresses excessive contrast, or a function that suppresses a noise component having a small amplitude.
  • the value C of the output signal indicates that: That is, the value A of the image signal and the value B of the processed signal are converted to values in another space by the conversion function F1.
  • the difference between the value of the converted image signal and the value of the processed signal indicates, for example, a sharp signal in another space.
  • the difference between the processed image signal and the converted image signal that has been emphasized by the enhancement function F3 is added to the converted image signal.
  • the value C of the output signal indicates a value in which the sharp signal component in another space is emphasized.
  • processing such as edge enhancement and contrast enhancement in another space can be performed by using the value A of the image signal and the value B of the processing signal converted to another space.
  • the visual processing device according to attachment 3 is the visual processing device according to attachment 2, wherein the conversion function F 1 is a logarithmic function.
  • human visual characteristics are generally logarithmic. Therefore, if the image signal and the processed signal are converted into a logarithmic space and processed, the processing suitable for the visual characteristics can be performed.
  • the visual processing device of the present invention it is possible to enhance the contrast with a high visual effect or to compress the dynamic range to maintain the local contrast.
  • the visual processing device according to attachment 4 is the visual processing device according to attachment 2, wherein the inverse conversion function F 2 is a gamma correction function.
  • image signals are subjected to gamma correction using a gamma correction function according to the gamma characteristics of the device that inputs and outputs the image signals.
  • the visual processing device of the present invention it is possible to remove the gamma correction of the image signal by the conversion function F 1 and perform processing based on linear characteristics. As a result, optical blur correction can be performed.
  • the visual processing device is the visual processing device according to any of Supplementary Notes 2 to 4, wherein the signal operation unit includes a signal space conversion unit, an enhancement processing unit, and an inverse conversion unit. ing.
  • the signal space conversion means converts the signal space of the image signal and the processing signal.
  • the enhancement processing means performs enhancement processing on the difference signal between the converted image signal and the converted processed signal.
  • the inverse conversion means performs an inverse conversion of the signal space on the addition signal of the image signal after conversion and the difference signal after enhancement processing, and outputs an output signal.
  • the signal space conversion means converts the signal space between the image signal and the processed signal using the conversion function F1.
  • the enhancement processing means performs an enhancement process on a difference signal between the converted image signal and the converted processed signal using the enhancement function F3.
  • the inverse transform means performs an inverse transform of a signal space on an added signal of the converted image signal and the difference signal after the enhancement processing using the inverse transform function F2.
  • the visual processing device includes input signal processing means and signal calculation means.
  • the input signal processing means performs spatial processing on the input image signal and outputs a processing signal.
  • the signal calculation means outputs an output signal based on a calculation that emphasizes the ratio between the image signal and the processing signal.
  • the ratio between the image signal and the processed signal represents the sharp component of the image signal. For this reason, for example, visual processing that emphasizes the sharp component can be performed.
  • the visual processing device is the visual processing device according to Supplementary Note 6, wherein the signal calculation unit outputs the signal based on a calculation that further performs a dynamic range compression of the image signal. Output force signal.
  • the visual processing device of the present invention for example, it is possible to compress the dynamic range while enhancing the sharp component of the image signal represented by the ratio of the image signal to the processed signal.
  • the visual processing device is the visual processing device according to Supplementary Note 6 or 7, wherein the signal calculation unit includes a value A of the image signal, a value B of the processed signal, a dynamic range compression function F4, and emphasis.
  • the value C of the output signal is calculated based on the formula F4 (A) * F5 (A / B).
  • the value C of the output signal indicates the following. That is, the division amount (A / B) between the value A of the image signal and the value B of the processing signal represents, for example, a sharp signal.
  • F 5 (A / B) represents, for example, the amount of enhancement of the sharp signal.
  • local contrast can be enhanced while performing dynamic range compression as necessary.
  • the visual processing device according to attachment 9 is the visual processing device according to attachment 8, wherein the dynamic range compression function F 4 is a direct proportional function with a proportionality factor of 1.
  • This contrast enhancement is an enhancement process suitable for visual characteristics.
  • the visual processing device according to attachment 10 is the visual processing device according to attachment 8, in which the dynamic range compression function F 4 is a monotonically increasing function.
  • the visual processing device of the present invention it is possible to enhance local contrast while performing dynamic range compression using the dynamic range compression function F4, which is a monotonically increasing function.
  • the visual processing device according to attachment 11 is the visual processing device according to attachment 10 in which the dynamic range compression function F 4 is an upwardly convex function.
  • a dynamic range compression function that is It is possible to enhance local contrast while performing dynamic range compression using F4.
  • the visual processing device described in appendix 12 is the visual processing device described in appendix 8, and the dynamic range compression function F 4 is a power function.
  • the visual processing device of the present invention it is possible to enhance local contrast while performing dynamic range conversion using the dynamic range compression function F 4 that is a power function.
  • the visual processing device is the visual processing device according to appendix 12 in which the exponent of the power function in the dynamic range compression function F4 is a target that is the target value of contrast when performing image display. It is determined based on the contrast value and the actual contrast value that is the contrast value in the display environment when the image is displayed.
  • the target contrast value is a target value of contrast when performing image display, and is, for example, a value determined by a dynamic range of a display device that performs image display.
  • the actual contrast value is a contrast value in a display environment when displaying an image, and is, for example, a value determined by the contrast of an image displayed by a display device when ambient light is present.
  • the dynamic range compression function F4 can compress the image signal having the dynamic range equal to the target contrast value into the dynamic range equal to the actual contrast value.
  • the visual processing device according to attachment 14 is the visual processing device according to any of attachments 8 to 13, wherein the enhancement function F5 is a power function.
  • the visual processing device of the present invention it is possible to enhance the local contrast using the enhancement function F5 which is a power function, and it is possible to visually convert the dynamic range.
  • the enhancement function F5 which is a power function
  • the visual processing device is the visual processing device according to Supplementary Note 14 in which the exponent of the power function in the enhancement function F5 is a target value which is a target value of a contrast when displaying an image. It is determined based on a contrast value and an actual contrast value which is a contrast value in a display environment when displaying an image.
  • local enhancement is performed using an enhancement function F5 which is a power function.
  • F5 which is a power function.
  • the contrast can be emphasized, and the dynamic range can be visually converted.
  • the visual processing device according to attachment 16 is the visual processing device according to attachment 14 or 15, wherein the exponent of the power function in the enhancement function F5 is such that the value A of the image signal is smaller than the value B of the processing signal. Is larger than the value A of the image signal.
  • the visual processing device of the present invention it is possible to weaken local contrast enhancement in a high-luminance portion among target pixels having higher luminance than surrounding pixels in an image signal. Therefore, so-called overexposure is suppressed in the visually processed image.
  • the visual processing device according to attachment 17 is the visual processing device according to attachment 14 or 15, wherein the exponent of the power function in the enhancement function F5 is such that the value A of the image signal is smaller than the value B of the processing signal. Is also a value that monotonically increases with respect to the value A of the image signal when is also small.
  • the visual processing device of the present invention it is possible to weaken the local contrast enhancement in the low-luminance portion of the pixel of interest whose luminance is lower than that of the surrounding pixels in the image signal. Therefore, so-called black crushing is suppressed in the visually processed image.
  • the visual processing device according to attachment 18 is the visual processing device according to attachment 14 or 15, wherein the exponent of the power function in the enhancement function F5 is such that the value A of the image signal is smaller than the value B of the processing signal. Is larger than the value A of the image signal.
  • the visual processing device of the present invention it is possible to weaken local contrast enhancement in a low-luminance portion among target pixels having higher luminance than surrounding pixels in an image signal. For this reason, in the visually processed image, the deterioration of the SN ratio is suppressed.
  • the visual processing device according to attachment 19 is the visual processing device according to attachment 14 or 15, wherein the exponent of the power function in the enhancement function F5 is a value A of the image signal and a value B of the processing signal. Is a value that increases monotonically with respect to the absolute value of the difference between.
  • the value that increases monotonically with respect to the absolute value of the difference between the value A of the image signal and the value B of the processed signal is defined as the ratio of the value A of the image signal to the value B of the processed signal becomes closer to 1. If it increases, it will be decided: ⁇ ).
  • the local contrast in the pixel of interest having a small difference in brightness from the surrounding pixels in the image signal is particularly emphasized, and the local contrast in the pixel of interest having a large difference in brightness from the surrounding pixels in the image signal is enhanced. Can be overemphasized.
  • the visual processing device according to attachment 20 is the visual processing device according to any of attachments 14 to 19, wherein at least one of the maximum value or the minimum value of the enhancement function F5 is within a predetermined range. Within.
  • the amount of local contrast enhancement can be limited to an appropriate range.
  • the visual processing device is the visual processing device according to attachment 8, wherein the signal calculation means includes an enhancement processing means and an output processing means.
  • the enhancement processing means performs enhancement processing on the division processing signal obtained by dividing the image signal by the processing signal.
  • the output processing means outputs an output signal based on the image signal and the enhanced division processing signal.
  • the enhancement processing means performs enhancement processing on the division processing signal obtained by dividing the image signal by the processing signal, using the enhancement function F5.
  • the output processing means outputs an output signal based on the image signal and the division processing signal.
  • the visual processing device according to attachment 22 is the visual processing device according to attachment 21 in which the output processing means performs a multiplication process on the image signal and the emphasized division processing signal.
  • the dynamic range compression function F 4 is, for example, a direct proportional function of the proportional coefficient 1.
  • the visual processing device is the visual processing device according to attachment 21 in which the output processing unit includes a DR compression unit that performs dynamic range (DR) compression on the image signal, A multiplication process is performed on the DR-compressed image signal and the emphasized division process signal.
  • DR dynamic range
  • the DR compression means performs dynamic range compression of the image signal using the dynamic range compression function F4.
  • the visual processing device is the visual processing device according to any of attachments 8 to 23, further comprising a first conversion unit and a second conversion unit. 1st conversion hand
  • the stage converts the input image data in the first predetermined range into a second predetermined range to generate an image signal.
  • the second conversion means converts an output signal in a third predetermined range into a fourth predetermined range to obtain output image data.
  • the second predetermined range is determined based on a target contrast value which is a target value of contrast when displaying an image.
  • the third predetermined range is determined based on an actual contrast value which is a contrast value in a display environment when displaying an image.
  • the visual processing device of the present invention it is possible to locally maintain the target contrast value while compressing the dynamic range of the entire image to the actual contrast value that has been reduced by the presence of ambient light. Therefore, the visual effect of the visually processed image is improved.
  • the visual processing device according to attachment 25 is the visual processing device according to attachment 24, wherein the dynamic range compression function F 4 outputs an image signal in the second predetermined range to an output in the third predetermined range. It is a function that converts to a signal.
  • the dynamic range of the entire image is compressed to the third predetermined range by the dynamic range compression function F4.
  • the visual processing device is the visual processing device according to Supplementary Note 24 or 25, wherein the first conversion unit converts each of the minimum value and the maximum value in the first predetermined range into a first value and a second value. 2 is converted into a minimum value and a maximum value in a predetermined range. The second conversion means converts each of the minimum value and the maximum value of the third predetermined range into each of the minimum value and the maximum value of the fourth predetermined range.
  • the visual processing device according to Supplementary Note 27 is the visual processing device according to Supplementary Note 26, wherein the conversions in the first conversion unit and the second conversion unit are each linear conversion.
  • the visual processing device according to attachment 28 is the visual processing device according to any of attachments 24 to 27, further comprising setting means for setting a third predetermined range.
  • the third predetermined range can be set according to the display environment of the display device that performs image display. For this reason, it is possible to more appropriately correct the ambient light.
  • the visual processing device is the visual processing device according to Supplementary Note 28, wherein the setting unit is a storage unit that stores a dynamic range of the display device that performs image display. And measuring means for measuring the luminance of ambient light in the display environment when displaying images.
  • the visual processing device of the present invention it is possible to measure the brightness of ambient light and determine the actual contrast value from the measured brightness and the dynamic range of the display device.
  • the visual processing device according to attachment 30 is the visual processing device according to attachment 28, in which the setting means is configured to display the black level and the white level in the display environment of the display device that performs image display. Measuring means for measuring the brightness is included.
  • the visual processing device of the present invention it is possible to determine the actual contrast value by measuring the luminance during the black level display and during the white level display in the display environment.
  • the visual processing device includes an input signal processing means and a signal calculation means.
  • the input signal processing means performs spatial processing on the input image signal and outputs a processed signal.
  • the signal calculation means outputs an output signal based on a calculation that emphasizes the difference between the image signal and the processed signal according to the value of the image signal.
  • the visual processing device of the present invention for example, it is possible to enhance the sharp component of the image signal, which is the difference between the image signal and the processed signal, according to the value of the image signal. For this reason, it is possible to perform appropriate enhancement from the dark part to the bright part of the image signal.
  • the visual processing device is the visual processing device according to Supplementary Note 31, wherein the signal calculation unit performs a dynamic range compression of the image signal with respect to the value emphasized by the calculation to enhance. An output signal is output based on the operation of adding.
  • the visual processing device according to attachment 3 3 is the visual processing device according to attachment 31 or 32, and the signal calculation means includes image signal value A, processing signal value B, enhancement amount adjustment function F 6
  • the value C of the output signal is calculated based on the formula F 8 (A) + F 6 (A) * F 7 (A ⁇ B).
  • the value C of the output signal indicates the following. That is, the difference (A ⁇ B) between the value A of the image signal and the value B of the processing signal represents, for example, a sharp signal.
  • F 7 (A-B) represents, for example, the enhancement amount of the sharp signal. Further, the enhancement amount is adjusted by the enhancement amount adjustment function F 6 according to the value A of the image signal, and Is added to the image signal that has been subjected to the dynamic range compression in accordance with.
  • c also consists dark portion such as reducing the strength metering is possible to maintain the contrast to the bright part were the dynamic range compression Even in this case, it is possible to maintain the local contrast from the dark part to the light part.
  • the visual processing device according to attachment 34 is the visual processing device according to attachment 33, wherein the dynamic range compression function F 8 is a direct proportional function with a proportionality factor of 1.
  • the visual processing device of the present invention it is possible to emphasize the contrast uniformly from the dark part to the bright part of the image signal.
  • the visual processing device according to attachment 35 is the visual processing device according to attachment 33, wherein the dynamic range compression function F 8 is a monotonically increasing function.
  • the visual processing device of the present invention it is possible to maintain local contrast while performing dynamic range compression using the dynamic range compression function F8 that is a monotonically increasing function.
  • the visual processing device according to attachment 36 is the visual processing device according to attachment 35, in which the dynamic range compression function F 8 is a convex function.
  • the visual processing device of the present invention it is possible to maintain local contrast while performing dynamic range compression using the dynamic range compression function F8 that is an upwardly convex function.
  • the visual processing device according to attachment 37 is the visual processing device according to attachment 33, wherein the dynamic range compression function F8 is a power function.
  • the visual processing device of the present invention it is possible to maintain local contrast while performing dynamic range conversion using the dynamic range compression function F 8 that is a power function.
  • the visual processing device is the visual processing device according to attachment 33, wherein the signal operation unit includes an enhancement processing unit and an output processing unit.
  • the emphasis processing means performs emphasis processing on a difference signal between the image signal and the processed signal according to the pixel value of the image signal.
  • the output processing means outputs an output signal based on the image signal and the emphasized difference signal.
  • the emphasis processing means performs the emphasis processing using the emphasis function F7 whose emphasis amount has been adjusted by the emphasis amount adjustment function F6.
  • the output processing means outputs an output signal based on the image signal and the difference signal.
  • the visual processing device according to attachment 39 is the visual processing device according to attachment 38, wherein the output processing means performs an addition process between the image signal and the enhanced difference signal.
  • the dynamic range compression function F 8 is, for example, a direct proportional function with a proportional coefficient of 1.
  • the visual processing device is the visual processing device according to attachment 38, wherein the output processing unit includes a DR compression unit that performs dynamic range (DR) compression on the image signal, Addition processing is performed on the DR-compressed image signal and the emphasized difference signal.
  • DR dynamic range
  • the DR compression means performs dynamic range compression of the image signal using the dynamic range compression function F8.
  • the visual processing device described in Appendix 41 includes input signal processing means and signal calculation means.
  • the input signal processing means performs spatial processing on the input image signal and outputs a processed signal.
  • the signal calculation means outputs an output signal based on a calculation of adding a value obtained by correcting the gradation of the image signal to a value that emphasizes the difference between the image signal and the processing signal.
  • the difference between the image signal and the processed signal represents the sharp component of the image signal.
  • sharp component enhancement and image signal tone correction are performed independently. For this reason, it is possible to enhance a certain sharp component regardless of the gradation correction amount of the image signal.
  • the visual processing device described in appendix 42 is the visual processing device described in appendix 41, and the signal calculation means includes image signal value A, processing signal value B, enhancement function F11, tone correction For the function F 1 2, the value C of the output signal is calculated based on the formula F 1 2 (A) + F 1 1 (A ⁇ B).
  • the value C of the output signal indicates the following. That is, the difference (A ⁇ B) between the value A of the image signal and the value B of the processed signal represents, for example, a sharp signal.
  • F 11 (A—B) represents, for example, a sharp signal enhancement process. The Further, it indicates that the tone-corrected image signal and the emphasized sharp signal are added.
  • the visual processing device is the visual processing device according to attachment 42, wherein the signal calculation means includes enhancement processing means and addition processing means.
  • the enhancement processing means performs enhancement processing on the difference signal between the image signal and the processing signal.
  • the addition processing means adds the tone-corrected image signal and the enhanced difference signal, and outputs the result as an output signal.
  • the enhancement processing means performs the enhancement processing on the difference signal using the enhancement function F11.
  • the addition processing means adds the image signal that has been subjected to the gradation correction processing using the gradation correction function F12 and the difference signal that has been subjected to the enhancement processing.
  • the visual processing method includes a first conversion step, a signal calculation step, and a second conversion step.
  • first conversion step input image data in a first predetermined range is converted into a second predetermined range to obtain an image signal.
  • the signal calculation step is based on a calculation including at least one of a calculation for performing dynamic range compression of the image signal and a calculation for enhancing a ratio between the image signal and a processed signal obtained by spatially processing the image signal. Outputs the output signal of the range.
  • an output signal in a third predetermined range is converted into a fourth predetermined range to obtain output image data.
  • the second predetermined range is determined based on a target contrast value that is a target value of contrast when displaying an image.
  • the third predetermined range is determined based on an actual contrast value which is a contrast value in a display environment when displaying an image.
  • the visual processing method of the present invention for example, it is possible to maintain the target contrast value locally while compressing the dynamic range of the entire image to the actual contrast value reduced by the presence of ambient light. This improves the visual effect of the visually processed image.
  • the visual processing device includes a first conversion unit, a signal calculation unit, and a second conversion unit.
  • the first conversion means converts input image data in a first predetermined range
  • the image signal is converted into a second predetermined range to be an image signal.
  • the signal calculation means is configured to perform the third measurement based on a calculation including at least one of a calculation for performing dynamic range compression of the image signal and a calculation for enhancing a ratio between the image signal and a processed signal obtained by spatially processing the image signal.
  • the output signal of the range is output.
  • the second conversion means converts an output signal in a third predetermined range into a fourth predetermined range to obtain output image data.
  • the second predetermined range is determined based on a target contrast value that is a target value of contrast when performing image display.
  • the third predetermined range is determined based on an actual contrast value which is a contrast value in a display environment when displaying an image.
  • the visual processing device of the present invention for example, it is possible to locally maintain the target contrast value while compressing the dynamic range of the entire image to the actual contrast value reduced by the presence of environmental light. This improves the visual effect of the visually processed image.
  • the visual processing program according to Supplementary Note 46 is a visual processing program for causing a computer to perform visual processing.
  • the visual processing program includes a first conversion step, a signal calculation step, and a second conversion step. This is done for
  • the first conversion step converts input image data in a first predetermined range into a second predetermined range to obtain an image signal.
  • the signal calculation step is performed based on a calculation including at least one of a calculation for compressing a dynamic range of the image signal and a calculation for enhancing a ratio between the image signal and a processed signal obtained by spatially processing the image signal. Outputs the signal.
  • an output signal in a third predetermined range is converted into a fourth predetermined range to obtain output image data.
  • the second predetermined range is determined based on a target contrast value that is a target value of contrast when displaying an image.
  • the third predetermined range is determined based on an actual contrast value that is a contrast value in a display environment when displaying an image.
  • the visual processing program of the present invention for example, it is possible to locally maintain the target contrast value while compressing the dynamic range of the entire image to the actual contrast value reduced by the presence of ambient light. Therefore, the visual effect of the visually processed image is improved. (Industrial applicability)
  • the visual processing device of the present invention it is possible for a person who views a visually processed image to obtain an image with a higher visual effect, and particularly to a visual processing device, in particular, spatial processing or gradation processing of an image signal. It is useful as a visual processing device that performs visual processing such as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

 本発明は、視覚処理された画像を視覚する者にとって、より視覚的効果の高い画像を得ることを課題とするものである。視覚処理装置910は、出力部914と、変換部915とを備えている。出力部914は、環境光を表すパラメータP1に基づいて輝度調整パラメータP2を出力する。変換部915は、出力部914により出力された輝度調整パラメータP2と、視覚処理の対象となる対象画素の輝度と、対象画素の周辺に位置する周辺画素の輝度とに基づいて、対象画素の輝度を変換する。

Description

明. 細 書 視覚処理装置、 視覚処理方法、 視覚処理プログラムおよび半導体装置 (技術分野)
本発明は、 視覚処理装置、 特に、 画像信号の空間処理または階調処理などの視 覚処理を行う視覚処理装置に関する。
(背景技術)
原画像の画像信号の視覚処理として、 空間処理と階調処理とが知られている。 空間処理とは、 フィルタ適用の対象となる着目画素の周辺の画素を用い、 着目 画素の処理を行うことである。 また、 空間処理された画像信号を用いて、 原画像 のコントラスト強調、 ダイナミックレンジ (D R ) 圧縮など行う技術が知られて いる。 コントラスト強調では、 原画像とボケ信号との差分 (画像の鮮鋭成分) を 原画像に加え、 画像の鮮鋭化が行われる。 D R圧縮では、 原画像からボケ信号の 一部が減算され、 ダイナミックレンジの圧縮が行われる。
階調処理とは、 着目画素の周辺の画素とは無関係に、 着目画素毎にルックアツ プテーブル (L U T ) を用いて画素値の変換を行う処理であり、 ガンマ補正と呼 ばれることもある。 例えば、 コントラスト強調する場合、 原画像での出現頻度の 高い (面積の大きい) 階調レベルの階調を立てる L U Tを用いて画素値の変換が 行われる。 L U Tを用いた階調処理として、 原画像全体に 1つの L U Tを決定し て用いる階調処理 (ヒストグラム均等化法) と、 原画像を複数に分割した画像領 域のそれぞれについて L U Tを決定して用いる階調処理 (局所的ヒストグラム均 等化法) とが知られている (例えば、 特開 2 0 0 0— 5 7 3 3 5号公報 (第 3頁 , 第 1 '3図〜第 1 6図) 参照。 ) 。
一方、 空間処理と階調処理とを組み合わせた視覚処理についても知られている 。 図 4 8〜図 5 1を用いて、 空間処理と階調処理とを組み合わせた従来の視覚処 理について説明する。
図 4 8にアンシャープマスキングを利用したエッジ強調、 コントラスト強調を 行う視覚処理装置 400を示す。 図 8に示す視覚処理装置 400は、 入力信号 I Sに対して空間処理を行いアンシャープ信号 USを出力する空間処理部 401 と、 入力信号 I Sからアンシャープ信号 USを減算し差分信号 DSを出力する減 算部 402と、 差分信号 D Sの強調処理を行い強調処理信号 T Sを出力する強調 処理部 403と、 入力信号 I Sと強調処理信号 TSとを加算し出力信号 OSを出 力する加算部 404とを備えている。
ここで、 強調処理は、 差分信号 DSに対して、 線形あるいは非線形の強調関数 を用いて行われる。 図 49に強調関数 R1 ~R 3を示す。 図 49の横軸は、 差分 信号 DS、 縦軸は、 強調処理信号 TSを表している。 強調関数 R 1は、 差分信号 DSに対して線形な強調関数である。 強調関数 R 1は、 例えば、 R1 ( X ) =0 . 5 X ( Xは、 差分信号 DSの値) で表されるゲイン調整関数である。 強調関数 R2は、 差分信号 DSに対して非線形な強調関数であり、 過度のコントラストを 抑制する関数である。 すなわち、 絶対値の大きい入力 X ( Xは、 差分信号 DSの 値) に対して、 より大きい抑制効果 (より大きい抑制率による抑制効果) を発揮 する。 例えば、 強調関数 R2は、 絶対値のより大きい入力 Xに対して、 より小さ い傾きを有するグラフで表される。 強調関数 R3は、 差分信号 DSに対して非線 形な強調関数であり、 小振幅のノイズ成分を抑制する。 すなわち、 絶対値の小さ い入力 X ( Xは、 差分信号 DSの値) に対して、 より大きい抑制効果 (より大き い抑制率による抑制効果) を発揮する。 例えば、 強調関数 R 3は、 絶対値のより 大きい入力 Xに対して、 より大きい傾きを有するグラフで表される。 強調処理部 403では、 これらの強調関数 R 1 ~R 3のいずれかが用いられている。
差分信号 DSは、 入力信号 I Sの鮮鋭成分である。 視覚処理装置 400では、 差分信号 DSの強度を変換し、 入力信号 I Sに加算する。 このため、 出力信号 O Sでは、 入力信号 I Sのエッジ、 コントラストが強調される。
図 50に、 局所コントラスト (インテンシティ) の改善を行う視覚処理装置 4 06を示す (例えば、 特許第 2832954号公報 (第 2頁, 第 5図) 参照。 ) 。 図 5.0に示す視覚処理装置 406は、 空間処理部 407と、 減算部 408と、 第 1の変換部 409と、 乗算部 41 0と、 第 2の変換部 41 1と、 加算部 41 2 とを備えている。 空間処理部 407は、 入力信号 I Sに対して空間処理を行いァ ンシャープ信号 USを出力する。 減算部 408は、 入力信号 I Sからアンシャ一 プ信号 USを減算し差分信号 DSを出力する。 第 1の変換部 409は、 アンシャ —プ信号 U Sの強度に基づいて、 差分信号 D Sを局所的に増幅する増幅係数信号 GSを出力する。 乗算部 41 0は、 差分信号 DSに増幅係数信号 GSを乗算し、 差分信号 DSを局所的に増幅したコントラスト強調信号 HSを出力する。 第 2の 変換部 41 1は、 アンシャープ信号 USの強度を局所的に修正し、 修正アンシャ —プ信号 ASを出力する。 加算部 41 2は、 コントラスト強調信号 HSと修正ァ ンシャープ信号 ASとを加算し、 出力信号 OSを出力する。
増幅係数信号 GSは、 入力信号 I Sにおいてコントラストが適切で無い部分に ついて、 局所的にコントラストを適正化する非線形の重み係数である。 このため 、 入力信号 I Sにおいてコントラストの適切な部分は、 そのまま出力され、 適切 で無い部分は、 適正化して出力される。
図 51に、 ダイナミックレンジの圧縮を行う視覚処理装置 41 6を示す (例え ば、 特開 2001— 29861 9号公報 (第 3頁, 第 9図) 参照。 :) 。 図 5 "Iに 示す視覚処理装置 41 6は、 入力信号 I Sに対して空間処理を行いアンシャープ 信号 U Sを出力する空間処理部 41 7と、 アンシャープ信号 USを LUTを用い て反転変換処理した LUT処理信号 LSを出力する LUT演算部 41 8と、 入力 信号 I Sと LUT処理信号 LSとを加算し出力信号 OSを出力する加算部 41 9 とを備えている。
1_リ丁処理信号1_3は、 入力信号 I Sに加算され、 入力信号 I Sの低周波成分 (空間処理部 41 7のカットオフ周波数より低い周波数成分) のダイナミックレ ンジを圧縮する。 このため、 入力信号 I Sのダイナミックレンジを圧縮しつつ、 高周波成分は保持される。 (発明の開示)
上記した視覚処理では、 視覚処理された画像を視覚する者にとって、 より視覚 的効果の高い画像を得ることが求められる。 例えば、 視覚処理された画像が表示 される場合、 表示された画像は、 表示環境の影響を受けた状態で視覚される。 そこで本発明では、 視覚処理された画像を視覚する者にとって、 より視覚的効 果の高い画像を得ることを課題とする。
請求項 1に記載の視覚処理装置は、 パラメータ出力手段と、 変換手段とを備え ている。 パラメータ出力手段は、 環境光を表すパラメータに基づいて輝度調整パ ラメータを出力する。 変換手段は、 パラメータ出力手段により出力された輝度調 整パラメータと、 視覚処理の対象となる対象画素の輝度と、 対象画素の周辺に位 置する周辺画素の輝度とに基づいて、 対象画素の輝度を変換する。
環境光を表すパラメータは、 例えば、 光の強さを検知する光センサなどにより 測定され、 パラメータ出力手段に入力される。 あるいは、 環境光を表すパラメ一 タは、 ユーザの判断により作成され、 パラメータ出力手段に入力される。
輝度調整パラメータとは、 例えば、 対象画素の輝度、 周辺画素の輝度、 あるい はそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルック アップテーブル (L U T ) や、 対象画素の輝度、 周辺画素の輝度、 あるいはそれ らの値の演算結果などを変換するための係数マトリクスデータ、 などである。 ま た、 輝度調整パラメータは、 環境光を表すパラメータを含んでもよい。
パラメータ出力手段は、 例えば、 複数の輝度調整パラメータから環境光を表す パラメータに応じた輝度調整パラメータを選択し、 出力する、 あるいは環境光を 表すパラメータに応じた演算により、 輝度調整パラメータを生成し、 出力する。 本発明に記載の視覚処理装置では、 環境光に応じた視覚処理を実現することが 可能となる。 すなわち、 視覚処理された画像を視覚する者にとって、 より視覚的 効果の高い画像を得ることが可能となる。
請求項 2に記載の視覚処理装置は、 請求項 1に記載の視覚処理装置であって、 パラメータ出力手段は、 環境光を表すパラメータと外部から入力される外部パラ メータとに基づいて輝度調整パラメータを出力することを特徴とする。
外部パラメータとは、 例えば、 画像を視覚するユーザが求める視覚的効果を表 すパラメータである。 より具体的には、 画像を視覚するユーザが求めるコントラ ストなどの値である (以下、 この欄において同じ) 。
パラメータ出力手段は、 環境光を表すパラメータと外部パラメータとに基づい て、 輝度調整パラメータを出力する。 ここで、 輝度調整パラメータは、 例えば、 外部パラメータをさらに含んでもよい。 本発明に記載の視覚処理装置では、.環境光と外部パラメータとに応じた視覚処 理を実現することが可能となる。 例えば、 画.像を視覚するユーザが求めるコント ラス卜などの値をユーザ自身が設定し、 よリューザにとって視覚的効果の高い画 像を得ることが可能となる。
請求項 3に記載の視覚処理装置は、 請求項 1に記載の視覚処理装置であって、 パラメータ出力手段は、 環境光を表すパラメータに基づいて輝度調整パラメータ を出力する第 1のモードと、 環境光を表すパラメータと外部から入力される外部 パラメータとに基づいて輝度調整パラメータを出力する第 2のモードとのいずれ かを、 切リ換え信号に基づいて切リ換えて動作することを特徴とする。
第 1のモードでは、 環境光に応じた輝度調整パラメータが出力される。 第 2の モードでは、 環境光と外部パラメータに応じた輝度調整パラメータが出力される。 例えば、 第 1のモードでは、 システムにあらかじめ設定されている既定の輝度 調整パラメータが出力される。 また、 例えば、 第 2のモードでは、 画像を視覚す るユーザが求めるコントラストなどの値をユーザ自身が設定し、 設定された値と 環境光とに応じて輝度調整パラメータが出力される。
本発明に記載の視覚処理装置では、 画像を視覚するユーザ自身によリ設定され たコントラストなどの値を用いるか、 あるいはシステムにあらかじめ設定されて いる既定の値を用いるかを切り換えることが可能となる。
請求項 4に記載の視覚処理装置は、 請求項 1に記載の視覚処理装置であって、 変換手段は、 対象画素の輝度と周辺画素の輝度との差または比を強調する演算を 行うことを特徴とする。
ここで、 強調する演算とは、 正方向への強調のみならず負方向への強調も含む。 例えば、 対象画素の輝度と周辺画素の輝度とを平滑化する処理や、 局所的なコン トラストを強調する処理などを含む。
本発明に記載の視覚処理装置では、 例えば、 局所的なコントラストを強調し、 環境光の存在する環境において視覚されるコントラストを維持することなどが可 能となる。
請求項 5に記載の視覚処理装置は、 請求項 1に記載の視覚処理装置であって、 環境光を表すパラメータ、 あるいは輝度調整パラメータの時間変化を制御する時 T JP2004/013602
6 間変化調整部、 をさらに備えている。.
ここで、 時間変化調整部とは、 例えば、 パラメータの時間変化の応答を緩やか にする、 あるいはパラメータの時間変化の応答を遅延させるなど、 時間変化を制 御する。 応答を穏やかにする場合には、 時間変化調整部は、 例えば、 I I Rフィ ルタなどの平滑化フィルタやそれぞれのパラメータの値を積分した値または積分 した値を平均した値などを出力する手段などで構成されてもよい。
本発明の視覚処理装置では、 環境光を表すパラメータ、 あるいは輝度調整パラ メータの時間変化を制御することにより、 例えば、 急激なパラメータ変動を抑え ることが可能となり、 表示画面のちらつきを抑えることなどが可能となる。
請求項 6に記載の視覚処理方法は、 パラメータ出力ステップと、 変換ステップ とを備えている。 パラメータ出力ステップは、 環境光を表すパラメータに基づい て輝度調整パラメータを出力する。 変換ステップは、 パラメータ出力ステップに より出力された輝度調整パラメータと、 視覚処理の対象となる対象画素の輝度と、 対象画素の周辺に位置する周辺画素の輝度とに基づいて、 対象画素の輝度を変換 する。
環境光を表すパラメータは、 例えば、 光の強さを検知する光センサなどにより 測定される。 あるいは、 環境光を表すパラメータは、 ユーザの判断により作成さ れる。
輝度調整パラメータとは、 例えば、 対象画素の輝度、 周辺画素の輝度、 あるい はそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルック アップテーブル (L U T ) や、 対象画素の輝度、 周辺画素の輝度、 あるいはそれ らの値の演算結果などを変換するための係数マトリクスデータ、 などである。 ま た、 輝度調整パラメータは、 環境光を表すパラメータを含んでもよい。
パラメータ出力ステップは、 例えば、 複数の輝度調整パラメータから環境光を 表すパラメータに応じた輝度調整パラメータを選択し、 出力する、 あるいは環境 光を表すパラメータに応じた演算により、 輝度調整パラメータを生成し、 出力す る。
本発明に記載の視覚処理方法では、 環境光に応じた視覚処理を実現することが 可能となる。 すなわち、 より視覚的効果の高い視覚処理を実現することが可能と なる。 .
請求項 7に記載の視覚処理プログラムは、 コンピュータに視覚処理方法を行わ せるプログラムである。 視覚処理方法は、 パラメータ出力ステップと、 変換ステ ップとを備えている。 パラメータ出力ステップは、 環境光を表すパラメータに基 づいて輝度調整パラメータを出力する。 変換ステップは、 パラメータ出カステツ プにより出力された輝度調整パラメータと、 視覚処理の対象となる対象画素の輝 度と、 対象画素の周辺に位置する周辺画素の輝度とに基づいて、 対象画素の輝度 を変換する。
環境光を表すパラメータは、 例えば、 光の強さを検知する光センサなどにより 測定される。 あるいは、 環境光を表すパラメータは、 ユーザの判断により作成さ れる。
輝度調整パラメータとは、 例えば、 対象画素の輝度、 周辺画素の輝度、 あるい はそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルック アップテーブル (L U T ) や、 対象画素の輝度、 周辺画素の輝度、 あるいはそれ らの値の演算結果などを変換するための係数マトリクスデータ、 などである。 ま た、 輝度調整パラメータは、 環境光を表すパラメータを含んでもよい。
パラメータ出力ステップは、 例えば、 複数の輝度調整パラメータから環境光を 表すパラメータに応じた輝度調整パラメータを選択し、 出力する、 あるいは環境 光を表すパラメータに応じた演算により、 輝度調整パラメータを生成し、 出力す る。
本発明に記載の視覚処理プログラムでは、 環境光に応じた視覚処理を実現する ことが可能となる。 すなわち、 より視覚的効果の高い視覚処理を実現することが 可能となる。
請求項 8に記載の半導体装置は、 パラメータ出力部と、 変換部とを備えている。 パラメータ出力部は、 環境光を表すパラメータに基づいて輝度調整パラメータを 出力する。 変換部は、 パラメータ出力部により出力された輝度調整パラメータと、 視覚処理の対象となる対象画素の輝度と、 対象画素の周辺に位置する周辺画素の 輝度とに基づいて、 対象画素の輝度を変換する。
環境光を表すパラメータは、 例えば、 光の強さを検知する光センサなどにより 測定され、 パラメータ出力部に入力される。 あるいは、 環境光を表すパラメータ は、 ユーザの判断により作成され、 パラメータ出力部に入力される。
輝度調整パラメータとは、 例えば、 対象画素の輝度、 周辺画素の輝度、 あるい はそれらの値の演算結果などに対する変換後の対象画素の輝度を格納するルック アップテーブル (L U T ) や、 対象画素の輝度、 周辺画素の輝度、 あるいはそれ らの値の演算結果などを変換するための係数マトリクスデータ、 などである。 ま た、 輝度調整パラメータは、 環境光を表すパラメータを含んでもよい。
パラメータ出力部は、 例えば、 複数の輝度調整パラメータから環境光を表すパ ラメータに応じた輝度調整パラメータを選択し、 出力する、 あるいは環境光を表 すパラメータに応じた演算により、 輝度調整パラメータを生成し、 出力する。 本発明に記載の半導体装置では、 環境光に応じた視覚処理を実現することが可 能となる。 すなわち、 より視覚的効果の高い視覚処理を実現することが可能とな る。
本発明の視覚処理装置により、 視覚処理された画像を視覚する者にとって、 よ リ視覚的効果の高い画像を得ることが可能となる。
(図面の簡単な説明)
図 1は、 視覚処理装置 1の構造を説明するブロック図 (第 1実施形態) である。 図 2は、 プロファイルデータの一例 (第 1実施形態) である。
図 3は、 視覚処理方法を説明するフローチャート (第 1実施形態) である。 図 4は、 視覚処理部 5 0 0の構造を説明するブロック図 (第 1実施形態) である 図 5は、 プロファイルデータの一例 (第 1実施形態) である。
図 6は、 視覚処理装置 5 2 0の構造を説明するブロック図 (第 1実施形態) であ る。
図 7は、 視覚処理装置 5 2 5の構造を説明するブロック図 (第 1実施形態) であ る。
図 8は、 視覚処理装置 5 3 0の構造を説明するブロック図 (第 1実施形態) であ る。 図 9は、 プロファイルデータ登録装置 7 0 1の構造を説明するブロック図 (第 1 実施形態) である。
図 1 0は、 視覚処理プロファイル作成方法について説明するフローチャート (第 1実施形態) である。
図 1 1は、 視覚処理装置 9 0 1の構造を説明するブロック図 (第 1実施形態) で のる
図 1 2は、 変更度関数 f k ( z ) を変化させた場合の入力信号 I S ' と出力信号 O S ' との関係を示すグラフ (第 1実施形態) である。
図 1 3は、 変更度関数 f "I ( z ) および f 2 ( z ) を示すグラフ (第 1実施形態 ) である。
図 1 4は、 視覚処理装置 9 0 5の構造を説明するブロック図 (第 1実施形態) で める。
図 1 5は、 視覚処理装置 1 1の構造を説明するブロック図 (第 1実施形態) であ る。
図 1 6は、 視覚処理装置 2 1の構造を説明するブロック図 (第 1実施形態) であ る。
図 1 7は、 ダイナミックレンジ圧縮関数 F 4について説明する説明図 (第 1実施 形態) である。
図 1 8は、 強調関数 F 5について説明する説明図 (第 1実施形態) である。 図 1 9は、 視覚処理装置 3 1の構造を説明するブロック図 (第 1実施形態) であ る。
図 2 0は、 視覚処理装置 4 1の構造を説明するブロック図 (第 1実施形態) であ る。
図 2 1は、 視覚処理装置 5 1の構造を説明するブロック図 (第 1実施形態) であ る。
図 2 2は、 視覚処理装置 6 1の構造を説明するブロック図 (第 1実施形態) であ る。
図 2 3は、 視覚処理装置 7 1の構瑋を説明するブロック図 (第 1実施形態) であ る。 図 2 4は、 視覚処理装置 6 0 0の構瑋を説明するブロック図 (第 2実施形態) で める
図 2 5は、 式 M 2 0による変換を説明するグラフ (第 2実施形態) である。 図 2 6は、 式 M 2による変換を説明するグラフ (第 2実施形態) である。
図 2 7は、 式 M 2 1による変換を説明するグラフ (第 2実施形態) である。 図 2 8は、 視覚処理方法について説明するフローチャート (第 2実施形態) であ る。
図 2 9は、 関数 QM ( A) の傾向を示すグラフ (第 2実施形態) である。
図 3 0は、 関数 α 2 ( Α ) の傾向を示すグラフ (第 2実施形態) である。
図 3 1は、 関数 QT 3 ( A ) の傾向を示すグラフ (第 2実施形態) である。
図 3 2は、 関数 a 4 ( A, B ) の傾向を示すグラフ (第 2実施形態) である。 図 3 3は、 変形例としての実コントラス卜設定部 6 0 5の構造を説明するブロッ ク図 (第 2実施形態) である。
図 3 4は、 変形例としての実コントラス卜設定部 6 0 5の構造を説明するブロッ ク図 (第 2実施形態) である。
図 3 5は、 制御部 6 0 5 eの動作を説明するフローチャート (第 2実施形態) で ぬ ο
図 3 6は、 色差補正処理部 6 0 8を備える視覚処理装置 6 0 0の構造を説明する ブロック図 (第 2実施形態) である。
図 3 7は、 色差補正処理の概要を説明する説明図 (第 2実施形態) である。 図 3 8は、 色差補正処理部 6 0 8における推定演算について説明するフローチヤ ート (第 2実施形態) である。
図 3 9は、 変形例としての視覚処理装置 6 0 0の構造を説明するブロック図 (第 2実施形態) である。
図 4 0は、 視覚処理装置 9 1 0の構造を説明するブロック図 (第 3実施形態) で める
図 4 1は、 視覚処理装置 9 2 0の構造を説明するブロック図 (第 3実施形態) で める。
図 4 2は、 視覚処理装置 9 2 0 ' の構造を説明するブロック図 (第 3実施形態) である。
図 4 3は、 視覚処理装置 9 2 0 " の構造を説明するブロック図 (第 3実施形態) である。
図 4 4は、 コンテンツ供給システムの全体構成について説明するブロック図 (第 4実施形態) である。
図 4 5は、 本発明の補間フレーム作成装置を搭載する携帯電話の例 (第 4実施形 態) である。
図 4 6は、 携帯電話の構成について説明するブロック図 (第 4実施形態) である 図 4 7は、 ディジタル放送用システムの例 (第 4実施形態) である。
図 4 8は、 アンシャープマスキングを利用した視覚処理装置 4 0 0の構造を説明 するブロック図 (背景技術) である。
図 4 9は、 強調関数 R 1〜R 3について説明する説明図 (背景技術) である。 図 5 0は、 局所コントラストの改善を行う視覚処理装置 4 0 6の構造を説明する ブロック図 (背景技術) である。
図 5 1は、 ダイナミックレンジの圧縮を行う視覚処理装置 4 1 6の構造を説明す るブロック図 (背景技術) である。
(発明を実施するための最良の形態)
以下、 本発明の最良の形態としての第 1〜第 4実施形態について説明する。 第 1実施形態では、 2次元 L U Tを利用した視覚処理装置について説明する。 第 2実施形態では、 画像を表示する環境に環境光が存在する場合に環境光の補 正を行う視覚処理装置について説明する。
第 3実施形態では、 第 1実施形態および第 2実施形態の応用例について説明す る。
第 4実施形態では、 第 1〜第 3実施形態のさらなる応用例について説明する。
[第 1実施形態]
図 1〜図 1 0を用いて、 本発明の第 1実施形態としての 2次元 L U Tを利用し た視覚処理装置 1について説明する。 また、 図 1 1〜図 1 4を用いて、 視覚処理 装置の変形例について説明する。 ま 、 図 1 5〜図 23を用いて、 視覚処理装置 1と等価な視覚処理を実現する視覚処理装置について説明する。
視覚処理装置 1は、 画像信号の空間処理、 階調処理など視覚処理を行う装置で ある。 視覚処理装置 1は、 例えば、 コンピュータ、 テレビ、 デジタルカメラ、 携 帯電話、 PDA、 プリンタ、 スキャナなどの画像を取り扱う機器において、 画像 信号の色処理を行う装置とともに画像処理装置を構成する。
〈視覚処理装置 1〉
図 1に、 画像信号 (入力信号 I S) に視覚処理を行い視覚処理画像 (出力信号 OS) を出力する視覚処理装置"!の基本構成を示す。 視覚処理装置 1は、 入力信 号 I Sとして取得した原画像の画素ごとの輝度値に空間処理を実行しアンシャ一 プ信号 USを出力する空間処理部 2と、 同じ画素についての入力信号 I Sとアン シャープ信号 USとを用いて、 原画像の視覚処理を行い、 出力信号 OSを出力す る視覚処理部 3とを備えている。
空間処理部 2は、 例えば、 入力信号 I Sの低域空間のみを通過させる低域空間 フィルタによリアンシャープ信号 U Sを得る。 低域空間フィルタとしては、 アン シャープ信号の生成に通常用いられる F I R (F i n i t e I mp u l s e Re s p o n e s) 型の低域空間フィルタ、 あるいは I I R ( l n f i n i t e I mp u l s e Re s p o n e s) 型の低域空間フィルタなどを用いてもよ い。
視覚処理部 3は、 入力信号 I Sおよびアンシャープ信号 USと出力信号 OSと の関係を与える 2次元 LUT4を有しており、 入力信号 I Sとアンシャープ信号 USとに対して、 2次元 L U T 4を参照して出力信号 OSを出力する。
< 2次元 L U T 4 >
2次元 L U T 4には、 プロファイルデータと呼ばれるマトリクスデータが登録 される。 プロファイルデータは、 入力信号 I Sのそれぞれの画素値に対応する行 (または列) とアンシャープ信号 USのそれぞれの画素値に対応する列 (または 行) とを有しており、 行列の要素として、 入力信号 I Sとアンシャープ信号 US との組み合わせに対応する出力信号 O Sの画素値が格納されている。 プロフアイ ルデータは、 視覚処理装置 1に内蔵あるいは接続されるプロファイルデータ登録 装置 8により、 2次元 L U T 4に登録される。 プロファイルデータ登録装置 8に は、 パーソナルコンピュータ (P C ) 等によりあらかじめ作成された複数のプロ ファイルデータが格納されている。 例えば、 コントラスト強調、 Dレンジ圧縮処 理、 あるいは階調補正など (詳細は、 下記 〈プロファイルデータ〉 の欄参照) を 実現する複数のプロファイルデータが格納されている。 これにより、 視覚処理装 置 1では、 プロファイルデータ登録装置 8を用いて 2次元 L U T 4のプロフアイ ルデータの登録内容を変更し、 様々な視覚処理を実現することが可能となる。 プロフアイルデータの一例を図 2に示す。 図 2に示すプロファイルデータは、 視覚処理装置 1に、 図 4 8で示した視覚処理装置 4 0 0と等価な処理を実現させ るためのプロファイルデータである。 図 2において、 プロファイルデータは、 6 4 X 6 4のマトリクス形式で表現されており、 列方向 (縦方向) には 8ビットで 表現される入力信号 I Sの輝度値の上位 6ビッ卜の値が、 行方向 (横方向) には 8ビッ卜で表現されるアンシャープ信号 U Sの輝度値の上位 6ビッ卜の値が示さ れている。 また、 2つの輝度値に対する行列の要素として出力信号 O Sの値が 8 ビッ卜で示されている。
図 2に示すプロファイルデータの各要素の値 C (出力信号 O Sの値) は、 入力 信号 I Sの値 A (例えば、 8ビッ卜で表現される入力信号 I Sの下位 2ビッ卜を 切り捨てた値) とアンシャープ信号 U Sの値 B (例えば、 8ビットで表現される アンシャープ信号 U Sの下位 2ビットを切り捨てた値) とを用いて、 G = A + 0 . 5 * ( A - B ) (以下、 式 M 1 1という) で表現される。 すなわち、 視覚処理 装置 1では、 強調関数 R 1 (図 4 9参照) を用いた視覚処理装置 4 0 0 (図 4 8 参照) と等価な処理が行われていることを示している。
なお、 入力信号 I Sの値 Aとアンシャープ信号 U Sの値 Bとの値の組み合わせ によっては、 式 M 1 1で求められる値 Cが負の値となることがある。 この場合、 入力信号 I Sの値 Aとアンシャープ信号 U Sの値 Bとに対応するプロファイルデ ータの要素は、 値 0としてもよい。 また、 入力信号 I Sの値 Aとアンシャープ信 号 U Sの値 Bとの値の組み合わせによっては、 式 M l 1で求められる値 Cが飽和 してしまうことがある。 すなわち、 8ビットで表現できる最大値 2 5 5を超えて しまうことがある。 この場合、 入力信号 I Sの値 Aとアンシャープ信号 U Sの値 Bとに対応するプロファイルデータの要素は、 値 255としてもよい。 図 2では 、 このようにして求めたプロファイルデータの各要素を等高線表示している。 また、 例えば、 各要素の値 Cが、 C = R6 (B) +R5 (B) * (A— B) ( 以下、 式 M1 2という) で表現されるプロファイルデータを用いると、 図 50で 示した視覚処理装置 406と等価な処理を実現することが可能である。 ここで、 関数 R 5は、 第 1の変換部 409においてアンシヤープ信号 U Sから増幅係数信 号 GSを出力する関数であり、 関数 R6は、 第 2の変換部 41 1においてアンシ ヤープ信号 USから修正アンシャープ信号 ASを出力する関数である。
さらに、 各要素の値 Cが、 C = A + R8 (B) (以下、 式 Ml 3という) で表 現されるプロファイルデータを用いると、 図 51で示した視覚処理装置 41 6と 等価な処理を実現することが可能である。 ここで、 関数 R8は、 アンシャープ信 号 U Sから L U T処理信号 L Sを出力する関数である。
なお、 式 Ml 2、 式 Ml 3で求められるプロファイルデータのある要素の値 C が 0≤C≤255の範囲を超える場合には、 その要素の値 Cを 0又は 255とし てもよい。
〈視覚処理方法および視覚処理プログラム〉
図 3に視覚処理装置 1における視覚処理方法を説明するフローチヤ一卜を示す 。 図 3に示す視覚処理方法は、 視覚処理装置 1においてハードウェアにより実現 され、 入力信号 I S (図 1参照) の視覚処理を行う方法である。
図 3に示す視覚処理方法では、 入力信号 I Sは、 低域空間フィルタにより空間 処理され (ステップ S 1 1 ) 、 アンシャープ信号 USが取得される。 さらに、 入 力信号 I Sとアンシャープ信号 USとに対する 2次元 LUT 4の値が参照され、 出力信号 OSが出力される (ステップ S 1 2) 。 以上の処理が入力信号 I Sとし て入力される画素毎に行われる。
なお、 図 3に示す視覚処理方法のそれぞれのステップは、 コンピュータなどに より、 視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
(1 )
入力信号 I Sの値 Aだけに基づいて視覚処理を行う場合に (例えば、 1次元の 階調家換曲線による変換を行う場合など) 、 画像中の異なる場所で同じ濃度の画 素が存在すると、 同じ明るさの変換が行われてしまう。 より具体的には、 画像中 の人物の背景の暗い場所を明るくすると、 同じ濃度の人物の髪の毛も明るくなる それに比較して、 視覚処理装置 1では、 入力信号 I Sの値 Aとアンシャープ信 号 U Sの値 Bとに対応する 2次元の関数に基づいて作成されたプロフアイルデー タを用いて視覚処理を行う。 このため、 画像中の異なる場所に存在する同じ濃度 の画素を、 一様に変換するのでなく、 周囲情報を含めて明るくしたり、 暗くした りすることができ、 画像中の領域毎に最適な朋るさの調整ができる。 より具体的 には、 画像中の人物の髪の毛の濃度を変えずに、 同じ濃度の背景を明るくするこ とができる。
( 2 )
視覚処理装置 1では、 2次元 L U T 4を用いて、 入力信号 I Sの視覚処理を行 う。 視覚処理装置 1は、 実現される視覚処理効果に依存しないハードウ Xァ構成 を有している。 すなわち、 視覚処理装置 1は、 汎用性の有るハードウェアで構成 することが可能であり、 ハードウェアコストの削減などに有効である。
( 3 )
2次元 L U T 4に登録されるプロファイルデータは、 プロファイルデータ登録 装置 8により変更可能である。 このため、 視覚処理装置 1では、 視覚処理装置 1 のハードウェア構成を変更することなく、 プロファイルデータを変更することに より、 様々な視覚処理を実現することが可能となる。 より具体的には、 視覚処理 装置 1では、 空間処理および階調処理を同時に実現することが可能となる。
( 4 )
2次元 L U T 4の登録されるプロファイルデータは、 あらかじめ算出しておく ことが可能である。 一旦作成されたプロファイルデータは、 いかに複雑な処理を 実現するものであっても、 それを用いた視覚処理に要する時間は一定である。 こ のため、 ハードウェアあるいはソフトウエアで構成した場合には複雑な構成とな る視覚処理であっても、 視覚処理華置 1を用いた場合には、 視覚処理の複雑さに 処理時間は依存せず、 視覚処理の高速化を図ることが可能となる。 〈変形例〉
(1 )
図 2では、 64X64のマトリクス形式のプロファイルデータについて説明し た。 ここで、 本発明の効果は、 プロファイルデータのサイズに依存するものでは ない。 例えば、 2次元 LUT4は、 入力信号 I Sおよびアンシャープ信号 USが 取りうる全ての値の組み合わせに応じたプロファイルデータを有することも可能 である。 例えば、 入力信号およびアンシャープ信号 USが 8ビットで表現される 場合、 プロファイルデータは、 256 X 256のマトリクス形式であってもよい この場合、 2次元 LUT4に必要なメモリ容量は増えるが、 より正確な視覚処 理を実現することが可能となる。
(2)
図 2では、 プロファイルデータは、 8ビットで表現される入力信号 I Sの輝度 値の上位 6ビッ卜の値と、 8ビッ卜で表現されるアンシャープ信号 USの輝度値 の上位 6ビッ卜の値とについての出力信号 OSの値を格納していると説明した。 ここで、 視覚処理装置 1は、 隣接するプロファイルデータの要素と、 入力信号 I Sおよびアンシャープ信号 USの下位 2ビッ卜の大きさとに基づいて、 出力信号 OSの値を線形補間する補間部をさらに備えていても良い。
この場合、 2次元 LUT4に必要なメモリ容量を増やすことなく、 より正確な 視覚処理を実現することが可能となる。
また、 補間部は、 視覚処理部 3に備えられ、 2次元 LUT 4の格納する値を線 形補間した値を出力信号 OSとして出力するものであってもよい。
図 4に、 視覚処理部 3の変形例として、 補間部 501を備える視覚処理部 50 0を示す。 視覚処理部 500は、 入力信号 I Sおよびアンシャープ信号 USと補 間前出力信号 NSとの関係を与える 2次元 LUT4と、 補間前出力信号 NS、 入 力信号 I Sおよびアンシャープ信号 USを入力とし、 出力信号 OSを出力する補 間部 501とを備えている。
2次元 LUT4は、 8ビットで表現される入力信号 I Sの輝度値の上位 6ビッ 卜の値と、 8ビッ卜で表現されるアンシャープ信号 U Sの輝度値の上位 6ビット の値とについての補間前出力信号 N §の値を格納している。 補間前出力信号 N S の値は、 例えば、 8ビットの値として格納されている。 2次元 L U T 4は、 入力 信号 I Sの 8ビッ卜値とアンシャープ信号 U Sの 8ビット値とが入力されると、 それぞれの値を含む区間に対応する 4つの補間前出力信号 N Sの値を出力する。 それぞれの値を含む区間とは、 (入力信号 I Sの上位 6ビットの値、 アンシャ一 プ信号 U Sの上位 6ビッ卜の値) 、 (入力信号 I Sの上位 6ビッ卜の値を超える 最小の 6ビッ卜の値、 アンシャープ信号 U Sの上位 6ビッ卜の値) 、 (入力信号 I Sの上位 6ビッ卜の値、 アンシャープ信号 U Sの上位 6ビッ卜の値を超える最 小の 6ビッ卜の値) 、 (入力信号 I Sの上位 6ビッ卜の値を超える最小の 6ビッ 卜の値、 アンシャープ信号 U Sの上位 6ビッ卜の値を超える最小の 6ビッ卜の値 ) のそれぞれの組み合わせに対して格納されている 4つの補間前出力信号 N に 囲まれる区間である。
補間部 5 0 1には、 入力信号 I Sの下位 2ビッ卜の値とアンシャープ信号 U S の下位 2ビットの値とが入力され、 これらの値を用いて、 2次元 L U T 4が出力 した 4つの補間前出力信号 N Sの値が線形補間される。 より具体的には、 入力信 号 I Sの下位 2ビッ卜の値とアンシャープ信号 U Sの下位 2ビッ卜の値とを用い て、 4つの補間前出力信号 N Sの値の加重平均を計算し、 出力信号 O Sが出力さ れる。
以上により、 2次元 L U T 4に必要なメモリ容量を増やすことなく、 より正確 な視覚処理を実現することが可能となる。
なお、 補間部 5 0 1では、 入力信号 I Sあるいはアンシャープ信号 U Sのいず れか一方についてのみ線形補間を行うものでもよい。
( 3 )
空間処理部 2で行われる空間処理では、 着目画素についての入力信号 I Sに対 して、 着目画素と着目画素の周辺画素との入力信号 I Sの平均値 (単純平均また は加重平均) 、 最大値、 最小値、 あるいは中央値をアンシャープ信号 U Sとして 出力するものであっても良い。 また、 着目画素の周辺画素のみの平均値、 最大値 、 最小値、 あるいは中央値をアンシャープ信号 U Sとして出力するものであって もよい。 ( 4 ) .
図 2では、 プロファイルデータの各要素の値 Cは、 入力信号 I Sの値 Aとアン シャープ信号 U Sの値 Bとのそれぞれに対して線形の関数 M 1 1に基づいて作成 されている。 一方、 プロファイルデータの各要素の値 Cは、 入力信号 I Sの値 A に対して非線形の関数に基づいて作成されていても良い。
この場合、 例えば、 視覚特性に応じた視覚処理の実現や出力信号 O Sを出力す るコンピュータ、 テレビ、 デジタルカメラ、 携帯電話、 P D A、 プリンタ、 スキ ャナなどの画像を取り扱う機器の非線形特性に適切な視覚処理を実現することが 可能となる。
また、 プロファイルデータの各要素の値 Cは、 入力信号 I Sの値 Aとアンシャ ープ信号 U Sの値 Bとのそれぞれに対して非線形の関数、 すなわち 2次元非線形 の関数に基づいて作成されていてもよい。
例えば、 入力信号 I Sの値 Aだけに基づいて視覚処理を行う場合に (例えば、
1次元の階調変換曲線による変換を行う場合など) 、 画像中の異なる場所で同じ 濃度の画素が存在すると、 同じ明るさの変換が行われる。 より具体的には、 画像 中の人物の背景の暗い場所を明るくすると、 同じ濃度の人物の髪の毛も明るくな る。
一方、 2次元非線形の関数に基づいて作成されたプロファイルデータを用いて 視覚処理を行う場合、 画像中の異なる場所に存在する同じ濃度の画素を、 一様に 変換するのでなく、 周囲情報を含めて明るくしたり、 暗くしたりすることができ 、 画像中の領域毎に最適な明るさの調整ができる。 より具体的には、 画像中の人 物の髪の毛の濃度を変えずに、 同じ濃度の背景を明るくすることが可能となる。 さらに、 線形の関数に基づく視覚処理では処理後の画素値が飽和してしまうよう な画素領域についても、 階調を維持した視覚処理を行うことなどが可能となる。 このようなプロファイルデータの一例を図 5に示す。 図 5に示すプロファイル データは、 視覚処理装置 1に、 視覚特性にあったコントラスト強調を実現させる ためのプロファイルデータである。 図 5において、 プロファイルデータは、 6 4 X 6 4のマトリクス形式で表現されており、 列方向 (縦方向) には 8ビットで表 現される入力信号 I Sの輝度値の上位 6ビッ卜の値が、 行方向 (横方向) には 8 ビッ卜で表現されるアンシャープ信号 USの輝度値の上位 6ビッ卜の値が示され ている。 また、 2つの輝度値に対する行列の要素として出力信号 OSの値が 8ビ ッ卜で示されている。
図 5に示すプロファイルデータの各要素の値 C (出力信号 OSの値) は、 入力 信号 I Sの値 A (例えば、 8ビッ卜で表現される入力信号 I Sの下位 2ビッ卜を 切り捨てた値) 、 アンシャープ信号 U.Sの値 B (例えば、 8ビットで表現される アンシャープ信号 USの下位 2ビットを切り捨てた値) 、 変換関数 F 1、 変換関 数の逆変換関数 F2、 強調関数 F 3を用いて、 C = F 2 (F 1 (A) +F 3 (F 1 (A) -F 1 (B) ) ) (以下、 式 M1 4という) と表される。 ここで、 変換 関数 F 1は、 常用対数関数である。 逆変換関数 F 2は、 常用対数関数の逆関数と しての指数関数 (アンチログ) である。 強調関数 F 3は、 図 49を用いて説明し た強調関数 R1〜R 3のいずれかの関数である。
このプロファイルデータでは、 変換関数 F 1により対数空間に変換された入力 信号 I Sおよびアンシャープ信号 USを用いた視覚処理が実現される。 人間の視 覚特性は、 対数的であり、 対数空間に変換して処理を行うことで視覚特性に適し た視覚処理が実現される。 これにより、 視覚処理装置 1では、 対数空間における コントラス卜強調が実現される。
なお、 入力信号 I Sの値 Aとアンシャープ信号 U Sの値 Bとの値の組み合わせ によっては、 式 M1 4で求められる値 Cが負の値となることがある。 この場合、 入力信号 I Sの値 Aとアンシャープ信号 U Sの値 Bとに対応するプロファイルデ —タの要素は、 値 0としてもよい。 また、 入力信号 I Sの値 Aとアンシャープ信 号 U Sの値 Bとの値の組み合わせによっては、 式 M1 4で求められる値 Cが飽和 してしまうことがある。 すなわち、 8ビットで表現できる最大値 255を超えて しまうことがある。 この場合、 入力信号 I Sの値 Aとアンシャープ信号 USの値 Bとに対応するプロファイルデータの要素は、 値 255としてもよい。 図 5では 、 このようにして求めたプロファイルデータの各要素を等高線表示している。 非線形のプロファイルデータについてのさらに詳しい説明は、 下記 〈プロファ ィルデータ〉 で行う。
(5) 2次元 LUT 4が備えるプロファイルデータは、 入力信号 I Sの階調補正を実 現する階調変換曲線 (ガンマ曲線) を複数含んでいるものであってもよい。 それぞれの階調変換曲線は、 例えば、 異なるガンマ係数を有するガンマ関数な ど、 単調増加関数であり、 アンシャープ信号 USの値に対して関連付けられてい る。 関連付けは、 例えば、 小さいアンシャープ信号 USの値に対して、 大きいガ ンマ係数を有するガンマ関数が選択されるよう行われている。 これにより、 アン シャープ信号 USは、 プロファイルデータが含む階調変換曲線群から少なくとも 1つの階調変換曲線を選択するための選択信号としての役割を果たしている。 以上の構成により、 アンシヤープ信号 U Sの値 Bにより選択された階調変換曲 線を用いて、 入力信号 I Sの値 Aの階調変換が行われる。
なお、 上記 (2) で説明したのと同様に 2次元 LUT4の出力を補間すること も可能である。
(6)
プロファイルデータ登録装置 8は、 視覚処理装置 1に内蔵あるいは接続され、 PC等によりあらかじめ作成された複数のプロファイルデータを格納しており、 2次元 L U T 4の登録内容を変更すると説明した。
ここで、 プロファイルデータ登録装置 8が格納するプロファイルデータは、 視 覚処理装置 1の外部に設置される P Cにより作成されている。 プロファイルデー タ登録装置 8は、 ネットワークを介して、 あるいは記録媒体を介して、 PCから プロファイルデータを取得する。
プロファイルデータ登録装置 8は、 格納する複数のプロフアイルデータを所定 の条件に従って 2次元 LUT4に登録する。 図 6〜図 8を用いて、 詳しく説明す る。 なお、 図 1を用いて説明した視覚処理装置 1 とほぼ同様の機能を有する部分 については、 同じ符号を付し説明を省略する。
《 1》
図 6に、 入力信号 I Sの画像を判定し、 判定結果に基づいて、 2次元 LUT4 に登録するプロファイルデータを切り替える視覚処理装置 520のブロック図を 示す。
視覚処理装置 520は、 図 1に示した視覚処理装置 1と同様の構造に加え、 プ ロフアイルデータ登録装置 8と同様の機能を備えるプロフアイルデータ登録部 5 2 1を備えている。 さらに、 視覚処理装置 5 2 0は、 画像判定部 5 2 2を備えて いる。
画像判定部 5 2 2は、 入力信号 I Sを入力とし、 入力信号 I Sの判定結果 S A を出力とする。 プロファイルデータ登録部 5 2 1は、 判定結果 S Aを入力とし、 判定結果 S Aに基づいて選択されたプロファイルデータ P Dを出力とする。 画像判定部 5 2 2は、 入力信号 I Sの画像を判定する。 画像の判定では、 入力 信号 I Sの輝度、 明度などの画素値を取得することにより、 入力信号 I Sの明る さが判定される。
プロファイルデータ登録部 5 2 1は、 判定結果 S Aを取得し、 判定結果 S Aに 基づいて、 プロファイルデータ P Dを切り替えて出力する。 より具体的には、 例 えば、 入力信号 I Sが明るいと判定される場合には、 ダイナミックレンジを圧縮 するプロファイルなどが選択される。 これにより、 全体的に明るい画像に対して もコントラストを維持することが可能となる。 また、 出力信号 O Sを表示する装 置の特性を考慮して、 適切なダイナミックレンジの出力信号 O Sが出力されるよ うなプロファイルが選択される。
以上により、 視覚処理装置 5 2 0では、 入力信号 I Sに応じて、 適切な視覚処 理を実現することが可能となる。
なお、 画像判定部 5 2 2は、 入力信号 I Sの輝度、 明度などの画素値だけでな く、 空間周波数などの画像特性を判定するものであってもよい。
この場合、 例えば、 空間周波数が低い入力信号 I Sに対して、 鮮鋭さを強調す る度合いがより高いプロファイルが選択されるなど、 より適切な視覚処理を実現 することが可能となる。
《2》
図 7に、 明るさに関する条件を入力するための入力装置からの入力結果に基づ いて、 2次元 L U T 4に登録するプロフアイルデータを切リ替える視覚処理装置 5 2 5のブロック図を示す。
視覚処理装置 5 2 5は、 図 1に示した視覚処理装置 1と同様の構造に加え、 プ ロフアイルデータ登録装置 8と同様の機能を備えるプロフアイルデータ登録部 5 2 6を備えている。 さらに、 視覚処理装置 5 2 5は、 入力装置 5 2 7を有線また は無線により接続して備えている。 より具体的には、 入力装置 5 2 7は、 出力信 号 O Sを出力するコンピュータ、 テレビ、 デジタルカメラ、 携帯電話、 P D A、 プリンタ、 スキャナなど、 画像を取り扱う機器自体に備えられる入力ボタンある いはそれぞれの機器のリモコンなどとして実現される。
入力装置 5 2 7は、 明るさに関する条件を入力するための入力装置であり、 例 えば、 「明るい」 「暗い」 などのスィッチを備えている。 入力装置 5 2 7は、 ュ 一ザの操作により、 入力結果 S Bを出力する。
プロファイルデータ登録部 5 2 6は、 入力結果 S Bを取得し、 入力結果 S Bに 基づいて、 プロファイルデータ P Dを切り替えて出力する。 より具体的には、 例 えば、 ユーザが 「明るい」 と入力した場合には、 入力信号 I Sのダイナミックレ ンジを圧縮するプロファイルなどを選択し、 プロファイルデータ P Dとして出力 する。 これにより、 出力信号 O Sを表示する装置が置かれている環境が 「明るい J 状態にある場合でも、 コントラストを維持することが可能となる。
以上により、 視覚処理装置 5 2 5では、 入力装置 5 2 7からの入力に応じて、 適切な視覚処理を実現することが可能となる。
なお、 明るさに関する条件とは、 コンピュータ、 テレビ、 デジタルカメラ、 携 帯電話、 P D Aなど出力信号を出力する媒体周辺の環境光の明るさに関する条件 だけでなく、 例えば、 プリンタ用紙など出力信号を出力する媒体自体の明るさに 関する条件であっても良い。 また、 例えば、 スキャナ用紙など入力信号を入力す る媒体自体の明るさなどに関する条件であっても良い。
また、 これらは、 スィッチなどによる入力だけでなく、 フォトセンサなどによ リ自動的に入力されるものであっても良い。
なお、 入力装置 5 2 7は、 明るさに関する条件を入力するだけでなく、 プロフ アイルデータ登録部 5 2 6に対して、 直接プロファイルの切り替えを動作させる ための装置であってもよい。 この場合、 入力装置 5 2 7は、 明るさに関する条件 以外に、 プロファイルデータのリストを表示し、 ユーザに選択させるものであつ ても良い。
これにより、 ユーザは、 好みに応じた視覚処理を実行することが可能となる。 なお、 入力装置 5 2 7は、 ユーザを識別する装置であっても良い。 この場合、 入力装置 5 2 7は、 ユーザを識別するためのカメラ、 あるいは、 ユーザ名を入力 させるための装置であっても良い。
例えば、 入力装置 5 2 7により、 ユーザが子供であると入力された場合には、 過度の輝度変化を抑制するプロファイルデータなどが選択される。
これにより、 ユーザに応じた視覚処理を実現することが可能となる。
《3》
図 8に、 2種類の明るさを検出するための明度検出部からの検出結果に基づい て 2次元 L U T 4に登録するプロファィルデータを切リ替える視覚処理装置 5 3 0のブロック図を示す。
視覚処理装置 5 3 0は、 図 1に示した視覚処理装置 1と同様の構造に加え、 プ ロフアイルデータ登録装置 8と同様の機能を備えるプロフアイルデータ登録部 5 3 1を備えている。 さらに、 視覚処理装置 5 3 0は、 明度検出部 5 3 2を備えて いる。
明度検出部 5 3 2は、 画像判定部 5 2 2と、 入力装置 5 2 7とから構成される 。 画像判定部 5 2 2および入力装置 5 2 7は、 図 6, 図 7を用いて説明したのと 同様である。 これにより、 明度検出部 5 3 2は、 入力信号 I Sを入力とし、 画像 判定部 5 2 2からの判定結果 S Aと、 入力装置 5 2 7からの入力結果 S Bとを検 出結果として出力する。
プロファイルデータ登録部 5 3 1は、 判定結果 S Aと入力結果 S Bとを入力と し、 判定結果 S Aと入力結果 S Bとに基づいて、 プロファイルデータ P Dを切り 替えて出力する。 より具体的には、 例えば、 環境光が 「明るい」 状態にあって、 さらに入力信号 I Sも明るいと判定される場合、 入力信号 I Sのダイナミックレ ンジを圧縮するプロファイルなどを選択し、 プロファイルデータ P Dとして出力 する。 これにより、 出力信号 O Sを表示する際に、 コントラストを維持すること が可能となる。
以上により、 視覚処理装置 5 3 0では、 適切な視覚処理を実現することが可能 となる。
《4》 図 6〜図 8の視覚処理装置において、 それぞれのプロフアイルデータ登録部は 、 視覚処理装置と一体として備えられていなくてもよい。 具体的には、 プロファ ィルデータ登録部は、 プロファイルデータを複数備えるサーバとして、 あるいは それぞれのプロファイルデータを備える複数のサーバとして、 ネットワークを介 して視覚処理装置と接続されているものでも良い。 ここで、 ネットワークとは、 例えば、 専用回線、 公衆回線、 インターネット、 L A Nなどの通信が可能な接続 手段であり、 有線であっても無線であってもよい。 またこの場合、 判定結果 S A や入力結果 S Bも、 同様のネットワークを介して視覚処理装置側からプロフアイ ルデータ登録部側に伝えられる。
( 7 )
上記実施形態では、 プロフアイルデータ登録装置 8が複数のプロフアイルデー タを備え、 2次元 L U T 4への登録を切り替えることにより、 異なる視覚処理を 実現すると説明した。
ここで、 視覚処理装置 1は、 異なる視覚処理を実現するプロファイルデータが 登録される複数の 2次元 L U Tを備えるものであってもよい。 この場合、 視覚処 理装置 1では、 それぞれの 2次元 L U Tへの入力を切り替えることにより、 ある いはそれぞれの 2次元 L U Tからの出力を切り替えることにより、 異なる視覚処 理を実現するものであっても良い。
この場合、 2次元 L U Tのために確保すべき記憶容量は増大するが、 視覚処理 の切り替えに必要な時間が短縮可能となる。
また、 プロファイルデータ登録装置 8は、 複数のプロファイルデータに基づい て新たなプロファイルデータを生成し、 生成されたプロファイルデータを 2次元 L U T 4に登録する装置であっても良い。
これに関し、 図 9〜図 1 0を用いて説明を加える。
図 9は、 プロファイルデータ登録装置 8の変形例としてのプロファイルデータ 登録装置 7 0 1について主に説明するブロック図である。 プロファイルデータ登 録装置 7 0 1は、 視覚処理装置 1の 2次元 L U T 4に登録されるプロファイルデ ータを切リ替えるための装置である。
プロファイルデータ登録装置 7 0 1は、 複数のプロファイルデータが登録され るプロファイルデータ登録部 7 0 2と、 複数のプロファイルデータに基づいて新 たなプロファイルデータを生成するプロファイル作成実行部 7 0 3と、 新たなプ 口ファイルデータを生成するためのパラメータを入力するためのパラメータ入力 部 7 0 6と、 各部の制御を行う制御部 7 0 5とから構成されている。
プロファイルデータ登録部 7 0 2には、 プロファイルデータ登録装置 8あるい は図 6〜図 8に示すそれぞれのプロフアイルデータ登録部と同様に複数のプロフ アイルデータが登録されており、 制御部 7 0 5からの制御信号 C 1 0により選択 された選択プロファイルデータの読み出しを行う。 ここで、 プロファイルデータ 登録部 7 0 2からは 2つの選択プロフアイルデータが読み出されるとし、 それぞ れを第 1の選択プロファイルデータ d 1 0および第 2の選択プロファイルデータ d 1 1 とする。
プロファイルデータ登録部 7 0 2から読み出されるプロファイルデータは、 パ ラメータ入力部 7 0 6の入力により決定される。 例えば、 パラメータ入力部 7 0 6では、 所望される視覚処理効果、 その処理度合い、 処理された画像の視環境に 関する情報などがパラメータとして、 手動により、 あるいはセンサなどから自動 により、 入力される。 制御部 7 0 5は、 パラメータ入力部 7 0 6により入力され たパラメータから読み出すべきプロファイルデータを制御信号 c 1 0により指定 するとともに、 それぞれのプロファイルデータの合成度の値を制御信号 c 1 2に より指定する。
プロファイル作成実行部 7 0 3は、 第 1の選択プロファイルデータ d 1 0およ び第 2の選択プロファイルデータ d 1 1から新たなプロファイルデータである生 成プロファイルデータ d 6を作成するプロファイル生成部 7 0 4を備えている。 プロファイル生成部 7 0 4は、 プロファイルデータ登録部 7 0 2から第 1の選 択プロファイルデータ d 1 0および第 2の選択プロファイルデータ d 1 1を取得 する。 さらに、 制御部 7 0 5からそれぞれの選択プロファイルデータの合成度を 指定する制御信号 c 1 2を取得する。
さらに、 プロファイル生成部 7 0 4は、 第 1の選択プロファイルデータ d "I 0 の値 [m] および第 2の選択プロファイルデータ d 1 1の値 [ n ] に対して、 制 御信号 c 1 2が指定する合成度の値 [ k ] を用いて、 値 [ I ] の生成プロフアイ ルデータ d 6を作成する。 ここで、 値 [门 は、 [门 = (1— k) * [m] + k* [n] により計算される。 なお、 値 [k] が 0≤k≤ 1を満たす場合には、 第 1の選択プロファイルデータ d 1 0と第 2の選択プロファイルデータ d 1 1と は内分され、 値 [k] が k<0または k>1を満たす場合には、 第 1の選択プロ ファイルデータ d 1 0と第 2の選択プロファイルデータ d 1 1とは外分されるこ ととなる。
2次元 L U T 4は、 プロファイル生成部 704が生成する生成プロファイルデ ータ d 6を取得し、 取得した値を制御部 705のカウント信号 c "I 1が指定する アドレスに格納する。 ここで、 生成プロファイルデータ d 6は、 生成プロフアイ ルデータ d 6を作成するのに用いられたそれぞれの選択プロファイルデータが関 連づけられているのと同じ画像信号値に関連づけられる。
以上により、 例えば、 異なる視覚処理を実現するプロファイルデータに基づい て、 さらに異なる視覚処理を実現する新 なプロファイルデータを作成すること が可能となる。
図 1 0を用いて、 プロファイルデータ登録装置 701を備える視覚処理装置に おいて実行される視覚処理プロファイル作成方法について説明する。
制御部 705からのカウント信号 c 1 0により、 プロファイルデータ登録部 7 02のァドレスが一定のカウン卜周期で指定され、 指定されたァドレスに格納さ れている画像信号値が読み出される (ステップ S 701 ) 。 詳しくは、 パラメ一 タ入力部 706により入力されたパラメータに応じて、 制御部 705はカウント 信号 c 1 0を出力する。 カウント信号 c 1 0は、 プロファイルデータ登録部 70 2において異なる視覚処理を実現する 2つのプロファイルデータのァドレスを指 定する。 これにより、 プロファイルデータ登録部 702から第 1の選択プロファ ィルデータ d 1 0と第 2の選択プロファイルデータ d 1 1 とが読み出される。 プロファイル生成部 704は、 制御部 705から合成度を指定する制御信号 c 1 2を取得する (ステップ S 702) 。
プロファイル生成部 704は、 第 1の選択プロファイルデータ d 1 0の値 [m ] および第 2の選択プロファイルデータ d 1 1の値 [n] に対して、 制御信号 c 1 2が指定する合成度の値 [k] を用いて、 値 [ I ] の生成プロファイルデータ d 6を作成する (ステップ S 7 0 3 ) -。 ここで、 値 [ I ] は、 [门 = ( 1— k ) * [m] + k * [ n ] により計算される。
2次元 L U T 4に対して生成プロファイルデータ d 6が書き込まれる (ステツ プ S 7 0 4 ) 。 ここで、 書き込み先のアドレスは、 2次元 L U T 4に対して与え られる制御部 7 0 5からのカウント信号 G 1 1により指定される。
制御部 7 0 5は、 選択されたプロファイルデータの全てのデータについての処 理が終了したか否かを判断し (ステップ 7 0 5 ) 、 終了するまでステップ S 7 0 1からステップ S 7 0 5の処理を繰り返す。
また、 このようにして 2次元 L U T 4に格納された新たなプロファイルデータ は、 視覚処理を実行するのに用いられる。
《 (7 ) の効果》
プロファイルデータ登録装置 7 0 1を備える視覚処理装置においては、 異なる 視覚処理を実現するプロフアイルデータに基づいて、 さらに異なる視覚処理を実 現する新たなプロファイルデータを作成し、 視覚処理を行うことが可能となる。 すなわち、 プロファイルデータ登録部 7 0 2において、 少数のプロファイルデー タを備えるだけで、 任意の処理度合いの視覚処理を実現することが可能となり、 プロファイルデータ登録部 7 0 2の記憶容量を削減することが可能となる。 なお、 プロファイルデータ登録装置 7 0 1は、 図 1に示す視覚処理装置 1だけ でなく、 図 6〜図 8の視覚処理装置において備えられていてもよい。 この場合、 プロファイルデータ登録部 7 0 2とプロファイル作成実行部 7 0 3とが図 6〜図 8に示すそれぞれのプロファイルデータ登録部 5 2 1, 5 2 6, 5 3 1の代わり に用いられ、 パラメータ入力部 7 0 6と制御部 7 0 5とが図 6の画像判定部 5 2 2, 図 7の入力装置 5 2 7、 図 8の明度検出部 5 3 2の代わりに用いられてもよ い。
( 8 )
視覚処理装置は、 入力信号 I Sの明るさを変換する装置であってもよい。 図 1 1を用いて、 明るさを変換する視覚処理装置 9 0 1について説明する。
《構成》
視覚処理装置 9 0 1は、 入力信号 I S ' の明るさを変換する装置であって、 入 力信号 I S' に対して所定の処理を行い処理信号 U S' を出力する処理部 902 と、 入力信号 I S' および処理信号 U S' を用いて入力信号 I S' の変換を行う 変換部 903とから構成される。
処理部 902は、 空間処理部 2 (図 1参照) と同様に動作し、 入力信号 I S' の空間処理を行う。 なお、 上記 〈変形例〉 (3) で記載したような空間処理を行 うものであってもよい。
変換部 903は、 視覚処理部 3と同様に 2次元 L U Tを備え入力信号 I S' ( 値 [X ] ) と処理信号 US' (値 [ z ] ) とに基づいて出力信号 OS' (値 [ y ] ) を出力する。
ここで、 変換部 903が備える 2次元 L U Tの各要素の値は、 明るさの変更度 合いに関する関数 f k ( z ) の値に応じて定められたゲインあるいはオフセット に対して、 入力信号 I S, の値 [X ] を作用させることにより定められている。 以下、 明るさの変更度合いに関する関数 f k (z) を 「変更度関数」 と呼ぶ。
2次元 L U Tの各要素の値 (=出力信号 OS' の値 [y] ) は、 入力信号 I S ' の値 [ X] と処理信号 U S' の値 [ z ] との関数に基づいて定められている。 以下、 この関数を 「変換関数」 と呼び、 一例としての変換関数 (a ) 〜 (d ) を 示す。 また、 図 1 2 (a) 〜 (d) に、 変更度関数 f k ( z ) を変化させた場合 の入力信号 I S' と出力信号 OS' との関係を示す。
《変換関数 (a) について》
変換関数 (a ) は、 [ y ] = f 1 ( z ) * [ X ] と表される。
ここで、 変更度関数 f l (z ) は、 入力信号 I S' のゲインとして作用してい る。 このため、 変更度関数 f 1 ( z ) の値により、 入力信号 I S' のゲインが変 化し、 出力信号 OS' の値 [y] が変化する。
図 1 2 (a) は、 変更度関数 f 1 (z) の値が変化した場合の入力信号 I S' と出力信号 OS' との関係の変化を示す。
変更度関数 f 1 ( z ) が大きくなる ( f 1 (z) > 1 ) につれて、 出力信号の 値 [y] は大きくなる。 すなわち、 変換後の画像は、 明るくなる。 一方、 変更度 関数 f l (z) が小さくなる (f 1 (z) < 1 ) につれて、 出力信号の値 [y] は小さくなる。 すなわち、 変換後の画像は、 暗くなる。 ここで、 変更度関数 f 1 (z) は、 値 [z] の定義域における最小値が値 [0 ] 未満とならない関数である。
また、 変換関数 (a) の演算により、 出力信号の値 [y] が取りうる値の範囲 を超える場合には、 取りうる値の範囲にクリップされてもよい。 例えば、 値 [1 ] を超える場合には、 出力信号の値 [y] は、 値 [1 ] にクリップされてもよい し、 値 [0] に満たない場合には、 出力信号の値 [y] は、 値 [0] にクリップ されてもよい。 これは、 以下の変換関数 (b) 〜 (d) についても同様である。
《変換関数 (b) について》
変換関数 (b ) は、 [y] = [X] + f 2 (Z) と表される。
ここで、 変更度関数 f 2 (Z) は、 入力信号 I S' のオフセッ卜として作用し ている。 このため、 変更度関数 f 2 (z) の値により、 入力信号 I S' のオフセ ッ卜が変化し、 出力信号 OS' の値 [y] が変化する。
図 1 2 (b) は、 変更度関数 f 2 (z) の値が変化した場合の入力信号 I S' と出力信号 OS' との関係の変化を示す。
変更度関数 f 2 (z) が大きくなる (f 2 (z) >0) につれて、 出力信号の 値 [y] は大きくなる。 すなわち、 変換後の画像は、 明るくなる。 一方、 変更度 関数 f 2 (z) が小さくなる (f 2 (z) <0) につれて、 出力信号の値 [y] は小さくなる。 すなわち、 変換後の画像は、 暗くなる。
《変換関数 (c) について》
変換関数 (c) は、 [y] = f 1 (ζ) * [χ] + f 2 (z) と表される。 ここで、 変更度関数 f 1 (z) は、 入力信号 I S' のゲインとして作用してい る。 さらに、 変更度関数 f 2 (z) は、 入力信号 I S' のオフセットとして作用 している。 このため、 変更度関数 f 1 (z) の値により、 入力信号 I S' のゲイ ンが変化するとともに、 変更度関数 f 2 (z) の値により、 入力信号 I S' のォ フセッ卜が変化し、 出力信号 OS' の値 [y] が変化する。
図 1 2 (c) は、 変更度関数 f 1 (z) および変更度関数 f 2 (z) の値が変 化した場合の入力信号 I S' と出力信号 OS' との関係の変化を示す。
変更度関数 f 1 (z) および変更度関数 f 2 (z) が大きくなるにつれて、 出 力信号の値 [y] は大きくなる。 すなわち、 変換後の画像は、 明るくなる。 一方 、 変更度関数 f 1 (z) および変更度関数 f 2 (z) が小さくなるにつれて、 出 力信号の値 [y] は小さくなる。 すなわち、 変換後の画像は、 暗くなる。
《変換関数 (d) について》
変換関数 (d) は、 [y] = [x] (1 - f 2 (z) ) と表される。
ここで、 変更度関数 f 2 (z) は、 「べき関数」 の 「べき j を決定する。 この ため、 変更度関数 f 2 (z) の値により、 入力信号 I S' が変化し、 出力信号 O S' の値 [y] が変化する。
図 1 2 (d) は、 変更度関数 f 2 (z) の値が変化した場合の入力信号 I S' と出力信号 OS' との関係の変化を示す。
変更度関数 f 2 (z) が大きくなる (f 2 (z) >0) につれて、 出力信号の 値 [y] は大きくなる。 すなわち、 変換後の画像は、 明るくなる。 一方、 変更度 関数 f 2 (z) が小さくなる (f 2 (z) <0) につれて、 出力信号の値 [y] は小さくなる。 すなわち、 変換後の画像は、 暗くなる。 また、 変更度関数 f 2 ( z) が値 [0] の場合は、 入力信号 I S' に対する変換は行われないこととなる o
なお、 値 [ X ] は、 入力信号 I S' の値を [0] ~ [1 ] の範囲に正規化した 値である。
《効果》
(1 )
視覚処理装置 901では、 以上に示した変換関数 (a) ~ (d) のいずれかを 用いて定められた要素を有する 2次元 LUTにより、 入力信号 I S' の視覚処理 が行われる。 2次元 LUTの各要素は、 値 [ X ] と値 [z] とに対する値 [y] を格納している。 このため、 入力信号 I S' と処理信号 US' とに基づいて、 入 力信号 I S' の明るさを変換する視角処理が実現される。
(2)
ここで、 変更度関数 f 1 (z) と変更度関数 f 2 (z) とがともに単調減少す る関数である場合、 さらに、 逆光補正や白飛びの防止などの効果が得られる。 こ れに関して説明を加える。
図 1 3 (a) 〜 (b) に、 単調減少する変更度関数 f 1 (z) および f 2 (z ) の例を示す。 それぞれ 3つのグラフ (a 1 ~ a 3、 b 1〜 b 3) を示している が、 いずれも単調減少する関数の例である。
変更度関数 f 1 (z) は、 値 [1 ] をまたぐ値域を有する関数であり、 値 [z ] の定義域に対する最小値が値 [0] 未満とならない関数である。 変更度関数 f 2 (Z) は、 値 [0] をまたぐ値域を有する関数である。
例えば、 画像中の暗くて面積の大きい部分では、 処理信号 US' の値 [z] が 小さい。 小さい値の [z] に対する変更度関数の値は、 大きくなる。 すなわち、 変換関数 (a) ~ (d) に基づいて作成された 2次元 LUTを用いると、 画像中 の暗くて面積の大きい部分は、 明るく変換される。 よって、 例えば、 逆光で撮影 された画像では、 暗くて面積の大きい部分に対して暗部の改善が行われ、 視覚的 効果が向上する。
また、 例えば、 画像中の明るくて面積の大きい部分では、 処理信号 US' の値 Cz] が大きい。 大きい値の [Z] に対する変更度関数の値は、 小さくなる。 す なわち、 変換関数 (a) ~ (d) に基づいて作成された 2次元 LUTを用いると 、 画像中の明るくて面積の大きい部分は、 暗く変換される。 よって、 例えば、 空 などの明るい部分を有する画像では、 明るくて面積の大きい部分に対して白飛び の改善が行われ、 視覚的効果が向上する。
《変形例》
(1 )
上記した変換関数は、 一例であり、 同様の性質を有する変換であれば、 任意の 関数であってよい。
(2)
2次元 LUTの各要素の値は、 厳密に上記した変換関数により定められていな くてもよい。
例えば、 上記した変換関数の値が、 出力信号 OS' として扱うことのできる値 の範囲を超える場合には、 2次元 LUTは、 出力信号 OS' として扱うことので きる値の範囲にクリップされた値を格納してもよい。
(3)
上記と同様の処理は、 2次元 LUTを用いずに行われてもよい。 例えば、 変換 部 903は、 入力信号 I S' と処理信号 US' とに対して、 変換関数 (a) - ( d) を演算することにより出力信号 OS' を出力してもよい。
(9)
視覚処理装置は、 複数の空間処理部を備え、 空間処理の程度の異なる複数のァ ンシャープ信号を用いて視覚処理を行うものであってもよい。
《構成》
図 1 4に、 視覚処理装置 905の構成を示す。 視覚処理装置 905は、 入力信 号 I S" の視覚処理を行う装置であって、 入力信号 I S" に対して第 1の所定の 処理を行い第 1処理信号 U 1を出力する第 1処理部 906 aと、 入力信号 I S" に対して第 2の所定の処理を行い第 2処理信号 U 2を出力する第 2処理部 906 bと、 入力信号 I S" と第 1処理信号 U 1と第 2処理信号 U 2とを用いて入力信 号 I S" の変換を行う変換部 908とから構成される。
第 1処理部 906 aおよび第 2処理部 906 bは、 空間処理部 2 (図 1参照) と同様に動作し、 入力信号 I S" の空間処理を行う。 なお、 上記 〈変形例〉 (3 ) で記載したような空間処理を行うものであってもよい。
ここで、 第 1処理部 906 aと第 2処理部 906 bとは、 空間処理において用 いる周辺画素の領域の大きさが異なっている。
具体的には、 第 1処理部 906 aでは、 着目画素を中心として縦 30画素、 横 30画素の領域に含まれる周辺画素を用いる (小さいアンシャープ信号) のに対 して、 第 2処理部 906 bでは、 着目画素を中心として縦 90画素、 横 90画素 の領域に含まれる周辺画素を用いる (大きいアンシャープ信号) 。 なお、 ここで 記載した周辺画素の領域は、 あくまで一例であり、 これに限定されるわけではな い。 視覚処理効果を十分に発揮するためには、 かなり広い領域からアンシャープ 信号を生成することが好まし 1^。
変換部 908は、 LUTを備え、 入力信号 I S" (値 [ x ] ) と第 1処理信号 U 1 (値 [z l ] ) と第 2処理信号 U 2 (値 [z 2] ) とに基づいて出力信号 O S" (値 [y] ) を出力する。
ここで、 変換部 903が備える LUTは、 入力信号 I S" の値 [X] と第 1処 理信号 LMの値 [z 1 ] と第 2処理信号 U 2の値 [z 2] とに対する出力信号 O S" の値 [y] を格納する 3次元 Lリ Tである。 この 3次元 L U Τの各要素の値 (-出力信号 OS" の値 [y] ) は、 入力信号 I S' の値 [ X ] と第 1処理信号 U 1の値 [z 1 ] と第 2処理信号 U 2の値 [z 2] との関数に基づいて定められ ている。
この 3次元 LUTは、 上記実施形態および下記実施形態で記載する処理を実現 可能であるが、 ここでは、 3次元 LUTが《入力信号 I S" の明るさを変換する 場合》 と、 《入力信号 I S" を強調変換する場合》 とについて説明を加える。
《入力信号 I S" の明るさを変換する場合》
変換部 908は、 第 1処理信号 U 1の値 [z 1 ] が小さければ、 入力信号 I S " を明るくするように変換を行う。 ただし、 第 2処理信号 U2の値 [z 2] も小 さければ、 明るくする度合いを抑制する。
このような変換の一例として、 変換部 903が備える 3次元 L U Tの各要素の 値は、 次の変換関数 (e) または (f ) に基づいて定められている。
(変換関数 (e) について)
変換関数 (e) は、 ] = 1 1 (21 ) /^ 1 2 (22) ] * [>(] と 表される。
ここで、 変更度関数 f 1 1 (z 1 ), f 1 2 (z 2) は、 上記 〈変形例〉 (8 ) で記載した変更度関数 f 1 (z) と同様の関数である。 また、 変更度関数 f 1 1 (z 1 ) と変更度関数 f 1 2 (z 2) とは、 異なる関数となっている。
これにより、 [f 1 1 (z 1 ) /f 1 2 (z 2) ] は、 入力信号 I S" のゲイ ンとして作用し、 第 1処理信号 U 1の値と第 2処理信号 U 2の値とにより、 入力 信号 I S" のゲインが変化し、 出力信号 OS" の値 [y] が変化する。
(変換関数 (f ) について)
変換関数 (f ) は、 [y] = [x] + f 21 (Z 1 ) — f 22 (Z 2) と表さ れる。
ここで、 変更度関数 f 21 (z 1 ), f 22 (z 2) は、 上記 〈変形例〉 (8 ) で記載した変更度関数 f 2 (z) と同様の関数である。 また、 変更度関数 f 2 1 (z 1 ) と変更度関数 f 22 (z 2) とは、 異なる関数となっている。
これにより、 [f 21 (Z 1 ) — f 22 (z 2) ] は、 入力信号 I S" のオフ セットとして作用し、 第 1処理信号 U_ 1の値と第 2処理信号 U 2の値とにより、 入力信号 I S " のオフセッ卜が変化し、 出力信号 O S " の値 [ y ] が変化する。
(効果)
このような変換関数 (e ) - ( f ) を用いた変換により、 例えば、 逆光部分の 小さい領域の暗部を明るくしつつ、 夜景の画像の大きい領域の暗部を明るくしす ぎないなどといった効果を実現することが可能となる。
(変形例)
なお、 変換部 9 0 8における処理は、 3次元 L U Tを用いた処理に限定されず 、 変換関数 (e ) や (f ) などと同様の演算を行うものであってもよい。
また、 3次元 L U Tの各要素は厳密に変換関数 (e ) や (f ) に基づいて定め られていなくてもよい。
《入力信号 I S " を強調変換する場合》
変換部 9 0 8における変換が、 入力信号 I S " を強調する変換である場合、 複 数の周波数成分を独立して強調することが可能となる。
例えば、 第 1処理信号 U 1をより強調する変換であれば、 周波数の比較的高い 濃淡部分の強調を行うことが可能となるし、 第 2処理信号 U 2をより強調する変 換であれば、 周波数の低い濃淡部分の強調を行うことが可能となる。
〈プロファイルデータ〉
視覚処理装置 1は、 上記で説明した以外にも、 様々な視覚処理を実現するプロ ファイルデータを備えることが可能である。 以下、 様々な視覚処理を実現する第 1〜第 7プロファールデータについて、 プロファイルデータを特徵づける式と、 そのプロファイルデータを備える視覚処理装置 1と等価な視覚処理を実現する視 覚処理装置の構成とを示す。
それぞれのプロファイルデータは、 入力信号 I Sとアンシャープ信号 U Sとか ら算出された値を強調する演算を含む数式に基づいて定められている。 ここで、 強調する演算とは、 例えば、 非線形の強調関数による演算である。
これにより、 それぞれのプロファイルデータでは、 入力信号 I Sの視覚特性に あった強調、 あるいは出力信号 O Sを出力する機器の非線形特性にあった強調を 実現することなどが可能となる。 (1 )
《第 "iプロファイルデータ》
第 1プロファイルデータは、 入力信号 I Sとアンシャープ信号 usとに対して 所定の変換を行ったそれぞれの変換値の差を強調する関数を含む演算に基づいて 定められている。 これにより、 入力信号 I Sとアンシャープ信号 USとを別空間 に変換した上でそれぞれの差を強調することが可能となる。 これにより、 例えば、 視覚特性にあった強調などを実現することが可能となる。
以下、 具体的に説明する。
第 1プロファイルデータの各要素の値 C (出力信号 OSの値) は、 入力信号 I Sの値 A、 アンシャープ信号 USの値 B、 変換関数 F 1、 変換関数の逆変換関数 F2、 強調関数 F3を用いて、 G=F2 (F 1 (A) +F3 (F 1 (A) -F 1 (B) ) ) (以下、 式 Mlという) と表される。
ここで、 変換関数 F 1は、 常用対数関数である。 逆変換関数 F 2は、 常用対数 関数の逆関数としての指数関数 (アンチログ) である。 強調関数 F 3は、 図 49 を用いて説明した強調関数 R1〜R 3のいずれかの関数である。
《等価な視覚処理装置 1 1》
図 1 5に、 第 1プロファイルデータを 2次元 LUT 4に登録した視覚処理装置 1と等価な視覚処理装置"! 1を示す。
視覚処理装置 1 1は、 入力信号 I Sとアンシャープ信号 usとに対して所定の 変換を行ったそれぞれの変換値の差を強調する演算に基づいて出力信号 O Sを出 力する装置である。 これにより、 入力信号 I Sとアンシャープ信号 USとを別空 間に変換した上でそれぞれの差を強調することが可能となり、 例えば、 視覚特性 にあった強調などを実現することが可能となる。
図 1 5に示す視覚処理装置 1 1は、 入力信号 I Sとして取得した原画像の画素 ごとの輝度値に空間処理を実行しアンシャープ信号 USを出力する空間処理部 1 2と、 入力信号 I Sとアンシャープ信号 USとを用いて、 原画像の視覚処理を行 し、、 出力信号 OSを出力する視覚処理部 1 3とを備えている。
空間処理部 1 2は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。 視覚処理部 1 3は、 入力信号 I Sとアンシャープ信号 USとの信号空間の変換 を行い、 変換入力信号 T I Sと変換アンシャープ信号 T USとを出力する信号空 間変換部 1 4と、 変換入力信号 T I Sを第 1の入力、 変換アンシャープ信号 TU Sを第 2の入力とし、 それぞれの差分である差分信号 DSを出力する減算部 1 7 と、 差分信号 DSを入力とし強調処理された強調処理信号 TSを出力する強調処 理部 1 8と、 変換入力信号 T I Sを第 1の入力、 強調処理信号 TSを第 2の入力 とし、 それぞれを加算した加算信号 PSを出力する加算部 1 9と、 加算信号 PS を入力とし出力信号 O Sを出力する逆変換部 20とを備えている。
信号空間変換部 1 4は、 入力信号 I Sを入力とし変換入力信号 T I Sを出力と する第 1変換部 1 5と、 アンシャープ信号 USを入力とし変換アンシャープ信号 TUSを出力とする第 2変換部 1 6とをさらに有している。
《等価な視覚処理装置 1 1の作用》
視覚処理部 1 3の動作についてさらに説明を加える。
第 1変換部 1 5は、 変換関数 F 1を用いて、 値 Aの入力信号を値 F 1 (A) の 変換入力信号 T I Sに変換する。 第 2変換部 1 6は、 変換関数 F 1を用いて、 値 Bのアンシャープ信号 USを値 F 1 (B) の変換アンシャープ信号 T U Sに変換 する。 減算部 1 7は、 値 F 1 (A) の変換入力信号 T I Sと、 値 F 1 (B) の変 換アンシャープ信号 TUSとの差分を計算し、 値 F 1 (A) -F 1 (B) の差分 信号 DSを出力する。 強調処理部 1 8は、 強調関数 F3を用いて、 値 F 1 (A) -F 1 (B) の差分信号 DSから値 F3 (F 1 (A) — F 1 (B) ) の強調処理 信号 TSを出力する。 加算部 1 9は、 値 F 1 (A) の変換入力信号 T I Sと、 値 F3 (F 1 (A) — F 1 (B) ) の強調処理信号 T Sとを加算し、 値 F 1 (A) + F3 (F 1 (A) -F 1 (B) ) の加算信号 P Sを出力する。 逆変換部 20は 、 逆変換関数 F 2を用いて、 値 F 1 (A) +F3 (F 1 (A) — F 1 (B) ) の 加算信号 PSを逆変換し、 値 F2 (F 1 (A) +F 3 (F 1 (A) — F 1 (B) ) ) の出力信号 OSを出力する。
なお、 変換関数 F 1、 逆変換関数 F 2、 強調関数 F 3を用いた計算は、 それぞ れの関数に対する 1次元の L U Tを用いて行われても良いし、 L U Tを用いない で行われても良い。 《効果》 ,
第 1プロファイルデータを備える視覚処理装置 1と視覚処理装置 1 1とは、 同 様の視覚処理効果を奏する。
( i )
変換関数 F 1により対数空間に変換された変換入力信号 T I Sおよび変換アン シャープ信号 T U Sを用いた視覚処理が実現される。 人間の視覚特性は、 対数的 であり、 対数空間に変換して処理を行うことで視覚特性に適した視覚処理が実現 される。
( > i )
それぞれの視覚処理装置では、 対数空間におけるコントラスト強調が実現され る。
図 4 8に示す従来の視覚処理装置 4 0 0は、 一般的にボケ具合が小さいアンシ ヤープ信号 U Sを用いて輪郭 (エッジ) 強調を行うために用いられる。 しかし、 視覚処理装置 4 0 0は、 ボケ具合の大きいアンシャープ信号 U Sを用いてコント ラスト強調する場合には、 原画像の明部には強調不足、 暗部には強調過多になり、 視覚特性に適さない視覚処理となる。 すなわち、 明るくする方向への補正は強調 不足、 暗くする方向への補正は強調過多となる傾向にある。
一方、 視覚処理装置 1または視覚処理装置 1 1を用いて視覚処理を行った場合 には、 暗部から明部まで視覚特性に適した視覚処理を行うことが可能であり、 明 るくする方向の強調と暗くする方向の強調とをバランス良く行うことが可能であ る。
( i i i )
従来の視覚処理装置 4 0 0では、 視覚処理後の出力信号 O Sが負になり破綻す る場合がある。
—方、 式 M 1で求められるプロファイルデータのある要素の値 Gが 0 C≤2 5 5の範囲を超える場合には、 その要素の値を 0又は 2 5 5としておくことによ リ、 補正後の画素信号が負になり破綻することや、 飽和して破綻することが防止 可能となる。 このことは、 プロファイルデータの要素を表現するためのビット長 にかかわらず実現される。 《変形例》 .
( i )
変換関数 F 1は、 対数関数に限られない。 例えば、 変換関数 F 1を、 入力信号 I Sにかけられているガンマ補正 (例えば、 ガンマ係数 [0. 45] ) を外す変 換とし、 逆変換関数 F 2を入力信号 I Sに掛けられていたガンマ補正をかける変 換としてもよい。
これにより、 入力信号 I Sにかけられてるガンマ補正を外し、 線形特性のもと で処理を行うことが可能となる。 このため、 光学的なボケの補正を行うことが可 能となる。
( i i )
視覚処理装置 1 1では、 視覚処理部 1 3は、 入力信号 I Sとアンシャープ信号 USとに基づいて、 2次元 L U T 4を用いずに上記式 M 1を演算するもので有つ ても良い。 この場合、 それぞれの関数 F 1〜F 3の計算においては、 1次元の L U Tを用いても良い。
(2)
《第 2プロファイルデータ》
第 2プロファイルデータは、 入力信号 I Sとアンシャープ信号 USとの比を強 調する関数を含む演算に基づいて定められている。 これにより、 例えば、 シヤー プ成分を強調する視覚処理などを実現することが可能となる。
さらに、 第 2プロファイルデータは、 強調された入力信号 I Sとアンシャープ 信号 USとの比に対してダイナミックレンジ圧縮を行う演算に基づいて定められ ている。 これにより、 例えば、 シャープ成分を強調しつつ、 ダイナミックレンジ の圧縮を行う視覚処理などを実現することが可能となる。
以下、 具体的に説明する。
第 2プロファイルデータの各要素の値 C (出力信号 OSの値) は、 入力信号 I Sの値 A、 アンシャープ信号 USの値 B、 ダイナミックレンジ圧縮関数 F 4、 強 調関数 F 5を用いて、 C=F4 (A) * F5 (A/B) (以下、 式 M2という) と表される。
ここで、 ダイナミックレンジ圧縮関数 F 4は、 例えば、 上に凸のべき関数など の単調増加関数である。 例えば、 F A ( X ) =χ Λ (o<r<i ) と表される c 強調関数 F5は、 べき関数である。 例えば、 F5 ( X ) =χ Λ or (0< Qf≤1 ) と表される。
《等価な視覚処理装置 21》
図 1 6に、 第 2プロファイルデータを 2次元 LUT4に登録した視覚処理装置 1と等価な視覚処理装置 21を示す。
視覚処理装置 21は、 入力信号 I Sとアンシャープ信号 U Sとの比を強調する 演算に基づいて出力信号 OSを出力する装置である。 これにより、 例えば、 シャ ープ成分を強調する視覚処理などを実現することが可能となる。
さらに、 視覚処理装置 21は、 強調された入力信号 I Sとアンシャープ信号 U Sとの比に対してダイナミックレンジ圧縮を行う演算に基づいて出力信号 OSを 出力する。 これにより、 例えば、 シャープ成分を強調しつつ、 ダイナミックレン ジの圧縮を行う視覚処理などを実現することが可能となる。
図 1 6に示す視覚処理装置 21は、 入力信号 I Sとして取得した原画像の画素 ごとの輝度値に空間処理を実行しアンシャープ信号 U Sを出力する空間処理部 2 2と、 入力信号 I Sとアンシャープ信号 U Sとを用いて、 原画像の視覚処理を行 し、、 出力信号 OSを出力する視覚処理部 23とを備えている。
空間処理部 22は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。
視覚処理部 23は、 入力信号 I Sを第 1の入力、 アンシャープ信号 U Sを第 2 の入力とし、 入力信号 I Sをアンシャープ信号 USで除算した除算信号 RSを出 力する除算部 25と、 除算信号 RSを入力とし、 強調処理信号 TSを出力とする 強調処理部 26と、 入力信号 I Sを第 1の入力、 強調処理信号 TSを第 2の入力 とし、 出力信号 OSを出力する出力処理部 27とを備えている。 出力処理部 27 は、 入力信号 I Sを入力とし、 ダイナミックレンジ (DR) 圧縮された DR圧縮 信号 D RSを出力する DR圧縮部 28と、 DR圧縮信号 DRSを第"!の入力、 強 調処理信号 TSを第 2の入力とし、 出力信号 OSを出力する乗算部 29とを備え ている。
《等価な視覚処理装置 21の作用》 視覚処理部 23の動作についてさらに説明を加える。
除算部 25は、 値 Aの入力信号 I Sを値 Bのアンシャープ信号 USで除算し、 値 A/Bの除算信号 RSを出力する。 強調処理部 26は、 強調関数 F 5を用いて 、 値 AZBの除算信号 RSから値 F5 (A/B) の強調処理信号 TSを出力する 。 DR圧縮部 28は、 ダイナミックレンジ圧縮関数 F4を用いて、 値 Aの入力信 号 I Sから値 F4 (A) の DR圧縮信号 DRSを出力する。 乗算部 29は、 値 F 4 (A) の DR圧縮信号 DRSと値 F5 (A/B) の強調処理信号 T Sとを乗算 し、 値 F4 (A) * F 5 (A/B) の出力信号 O Sを出力する。
なお、 ダイナミックレンジ圧縮関数 F 4、 強調関数 F 5を用いた計算は、 それ ぞれの関数に対する 1次元の L UTを用いて行われても良いし、 LUTを用いな いで行われても良い。
《効果》
第 2プロファイルデータを備える視覚処理装置 1 と視覚処理装置 21とは、 同 様の視覚処理効果を奏する。
( i )
従来では、 画像全体のダイナミックレンジを圧縮する場合、 図 1 7に示すダイ ナミックレンジ圧縮関数 F4を用いて、 暗部からハイライ卜まで飽和させずに階 調レベルを圧縮する。 すなわち、 圧縮前の画像信号における再現目標の黒レベル を LO、 最大の白レベルを L 1 とすると、 圧縮前のダイナミックレンジ L 1 : L 0は、 圧縮後のダイナミックレンジ Q1 : QOに圧縮される。 し力、し、 画像信号 レベルの比であるコントラストは、 ダイナミックレンジの圧縮により、 (Q 1 / QO) * (LO/L 1 ) 倍に下がることとなる。 ここで、 ダイナミックレンジ圧 縮関数 F 4は、 上に凸のべき関数などである。
一方、 第 2プロファイルデータを備える視覚処理装置 1および視覚処理装置 2 1では、 値 AZBの除算信号 RS、 すなわちシャープ信号を強調関数 F 5で強調 処理し、 DR圧縮信号 DRSに乗じている。 このため、 局所的なコントラストを 強調することになる。 ここで、 強調関数 F 5は、 図 1 8に示すようなべき関数で あり (F 5 (X) =χ Λ Of) 、 除算信号 RSの値が 1より大きいときに明るい方 に強調を行い、 1より小さいときに暗い方向に強調を行う。 一般に、 人間の視覚は、 局所コントラストを維持すれば、 全体的なコントラス 卜が低下していても同じコントラストに見える性質がある。 これにより、 第 2プ 口ファイルデータを備える視覚処理装置 1および視覚処理装置 21では、 ダイナ ミックレンジの圧縮を行いつつ、 視覚的にはコントラストを低下させない視覚処 理を実現することが可能となる。
( i i )
さらに具体的に本発明の効果を説明する。
ダイナミックレンジ圧縮関数 F4は、 F4 (χ) =χ Λ (例えば、 = 0. 6とする) であるとする。 また、 強調関数 F 5は、 F 5 (X) =χ Λ α (例えば、 Qf = 0. 4とする) であるとする。 また、 入力信号 I Sの最大の白レベルを値 1 に正規化した場合の再現目標の黒レベルが値 1 /300であるとする。 すなわち、 入力信号 I Sのダイナミックレンジが 300 : 1であるとする。
ダイナミックレンジ圧縮関数 F4を用いて、 この入力信号 I Sのダイナミック レンジ圧縮した場合、 圧縮後のダイナミックレンジは、 F4 (1 ) : F (1 / 300) =30 : 1となる。 すなわち、 ダイナミックレンジ圧縮関数 F 4により、 ダイナミックレンジは 1 /1 0に圧縮されることとなる。
一方、 出力信号 OSの値 Cは、 上記式 M 2で表され、 G= (A Λ 0. 6) * { (Α/Β) Λ 0. 4} 、 すなわち C = AZ (B λ O. 4) である。 ここで、 局所 的な範囲では、 Bの値は一定と見なせるため、 Cは Aに比例する。 すなわち、 値 Cの変化量と値 Aの変化量との比は 1となり、 入力信号 I Sと出力信号 OSとに おいて局所的なコントラス卜は変化しないこととなる。
上記同様、 人間の視覚は、 局所コントラストを維持すれば、 全体的なコントラ ストが低下していても同じコントラストに見える性質がある。 これにより、 第 2 プロファイルデータを備える視覚処理装置 1および視覚処理装置 21では、 ダイ ナミックレンジの圧縮を行いつつ、 視覚的にはコントラストを低下させない視覚 処理を実現することが可能となる。
なお、 図 1 8に示す強調関数 F 5のべき乗数 αを 0. 4より大きくすれば、 ダ イナミックレンジの圧縮を行いつつ、 入力信号 I Sよりも出力信号 OSの見かけ のコントラス卜を上げることも可能である。 ( i i i )
本発明では、 以上の効果を実現できるため、 次の状況において特に有効である c すなわち、 物理的なダイナミックレンジの狭いディスプレイで、 暗部も明部もつ ぶれずにコントラストの高い画像を再現することが可能となる。 また例えば、 明 るい環境下のテレビプロジェクタでコントラストの高い映像を表示する、 濃度の 低いインク (薄い色しかでないプリンタ) でコントラストの高いプリントを得る ことが可能となる。
《変形例》
( i )
視覚処理装置 21では、 視覚処理部 23は、 入力信号 I Sとアンシャープ信号 USとに基づいて、 2次元 L U T 4を用いずに上記式 M2を演算するもので有つ ても良い。 この場合、 それぞれの関数 F4, F 5の計算においては、 1次元の L U Tを用いても良い。
( i i )
なお、 式 M2で求められるプロファイルデータのある要素の値 Cが C>255 となる場合には、 その要素の値 Cを 255としてもよい。
(3)
《第 3プロファイルデータ》
第 3プロファイルデータは、 入力信号 I Sとアンシャープ信号 USとの比を強 調する関数を含む演算に基づいて定められている。 これにより、 例えば、 シャ一 プ成分を強調する視覚処理などを実現することが可能となる。
以下、 具体的に説明する。
上記第 2プロファイルデータの式 M 2において、 ダイナミックレンジ圧縮関数 F4は、 比例係数 1の正比例関数であってもよい。 この場合、 第 3プロファイル データの各要素の値 C (出力信号 OSの値) は、 入力信号 I Sの値 A、 アンシャ ープ信号 USの値 B、 強調関数 F 5を用いて、 C = A* F 5 (A/B) (以下、 式 M3という) と表される。
《等価な視覚処理装置 31》
図 1 9に、 第 3プロファイルデータを 2次元 LUT 4に登録した視覚処理装置 1と等価な視覚処理装置 31を示す。.
視覚処理装置 31は、 入力信号 I Sとアンシャープ信号 USとの比を強調する 演算に基づいて出力信号 OSを出力する装置である。 これにより、 例えば、 シャ ープ成分を強調する視覚処理などを実現することが可能となる。
図 1 9に示す視覚処理装置 31は、 DR圧縮部 28を備えない点において図 1 6に示す視覚処理装置 21と相違している。 以下、 図 1 9に示す視覚処理装置 3 1において、 図 1 6に示す視覚処理装置 21と同様の動作を行う部分については 、 同じ符号を付し、 詳しい説明を省略する。
視覚処理装置 31は、 入力信号 I Sとして取得した原画像の画素ごとの輝度値 に空間処理を実行しアンシャープ信号 USを出力する空間処理部 22と、 入力信 号 I Sとアンシャープ信号 USとを用いて、 原画像の視覚処理を行い、 出力信号 OSを出力する視覚処理部 32とを備えている。
空間処理部 22は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。
視覚処理部 32は、 入力信号 I Sを第 1の入力、 アンシャープ信号 USを第 2 の入力とし、 入力信号 I Sをアンシャープ信号 USで除算した除算信号 RSを出 力する除算部 25と、 除算信号 RSを入力とし、 強調処理信号 TSを出力とする 強調処理部 26と、 入力信号 I Sを第 1の入力、 強調処理信号 TSを第 2の入力 とし、 出力信号 OSを出力する乗算部 33とを備えている。
《等価な視覚処理装置 31の作用》
視覚処理部 32の動作についてさらに説明を加える。
除算部 25および強調処理部 26は、 図 1 6に示す視覚処理装置 21について 説明したのと同様の動作を行う。
乗算部 33は、 値 Aの入力信号 I Sと値 F5 (A/B) の強調処理信号 TSと を乗算し、 値 A* F 5 (A/B) の出力信号 O Sを出力する。 ここで、 強調関数 F5は、 図 1 8に示したものと同様である。
なお、 強調関数 F 5を用いた計算は、 図 1 6に示す視覚処理装置 21について 説明したのと同様に、 それぞれの関数に対する 1次元の LUTを用いて行われて も良いし、 L U Tを用いないで行われても良い。 《効果》
第 3プロファイルデータを備える視覚処理装置 1と視覚処理装置 3 1とは、 同 様の視覚処理効果を奏する。
( i )
強調処理部 2 6では、 入力信号 I Sとアンシャープ信号 U Sとの比として表さ れるシャープ信号 (除算信号 R S ) の強調処理が行われ、 強調されたシャープ信 号が入力信号 I Sに乗算される。 入力信号 I Sとアンシャープ信号 U Sとの比と して表されるシャープ信号を強調処理することは、 対数空間における入力信号 I Sとアンシャープ信号 u sとの差分を計算することに相当する。 すなわち、 対数 的な人間の視覚特性に適した視覚処理が実現される。
( i i )
強調関数 F 5による強調量は、 入力信号 I Sが大きい場合 (明るい場合) に大 きくなリ、 小さい場合 (暗い場合) に小さくなる。 また、 明るくする方向への強 調量は、 暗くする方向への強調量より大きくなる。 このため、 視覚特性に適した 視覚処理が実現可能となり、 パランス良く自然な視覚処理が実現される。
( i i i )
なお、 式 M 3で求められるプロファイルデータのある要素の値 Cが C > 2 5 5 となる場合には、 その要素の値 Cを 2 5 5としてもよい。
( i v )
式 M 3を用いた処理では、 入力信号 I Sに対するダイナミックレンジの圧縮は 施されないが、 局所的なコントラストを強調することができ、 視覚的にダイナミ ックレンジの圧縮■伸張を行うことが可能となる。
( 4 )
《第 4プロファイルデータ》
第 4プロファイルデータは、 入力信号 I Sとアンシャープ信号 U Sとの差を入 力信号 I Sの値に応じて強調する関数を含む演算に基づいて定められている。 こ れにより、 例えば、 入力信号 I Sのシャープ成分などを入力信号 I Sの値に応じ て強調することが可能となる。 このため、 入力信号 I Sの暗部から明部まで適切 な強調を行うことが可能となる。 さらに、 第 4プロファイルデータは、 強調された値に対して、 入力信号 I Sを ダイナミックレンジ圧縮した値を加える演算に基づいて定められている。 これに より、 入力信号 I Sのシャープ成分などを入力信号 I Sの値に応じて強調しつつ, ダイナミックレンジの圧縮を行うことが可能となる。
以下、 具体的に説明する。
第 4プロファイルデータの各要素の値 C (出力信号 OSの値) は、 入力信号 Sの値 A、 アンシャープ信号 USの値 B、 強調量調整関数 F 6、 強調関数 F 7、 ダイナミックレンジ圧縮関数 F 8を用いて、 C=F 8 (A) +F6 (A) * F 7 (A— B) (以下、 式 M4という) と表される。
ここで、 強調量調整関数 F 6は、 入力信号 I Sの値に対して単調増加する関数 である。 すなわち、 入力信号 I Sの値 Aが小さい時は、 強調量調整関数 F6の値 も小さく、 入力信号 I Sの値 Aが大きい時は、 強調量調整関数 F 6の値も大きく なる。 強調関数 F7は、 図 49を用いて説明した強調関数 R 1 ~R3のいずれか の関数である。 ダイナミックレンジ圧縮関数 F 8は、 図 1 7を用いて説明したベ き関数であり、 F 8 (X) =χ Λ r (0< r< 1 ) と表される。
《等価な視覚処理装置 41》
図 20に、 第 4プロフアイルデータを 2次元 L U T 4に登録した視覚処理装置 1と等価な視覚処理装置 41を示す。
視覚処理装置 41は、 入力信号 I Sとアンシャープ信号 USとの差を入力信号 I Sの値に応じて強調する演算に基づいて出力信号 OSを出力する装置である。 これにより、 例えば、 入力信号 I Sのシャープ成分などを入力信号 I Sの値に応 じて強調することが可能となる。 このため、 入力信号 I Sの暗部から明部まで適 切な強調を行うことが可能となる。
さらに、 視覚処理装置 41は、 強調された値に対して、 入力信号 I Sをダイナ ミックレンジ圧縮した値を加える演算に基づいて出力信号 O Sを出力する。 これ により、 入力信号 I Sのシャープ成分などを入力信号 I Sの値に応じて強調しつ つ、 ダイナミックレンジの圧縮を行うことが可能となる。
図 20に示す視覚処理装置 41は、 入力信号 I Sとして取得した原画像の画素 ごとの輝度値に空間処理を実行しアンシャープ信号 USを出力する空間処理部 4 2と、 入力信号 I Sとアンシャープ信号 USとを用いて、 原画像の視覚処理を行 し、、 出力信号 OSを出力する視覚処理部 43とを備えている。
空間処理部 42は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。
視覚処理部 43は、 入力信号 I Sを第 1の入力、 アンシャープ信号 USを第 2 の入力とし、 それぞれの差分である差分信号 DSを出力する減算部 44と、 差分 信号 DSを入力とし、 強調処理信号 TSを出力する強調処理部 45と、 入力信号 I Sを入力とし、 強調量調整信号 I Gを出力する強調量調整部 46と、 強調量調 整信号 I Cを第 1の入力、 強調処理信号 TSを第 2の入力とし、 強調量調整信号 I Cと強調処理信号 TSとを乗算した乗算信号 MSを出力する乗算部 47と、 入 力信号 I Sを第 1の入力、 乗算信号 MSを第 2の入力とし、 出力信号 OSを出力 する出力処理部 48とを備えている。 出力処理部 48は、 入力信号 I Sを入力と し、 ダイナミックレンジ (DR) 圧縮された DR圧縮信号 DRSを出力する DR 圧縮部 49と、 DR圧縮信号 DRSを第 1の入力、 乗算信号 M Sを第 2の入力と し、 出力信号 OSを出力する加算部 50とを備えている。
《等価な視覚処理装置 41の作用》
視覚処理部 43の動作についてさらに説明を加える。
減算部 44は、 値 Aの入力信号 I Sと値 Bのアンシャープ信号 USとの差分を 計算し、 値 A— Bの差分信号 DSを出力する。 強調処理部 45は、 強調関数 F 7 を用いて、 値 A— Bの差分信号 DSから値 F 7 ( A— B) の強調処理信号 T Sを 出力する。 強調量調整部 46は、 強調量調整関数 F 6を用いて、 値 Aの入力信号 I Sから値 F 6 (A) の強調量調整信号 I Cを出力する。 乗算部 47は、 値 F6 (A) の強調量調整信号 I Cと値 F 7 (A-B) の強調処理信号 TSとを乗算し 、 値 F6 (A) * F 7 (A-B) の乗算信号 M Sを出力する。 DR圧縮部 49は 、 ダイナミックレンジ圧縮関数 F 8を用いて、 値 Aの入力信号 I Sから値 F 8 ( A) の D R圧縮信号 D RSを出力する。 加算部 50は、 01^圧縮信号01:¾3と、 値 F6 (A) * F 7 (A-B) の乗算信号 M Sとを加算し、 値 F8 (A) +F 6 (A) * F 7 (A-B) の出力信号 OSを出力する。
なお、 強調量調整関数 F 6、 強調関数 F 7、 ダイナミックレンジ圧縮関数 F 8 を用いた計算は、 それぞれの関数に対する 1次元の L U Tを用いて行われても良 いし、 L U Tを用いないで行われても良い。
《効果》
第 4プロファイルデータを備える視覚処理装置 1と視覚処理装置 4 1とは、 同 様の視覚処理効果を奏する。
( i )
入力信号 I Sの値 Aにより、 差分信号 D Sの強調量の調整を行う。 このため、 ダイナミックレンジ圧縮を行いつつ、 暗部から明部までの局所コントラストを維 持することが可能となる。
( i i )
強調量調整関数 F 6は、 単調増加する関数であるが、 入力信号 I Sの値 Aが大 きいほど、 関数の値の増加量が減少する関数とすることができる。 この場合、 出 力信号 O Sの値が飽和することが防止される。
( M i )
強調関数 F 7を、 図 4 9を用いて説明した強調関数 R 2とする場合、 差分信号 D Sの絶対値が大きい時の強調量を抑制することが可能となる。 このため、 鮮銳 度の高い部分での強調量が飽和することが防止され、 視覚的にも自然な視覚処理 を実行することが可能となる。
《変形例》
( i )
視覚処理装置 4 1では、 視覚処理部 4· 3は、 入力信号 I Sとアンシャープ信号 U Sとに基づいて、 2次元 L U T 4を用いずに上記式 M 4を演算するもので有つ ても良い。 この場合、 それぞれの関数 F 6〜F 8の計算においては、 :1次元の L U Tを用いても良い。
( i i )
強調関数 F 7を比例係数 1の正比例関数とする場合には、 強調処理部 4 5は、 特に設ける必要がない。
( i i i )
なお、 式 M 4で求められるプロファイルデータのある要素の値 Cが 0≤C≤ 2 55の範囲を超える場合には、 その要素の値 Cを 0又は 255としてもよい。
(5)
《第 5プロファイルデータ》
第 5プロファイルデータは、 入力信号 I Sとアンシャープ信号 USとの差を入 力信号 I Sの値に応じて強調する関数を含む演算に基づいて定められている。 こ れにより、 例えば、 入力信号 I Sのシャープ成分などを入力信号 I Sの値に応じ て強調することが可能となる。 このため、 入力信号 I Sの暗部から明部まで適切 な強調を行うことが可能となる。
以下、 具体的に説明する。
上記第 4プロファイルデータの式 M4において、 ダイナミックレンジ圧縮関数 F8は、 比例係数 1の正比例関数であってもよい。 この場合、 第 5プロファイル データの各要素の値 C (出力信号 OSの値) は、 入力信号 I Sの値 A、 アンシャ ープ信号 USの値 B、 強調量調整関数 F 6、 強調関数 F 7を用いて、 C = A+F
6 (A) * F 7 (A-B) (以下、 式 M5という) と表される。
《等価な視覚処理装置 51》
図 21に、 第 5プロファイルデータを 2次元 LUT 4に登録した視覚処理装置 1と等価な視覚処理装置 51を示す。
視覚処理装置 51は、 入力信号 I Sとアンシャープ信号 USとの差を入力信号 I Sの値に応じて強調する演算に基づいて出力信号 OSを出力する装置である。 これにより、 例えば、 入力信号 I Sのシャープ成分などを入力信号 I Sの値に応 じて強調することが可能となる。 このため、 入力信号 I sの暗部から明部まで適 切な強調を行うことが可能となる。
図 21に示す視覚処理装置 51は、 DR圧縮部 49を備えない点において図 2 0に示す視覚処理装置 41と相違している。 以下、 図 21に示す視覚処理装置 5 1において、 図 20に示す視覚処理装置 41と同様の動作を行う部分については 、 同じ符号を付し、 詳しい説明を省略する。
視覚処理装置 51は、 入力信号 I Sとして取得した原画像の画素ごとの輝度値 に空間処理を実行しアンシャープ信号 U Sを出力する空間処理部 42と、 入力信 号 I Sとアンシャープ信号 USとを用いて、 原画像の視覚処理を行い、 出力信号 OSを出力する視覚処理部 52とを備えている。
空間処理部 42は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。
視覚処理部 52は、 入力信号 I Sを第 1の入力、 アンシャープ信号 USを第 2 の入力とし、 それぞれの差分である差分信号 DSを出力する減算部 44と、 差分 信号 D Sを入力とし、 強調処理信号 T Sを出力する強調処理部 45と、 入力信号 I Sを入力とし、 強調量調整信号 I Cを出力する強調量調整部 46と、 強調量調 整信号 I Gを第 1の入力、 強調処理信号 TSを第 2の入力とし、 強調量調整信号 I Cと強調処理信号 TSとを乗算した乗算信号 MSを出力する乗算部 47と、 入 力信号 I Sを第 1の入力、 乗算信号 MSを第 2の入力とし、 出力信号 OSを出力 する加算部 53とを備えている。
《等価な視覚処理装置 51の作用》
視覚処理部 52の動作についてさらに説明を加える。
減算部 44、 強調処理部 45、 強調量調整部 46および乗算部 47は、 図 20 に示す視覚処理装置 41について説明したのと同様の動作を行う。
加算部 53は、 値 Aの入力信号 I Sと、 値 F6 (A) * F 7 (A-B) の乗算 信号 MSとを加算し、 値 A+F6 (A) * F 7 (A-B) の出力信号 OSを出力 する。
なお、 強調量調整関数 F 6、 強調関数 F 7を用いた計算は、 図 20に示す視覚 処理装置 41について説明したのと同様に、 それぞれの関数に対する 1次元の L UTを用いて行われても良いし、 L U Tを用いないで行われても良い。
《効果》
第 5プロファイルデータを備える視覚処理装置 1と視覚処理装置 51とは、 同 様の視覚処理効果を奏する。 また、 第 4プロファイルデータを備える視覚処理装 置 1および視覚処理装置 41が奏する効果と、 ほぼ同様の視覚処理効果を奏する
( i )
入力信号 I Sの値 Aにより、 差 信号 DSの強調量の調整を行う。 このため、 暗部から明部までのコントラス卜の強調量を均一にすることが可能となる。 《変形例》 .
( i )
強調関数 F 7を比例係数 1の正比例関数とする場合には、 強調処理部 45は、 特に設ける必要がない。
( i i )
なお、 式 M 5で求められるプロファイルデータのある要素の値 Cが 0≤C≤ 2 55の範囲を超える場合には、 その要素の値 Cを 0又は 255としてもよい。
(6)
《第 6プロファイルデータ》
第 6プロファイルデータは、 入力信号 I Sとアンシャープ信号 USとの差を強 調した値に対して、 入力信号 I Sの値を加えた値を階調補正する演算に基づいて 定められている。 これにより、 例えば、 シャープ成分が強調された入力信号 I S に対して、 階調補正を行う視覚処理を実現することが可能となる。
以下、 具体的に説明する。
第 6プロファイルデータの各要素の値 C (出力信号 OSの値) は、 入力信号 I Sの値 A、 アンシャープ信号 USの値 B、 強調関数 F 9、 階調補正関数 F 1 0を 用いて、 C=F 1 0 (A+F 9 (A— B) ) (以下、 式 M6という) と表される。
ここで、 強調関数 F 9は、 図 49を用いて説明した強調関数 R1〜R3のいず れかの関数である。 階調補正関数 F 1 0は、 例えば、 ガンマ補正関数、 S字型の 階調補正関数、 逆 S字型の階調補正関数など、 通常の階調補正で用いられる関数 である。
《等価な視覚処理装置 61》
図 22に、 第 6プロファイルデータを 2次元 LUT4に登録した視覚処理装置 1と等価な視覚処理装置 61を示す。
視覚処理装置 61は、 入力信号 I Sとアンシャープ信号 USとの差を強調した 値に対して、 入力信号 I Sの値を加えた値を階調補正する演算に基づいて、 出力 信号 OSを出力する装置である。 これにより、 例えば、 シャープ成分が強調され た入力信号 I Sに対して、 階調補正を行う視覚処理を実現することが可能となる。 図 22に示す視覚処理装置 61は、 入力信号 I Sとして取得した原画像の画素 ごとの輝度値に空間処理を実行しアンシャープ信号 USを出力する空間処理部 6 2と、 入力信号 I Sとアンシャープ信号 USとを用いて、 原画像の視覚処理を行 い、 出力信号 OSを出力する視覚処理部 63とを備えている。
空間処理部 62は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。
視覚処理部 63は、 入力信号 I Sを第 1の入力、 アンシャープ信号 USを第 2 の入力とし、 それぞれの差分である差分信号 DSを出力する減算部 64と、 差分 信号 D Sを入力とし強調処理された強調処理信号 T Sを出力する強調処理部 65 と、 入力信号 I Sを第 1の入力、 強調処理信号 TSを第 2の入力とし、 それぞれ を加算した加算信号 PSを出力する加算部 66と、 加算信号 PSを入力とし出力 信号 OSを出力する階調補正部 67とを備えている。
《等価な視覚処理装置 61の作用》
視覚処理部 63の動作についてさらに説明を加える。
減算部 64は、 値 Aの入力信号 I と、 値 Bのアンシャープ信号 USとの差分 を計算し、 値 A— Bの差分信号 DSを出力する。 強調処理部 65は、 強調関数 F 9を用いて、 値 A— Bの差分信号 DSから値 F 9 (A-B) の強調処理信号 TS を出力する。 加算部 66は、 値 Aの入力信号 I Sと、 値 F 9 (A-B) の強調処 理信号 TSとを加算し、 値 A+F9 (A-B) の加算信号 PSを出力する。 階調 補疋部67は、 階調補正関数 F 1 0を用いて、 値 A+F 9 (A-B) の加算信号 PSから、 値 F 1 0 (A+F 9 (A— B) ) の出力信号 O Sを出力する。
なお、 強調関数 F 9、 階調補正関数 F 1 0を用いた計算は、 それぞれの関数に 対する 1次元の L U Tを用いて行われても良いし、 L U Tを用いないで行われて も良い。
《効果》
第 6プロファイルデータを備える視覚処理装置 1 と視覚処理装置 61とは、 同 様の視覚処理効果を奏する。
( i )
差分信号 DSは、 強調関数 F 9により強調処理され、 入力信号 I Sに加算され る。 このため、 入力信号 I Sのコントラストを強調することが可能となる。 さら に、 階調補正部 67は、 加算信号 PSの階調補正処理を実行する。 このため、 例 えば、 原画像における出現頻度の高い中間調でさらにコントラス卜を強調するこ とが可能となる。 また、 例えば、 加算信号 PS全体を明るくすることが可能とな る。 以上により、 空間処理と階調処理とを同時に組み合わせて実現することが可 能となる。
《変形例》
( i )
視覚処理装置 61では、 視覚処理部 63は、 入力信号 I Sとアンシャープ信号 U Sとに基づいて、 2次元 L U T 4を用いずに上記式 M 6を演算するもので有つ ても良い。 この場合、 それぞれの関数 F 9, F 1 0の計算においては、 1次元の L U Tを用いても良い。
( > i )
なお、 式 M 6で求められるプロファイルデータのある要素の値 Cが 0≤C≤ 2 55の範囲を超える場合には、 その要素の値 Cを 0又は 255としてもよい。
(7)
《第 7プロファイルデータ》
第 7プロファイルデータは、 入力信号 I Sとアンシャープ信号 USとの差を強 調した値に対して、 入力信号 I Sを階調補正した値を加える演算に基づいて定め られている。 ここで、 シャープ成分の強調と入力信号 I Sの階調補正とは独立し て行われる。 このため、 入力信号 I Sの階調補正量にかかわらず、 一定のシヤー プ成分の強調を行うことが可能となる。
以下、 具体的に説明する。
第 7プロファイルデータの各要素の値 C (出力信号 OSの値) は、 入力信号 I Sの値 A、 アンシャープ信号 USの値 B、 強調関数 F 1 1、 階調補正関数 F 1 2 に対して、 C=F 1 2 (A) + F 1 1 (A— B) (以下、 式 M7という) と表さ れる。
ここで、 強調関数 F 1 1は、 図 49を用いて説明した強調関数 R1 ~R3のい ずれかの関数である。 階調補正関^ F 1 2は、 例えば、 ガンマ補正関数、 S字型 の階調補正関数、 逆 S字型の階調補正関数などである。 《等価な視覚処理装置 71》 - 図 23に、 第 7プロフアイルデータを 2次元 L U T 4に登録した視覚処理装置 1と等価な視覚処理装置 71を示す。
視覚処理装置 71は、 入力信号 I Sとアンシャープ信号 USとの差を強調した 値に対して、 入力信号 I Sを階調補正した値を加える演算に基づいて出力信号 O Sを出力する装置である。 ここで、 シャープ成分の強調と入力信号 I Sの階調補 正とは独立して行われる。 このため、 入力信号 I Sの階調補正量にかかわらず、 一定のシヤープ成分の強調を行うことが可能となる。
図 23に示す視覚処理装置 71は、 入力信号 I Sとして取得した原画像の画素 ごとの輝度値に空間処理を実行しアンシャープ信号 USを出力する空間処理部 7 2と、 入力信号 I Sとアンシャープ信号 USとを用いて、 原画像の視覚処理を行 し、、 出力信号 OSを出力する視覚処理部 73とを備えている。
空間処理部 72は、 視覚処理装置 1が備える空間処理部 2と同様の動作を行う ため、 説明を省略する。
視覚処理部 73は、 入力信号 I Sを第 1の入力、 アンシャープ信号 USを第 2 の入力とし、 それぞれの差分である差分信号 DSを出力する減算部 74と、 差分 信号 DSを入力とし強調処理された強調処理信号 TSを出力する強調処理部 75 と、 入力信号 I Sを入力とし、 階調補正された階調補正信号 GCを出力する階調 補正部 76と、 階調補正信号 GCを第 1の入力、 強調処理信号 TSを第 2の入力 とし、 出力信号 OSを出力する加算部 77とを備えている。
《等価な視覚処理装置 71の作用》
視覚処理部 73の動作についてさらに説明を加える。
減算部 74は、 値 Aの入力信号 I Sと、 値 Bのアンシャープ信号 USとの差分 を計算し、 値 A— Bの差分信号 DSを出力する。 強調処理部 75は、 強調関数 F 1 1を用いて、 値 A— Bの差分信号 DSから値 F 1 1 (A— B) の強調処理信号 TSを出力する。 階調補正部 76は、 階調補正関数 F 1 2を用いて、 値 Aの入力 信号 I Sから値 F 1 2 (A) の階調補正信号 GCを出力する。 加算部 77は、 値 F 1 2 (A) の階調補正信号 GCと、 値 F 1 1 (A— B) の強調処理信号 TSと を加算し、 値 F 1 2 (A) +F 1 1 (A-B) の出力信号 O Sを出力する。 なお、 強調関数 F 1 1、 階調補正関数 F 1 2を用いた計算は、 それぞれの関数 に対する 1次元の L U Tを用いて行われても良いし、 L U Tを用いないで行われ ても良い。
《効果》
第 7プロファイルデータを備える視覚処理装置 1と視覚処理装置 71とは、 同 様の視覚処理効果を奏する。
( i )
入力信号 I Sは、 階調補正部 76により階調補正された後、 強調処理信号 TS と加算される。 このため、 階調補正関数 F 1 2の階調変化の少ない領域、 すなわ ちコントラストが低下される領域においても、 その後の強調処理信号 T Sの加算 により、 局所コントラストを強調することが可能となる。
《変形例》
( i )
視覚処理装置 71では、 視覚処理部 73は、 入力信号 I Sとアンシャープ信号 USとに基づいて、 2次元 L U T 4を用いずに上記式 M 7を演算するもので有つ ても良い。 この場合、 それぞれの関数 F 1 1, F 1 2の計算においては、 1次元 の LUTを用いても良い。
( i i )
なお、 式 M 7で求められるプロファイルデータのある要素の値 Cが 0≤C≤ 2 55の範囲を超える場合には、 その要素の値 Cを 0又は 255としてもよい。
(8)
《第 1〜第 7プロファイルデータの変形例》
( i )
上記 (1 ) ~ (7) において、 第 1〜第 7プロファイルデータの各要素は、 式 M1 ~M7に基づいて計算された値を格納すると説明した。 また、 それぞれのプ 口ファイルデータでは、 式 M 1〜M 7により算出される値がプロファイルデータ が格納可能な値の範囲を超える場合には、 その要素の値を制限しても良いと説明 した。
さらに プロファイルデータでは、 一部の値については、 任意であっても良い 。 例えば、 暗い夜景の中にある小さし >明かりの部分など (夜景の中にあるネオン 部分など) 、 入力信号 I Sの値は大きいが、 アンシャープ信号 U Sの値は小さい 場合、 視覚処理された入力信号 I Sの値が画質に与える影響は小さい。 このよう に、 視覚処理後の値が画質に与える影響が小さい部分では、 プロファイルデータ が格納する値は、 式 M l ~ M 7により算出される値の近似値、 あるいは任意の値 であっても良い。
プロファイルデータが格納する値が、 式 M l ~ M 7により算出される値の近似 値、 あるいは任意の値となる場合にも、 同じ値の入力信号 I Sとアンシャープ信 号 U Sとに対して格納されている値は、 入力信号 I Sとアンシャープ信号 U Sと の値に対して、 単調増加、 あるいは単調減少する関係を維持していることが望ま しい。 式 M■!〜 M 7等に基づいて作成されたプロファイルデータにおいて、 同じ 値の入力信号 I Sとアンシャープ信号 U Sとに対するプロファイルデータが格納 する値は、 プロファイルデータの特性の概要を示している。 このため、 2次元 L U Tの特性を維持するために、 上記関係を維持した状態でプロファイルデータの チューニングを行うことが望ましい。
[第 2実施形態]
図 2 4〜図 3 9を用いて、 本発明の第 2実施形態としての視覚処理装置 6 0 0 について説明する。
視覚処理装置 6 0 0は、 画像信号 (入力信号 I S ) に視覚処理を行い視覚処理 画像 (出力信号 O S ) を出力する視覚処理装置であり、 出力信号 O Sを表示する 表示装置 (図示しない) が設置される環境 (以下、 表示環境という。 ) に応じた 視覚処理を行う装置である。
具体的には、 視覚処理装置 6 0 0は、 表示環境の環境光の影響による表示画像 の 「視覚的なコントラスト」 の低下を、 人間の視覚特性を利用した視覚処理によ リ改善する装置である。
視覚処理装置 6 0 0は、 例えば、 コンピュータ、 テレビ、 デジタルカメラ、 携 帯電話、 P D A、 プリンタ、 スキャナなどの画像を取り扱う機器において、 画像 信号の色処理を行う装置とともに画像処理装置を構成する。
〈視覚処理装置 6 0 0〉 図 24に、 視覚処理装置 600の基本構成を示す。
視覚処理装置 600は、 目標コントラスト変換部 601 と、 変換信号処理部 6 02と、 実コントラスト変換部 603と、 目標コントラスト設定部 604と、 実 コントラス卜設定部 605とから構成されている。
目標コントラスト変換部 601は、 入力信号 I Sを第 1の入力、 目標コントラ ス卜設定部 604において設定された目標コントラスト C 1 を第 2の入力とし、 目標コントラスト信号 J Sを出力とする。 なお、 目標コントラスト C 1の定義に ついては、 後述する。
変換信号処理部 602は、 目標コントラスト信号 J Sを第 1の入力、 目標コン トラスト C 1 を第 2の入力、 実コントラスト設定部 605において設定された実 コントラスト C 2を第 3の入力とし、 視覚処理された目標コントラスト信号 J S である視覚処理信号 KSを出力とする。 なお、 実コントラスト C 2の定義につい ては、 後述する。
実コントラスト変換部 603は、 視覚処理信号 KSを第 1の入力、 実コントラ スト C2を第 2の入力とし、 出力信号 OSを出力とする。
目標コントラス卜設定部 604および実コントラス卜設定部 605は、 ユーザ に対して目標コントラスト C 1および実コントラス卜 C 2の値を入力インタ一フ ェイスなどを介して設定させる。
以下、 各部の詳細について説明する。
〈目標コントラスト変換部 601〉
目標コントラスト変換部 601は、 視覚処理装置 600に入力された入力信号 I Sを、 コントラスト表現に適した目標コントラスト信号 J Sに変換する。 ここ で、 入力信号 I Sでは、 視覚処理装置 600に入力される画像の輝度値が値 [0 . 0〜1. 0] の階調で表されている。
目標コントラスト変換部 601は、 目標コントラスト C 1 (値 [m] ) を用い て、 入力信号 I S (値 [P] ) を 「式 M20J により変換し、 目標コントラス卜 信号 J S (値 [A] ) を出力する。 ここで、 式 M20は、 A= { (m- 1 ) /m } * P+ 1 Zmである。
目標コントラスト C Iの値 [m] は、 表示装置により表示される表示画像が最 もコントラスト良く見えるようなコントラスト値として設定される。
ここで、 コントラスト値とは、 画像の黒レベルに対する白レベルの明度比とし て表される値であり、 黒レベルを 1とした場合の白レベルの輝度値を示している (黒レベル:白レベル = 1 : m) 。
目標コントラスト C 1の値 [m] は、 1 0 0〜 "! 0 0 0 (黒レベル:白レベル = 1 : 1 0 0〜1 : 1 0 0 0 ) 程度に設定されるのが適切であるが、 表示装置が 表示可能な黒レベルに対する白レベルの明度比に基づいて決定してもよい。
図 2 5を用いて、 式 M 2 0による変換をさらに詳しく説明する。 図 2 5は、 入 力信号 I Sの値 (横軸) と目標コントラスト信号 J Sの値 (縦軸) との関係を示 すグラフである。 図 2 5が示すように、 目標コントラスト変換部 6 0 1により、 値 [ 0 . 0 ~ 1 . 0 ] の範囲の入力信号 I Sが値 [ 1 Zm~ 1 . 0 ] の範囲の目 標コントラスト信号 J Sに変換される。
〈変換信号処理部 6 0 2〉
図 2 4を用いて、 変換信号処理部 6 0 2の詳細について説明する。
変換信号処理部 6 0 2は、 入力される目標コントラスト信号 J Sの局所的なコ ントラストを維持しつつ、 ダイナミックレンジを圧縮し、 視覚処理信号 K Sを出 力する。 具体的には、 変換信号処理部 6 0 2は、 第 1実施形態で示した視覚処理 装置 2 1における入力信号 I S (図 1 6参照) を目標コントラスト信号 J Sと見 なし、 出力信号 O S (図 1 6参照) を視覚処理信号 K Sと見なしたのと同様の構 成.作用■効果を有している。
変換信号処理部 6 0 2は、 目標コントラスト信号 J Sとアンシャープ信号 U S との比を強調する演算に基づいて視覚処理信号 K Sを出力する。 これにより、 例 えば、 シャープ成分を強調する視覚処理などを実現することが可能となる。
さらに、 変換信号処理部 6 0 2は、 強調された目標コントラスト信号 J Sとァ ンシャープ信号 U Sとの比に対してダイナミックレンジ圧縮を行う演算に基づい て視覚処理信号 K Sを出力する。 これにより、 例えば、 シャープ成分を強調しつ つ、 ダイナミックレンジの圧縮を行う視覚処理などを実現することが可能となる。
《変換信号処理部 6 0 2の構 》
変換信号処理部 6 0 2は、 目標コントラス卜信号 J Sにおける画素ごとの輝度 値に空間処理を実行しアンシャープ信号 USを出力する空間処理部 622と、 目 標コントラスト信号 J Sとアンシャープ信号 USとを用いて、 目標コントラス卜 信号 J Sに対する視覚処理を行い、 視覚処理信号 KSを出力する視覚処理部 62 3とを備えている。
空間処理部 622は、 視覚処理装置 1 (図 1参照) が備える空間処理部 2と同 様の動作を行うため、 詳しい説明を省略する。
視覚処理部 623は、 除算部 625と、 強調処理部 626と、 り 圧縮部62 8および乗算部 629を有する出力処理部 627とを備えている。
除算部 625は、 目標コントラスト信号 J Sを第 1の入力、 アンシャープ信号 USを第 2の入力とし、 目標コントラスト信号 J Sをアンシャープ信号 USで除 算した除算信号 RSを出力する。 強調処理部 626は、 除算信号 RSを第 1の入 力、 目標コントラスト C 1を第 2の入力、 実コントラスト C2を第 3の入力とし、 強調処理信号 T Sを出力する。
出力処理部 627は、 目標コントラスト信号 J Sを第 1の入力、 強調処理信号 TSを第 2の入力、 目標コントラスト C 1を第 3の入力、 実コントラスト C2を 第 4の入力とし、 視覚処理信号 KSを出力する。 DR圧縮部 628は、 目標コン トラスト信号 J Sを第 1の入力、 目標コントラスト C 1を第 2の入力、 実コント ラスト C 2を第 3の入力とし、 ダイナミックレンジ (DR) 圧縮された DR圧縮 信号 DRSを出力する。 乗算部 629は、 DR圧縮信号 DRSを第 1の入力、 強 調処理信号 TSを第 2の入力とし、 視覚処理信号 KSを出力する。
《変換信号処理部 602の作用》
変換信号処理部 602は、 目標コントラスト C 1 (値 [m] ) および実コント ラスト C2 (値 [n] ) を用いて、 目標コントラス卜信号 J S (値 [A] ) を Γ 式 M2」 により変換し、 視覚処理信号 KS (値 [C] ) を出力する。 ここで、 式 M2は、 ダイナミックレンジ圧縮関数 F4と強調関数 F5とを用いて、 C=F4 (A) * F5 (A/B) とあらわされる。 なお、 値 [B] は、 目標コントラスト 信号 J Sを空間処理したアンシヤープ信号 U Sの値である。
ダイナミックレンジ圧縮関数 F 4は、 上に凸の単調増加関数である 「べき関数 J であり、 F4 (X ) =χ Λ と表される。 ダイナミックレンジ圧縮関数 F 4の 指数 rは、 常用対数を用いて、 = I. O g (n) / I o g (m) と表される。 強 調関数 F 5は、 「べき関数」 であり、 F 5 ( X ) = x (1 -r) と表される。 以下、 式 M 2と変換信号処理部 602の各部の動作との関係について説明を加 える。
空間処理部 622は、 値 [A] の目標コントラス卜信号 J Sに対して空間処理 を行い、 値 [B] のアンシャープ信号 USを出力する。
除算部 625は、 値 [A] の目標コントラス卜信号 J Sを値 [B] のアンシャ ープ信号 USで除算し、 値 [A/B] の除算信号 RSを出力する。 強調処理部 6 26は、 強調関数 F5を用いて、 値 [A/B] の除算信号 RSから値 [F 5 (A /B) ] の強調処理信号 TSを出力する。 DR圧縮部 628は、 ダイナミックレ ンジ圧縮関数 F4を用いて、 値 [A] の目標コントラスト信号 J Sから値 [F4 (A) ] の DR圧縮信号 DRSを出力する。 乗算部 629は、 値 [F4 (A) ] の DR圧縮信号 DRSと値 [F 5 (A/B) ] の強調処理信号 T Sとを乗算し、 値 [F4 (A) * F 5 (A/B) ] の視覚処理信号 K Sを出力する。
なお、 ダイナミックレンジ圧縮関数 F4、 強調関数 F 5を用いた計算は、 それ ぞれの関数に対する 1次元の LUTを用いて行われても良いし、 LUTを用いな いで行われても良い。
《変換信号処理部 602の効果》
視覚処理信号 K Sにおける視覚的なダイナミックレンジは、 ダイナミックレン ジ圧縮関数 F 4の値により決定される。
図 26を用いて、 式 M2による変換をさらに詳しく説明する。 図 26は、 目標 コントラスト信号 J Sの値 (横軸) と、 目標コントラスト信号 J Sにダイナミツ クレンジ圧縮関数 F 4を適用した値 (縦軸) との関係を示すグラフである。 図 2 6が示すように、 目標コントラスト信号 J Sのダイナミックレンジは、 ダイナミ ックレンジ圧縮関数 F4により圧縮される。 より詳しくは、 ダイナミックレンジ 圧縮関数 F 4により、 値 [1 Zm~1. 0] の範囲の目標コントラスト信号 J S は、 値 [1 /n〜1. 0] の範囲に変換される。 この結果、 視覚処理信号 KSに おける視覚的なダイナミックレンジは、 i Zn (最小値:最大値 =1 : n) へと 圧縮される。 ここで、 実コントラスト C 2について説明する。 実コントラスト C 2の値 [n ] は、 表示環境の環境光のもとでの表示画像の視覚的なコントラスト値として設 定されている。 すなわち、 実コントラスト C2の値 [n] は、 目標コントラスト G 1の値 [m] を、 表示環境の環境光の輝度による影響分だけ低下させた値とし て決定することができる。
このようにして設定された実コントラスト C2の値 [n] を用いているため、 式 M2により目標コントラスト信号 J Sのダイナミックレンジは、 1 : mから 1 : nへと圧縮されることとなる。 なお、 ここで 「ダイナミックレンジ」 とは、 信 号の最小値と最大値との比を意味している。
—方、 視覚処理信号 KSにおける局所的なコントラストの変化は、 目標コント ラスト信号 J Sの値 [A] と視覚処理信号 KSの値 [C] との変換の前後におけ る変化量の比として表される。 ここで、 局所的すなわち狭い範囲におけるアンシ ヤープ信号 USの値 [B] は一定と見なせる。 このため、 式 M 2における値 Cの 変化量と値 Aの変化量との比は 1となり、 目標コントラスト信号 J Sと視覚処理 信号 KSとの局所的なコントラストは変化しないこととなる。
人間の視覚は、 局所コントラストを維持すれば、 全体的なコントラストが低下 していても同じコントラストに見える性質がある。 このため、 変換信号処理部 6 02では、 目標コントラス卜信号 J Sのダイナミックレンジの圧縮を行いつつ、 視覚的なコントラストを低下させない視覚処理を実現することが可能となる。
〈実コントラスト変換部 603〉
図 24を用いて、 実コントラスト変換部 603の詳細について説明する。
実コントラスト変換部 603は、 視覚処理信号 KSを、 表示装置 (図示しない ) に入力可能な範囲の画像データに変換する。 表示装置に入力可能な範囲の画像 データとは、 例えば、 画像の輝度値を、 値 [0. 0〜1. 0] の階調で表した画 像データ ある。
実コントラスト変換部 603は、 実コントラスト C2 (値 [n] ) を用いて、 視覚処理信号 KS (値 [C] ) を 「式 M21」 により変換し、 出力信号 OS (値 [Q] ) を出力する。 ここで、 式 M21は、 Q= {n/ (n - 1 ) } *C一 {1 / (n-1 ) } である。 図 27を用いて、 式 M21による変換をさらに詳しく説明する。 図 27は、 視 覚処理信号 KSの値 (横軸) と出力信号 OSの値 (縦軸) との関係を示すグラフ である。 図 27が示すように、 実コントラスト変換部 603により、 値 [i Zn ~1. 0] の範囲の視覚処理信号 KSが値 [0. 0~1. 0] の範囲の出力信号 OSに変換される。 ここで、 それぞれの視覚処理信号 KSの値に対して、 出力信 号 OSの値は減少することとなる。 この減少分は、 表示画像の各輝度が環境光か ら受ける影響に相当している。
なお、 実コントラスト変換部 603では、 値 [1 /n] 以下の視覚処理信号 K Sが入力される場合には、 出力信号 OSは、 値 [0] に変換される。 また、 実コ ントラスト変換部 603では、 値 [1 ] 以上の視覚処理信号 KSが入力される場 合には、 出力信号 OSは、 値 [1 ] に変換される。
〈視覚処理装置 600の効果〉
視覚処理装置 600は、 第 1実施形態で説明した視覚処理装置 21と同様の効 果を奏する。 以下、 視覚処理装置 600に特徴的な効果を記載する。
( i )
視覚処理装置 600の出力信号 OSを表示する表示環境に環境光が存在する場 合、 出力信号 OSは、 環境光の影響を受けて視覚される。 しかし、 出力信号 OS は、 実コントラスト変換部 603により、 環境光の影響を補正する処理が施され た信号である。 すなわち、 環境光の存在する表示環境のもとでは、 表示装置に表 示された出力信号 OSは、 視覚処理信号 KSの特性を持つ表示画像として視覚さ れる。
視覚処理信号 KSの特性とは、 第 1実施形態で説明した視覚処理装置 21の出 力信号 OS (図 1 6参照) などと同様に、 局所的なコントラストを維持しつつ画 像全体のダイナミックレンジが圧縮されている、 というものである。 すなわち、 視覚処理信号 KSは、 局所的には表示画像が最適に表示される目標コントラスト G 1を維持しつつ、 環境光の影響下において表示可能なダイナミックレンジ (実 コントラスト C 2に相当) に圧縮された信号となっている。
このため、 視覚処理装置 600では、 環境光の存在によって低下するコントラ ス卜の補正を行いつつ、 視覚特性を利用した処理により視覚的なコントラストを 維持することが可能となる。
〈視覚処理方法〉
図 28を用いて、 上記視覚処理装置 600と同様の効果を奏する視覚処理方法 を説明する。 なお、 それぞれのステップの具体的な処理は、 上記視覚処理装置 6 00における処理と同様であるため、 説明を省略する。
図 28に示す視覚処理方法では、 まず、 設定された目標コントラスト C 1およ ぴ実コントラスト C 2が取得される (ステップ S601 ) 。 次に、 取得された目 標コントラスト C 1を用いて、 入力信号 I Sに対する変換が行われ (ステップ S 602) 、 目標コントラスト信号 J Sが出力される。 次に、 目標コントラスト信 号 J Sに対して空間処理が行われ (ステップ S 603) 、 アンシャープ信号 US が出力される。 次に、 目標コントラスト信号 J Sがアンシャープ信号 USにより 除算され (ステップ S 604) 、 除算信号 RSが出力される。 除算信号 RSは、 目標コントラス卜 C 1および実コン ラスト C2によリ決定される指数を持つ 「べき関数」 である強調関数 F 5により強調され (ステップ S605) 、 強調処 理信号 TSが出力される。 一方、 目標コントラスト信号 J Sは、 目標コントラス ト C 1および実コントラスト C2により決定される指数を持つ 「べき関数」 であ るダイナミックレンジ圧縮関数 F 4によリダイナミックレンジ圧縮され (ステツ プ S606) 、 D R圧縮信号 D RSが出力される。 次に、 ステップ S 605によ リ出力された強調処理信号 TSとステップ S 606により出力された DR圧縮信 号 DRSは、 乗算され (ステップ S 607) 、 視覚処理信号 K Sが出力される。 次に、 実コントラスト C2を用いて、 視覚処理信号 KSに対する変換が行われ
(ステップ S 608) 、 出力信号 OSが出力される。 入力信号 I Sのすベての画 素についてステップ S 602〜ステップ S 608の処理が繰り返される (ステツ プ S 609) 。
図 28に示す視覚処理方法のそれぞれのステップは、 視覚処理装置 600やそ の他のコンピュータなどにおいて、 視覚処理プログラムとして実現されるもので あっても良い。 また、 ステップ S 604〜ステップ S 607までの処理は、 式 M 2を計算することによリー度に行 れるものであってもかまわない。
〈変形例〉 本発明はかかる上記実施形態に限定されるものではなく、 本発明の範囲を逸脱 することなく種々の変形又は修正が可能である。
( i ) 式 M 2—強調関数 F 5を備えない場合一
上記実施形態では、 変換信号処理部 602は、 式 M 2に基づいて視覚処理信号 KSを出力すると記載した。 ここで、 変換信号処理部 602は、 ダイナミックレ ンジ強調関数 F 4のみに基づいて視覚処理信号 KSを出力するものであってもよ い。 この場合、 変形例としての変換信号処理部 602では、 空間処理部 622、 除算部 625、 強調処理部 626、 乗算部 629を備える必要がなく、 D R圧縮 部 628のみを備えていればよい。 '
変形例としての変換信号処理部 602では、 環境光の影響下において表示可能 なダイナミックレンジに圧縮された視覚処理信号 K Sを出力することが可能とな る。
( i i ) 強調関数 F 5—指数 'その他の変形例一
上記実施形態では、 強調関数 F 5は、 「べき関数 j であり、 F 5 (X ) = χ Λ (1 -r) と表される、 と記載した。 ここで、 強調関数 F 5の指数は、 目標コン 卜ラスト信号 J Sの値 [A] またはアンシャープ信号 U Sの値 [B] の関数であ つてもよい。
以下、 具体例 《1》 〜 《6》 を示す。
《1〉〉
強調関数 F 5の指数は、 目標コントラスト信号 J Sの値 [A] の関数であって 、 目標コントラス卜信号 J Sの値 [A] がアンシャープ信号 USの値 [B] より も大きい場合に、 単調減少する関数である。 より具体的には、 強調関数 F 5の指 数は、 M (A) * (1 - Ύ) と表され、 関数 (A) は、 図 29に示すよう に目標コントラスト信号 J Sの値 [A] に対して単調減少する関数である。 なお 、 関数 QM (A) の最大値は、 [1. 0] となっている。
この場合、 強調関数 F 5により高輝度部の局所コントラス卜の強調量が少なく なる。 このため、 着目画素の輝度が周囲画素の輝度よりも高い場合に、 高輝度部 の局所コントラストの強調過多が押制される。 すなわち、 着目画素の輝度値が高 輝度へと飽和し、 いわゆる白飛びの状態になることが抑制される。 《2》 .
強調関数 F 5の指数は、 目標コントラスト信号 J Sの値 [A] の関数であって 、 目標コントラスト信号 J Sの値 [A] がアンシャープ信号 USの値 [B] より も小さい場合に、 単調増加する関数である。 より具体的には、 強調関数 F 5の指 数は、 a2 (A) * (1 -r) と表され、 関数 2 (A) は、 図 30に示すよう に目標コントラスト信号 J Sの値 [A] に対して単調増加する関数である。 なお 、 関数 Qf 2 (A) の最大値は、 [1. 0] となっている。
この場合、 強調関数 F 5により低輝度部の局所コントラス卜の強調量が少なく なる。 このため、 着目画素の輝度が周囲画素の輝度よりも低い場合に、 低輝度部 の局所コントラストの強調過多が抑制される。 すなわち、 着目画素の輝度値が低 輝度へと飽和し、 いわゆる黒潰れの状態になることが抑制される。
《3》
強調関数 F 5の指数は、 目標コントラスト信号 J Sの値 [A] の関数であって 、 目標コントラスト信号 J Sの値 [A] がアンシャープ信号 USの値 [B] より も大きい場合に、 単調増加する関数である。 より具体的には、 強調関数 F 5の指 数は、 3 (A) * (1 -r) と表され、 関数 α3 (Α) は、 図 31に示すよう に目標コントラスト信号 J Sの値 [A] に対して単調増加する関数である。 なお 、 関数 Qf 3 (Α) の最大値は、 [1. 0] となっている。
この場合、 強調関数 F 5により低輝度部の局所コントラス卜の強調量が少なく なる。 このため、 着目画素の輝度が周囲画素の輝度よりも高い場合に、 低輝度部 の局所コントラス卜の強調過多が抑制される。 画像中の低輝度部は、 信号レベル が小さいため、 相対的にノイズの割合が高くなつているが、 このような処理を行 うことで、 SN比の劣化を抑制することが可能となる。 強調関数 F5の指数は、 目標コントラスト信号 J Sの値 [A] とアンシャープ 信号 USの値 [B] との関数であって、 値 [A] と値 [B] との差の絶対値に対 して単調減少する関数である。 言い換えれば、 強調関数 F 5の指数は、 値 [A] と値 [B] との比が 1に近い程増加する関数であるとも言える。 より具体的には 、 強調関数 F5の指数は、 QT 4 (A, B) * (1 -r) と表され、 関数 Qf 4 (A , B) は、 図 32に示すように値 [A— B] の絶対値に対して単調減少する関数 である。
この場合、 周囲画素との明暗差が小さい着目画素における局所的なコントラス トを特に強調し、 周囲画素との明暗差が大きい着目画素における局所的なコント ラス卜の強調を抑制するということが可能となる。
《5》
上記《1》 ~ 《4》 の強調関数 F 5の演算結果には、 上限あるいは下限が設け られていてもよい。 具体的には、 値 [F5 (A/B) ] が所定の上限値を超える 場合には、 強調関数 F 5の演算結果として所定の上限値が採用される。 また、 値 [F 5 (A/B) ] が所定の下限値を超える場合には、 強調関数 F 5の演算結果 として所定の下限値が採用される。
この場合、 強調関数 F 5による局所的なコントラストの強調量を適切な範囲に 制限することが可能となり、 過多あるいは過少のコントラストの強調が抑制され る。
《 6 )}
なお、 上記《1》〜《5》 は、 第 1実施形態において強調関数 F 5を用いた演 算を行う場合にも同様に適用可能である (例えば、 第 1実施形態 〈プロファイル データ〉 (2) あるいは (3) など) 。 なお、 第 1実施形態では、 値 [A] は、 入力信号 I Sの値であり、 値 [B] は、 入力信号 I Sを空間処理したアンシヤー プ信号 USの値である。
( i i i ) 式 M2—ダイナミックレンジ圧縮を行わない場合一
上記実施形態では、 変換信号処理部 60 ?は、 第 1実施形態で示した視覚処理 装置 21 と同様の構成を有している、 と説明した。 ここで、 変形例としての変換 信号処理部 602は、 第 1実施形態で示した視覚処理装置 31 (図 1 9参照) と 同様の構成を有するものであってもよい。 具体的には、 視覚処理装置 31におけ る入力信号 I Sを目標コントラスト信号 J Sと見なし、 出力信号 OSを視覚処理 信号 KSと見なすことにより変形例としての変換信号処理部 602が実現される。 この場合、 変形例としての変換信号処理部 602では、 目標コントラスト信号 J S (値 [A] ) およびアンシャープ信号 US (値 [B] ) に対して、 「式 M 3」 に基づいて視覚処理信号 KS (fi| [C] ) が出力される。 ここで式 M3とは, 強調関数 F5を用いて、 C = A* F5 (A/B) と表される。
式 M 3を用いた処理では、 入力信号 I Sに対するダイナミックレンジの圧縮は 施されないが、 局所的なコントラストを強調することができる。 この局所的なコ ントラス卜の強調の効果により、 「視覚的に」 ダイナミックレンジが圧縮あるい は伸張された様な印象を与えることが可能となる。
なお、 本変形例に対しても、 上記 〈変形例〉 ( i i ) 《1》〜《5》 を同様に 適用可能である。 すなわち、 本変形例において、 強調関数 F 5は、 「べき関数」 であり、 その指数は、 上記 〈変形例〉 ( ί i ) 《1》 ~ 《4》 で説明した関数 1 (A), Of 2 (A), or 3 (A), Of 4 (A, B) と同様の傾向を持つ関数で あってよい。 また、 上記〈変形例〉 ( i i ) 《5》 で説明したように、 強調関数 F 5の演算結果には、 上限あるいは下限が設けられていてもよい。
( i v) パラメータ自動設定
上記実施形態では、 目標コントラスト設定部 604および実コントラス卜設定 部 605は、 ユーザに対して目標コントラスト C 1およぴ実コントラスト C2の 値を入力インターフェイスなどを介して設定させる、 と説明した。 ここで、 目標 コントラスト設定部 604および実コントラス卜設定部 605は、 目標コントラ ス卜 C 1および実コントラスト C2の値を自動設定できるものであってもよい。
《1》 ディスプレイ
出力信号 OSを表示する表示装置が PD P, LCD, CRTなどのディスプレ ィであり、 環境光の無い状態で表示できる白輝度 (白レベル) と黒輝度 (黒レベ ル) とが既知の場合に、 実コントラス卜 C 2の値を自動設定する実コントラス卜 設定部 605について説明する。
図 33に実コントラスト C 2の値を自動設定する実コントラスト設定部 605 を示す。 実コントラスト設定部 605は、 輝度測定部 605 aと、 記憶部 605 bと、 計算部 605 cとを備えている。
輝度測定部 605 aは、 出力信号 OSを表示するディスプレイの表示環境にお ける環境光の輝度値を測定する輝度センサである。 記憶部 605 bは、 出力信号 OSを表示するディスプレイが環境光の無い状態で表示できる白輝度 (白レベル G7
) と黒輝度 (黒レベル) とを記憶している。 計算部 6 0 5 cは、 輝度測定部 6 0 5 aと記憶部 6 0 5 bとからそれぞれ値を取得し、 実コントラスト C 2の値を計 算する。
計算部 6 0 5 cの計算の一例を説明する。 計算部 6 0 5 cは、 輝度測定部 6 0 5 aから取得した環境光の輝度値を記憶部 6 0 5 bが記憶する黒レベルの輝度値 および白レベルの輝度値のそれぞれに加算する。 さらに、 計算部 6 0 5 Gは、 黒 レベルの輝度値への加算結果を用いて、 白レベルの輝度値への加算結果を除算し た値を実コントラスト C 2の値 [ n ] として出力する。 これにより、 実コントラ スト C 2の値 [ n ] は、 環境光が存在する表示環境においてディスプレイが表示 するコントラスト値を示すこととなる。
また、 図 3 3に示した記憶部 6 0 5 bは、 ディスプレイが環境光の無い状態で 表示できる白輝度 (白レベル) と黒輝度 (黒レベル) との比を目標コントラスト C 1の値 [m] として記憶しているものであってもよい。 この場合、 実コントラ ス卜設定部 6 0 5は、 目標コントラス卜 C 1を自動設定する目標コントラスト設 定部 6 0 4の機能を同時に果たすこととなる。 なお、 記憶部 6 0 5 bは、 比を記 憶しておらず、 比は計算部 6 0 5 cにより計算されるものであってもよい。
《2》 プロジェクタ
出力信号 O Sを表示する表示装置がプロジェクタなどであり、 環境光の無い状 態で表示できる白輝度 (白レベル) と黒輝度 (黒レベル) とがスクリーンまでの 距離に依存する場合に、 実コントラスト C 2の値を自動設定する実コントラスト 設定部 6 0 5について説明する。
図 3 4に実コントラスト C 2の値を自動設定する実コントラスト設定部 6 0 5 を示す。 実コントラスト設定部 6 0 5は、 輝度測定部 6 0 5 dと、 制御部 6 0 5 eとを備えている。
輝度測定部 6 0 5 dは、 プロジェクタにより表示された出力信号 O Sの表示環 境における輝度値を測定する輝度センサである。 制御部 6 0 5 eは、 プロジェク タに対して、 白レベルと黒レベルとの表示を行わせる。 さらに、 それぞれのレべ ルが表示される際の輝度値を輝度測定部 6 0'5 dから取得し、 実コントラス卜 G 2の値を計算する。 図 35を用いて、 制御部 605 動作の一例を説明する。 まず制御部 605 eは、 環境光の存在する表示環境においてプロジェクタを動作させ、 白レベルの 表示を行わせる (ステップ S 620) 。 制御部 605 eは、 輝度測定部 605 d から、 測定された白レベルの輝度を取得する (ステップ S621 ) 。 次に、 制御 部 605 eは、 環境光の存在する表示環境においてプロジェクタを動作させ、 黒 レベルの表示を行わせる (ステップ S 622) 。 制御部 605 eは、 輝度測定部 605 dから、 測定された黒レベルの輝度を取得する (ステップ S623) 。 制 御部 605 eは、 取得した白レベルの輝度値と黒レベルの輝度値との比を計算し 、 実コントラス卜 C 2の値として出力する。 これにより、 実コントラスト C 2の 値 [n] は、 環境光が存在する表示環境においてプロジェクタが表示するコント ラスト値を示すこととなる。
また、 上記と同様にして、 環境光が存在しない表示環境における白レベルと黒 レベルとの比を計算することにより、 目標コントラスト C 1の値 [m] を導出す ることも可能である。 この場合、 実コントラスト設定部 605は、 目標コントラ ス卜 C 1を自動設定する目標コントラス卜設定部 604の機能を同時に果たすこ ととなる。
( V ) 他の信号空間
上記実施形態では、 視覚処理装置 600における処理は、 入力信号 I Sの輝度 について行うと説明した。 ここで、 本発明は、 入力信号 I Sが YCbG r色空間 で表されている場合のみに有効であるものではない。 入力信号 I Sは、 YUV色 空間、 L a b色空間、 L u V色空間、 Y I Q色空間、 X Y Z色空間、 Y P b P r 色空間などで表されているものでもよい。 これらの場合に、 それぞれの色空間の 輝度、 明度に対して、 上記実施形態で説明した処理を実行することが可能である また、 入力信号 I Sが RGB色空間で表されている場合に、 視覚処理装置 60 0における処理は、 R G Bそれぞれの成分に対して独立に行われるものであって もよい。 すなわち、 入力信号 I Sの RGB成分に対して、 目標コントラスト変換 部 601による処理が独立に行われ、 目標コントラスト信号 J Sの RGB成分が 出力される。 さらに、 目標コントラスト信号 J Sの RGB成分に対して、 変換信 号処理部 602による処理が独立に行われ、 視覚処理信号 KSの RGB成分が出 力される。 さらに、 視覚処理信号 KSの RGB成分に対して、 実コントラスト変 換部 603による処理が独立に行われ、 出力信号 OSの RGB成分が出力される 。 ここで、 目標コントラスト C 1およぴ実コントラスト G2は、 RGB成分それ ぞれの処理において、 共通の値が用いられる。
( V i ) 色差補正処理
視覚処理装置 600は、 変換信号処理部 602によリ処理された輝度成分の影 響により出力信号 OSの色相が入力信号 I Sの色相と異なるものとなることを抑 制するため、 色差補正処理部をさらに備えるものであってもよい。
図 36に色差補正処理部 608を備える視覚処理装置 600を示す。 なお、 図 24に示す視覚処理装置 600と同様の構成については同じ符号を付す。 なお、 入力信号 I Sは、 YC b C rの色空間を有するとし、 Y成分については、 上記実 施形態で説明したのと同様の処理が行われるとする。 以下、 色差補正処理部 60 8について説明する。
色差補正処理部 608は、 目標コントラスト信号 J Sを第 1の入力 (値 [Y i n] ) 、 視覚処理信号 KSを第 2の入力 (値 [Y o u t] ) 、 入力信号 I Sの C b成分を第 3の入力 (値 [CB i n] ) 、 入力信号 I Sの C r成分を第 4の入力 (値 [CR i n] ) とし、 色差補正処理された C b成分を第 1の出力 (値 [CB o u t] ) . 色差補正処理された C r成分を第 2の出力 (値 [CRo u t] ) と する。
図 37に色差補正処理の概要を示す。 色差補正処理部 608は、 [Y i n] 、 [Y o u t] 、 [CB i n] 、 [C R i n] の 4入力を有し、 この 4入力を演算 することにより、 [CBo u t] 、 [GRo u t] の 2出力を得る。
[GBo u t] と [CRo u t] とは、 [Y i n] と [Yo u t] との差およ び比により、 [CB i n] と [CR i n] とを補正する次式に基づいて導出され る。
[CBo u t] は、 a 1 * ( [Y o u t] ― [Y i n] ) * [CB i n] + a 2* (1— [Y o u t ] / [Y i n] ) * [CB i n] + a 3 * ( [Y o u t] 一 [Y i n] ) * [CR i n] + a 4 * (1— [Yo u t] [Y i n] ) * [ CR i n] + [CB i n] 、 に基づし.ゝて導出される (以下、 式 CBという) 。
[CRo u t] は、 a 5 * ( [Y o u t] - [Y i n] ) * [C B i n] + a 6 * (1— [Y o u t] [Y i n] ) * [CB i n] + a 7 * ( [Yo u t] ― [Y i n] ) * [C R i n] + a 8 * (1— [Y o u t ] / [Y i n] ) * [ CR i n] + [CR i n] 、 に基づいて導出される (以下、 式 CRという) 。 式 CBおよび式 CRにおける係数 a 1〜a 8には、 以下に説明する推定演算に よリ事前に視覚処理装置 600の外部の計算装置などによつて決定された値が用 いられている。
図 38を用いて、 計算装置などにおける係数 a 1 ~a 8の推定演算について説 明する。
まず、 [丫 i n:] 、 [Y o u t] . [CB i n] 、 [CR i n] の 4入力が取 得される (ステップ S 630) 。 それぞれの入力の値は、 係数 a 1 ~a 8を決定 するためにあらかじめ用意されたデータである。 例えば、 [Y i n:] 、 [CB i n] 、 [CR i n] としては、 それぞれが取りうる全ての値を所定の間隔で間引 いた値などが用いられる。 さらに [Y o u t] としては、 [Y i n] の値を変換 信号処理部 602に入力した場合に出力されうる値を所定の間隔で間引いた値な どが用いられる。 このようにして用意されたデータが、 4入力として取得される 取得された [Y i n] 、 [CB i n] 、 [CR i n] は、 L a b色空間に変換 され、 変換された L a b色空間における色度値 [A i n] および [B i n] が計 算される (ステップ S 631 ) 。
次に、 デフォルトの係数 a 1 ~a 8を用いて、 「式 GBJ および 「式 CRJ が 計算され、 [CBo u t] および [CRo u t] の値が取得される (ステップ S 632) 。 取得された値および [Y o u t ] は、 L a b色空間に変換され、 変換 されたし a b色空間における色度値 [Ao u t] および [Bo u t] が計算され る (ステップ S 633) 。
次に、 計算された色度値 [A ί n] 、 [B i n] . [A o u t ] , [Bo u t ] を用いて、 評価関数が計算され (ステップ S 634) 、 評価関数の値が所定の 閾値以下となるか判断される。 ここで、 評価関数は、 [A i n] および [B i n ] と、 [Ao u t] および [Bo u t.] との色相の変化が小さくなる場合に小さ な値となる関数であり、 例えば、 それぞれの成分の偏差の自乗和といった関数で ある。 より具体的には、 評価関数は、 ( [A i n] — [Ao u t] ) Λ 2+ ( [ Β i η] - [Β ο u t ] ) Λ 2、 などである。
評価関数の値が所定の閾値よりも大きい場合 (ステップ S 635) 、 係数 a l 〜 a 8が修正され (ステップ S 636) 、 新たな係数を用いて、 ステップ S 63 2〜ステップ S 635の演算が繰り返される。
評価関数の値が所定の閾値よりも小さい場合 (ステップ S635) 、 評価関数 の計算に用いられた係数 a 1 ~a 8が推定演算の結果として出力される (ステツ プ S 637) 。
なお、 推定演算においては、 あらかじめ用意した [Y i n] 、 [Yo u t] , [CB i n] 、 [CR i n] の 4入力の組み合わせのうちの 1つを用いて係数 a 1 ~a 8を推定演算してもよいが、 組み合わせのうちの複数を用いて上述の処理 を行い、 評価関数を最小とする係数 a 1〜a 8を推定演算の結果として出力して もよい。
〔色差補正処理における変形例〕
《1》
上記色差補正処理部 608では、 目標コントラスト信号 J Sの値を [Y i n] 、 視覚処理信号 KSの値を [Yo u t] 、 入力信号 I Sの C b成分の値を [CB i n] 、 入力信号 I Sの C r成分の値を [CR ί n] 、 出力信号 OSの Cb成分 の値を [CB o u t ] 、 出力信号 OSの C r成分の値を [C R o u t ] とした。 ここで、 [Y i n] , [Y o u t] 、 [C B i n] 、 [C R i n] 、 [CB o u t] 、 [CRo u t] は、 他の信号の値を表すものであってもよい。
例えば、 入力信号 I Sが RGB色空間の信号である場合、 目標コントラスト変 換部 601 (図 24参照) は、 入力信号 I Sのそれぞれの成分に対して処理を行 う。 この場合、 処理後の RGB色空間の信号を YCb C r色空間の信号に変換し 、 その Y成分の値を [Y i n] 、 C b成分の値を [CB i n] 、 C r成分の値を [CR i n] としてもよい。
さらに、 出力信号 OSが RGB色空間の信号である場合、 導出された [Y o u t] 、 [CB o u t ] , [CR o u t.] を RGB色空間に変換し、 それぞれの成 分に対して実コントラスト変換部 603による変換処理を行い、 出力信号 OSと してもよい。
《2》
色差補正処理部 608は、 変換信号処理部 602の処理の前後における信号値 の比を用いて、 色差補正処理部 608に入力される RGB成分のそれぞれを補正 処理するものであってもよい。
図 39を用いて、 変形例としての視覚処理装置 600の構造について説明する 。 なお、 図 36に示す視覚処理装置 600とほぼ同様の機能を果たす部分につい ては、 同じ符号を付し、 説明を省略する。 変形例としての視覚処理装置 600は 、 特徴的な構成として、 輝度信号生成部 61 0を備えている。
RGB色空間の信号である入力信号 I Sのそれぞれの成分は、 目標コントラス ト変換部 601において、 RGB色空間の信号である目標コントラスト信号 J S に変換される。 詳しい処理については上述したため説明を省略する。 ここで、 目 標コン卜ラス卜信号 J Sのそれぞれの成分の値を [R i n] 、 [G i n] , [B i n] とする。
輝度信号生成部 61 0は、 目標コントラスト信号 J Sのそれぞれの成分から、 値 [Y i n] の輝度信号を生成する。 輝度信号は、 RGBのそれぞれの成分の値 をある比率で足し合わせることにより求められる。 例えば、 値 [Y i n] は、 次 式、 [Υ ί η] =0. 299 * [R i n] +0. 587 * [G i n] +0. 1 1 4* [B ί n] 、 などにより求められる。
変換信号処理部 602は、 値 [Y i n] の輝度信号を処理し、 値 [Y o u t] の視覚処理信号 KSを出力する。 詳しい処理は、 目標コントラスト信号 J Sから 視覚処理信号 KSを出力する変換信号処理部 602 (図 36参照) における処理 と同様であるため説明を省略する。
色差補正処理部 608は、 輝度信号 (値 [Υ ί n] ) 、 視覚処理信号 KS (値 [Y o u t] ) 、 目標コントラスト信号 J S (値 [R i n] 、 [G i n] , [B i n] ) を用いて、 RGB色空間の信号である色差補正信号 (値 [Ro u t ] 、 [Go u t] v [B o u t ] ) を出力する。 具体的には、 色差補正処理部 6 O S.では、 値 [Y i n] と値 [Yo u t] との 比 (値 [ [Y o u t] / [Y i n] ] ) が計算される。 計算された比は、 色差補 正係数として、 目標コントラス卜信号 J S (値 [R i n] 、 [G i n] , [B i n] ) のそれぞれの成分に乗算される。 これにより、 色差補正信号 (値 [Ro u t] 、 [Go u t] , [Bo u t] ) が出力される。
実コントラス卜変換部 603は、 RGB色空間の信号である色差補正信号のそ れぞれの成分に対して変換を行い、 R G B色空間の信号である出力信号 O Sに変 換する。 詳しい処理については、 上述したため説明を省略する。
変形例としての視覚処理装置 600では、 変換信号処理部 602における処理 は、 輝度信号に対する処理のみであり、 RGB成分のそれぞれについて処理を行 う必要がない。 このため、 RGB色空間の入力信号 I Sに対しての視覚処理の負 荷が軽減される。
《 3》
「式 CBJ および 「式 CRJ は、 一例であり、 他の式が用いられてもよい。
(V i i ) 視覚処理部 623
図 24に示す視覚処理部 623は、 2次元 L U Tにより形成されていてもよい この場合、 2次元 LUTは、 目標コントラスト信号 J Sの値とアンシャープ信 号 U Sの値とに対する視覚処理信号 K Sの値を格納している。 より具体的には、 [第 1実施形態] 〈プロファイルデータ〉 (2) 《第 2プロファイルデータ》 で 説明した 「式 M2」 に基づいて視覚処理信号 KSの値が定められている。 なお、 「式 M2J 中、 値 Aとして目標コントラスト信号 J Sの値が、 値 Bとしてアンシ ャ一プ信号 U Sの値が用いられる。
視覚処理装置 600は、 このような 2次元 LUTを記憶装置 (図示せず) に複 数備えている。 ここで、 記憶装置は、 視覚処理装置 600に内臓されていてもよ いし、 有線あるいは無線を介して外部に接続されていてもよい。 記憶装置に記憶 されるそれぞれの 2次元 L U Tは、 目標コントラス卜 C 1の値と実コントラスト C 2の値とに対して関連づけられている。 すなわち、 目標コントラスト C 1の値 と実コントラス卜 C 2の値との組み合わせのそれぞれに対して、 [第 2実施形態 3 〈変換信号処理部 602〉 《変換信号処理部 602の作用》 で説明したのと同 様の演算が行われ、 2次元 LUTとして記憶されている。
視覚処理部 623は、 目標コントラスト C 1と実コントラス卜 C 2との値を取 得すると、 記憶装置に記憶されている 2次元 LUTのうち、 取得されたそれぞれ の値に関連づけられた 2次元 LUTを読み込む。 さらに、 視覚処理部 623は、 読み込んだ 2次元 LUTを用いて、 視覚処理を行う。 具体的には、 視覚処理部 6 23は、 目標コントラス卜信号 J Sの値とアンシャープ信号 USの値とを取得し 、 取得された値に対する視覚処理信号 KSの値を 2次元 LUTから読み出し、 視 覚処理信号 KSを出力する。
[第 3実施形態]
<1 >
本発明の第 3実施形態として、 上記第 1実施形態および第 2実施形態で説明し た視覚処理装置、 視覚処理方法、 視覚処理プログラムの応用例と、 それを用いた システムとについて説明する。
視覚処理装置は、 例えば、 コンピュータ、 テレビ、 デジタルカメラ、 携帯電話 、 PDA, プリンタ、 スキャナなど、 画像を取り扱う機器に内蔵、 あるいは接続 されて、 画像の視覚処理を行う装置であり、 LS Iなどの集積回路として実現さ れる。
より詳しくは、 上記実施形態の各機能ブロックは、 個別に 1チップ化されても 良いし、 一部又は全てを含むように 1チップ化されても良い。 なお、 ここでは、 LS I としたが、 集積度の違いにより、 I C、 システム LS I、 スーパ一 LS I 、 ウルトラ LS I と呼称されることもある。
また、 集積回路化の手法は LS Iに限るものではなく、 専用回路又は汎用プロ セサで実現してもよい。 LS I製造後に、 プログラムすることが可能な F PGA (Field Programmable Gate Array) や、 L S I内部の回路セルの接続や設定を 再構成可能なリコンフィギユラブル■プロセッサーを利用しても良い。
さらには、 半導体技術の進歩又は派生する別技術により LS Iに置き換わる集 積回路化の技術が登場すれば、 当然、 その技術を用いて機能ブロックの集積化を 行ってもよい。 バイオ技術の適応等が可能性としてありえる。 上記第 1実施形態および第 2実施 態で説明したそれぞれの視覚処理装置の各 ブロックの処理は、 例えば、 視覚処理装置が備える中央演算装置 (CPU) によ リ行われる。 また、 それぞれの処理を行うためのプログラムは、 ハードディスク 、 ROMなどの記憶装置に格納されており、 ROMにおいて、 あるいは RAMに 読み出されて実行される。
また、 図 1の視覚処理装置 1において 2次元 LUT 4は、 ハードディスク、 R OMなどの記憶装置に格納されており、 必要に応じて参照される。 さらに、 視覚 処理部 3は、 視覚処理装置 1に直接的に接続される、 あるいはネットワークを介 して間接的に接続されるプロファイルデータ登録装置 8からプロファイルデータ の提供を受け、 2次元 LUT 4として登録する。
また、 視覚処理装置は、 動画像を取り扱う機器に内蔵、 あるいは接続されて、 フレーム毎 (フィールド毎) の画像の階調処理を行う装置であってもよい。 また、 視覚処理装置 1では、 上記第 1実施形態で説明した視覚処理方法が実行 される。
視覚処理プログラムは、 コンピュータ、 テレビ、 デジタルカメラ、 携帯電話、 PDA, プリンタ、 スキャナなど、 画像を取り扱う機器に内蔵、 あるいは接続さ れる装置において、 ハードディスク、 ROMなどの記憶装置に記憶され、 画像の 視覚処理を実行するプログラムであり、 例えば、 CD— ROMなどの記録媒体を 介して、 あるいはネットワークを介して提供される。
〈2〉
上記第 1実施形態および第 2実施形態で説明した視覚処理装置は、 図 40〜図 41に示す構成で表すことも可能である。
(1 )
《構成》
図 40は、 例えば、 図 7を用いて示した視覚処理装置 525と同様の機能を果 たす視覚処理装置 91 0の構成を示すブロック図である。
視覚処理装置 91 0において、 センサ 91 1およびユーザ入力部 91 2は、 入 力装置 527 (図 7参照) と同様の機能を有する。 より具体的には、 センサ 91 1は、 視覚処理装置 91 0が設置される環境、 あるいは視覚処理装置 91 0から の出力信号 O Sが表示される環境における環境光を検出するセンサであり、 検出 した値を環境光を表すパラメータ P 1として出力する。 また、 ユーザ入力部 9 1 2は、 ユーザに対して、 環境光の強さを、 例えば、 「強 '中 '弱」 の段階的に、 あるいは無段階的 (連続的) に設定させる装置であり、 設定された値を環境光を 表すパラメータ P 1として出力する。
出力部 9 1 4は、 プロファイルデータ登録部 5 2 6 (図 7参照) と同様の機能 を有する。 より具体的には、 出力部 9 1 4は、 環境光を表すパラメータ P 1の値 に関連づけられた複数のプロファイルデータを備えている。 ここで、 プロフアイ ルデータとは、 入力信号 I Sと入力信号 I Sを空間処理した信号とに対する出力 信号 O Sの値を与えるテーブル形式のデータである。 さらに、 出力部 9 1 4は、 取得した環境光を表すパラメータ P 1の値に対応するプロファイルデータを輝度 調整パラメータ P 2として変換部 9 1 5に出力する。
変換部 9 1 5は、 空間処理部 2および視覚処理部 3 (図 7参照) と同様の機能 を有する。 変換部 9 1 5は、 視覚処理の対象となる対象画素 (着目画素) の輝度 と、 対象画素の周辺に位置する周辺画素の輝度と、 輝度調整パラメータ P 2とを 入力とし、 対象画素の輝度を変換し、 出力信号 O Sを出力する。
より具体的には、 変換部 9 1 5は、 対象画素と周辺画素とを空間処理する。 さ らに、 変換部 9 1 5は、 対象画素と空間処理した結果とに対応する出力信号 O S の値をテーブル形式の輝度調整パラメータ P 2から読み出し、 出力信号 O Sとし て出力する。
《変形例》
( 1 )
上記構成において、 輝度調整パラメータ P 2は、 上記したプロファイルデータ に限定されるものではない。 例えば、 輝度調整パラメータ P 2は、 対象画素の輝 度と周辺画素の輝度とから出力信号 O Sの値を演算する際に用いられる係数マ卜 リクスデータであってもよい。 ここで、 係数マトリクスデータとは、 対象画素の 輝度と周辺画素の輝度とから出力信号 O Sの値を演算する際に用いられる関数の 係数部分を格納したデータである。
( 2 ) 出力部 9 1 4は、 環境光を表すパラメータ P 1の全ての値に対するプロフアイ ルデータや係数マトリクスデータを備えている必要はない。 この場合、 取得され た環境光を表すパラメータ P 1に応じて、 備えられているプロファイルデータな どを適宜内分あるいは外分することにより適切なプロフアイルデータなどを生成 するものであってもよい。
( 2 )
《構成》
図 4 1は、 例えば、 図 2 4を用いて示した視覚処理装置 6 0 0と同様の機能を 果たす視覚処理装置 9 2 0の構成を示すブロック図である。
視覚処理装置 9 2 0では、 出力部 9 2 1が環境光を表すパラメータ P 1に加え て外部パラメータ P 3をさらに取得し、 環境光を表すパラメータ P 1 と外部パラ メータ P 3とに基づいて輝度調整パラメータ P 2を出力する。
ここで、 環境光を表すパラメータ P 1 とは、 上記 (1 ) で記載したのと同様で める。
また、 外部パラメータ P 3とは、 例えば、 出力信号 O Sを視覚するユーザが求 める視覚的効果を表すパラメータである。 より具体的には、 画像を視覚するユー ザが求めるコントラストなどの値 (目標コントラス卜) である。 ここで、 外部パ ラメ一タ P 3は、 目標コントラスト設定部 6 0 4 (図 2 4参照) により設定され る。 あるいは、 予め出力部 9 2 1に記憶されたデフォルト値を用いて設定される。 出力部 9 2 1は、 環境光を表すパラメータ P 1から、 図 3 3や図 3 4に示した 構成によリ実コントラス卜の値を算出し、 輝度調整パラメータ P 2として出力す る。 また、 出力部 9 2 1は、 外部パラメータ P 3 (目標コントラス卜) を輝度調 整パラメータ P 2として出力する。 また、 出力部 9 2 1は、 [第 2実施形態] 〈変形例〉 (V ί i ) で説明した 2次元 L U Tに格納されるプロファイルデータ を複数記憶しており、 外部パラメータ P 3と環境光を表すパラメータ P 1から算 出された実コントラス卜からプロファイルデータを選択し、 そのテーブル形式の データを輝度調整パラメータ P 2として出力する。
変換部 9 2 2は、 目標コントラスト変換部 6 0 1, 変換信号処理部 6 0 2, 実 コントラスト変換部 6 0 3 (以上、 図 2 4參照) と同様の機能を有する。 より具 体的には、 変換部 9 2 2には、 入力信号 I S (対象画素の輝度および周辺画素の 輝度) と、 輝度調整パラメータ P 2とが入力され、 出力信号 O Sが出力される。 例えば、 入力信号 I Sは、 輝度調整パラメータ P 2として取得される目標コント ラストを用いて、 目標コントラスト信号 J S (図 2 4参照) に変換される。 さら に、 目標コントラスト信号 J Sが、 空間処理され、 アンシャープ信号 U S (図 2 4参照) が導出される。
変換部 9 2 2は、 [第 2実施形態] 〈変形例〉 (V i i ) で説明した変形例と しての視覚処理部 6 2 3を備えており、 輝度調整パラメータ P 2として取得され たプロファイルデータと、 目標コントラスト信号 J Sと、 アンシャープ信号 U S とから、 視覚処理 号 K S (図 2 4参照) が出力される。 さらに、 視覚処理信号 K Sは、 輝度調整パラメータ P 2として取得される実コントラストを用いて、 出 力信号 O Sに変換される。
この視覚処理装置 9 2 0では、 外部パラメータ P 3と環境光を表すパラメータ P 1とに基づいて視覚処理に用いるプロフアイルデータを選択することが可能と なる、 とともに、 環境光による影響を補正し、 環境光の存在する環境でも局所的 なコントラス卜を改善し、 出力信号 O Sを視覚するユーザの好みのコントラス卜 に近づけることが可能となる。
《変形例》
なお、 本構成においても、 (1 ) で記載したのと同様の変形を行うことが可能 である。
また、 (1 ) に記載した構成と (2 ) に記載した構成とは、 必要に応じて切り 替えて用いることも可能である。 切り替えは、 外部からの切り替え信号を用いて 行ってもよい。 また、 外部パラメータ P 3が存在するか否かでいずれの構成を用 いるかを判断してもよい。
また、 実コントラストは、 出力部 9 2 1で算出されると記載したが、 実コント ラス卜の値が出力部 9 2 1に直接入力されるような構成であってもよい。
( 3 )
図 4 1に示す構成では、 出力部 9 2 1から変換部 9 2 2への入力が急激に変化 しないようにするための手段をさらに採用することが可能である。 図 42に示す視覚処理装置 920 ' .は、 図 41に示す視覚処理装置 920に対 して、 環境光を表すパラメータ P 1の時間変化を緩やかにさせる調整部 925を 備える点において相違している。 調整部 925は、 環境光を表すパラメータ P 1 を入力とし、 調整後の出力 P4を出力とする。
これにより、 出力部 921は、 急激な変化を伴わない環境光を表すパラメータ P 1を取得することが可能となり、 この結果、 出力部 921の出力の時間変化も 緩やかになる。
調整部 925は、 例えば、 I I Rフィルタにより実現される。 ここで、 I I R フィルタでは、 調整部 925の出力 P 4の値 [P4] は、 [P 4] = k 1 * [P 4] ' + k 2 * [P I ] により演算される。 なお式中、 k 1, k 2は、 それぞれ 正の値をとるパラメータであり、 [P 1 ] は、 環境光を表すパラメータ P 1の値 であり、 [P4] ' は、 調整部 925の出力 P 4の遅延出力 (例えば、 前回の出 力) の値である。 なお、 調整部 925における処理は、 I I Rフィルタ以外の構 成を用いて行われてもよい。
さらに、 調整部 925は、 図 43に示す視覚処理装置 920" のように、 出力 部 921の出力側に備えられ、 輝度調整パラメータ P 2の時間変化を直接緩やか にする手段であってもよい。
ここで、 調整部 925の動作は、 上記したのと同様である。 具体的には、 調整 部 925の出力 P 4の値 [P4] は、 [P4] = k 3 * [P 4] ' + k 4 * [P 2] により演算される。 なお式中、 k 3, k 4は、 それぞれ正の値をとるパラメ —タであり、 [P2] は、 輝度調整パラメータ P 2の値であり、 [P4] ' は、 調整部 925の出力 P 4の遅延出力 (例えば、 前回の出力) の値である。 なお、 調整部 925における処理は、 I I Rフィルタ以外の構成を用いて行われてもよ い。
図 42、 図 43などに示した構成により、 環境光を表すパラメータ P 1、 ある いは輝度調整パラメータ P 2の時間変化を制御することが可能となる。 このため、 例えば、 環境光を検出するセンサ 91 1が、 センサの前を移動する人に応答し、 短時間にパラメータが大きく変化した場合でも、 急激なパラメータ変動を抑える ことができる。 この結果、 表示画面のちらつきを抑えることができる。 [第 4実施形態] '
本発明の第 4実施形態として、 上記で説明した視覚処理装置、 視覚処理方法、 視覚処理プログラムの応用例とそれを用いたシステムを図 44〜図 47を用いて 説明する。
図 44は、 コンテンツ配信サービスを実現するコンテンツ供給システム e X 1 00の全体構成を示すブロック図である。 通信サービスの提供エリアを所望の大 きさに分割し、 各セル内にそれぞれ固定無線局である基地局 e X 1 07~e x 1 1 0が設置されている。
このコンテンツ供給システム e X 1 00は、 例えば、 インタ一ネット e X 1 0 1にインターネットサービスプロパイダ e X 1 02および電話網 e X 1 04、 お よび基地局 e X 1 07〜 e X 1 1 0を介して、 コンピュータ e x 1 1 1、 PDA (personal di ital assistant) e x 1 1 2、 カ ラ e x l 1 3、 携帯電 §舌 e x 1 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。
しかし、 コンテンツ供給システム e X 1 00は図 44のような組合せに限定さ れず、 いずれかを組み合わせて接続するようにしてもよい。 また、 固定無線局で ある基地局 e x 1 07~e x 1 1 Oを介さずに、 各機器が電話網 e x "I 04に直 接接続されてもよい。
カメラ e X 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器である。 また、 携帯電話は、 PDC (Personal Digital Communications) 方式、 CDM A (Code Division Multiple Access) 方式、 W— C DM A (Wideband-Code Div is ion Multiple Access) 方式、 若しくは GSM (Global System for Mobile Co mmuni cat ions) 方式の携帯電話機、 または PHS (Personal Handyphone System ) 等であり、 いずれでも構わない。
また、 ストリーミングサ一パ e x 1 03は、 カメラ e x l l 3から基地局 e x 1 09、 電話網 e x 1 04を通じて接続されており、 カメラ e x 1 1 3を用いて ユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる 。 撮影したヂータの符号化処理はカメラ e X 1 1 3で行っても、 データの送信処 理をするサーバ等で行ってもよい。 また、 カメラ e x 1 1 6で撮影した動画デー タはコンピュータ e X 1 1 1を介してストリーミングサーバ e x 1 03に送信さ れてもよい。 カメラ e x 1 1 6はデ タルカメラ等の静止画、 動画が撮影可能な 機器である。 この場合、 動画データの符号化はカメラ e X 1 1 6で行ってもコン ピュータ e X 1 1 1で行ってもどちらでもよい。 また、 符号化処理はコンビユー タ e x l 1 1やカメラ e x 1 1 6が有する LS I e x 1 1 7において処理するこ とになる。 なお、 画像符号化 '復号化用のソフトウェアをコンピュータ e X 1 1 1等で読み取り可能な記録媒体である何らかの蓄積メディア (CD— ROM、 フ レキシブルディスク、 ハードディスクなど) に組み込んでもよい。 さらに、 カメ ラ付きの携帯電話 e X 1 1 5で動画データを送信してもよい。 このときの動画デ ータは携帯電話 e X 1 1 5が有する LS Iで符号化処理されたデータである。 このコンテンツ供給システム e X 1 00では、 ユーザがカメラ e x 1 1 3、 力 メラ e X 1 1 6等で撮影しているコンテンツ (例えば、 音楽ライブを撮影した映 像等) を符号化処理してストリーミングサーバ e X 1 03に送信する一方で、 ス トリ一ミングサーバ e X 1 03は要求のあったクライアン卜に対して上記コンテ ンッデータをストリーム配信する。 クライアントとしては、 符号化処理されたデ —タを復号化することが可能な、 コンピュータ e X 1 1 1、 PDAe x 1 1 2、 カメラ e x 1 1 3、 携帯電話 e x 1 1 4等がある。 このようにすることでコンテ ンッ供給システム e x l 00は、 符号化されたデータをクライアン卜において受 信して再生することができ、 さらにクライアン卜においてリアルタイムで受信し て復号化し、 再生することにより、 個人放送をも実現可能になるシステムである o
コンテンツの表示に際して、 上記実施形態で説明した視覚処理装置、 視覚処理 方法、 視覚処理プログラムを用いても良い。 例えば、 コンピュータ e x l 1 1、 0 6 乂 1 1 2、 カメラ6 1 1 3、 携帯電話 e X 1 1 4等は、 上記実施形態 で示した視覚処理装置を備え、 視覚処理方法、 視覚処理プログラムを実現するも のであっても良い。
また、 ストリ一ミングサーバ e X "I 03は、 視覚処理装置に対して、 インター ネット e X 1 0 "Iを介してプロファイルデータを提供するものであっても良い。 さらに、 ストリーミングサーバ e X 1 03は、 複数台存在し、 それぞれ異なるプ 口ファイルデータを提供するものであっても良い。 さらに、 ストリーミンダサ一 バ e x 1 03は、 プロファイルの作成を行うものであっても良い。 このように、 インターネット e X 1 01を介して、 視覚処理装置がプロファイルデータを取得 できる場合、 視覚処理装置は、 あらかじめ視覚処理に用いるプロファイルデータ を記憶しておく必要が無く、 視覚処理装置の記憶容量を削減することも可能とな る。 また、 インターネット e X 1 01介して接続される複数のサーバからプロフ アイルデータを取得できるため、 異なる視覚処理を実現することが可能となる。 —例として携帯電話について説明する。
図 45は、 上記実施形態の視覚処理装置を備えた携帯電話 e X 1 1 5を示す図 である。 携帯電話 e X 1 1 5は、 基地局 e x 1 1 0との間で電波を送受信するた めのアンテナ e x 201、 CCDカメラ等の映像、 静止画を撮ることが可能な力 メラ部 e x 203、 カメラ部 e X 203で撮影した映像、 アンテナ e x 201で 受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 e X 202、 操作キー e X 204群から構成される本体部、 音声出力をするための スピーカ等の音声出力部 e X 208、 音声入力をするためのマイク等の音声入力 部 e x 205、 撮影した動画もしくは静止画のデータ、 受信したメールのデータ 、 動画のデータもしくは静止画のデータ等、 符号化されたデータまたは復号化さ れたデータを保存するための記録メディア e X 207、 携帯電話 e x 1 1 5に記 録メディア e X 207を装着可能とするためのスロッ卜部 e X 206を有してい る。 記録メディア e X 207は SDカード等のプラスチックケース内に電気的に 書換えや消去が可能な不揮発性メモリである EE PROM (Electrical ly Erasa ble and Programmable Read Only Memory) の一種でめるフラッシュメモリ素子 を格納したものである。
さらに、 携帯電話 e x 1 1 5について図 46を用いて説明する。 携帯電話 e x 1 1 5は表示部 e X 202および操作キー e x 2 O 4を備えた本体部の各部を統 括的に制御するようになされた主制御部 e X 31 1に対して、 電源回路部 e x 3 1 0、 操作入力制御部 e X 304、 画像符号化部 e x 31 2、 カメラインターフ エース部 e X 303、 LCD (Liquid Crystal Display) 制御部 e x 302、 画 像復号化部 e X 309、 多重分離部 e X 308、 記録再生部 e x 307、 変復調 回路部 e X 306および音声処理部 e x 305が同期バス e x 31 3を介して互 いに接続されている。
電源回路部 e X 31 0は、 ユーザの操作により終話および電源キーがオン状態 にされると、 バッテリパックから各部に対して電力を供給することによリカメラ 付ディジタル携帯電話 e X 1 1 5を動作可能な状態に起動する。
携帯電話 e x 1 1 5は、 CPU、 ROMおよび RAM等でなる主制御部 e x 3 1 1の制御に基づいて、 音声通話モード時に音声入力部 e X 205で集音した音 声信号を音声処理部 e X 305によってディジタル音声データに変換し、 これを 変復調回路部 e X 306でスぺク 卜ラム拡散処理し、 送受信回路部 e x 301で ディジタルアナログ変換処理および周波数変換処理を施した後にアンテナ e X 2 01を介して送信する。 また携帯電話 e X 1 1 5は、 音声通話モード時にアンテ ナ e X 201で受信した受信信号を増幅して周波数変換処理およびアナログディ ジタル変換処理を施し、 変復調回路部 e X 306でスぺク トラム逆拡散処理し、 音声処理部 e X 305によってアナログ音声信号に変換した後、 これを音声出力 部 e X 208を介して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の操作キ一 e X 204の操作によって入力された電子メールのテキス卜データは操作入力制 御部 e X 304を介して主制御部 e x 31 1に送出される。 主制御部 e x 31 1 は、 テキストデータを変復調回路部 e x 306でスペク トラム拡散処理し、 送受 信回路部 e X 301でディジタルアナログ変換処理および周波数変換処理を施し た後にアンテナ e X 201を介して基地局 e x 1 1 0へ送信する。
データ通信モ一ド時に画像データを送信する場合、 カメラ部 e x 203で撮像 された画像データをカメラインターフ: cース部 e X 303を介して画像符号化部 e x 31 2に供給する。 また、 画像データを送信しない場合には、 カメラ部 e x 203で撮像した画像データをカメラインターフェース部 e X 303および LC D制御部 e X 302を介して表示部 e x 202に直接表示することも可能である 画像符号化部 e x 31 2は、 カメラ部 e x 203から供給された画像データを 圧縮符号化することにより符号化画像データに変換し、 これを多重分離部 e X 3 08に送出する。 また、 このとき同時に携帯電話 e X 1 1 5は、 カメラ部 e x 2 0 3で撮像中に音声入力部 e X 2 0 5で集音した音声を音声処理部 e x 3 0 5を 介してディジタルの音声データとして多重分離部 e X 3 0 8に送出する。
多重分離部 e X 3 0 8は、 画像符号化部 e x 3 1 2から供給された符号化画像 データと音声処理部 e X 3 0 5から供給された音声データとを所定の方式で多重 化し、 その結果得られる多重化データを変復調回路部 e X 3 0 6でスペクトラム 拡散処理し、 送受信回路部 e X 3 0 1でディジタルアナログ変換処理および周波 数変換処理を施した後にアンテナ e X 2 0 1を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファィルのデータ を受信する場合、 アンテナ e X 2 0 1を介して基地局 e x 1 1 0から受信した受 信信号を変復調回路部 e x 3 0 6でスペクトラム逆拡散処理し、 その結果得られ る多重化データを多重分離部 e X 3 0 8に送出する。
また、 アンテナ e X 2 0 1を介して受信された多重化データを復号化するには 、 多重分離部 e x 3 0 8は、 多重化データを分離することにより画像データの符 号化ビットストリームと音声データの符号化ビッ卜ストリームとに分け、 同期バ ス e X 3 1 3を介して当該符号化画像データを画像復号化部 e x 3 O 9に供給す ると共に当該音声データを音声処理部 e X 3 0 5に供給する。
次に、 画像復号化部 e X 3 0 9は、 画像データの符号化ビットストリームを復 号することによリ再生動画像データを生成し、 これを L C D制御部 e X 3 0 2を 介して表示部 e X 2 0 2に供給し、 これにより、 例えばホームページにリンクさ れた動画像ファイルに含まれる動画データが表示される。 このとき同時に音声処 理部 e x 3 0 5は、 音声データをアナログ音声信号に変換した後、 これを音声出 力部 e x 2 0 8に供給し、 これにより、 例えばホームページにリンクされた動画 像ファイルに含まる音声データが再生される。
以上の構成において、 画像復号化部 e X 3 0 9は、 上記実施形態の視覚処理装 置を備えていても良い。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディジタル放 送が話題となっており、 図 4 7に示すようにディジタル放送用システムにも上記 実施形態で説明した視覚処理装置、 視覚処理方法、 視覚処理プログラムを組み込 むことができる。 具体的には、 放送局 e x 4 0 9では映像情報の符号化ビットス トリームが電波を介して通信または放送衛星 e x 4 1 0に伝送される。 これを受 けた放送衛星 e x 4 1 0は、 放送用の電波を発信し、 この電波を衛星放送受信設 備をもつ家庭のアンテナ e X 4 0 6で受信し、 テレビ (受信機) e X 4 0 1また はセットトップボックス (S T B ) e X 4 0 7などの装置により符号化ビットス トリームを復号化してこれを再生する。 ここで、 テレビ (受信機) e x 4 0 1ま たはセットトップボックス ( S T B ) e X 4 0 7などの装置が上記実施形態で説 明した視覚処理装置を備えていてもよい。 また、 上記実施形態の視覚処理方法を 用いるものであってもよい。 さらに、 視覚処理プログラムを備えていてもよい。 また、 記録媒体である C Dや D V D等の蓄積メディア e X 4 0 2に記録した符号 化ビットストリームを読み取り、 復号化する再生装置 e x 4 0 3にも上記実施形 態で説明した視覚処理装置、 視覚処理方法、 視覚処理プログラムを実装すること が可能である。 この場合、 再生された映像信号はモニタ e X 4 0 4に表示される 。 また、 ケーブルテレビ用のケーブル e X 4 0 5または衛星/地上波放送のアン テナ e X 4 0 6に接続されたセットトップボックス e X 4 0 7内に上記実施形態 で説明した視覚処理装置、 視覚処理方法、 視覚処理プログラムを実装し、 これを テレビのモニタ e X 4 0 8で再生する構成も考えられる。 このときセッ卜トップ ボックスではなく、 テレビ内に上記実施形態で説明した視覚処理装置を組み込ん でも良い。 また、 アンテナ e X 4 1 1を有する車 e x 4 1 2で衛星 e x 1 0か らまたは基地局 e X 1 0 7等から信号を受信し、 車 e X 4 1 2が有するカーナビ ゲ一シヨン e x 4 1 3等の表示装置に動画を再生することも可能である。
更に、 画像信号を符号化し、 記録媒体に記録することもできる。 具体例として は、 D V Dディスク e X 4 2 1に画像信号を記録する D V Dレコーダや、 ハード ディスクに記録するディスクレコーダなどのレコーダ e X 4 2 0がある。 更に S D力一ド e X 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施形 態の復号化装置を備えていれば、 D V Dディスク e X 4 2 1や S Dカード e X 4 2 2に記録した画像信号を補間して再生し、 モニタ e X 4 0 8に表示することが できる。
なお、 カーナビゲーシヨン e X 4 1 3の構成は例えば図 4 6に示す構成のうち 、 カメラ部 e X 2 0 3とカメラインターフェース部 e X 3 0 3、 画像符号化部 e x 31 2を除いた構成が考えられ、 同様なことがコンピュータ e X 1 1 1ゃテレ ビ (受信機) e X 401等でも考えられる。
また、 上記携帯電話 e X 1 1 4等の端末は、 符号化器■復号化器を両方持つ送 受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの受信端末の 3通 りの実装形式が考えられる。
このように、 上記実施形態で説明した視覚処理装置、 視覚処理方法、 視覚処理 プログラムを上述したいずれの機器 'システムに用いることは可能であり、 上記 実施形態で説明した効果を得ることができる。
[付記]
本発明は、 次のように表現することも可能である。
〈付記の内容〉
(付記 1 )
入力された画像信号に対して空間処理を行い、 処理信号を出力する入力信号処 理手段と、
前記画像信号と前記処理信号とを所定の変換により変換したそれぞれの値の差 を強調する演算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記 2)
前記信号演算手段は、 前記画像信号の値 A、 前記処理信号の値 B、 変換関数 F 1、 前記変換関数 F 1の逆変換関数 F 2、 強調関数 F 3に対して、 数式 F 2 (F 1 (A) +F3 (F 1 (A) -F 1 (B) ) ) に基づいて出力信号の値 Cを演算 する、
付記 1に記載の視覚処理装置。
(付記 3)
前記変換関数 F 1は、 対数関数である、
付記 2に記載の視覚処理装置。
(付記 4)
前記逆変換関数 F 2は、 ガンマ補正関数である、
付記 2に記載の視覚処理装置。 (付記 5) .
前記信号演算手段は、 前記画像信号および前記処理信号の信号空間の変換を行 う信号空間変換手段と、 変換後の前記画像信号と変換後の前記処理信号との差分 信号に対して強調処理を行う強調処理手段と、 変換後の前記画像信号と前記強調 処理後の前記差分信号との加算信号に対して信号空間の逆変換を行い、 前記出力 信号を出力する逆変換手段とを有する、
付記 2 ~ 4のいずれかに記載の視覚処理装置。
(付記 6)
入力された画像信号に対して空間処理を行い、 処理信号を出力する入力信号処 理手段と、
前記画像信号と前記処理信号との比を強調する演算に基づいて出力信号を出力 する信号演算手段と、
を備える視覚処理装置。
(付記 7)
前記信号演算手段は、 前記画像信号のダイナミックレンジ圧縮をさらに行う前 記演算に基づいて前記出力信号を出力する、
付記 6に記載の視覚処理装置。
(付記 8)
前記信号演算手段は、 前記画像信号の値 A、 前記処理信号の値 B、 ダイナミツ クレンジ圧縮関数 F4、 強調関数 F 5に対して、 数式 F4 (A) * F5 (A/ B) に基づいて出力信号の値 Cを演算する、
付記 6または 7に記載の視覚処理装置。
(付記 9)
前記ダイナミックレンジ圧縮関数 F 4は、 比例係数 1の正比例関数である、 付記 8に記載の視覚処理装置。
(付記 1 0)
前記ダイナミックレンジ圧縮関数 F 4は、 単調増加関数である、
付記 8に記載の視覚処理装置。
(付記 1 1 ) 前記ダイナミックレンジ圧縮関数 F 4は、 上に凸の関数である、 付記 1 0に記載の視覚処理装置。
(付記 1 2 )
前記ダイナミックレンジ圧縮関数 F 4は、 べき闋数である、
付記 8に記載の視覚処理装置。
(付記 1 3 )
前記ダイナミックレンジ圧縮関数 F 4におけるべき関数の指数は、 画像表示を 行う際のコントラス卜の目標値である目標コントラスト値と、 画像表示を行う際 の表示環境におけるコントラスト値である実コントラスト値とに基づいて定めら れる、
付記 1 2に記載の視覚処理装置。
(付記 1 4 )
前記強調関数 F 5は、 べき関数である、
付記 8 ~ 1 3のいずれかに記載の視覚処理装置。
(付記 1 5 )
前記強調関数 F 5におけるべき関数の指数は、 画像表示を行う際のコントラス 卜の目標値である目標コントラス卜値と、 画像表示を行う際の表示環境における コントラスト値である実コントラスト値とに基づいて定められる、
付記 1 4に記載の視覚処理装置。
(付記 1 6 )
前記強調関数 F 5におけるべき関数の指数は、 前記画像信号の値 Aが前記処理 信号の値 Bよりも大きい場合に、 前記画像信号の値 Aに対して単調減少する値で
(30る、
付記 1 4または 1 5に記載の視覚処理装置。
(付記 1 7 )
前記強調関数 F 5におけるべき関数の指数は、 前記画像信号の値 Αが前記処理 信号の値 Bよりも小さい場合に、 前記画像信号の値 Aに対して単調増加する値で ある、
付記 1 4または 1 5に記載の視覚処理装置。 (付記 1 8 ) ,
前記強調関数 F 5におけるべき関数の指数は、 前記画像信号の値 Aが前記処理 信号の値 Bよりも大きい場合に、 前記画像信号の値 Aに対して単調増加する値で あ 、
付記 1 4または 1 5に記載の視覚処理装置。
(付記 1 9 )
前記強調関数 F 5におけるべき関数の指数は、 前記画像信号の値 Aと前記処理 信号の値 Bとの差の絶対値に対して単調増加する値である、
付記 1 4または 1 5に記載の視覚処理装置。
(付記 2 0 )
前記強調関数 F 5の最大値あるいは最小値の少なくとも一方は、 所定の範囲内 に制限されている、
付記 1 4〜1 9のいずれかに記載の視覚処理装置。
(付記 2 1 )
前記信号演算手段は、 前記画像信号を前記処理信号で除算した除算処理信号に 対して強調処理を行う強調処理手段と、 前記画像信号と前記強調処理された前記 除算処理信号とに基づいて前記出力信号を出力する出力処理手段とを有する、 付記 8に記載の視覚処理装置。
(付記 2 2 )
前記出力処理手段は、 前記画像信号と前記強調処理された前記除算処理信号と の乗算処理を行う、
付記 2 1に記載の視覚処理装置。
(付記 2 3 )
前記出力処理手段は、 前記画像信号に対してダイナミックレンジ (D R ) 圧縮 を行う D R圧縮手段を含んでおり、 前記 D R圧縮された前記画像信号と前記強調 処理された前記除算処理信号との乗算処理を行う、
付記 2 1に記載の視覚処理装置。
(付記 2 4 )
第 1の所定の範囲の入力画像データを第 2の所定の範囲に変換し、 前記画像信 号とする第 1変換手段と、 .
第 3の所定の範囲の前記出力信号を第 4の所定の範囲に変換し、 出力画像デー タとする第 2変換手段と、
をさらに備え、
前記第 2の所定の範囲は、 画像表示を行う際のコントラストの目標値である目 標コントラス卜値に基づいて定められており、
前記第 3の所定の範囲は、 画像表示を行う際の表示環境におけるコントラスト 値である実コントラスト値に基づいて定められている、
付記 8 ~ 2 3のいずれかに記載の視覚処理装置。
(付記 2 5 )
前記ダイナミックレンジ圧縮関数 F 4は、 前記第 2の所定の範囲の前記画像信 号を前記第 3の所定の範囲の前記出力信号に変換する関数である、
付記 2 4に記載の視覚処理装置。
(付記 2 6 )
前記第 1変換手段は、 前記第 1の所定の範囲の最小値と最大値とのそれぞれを 前記第 2の所定の範囲の最小値と最大値とのそれぞれに変換し、
前記第 2変換手段は、 前記第 3の所定の範囲の最小値と最大値とのそれぞれを 前記第 4の所定の範囲の最小値と最大値とのそれぞれに変換する、
付記 2 4または 2 5に記載の視覚処理装置。
(付記 2 7 )
前記第 1変換手段および前記第 2変換手段における変換は、 それぞれ線形の変 換である、
付記 2 6に記載の視覚処理装置。
(付記 2 8 )
前記第 3の所定の範囲を設定する設定手段をさらに備える、
付記 2 4〜 2 7のいずれかに記載の視覚処理装置。
(付記 2 9 )
前記設定手段は、 画像表示を行う表示装置のダイナミックレンジを記憶する記 憶手段と、 画像表示を行う際の表示環境における環境光の輝度を測定する測定手 段とを含む、 .
付記 28に記載の視覚処理装置。
(付記 30)
前記設定手段は、 画像表示を行う表示装置の表示環境における黒レベル表示時 と白レベル表示時との輝度を測定する測定手段を含む、
付記 28に記載の視覚処理装置。
(付記 31 )
入力された画像信号に対して空間処理を行い、 処理信号を出力する入力信号処 理手段と、
前記画像信号と前記処理信号との差を、 前記画像信号の値に応じて強調する演 算に基づいて出力信号を出力する信号演算手段と、
を備える視覚処理装置。
(付記 32)
前記信号演算手段は、 前記強調する演算により強調された値に対して、 前記画 像信号をダイナミックレンジ圧縮した値を加える演算に基づいて前記出力信号を 出力する、
付記 31に記載の視覚処理装置。
(付記 33)
前記信号演算手段は、 前記画像信号の値 A、 前記処理信号の値 B、 強調量調整 関数 F6、 強調関数 F 7、 ダイナミックレンジ圧縮関数 F 8に対して、 数式 F 8 (A) +F6 (A) * F 7 (A-B) に基づいて出力信号の値 Cを演算する、 付記 31または 32に記載の視覚処理装置。
(付記 34)
前記ダイナミックレンジ圧縮関数 F 8は、 比例係数 1の正比例関数である、 付記 33に記載の視覚処理装置。
(付記 35)
前記ダイナミックレンジ圧縮関数 F 8は、 単調増加関数である、
付記 33に記載の視覚処理装置。
(付記 36) 前記ダイナミックレンジ圧縮関数 F 8は、 上に凸の関数である、
付記 3 5に記載の視覚処理装置。
(付記 3 7 )
前記ダイナミックレンジ圧縮関数 F 8は、 べき関数である、
付記 3 3に記載の視覚処理装置。
(付記 3 8 )
前記信号演算手段は、 前記画像信号と前記処理信号との差分信号に対して前記 画像信号の画素値に応じた強調処理を行う強調処理手段と、 前記画像信号と前記 強調処理された差分信号とに基づいて前記出力信号を出力する出力処理手段とを 有する、
付記 3 3に記載の視覚処理装置。
(付記 3 9 )
前記出力処理手段は、 前記画像信号と前記強調処理された前記差分信号との加 算処理を行う、
付記 3 8に記載の視覚処理装置。
(付記 4 0 )
前記出力処理手段は、 前記画像信号に対してダイナミックレンジ (D R ) 圧縮 を行う D R圧縮手段を含んでおり、 前記 D R圧縮された前記画像信号と前記強調 処理された前記差分信号との加算処理を行う、
付記 3 8に記載の視覚処理装置。
(付記 4 1 )
入力された画像信号に対して空間処理を行い、 処理信号を出力する入力信号処 理手段と、
前記画像信号と前記処理信号との差を強調した値に対して、 前記画像信号を階 調補正した値を加える演算に基づいて出力信号を出力する信号演算手段と、 を備える視覚処理装置。
(付記 4 2 )
前記信号演算手段は、 前記画像信号の値 A、 前記処理信号の値 B、 強調関数 F 1 1、 階調補正関数 F 1 2に対して、 数式 F 1 2 ( A ) + F 1 1 ( A— B ) に基 づいて出力信号の値 Cを演算する、 .
付記 4 1に記載の視覚処理装置。
(付記 4 3 )
前記信号演算手段は、 前記画像信号と前記処理信号との差分信号に対して強調 処理を行う強調処理手段と、 階調補正された前記画像信号と前記強調処理された 差分信号とを加算処理し出力信号として出力する加算処理手段とを有する、 付記 4 2に記載の視覚処理装置。
(付記 4 4 )
第 1の所定の範囲の入力画像データを第 2の所定の範囲に変換し、 画像信号と する第 1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、 あるいは前記画像信号と 前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を 含む演算に基づいて、 第 3の所定の範囲の出力信号を出力する信号演算ステップ と、
前記第 3の所定の範囲の前記出力信号を第 4の所定の範囲に変換し、 出力画像 データとする第 2変換ステップと、
を備え、
前記第 2の所定の範囲は、 画像表示を行う際のコントラス卜の目標値である目 標コントラスト値に基づいて定められており、
前記第 3の所定の範囲は、 画像表示を行う際の表示環境におけるコントラスト 値である実コントラスト値に基づいて定められている、
視覚処理方法。
(付記 4 5 )
第 1の所定の範囲の入力画像データを第 2の所定の範囲に変換し、 画像信号と する第 1変換手段と、
前記画像信号のダイナミックレンジ圧縮を行う演算、 あるいは前記画像信号と 前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を 含む演算に基づいて、 第 3の所定の範囲の出力信号を出力する信号演算手段と、 前記第 3の所定の範囲の前記出力信号を第 4の所定の範囲に変換し、 出力画像 データとする第 2変換手段と、 .
を備え、
前記第 2の所定の範囲は、 画像表示を行う際のコントラス卜の目標値である目 標コントラス卜値に基づいて定められており、
前記第 3の所定の範囲は、 画像表示を行う際の表示環境におけるコントラス卜 値である実コントラスト値に基づいて定められている、
(付記 4 6 )
コンピュータに視覚処理を行わせるための視覚処理プログラムであって、 第 1の所定の範囲の入力画像データを第 2の所定の範囲に変換し、 画像信号と する第 1変換ステップと、
前記画像信号のダイナミックレンジ圧縮を行う演算、 あるいは前記画像信号と 前記画像信号を空間処理した処理信号との比を強調する演算の少なくとも一方を 含む演算に基づいて、 第 3の所定の範囲の出力信号を出力する信号演算ステップ と、
前記第 3の所定の範囲の前記出力信号を第 4の所定の範囲に変換し、 出力画像 データとする第 2変換ステップと、
を備え、
前記第 2の所定の範囲は、 画像表示を行う際のコントラス卜の目標値である目 標コントラスト値に基づいて定められており、
前記第 3の所定の範囲は、 画像表示を行う際の表示環境におけるコントラス卜 値である実コントラスト値に基づいて定められている、
視覚処理方法をコンピュータに対して行わせるものである、
視覚処理プログラム。
〈付記の説明〉
付記 1に記載の視覚処理装置は、 入力信号処理手段と、 信号演算手段とを備え ている。 入力信号処理手段は、 入力された画像信号に対して空間処理を行い、 処 理信号を出力する。 信号演算手段は、 画像信号と処理信号とを所定の変換により 変換したそれぞれの値の差を強調する演算に基づいて出力信号を出力する。 ここで、 空間処理とは、 入力された画像信号に対して低域空間フィルタを適用 する処理、 あるいは、 入力された画像信号の着目画素と周囲画素との平均値、 最 大値あるいは最小値などを導出する処理などである (以下、 この欄において同 じ) 。 また、 強調する演算とは、 例えば、 ゲインを調整する演算、 過度のコント ラス卜を抑制する演算、 小振幅のノイズ成分を抑制する演算などである (以下、 この欄において同じ) 。
本発明の視覚処理装置では、 画像信号と処理信号とを別空間に変換した上でそ れぞれの差を強調することが可能となる。 これにより、 例えば、 視覚特性にあつ た強調などを実現することが可能となる。
付記 2に記載の視覚処理装置は、 付記 1に記載の視覚処理装置であって、 信号 演算手段は、 画像信号の値 A、 処理信号の値 B、 変換関数 F 1、 変換関数 F 1の 逆変換関数 F 2、 強調関数 F 3に対して、 数式 F 2 ( F 1 ( A ) + F 3 ( F 1 ( A ) - F 1 ( B ) ) ) に基づいて出力信号の値 Cを演算する。
強調関数 F 3とは、 例えば、 ゲインを調整する関数、 過度のコントラストを抑 制する関数、 小振幅のノイズ成分を抑制する関数などである。
出力信号の値 Cは、 次のことを示している。 すなわち、 画像信号の値 Aと処理 信号の値 Bとは、 変換関数 F 1により別空間上の値に変換されている。 変換後の 画像信号の値と処理信号の値との差分は、 例えば、 別空間上でのシャープ信号な どを表している。 強調関数 F 3により強調された変換後の画像信号と処理信号と の差分は、 変換後の画像信号に加算されている。 これにより、 出力信号の値 Cは、 別空間上におけるシャープ信号成分が強調された値を示している。
本発明の視覚処理装置では、 例えば、 別空間に変換された画像信号の値 Aおよ び処理信号の値 Bを用いて、 別空間上でのエッジ強調、 コントラスト強調などの 処理が可能となる。
付記 3に記載の視覚処理装置は、 付記 2に記載の視覚処理装置であって、 変換 関数 F 1は、 対数関数である。
ここで、 人間の視覚特性は、 一般に対数的である。 このため対数空間に変換し て画像信号および処理信号の処理を行うと、 視覚特性に適した処理を行うことが 可能となる。 本発明の視覚処理装置では、 視覚的効果の高いコントラスト強調、 あるいは局 所コントラス卜を維持するダイナミックレンジ圧縮が可能となる。
付記 4に記載の視覚処理装置は、 付記 2に記載の視覚処理装置であって、 逆変 換関数 F 2は、 ガンマ補正関数である。
一般的に画像信号には、 画像信号を入出力する機器のガンマ特性に応じて、 ガ ンマ補正関数によるガンマ補正が施されている。
本発明の視覚処理装置では、 変換関数 F 1により、 画像信号のガンマ補正を外 し、 線形特性のもとで処理を行うことが可能となる。 これにより、 光学的なボケ の補正を行うことが可能となる。
付記 5に記載の視覚処理装置は、 付記 2 ~ 4のいずれかに記載の視覚処理装置 であって、 信号演算手段は、 信号空間変換手段と、 強調処理手段と、 逆変換手段 とを有している。 信号空間変換手段は、 画像信号および処理信号の信号空間の変 換を行う。 強調処理手段は、 変換後の画像信号と変換後の処理信号との差分信号 に対して強調処理を行う。 逆変換手段は、 変換後の画像信号と強調処理後の差分 信号との加算信号に対して信号空間の逆変換を行い、 出力信号を出力する。 本発明の視覚処理装置では、 信号空間変換手段は、 変換関数 F 1を用いて、 画 像信号と処理信号との信号空間の変換を行う。 強調処理手段は、 強調関数 F 3を 用いて、 変換後の画像信号と変換後の処理信号との差分信号に対して強調処理を 行う。 逆変換手段は、 逆変換関数 F 2を用いて、 変換後の画像信号と強調処理後 の差分信号との加算信号に対して信号空間の逆変換を行う。
付記 6に記載の視覚処理装置は、 入力信号処理手段と、 信号演算手段とを備え ている。 入力信号処理手段は、 入力された画像信号に対して空間処理を行い、 処 理信号を出力する。 信号演算手段は、 画像信号と処理信号との比を強調する演算 に基づいて出力信号を出力する。
本発明の視覚処理装置では、 例えば、 画像信号と処理信号との比は、 画像信号 のシャープ成分を表している。 このため、 例えば、 シャープ成分を強調する視覚 処理を行うことが可能となる。
付記 7に記載の視覚処理装置は、 付記 6に記載の視覚処理装置であって、 信号 演算手段は、 画像信号のダイナミックレンジ圧縮をさらに行う演算に基づいて出 力信号を出力する。
本発明の視覚処理装置では、 例えば、 画像信号と処理信号との比が表す画像信 号のシャープ成分を強調しつつ、 ダイナミックレンジの圧縮を行うことが可能と なる。
付記 8に記載の視覚処理装置は、 付記 6または 7に記載の視覚処理装置であつ て、 信号演算手段は、 画像信号の値 A、 処理信号の値 B、 ダイナミックレンジ圧 縮関数 F 4、 強調関数 F 5に対して、 数式 F 4 ( A ) * F 5 ( A / B ) に基づい て出力信号の値 Cを演算する。
ここで出力信号の値 Cは、 次のことを示している。 すなわち、 画像信号の値 A と処理信号の値 Bとの除算量 (A/ B ) は、 例えばシャープ信号を表している。 また、 F 5 ( A / B ) は、 例えば、 シャープ信号の強調量を表している。 これら は、 画像信号の値 Aと処理信号の値 Bとを対数空間に変換し、 それぞれの差分を 強調処理するのと等価な処理を示しておリ、 視覚特性に適した強調処理が行われ ている。
本発明の視覚処理装置では、 必要に応じてダイナミックレンジの圧縮を行いつ つ、 局所的なコントラストを強調することが可能となる。
付記 9に記載の視覚処理装置は、 付記 8に記載の視覚処理装置であって、 ダイ ナミックレンジ圧縮関数 F 4は、 比例係数 1の正比例関数である。
本発明の視覚処理装置では、 画像信号の暗部から明部まで均一に、 コントラス トを強調することが可能となる。 このコントラスト強調は、 視覚特性に適した強 調処理となっている。
付記 1 0に記載の視覚処理装置は、 付記 8に記載の視覚処理装置であって、 ダ イナミックレンジ圧縮関数 F 4は、 単調増加関数である。
本発明の視覚処理装置では、 単調増加関数であるダイナミックレンジ圧縮関数 F 4を用いてダイナミックレンジ圧縮を行いつつ、 局所的なコントラストを強調 することが可能となる。
付記 1 1に記載の視覚処理装置は、 付記 1 0に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 4 、 上に凸の関数である。
本発明の視覚処理装置では、 上に凸の関数であるダイナミックレンジ圧縮関数 F 4を用いてダイナミックレンジ圧縮を行いつつ、 局所的なコントラストを強調 することが可能となる。
付記 1 2に記載の視覚処理装置は、 付記 8に記載の視覚処理装置であって、 ダ イナミックレンジ圧縮関数 F 4は、 べき関数である。
本発明の視覚処理装置では、 べき関数であるダイナミックレンジ圧縮関数 F 4 を用いてダイナミックレンジの変換を行いつつ、 局所的なコントラストを強調す ることが可能となる。
付記 1 3に記載の視覚処理装置は、 付記 1 2に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 4におけるべき関数の指数は、 画像表示を行う際 のコントラストの目標値である目標コントラスト値と、 画像表示を行う際の表示 環境におけるコントラス卜値である実コントラスト値とに基づいて定められる。
ここで、 目標コントラスト値とは、 画像表示を行う際のコントラストの目標値 であり、 例えば、 画像表示を行う表示装置のダイナミックレンジにより決定され る値などである。 実コントラスト値とは、 画像表示を行う際の表示環境における コントラスト値であり、 例えば、 環境光が存在する場合において表示装置が表示 する画像のコントラス卜により決定される値などである。
本発明の視覚処理装置では、 ダイナミックレンジ圧縮関数 F 4によリ目標コン トラスト値と等しいダイナミックレンジを有する画像信号を実コントラスト値と 等しいダイナミックレンジにダイナミックレンジ圧縮することが可能となる。 付記 1 4に記載の視覚処理装置は、 付記 8〜1 3のいずれかに記載の視覚処理 装置であって、 強調関数 F 5は、 べき関数である。
本発明の視覚処理装置では、 べき関数である強調関数 F 5を用いて局所的なコ ントラストを強調することが可能となり、 視覚的にダイナミックレンジの変換を 行うことが可能となる。
付記 1 5に記載の視覚処理装置は、 付記 1 4に記載の視覚処理装置であって、 強調関数 F 5におけるべき関数の指数は、 画像表示を行う際のコントラス卜の目 標値である目標コントラスト値と、 画像表示を行う際の表示環境におけるコント ラス卜値である実コントラス卜値とに基づいて定められる。
本発明の視覚処理装置では、 べき関数である強調関数 F 5を用いて局所的なコ ントラストを強調することが可能となり、 視覚的にダイナミックレンジの変換を 行うことが可能となる。
付記 1 6に記載の視覚処理装置は、 付記 1 4または 1 5に記載の視覚処理装置 であって、 強調関数 F 5におけるべき関数の指数は、 画像信号の値 Aが処理信号 の値 Bよりも大きい場合に、 画像信号の値 Aに対して単調減少する値である。 本発明の視覚処理装置では、 画像信号において周囲画素よリも輝度の高い着目 画素のうち、 高輝度の部分における局所的なコントラス卜の強調を弱めることが 可能となる。 このため、 視覚処理された画像において、 いわゆる白飛びが抑制さ れる。
付記 1 7に記載の視覚処理装置は、 付記 1 4または 1 5に記載の視覚処理装置 であって、 強調関数 F 5におけるべき関数の指数は、 画像信号の値 Aが処理信号 の値 Bよりも小さい場合に、 画像信号の値 Aに対して単調増加する値である。 本発明の視覚処理装置では、 画像信号において周囲画素よリも輝度の低い着目 画素のうち、 低輝度の部分における局所的なコントラス卜の強調を弱めることが 可能となる。 このため、 視覚処理された画像において、 いわゆる黒潰れが抑制さ れる。
付記 1 8に記載の視覚処理装置は、 付記 1 4または 1 5に記載の視覚処理装置 であって、 強調関数 F 5におけるべき関数の指数は、 画像信号の値 Aが処理信号 の値 Bよりも大きい場合に、 画像信号の値 Aに対して単調増加する値である。 本発明の視覚処理装置では、 画像信号において周囲画素よりも輝度の高い着目 画素のうち、 低輝度の部分における局所的なコントラス卜の強調を弱めることが 可能となる。 このため、 視覚処理された画像において、 S N比の劣化が抑制され る。
付記 1 9に記載の視覚処理装置は、 付記 1 4または 1 5に記載の視覚処理装置 であって、 強調関数 F 5におけるべき関数の指数は、 画像信号の値 Aと処理信号 の値 Bとの差の絶対値に対して単調増加する値である。
ここで、 画像信号の値 Aと処理信号の値 Bとの差の絶対値に対して単調増加す る値とは、 画像信号の値 Aと処理信号の値 Bとの比が 1に近いほど増加すると定 我する とも : ^)。 本発明の視覚処理装置では、 画像信号において周囲画素との明暗差が小さい着 目画素における局所的なコントラストを特に強調し、 画像信号において周囲画素 との明暗差が大きい着目画素における局所的なコントラストを強調しすぎないと いうことが可能となる。
付記 2 0に記載の視覚処理装置は、 付記 1 4〜 1 9のいずれかに記載の視覚処 理装置であって、 強調関数 F 5の最大値あるいは最小値の少なくとも一方は、 所 定の範囲内に制限されている。
本発明の視覚処理装置では、 局所的なコントラス卜の強調量を適切な範囲に制 限することが可能となる。
付記 2 1に記載の視覚処理装置は、 付記 8に記載の視覚処理装置であって、 信 号演算手段は、 強調処理手段と、 出力処理手段とを有している。 強調処理手段は、 画像信号を処理信号で除算した除算処理信号に対して強調処理を行う。 出力処理 手段は、 画像信号と強調処理された除算処理信号とに基づいて出力信号を出力す る。
本発明の視覚処理装置では、 強調処理手段は、 画像信号を処理信号で除算した 除算処理信号に対して、 強調関数 F 5を用いて強調処理を行う。 出力処理手段は、 画像信号と除算処理信号に基づいて出力信号を出力する。
付記 2 2に記載の視覚処理装置は、 付記 2 1に記載の視覚処理装置であって、 出力処理手段は、 画像信号と強調処理された除算処理信号との乗算処理を行う。 本発明の視覚処理装置では、 ダイナミックレンジ圧縮関数 F 4は、 例えば、 比 例係数 1の正比例関数である。
付記 2 3に記載の視覚処理装置は、 付記 2 1に記載の視覚処理装置であって、 出力処理手段は、 画像信号に対してダイナミックレンジ (D R) 圧縮を行う D R 圧縮手段を含んでおり、 D R圧縮された画像信号と強調処理された除算処理信号 との乗算処理を行う。
本発明の視覚処理装置では、 D R圧縮手段は、 ダイナミックレンジ圧縮関数 F 4を用いて画像信号のダイナミックレンジ圧縮を行う。
付記 2 4に記載の視覚処理装置は、 付記 8 ~ 2 3のいずれかに記載の視覚処理 装置であって、 第 1変換手段と第 2変換手段とをさらに備えている。 第 1変換手 段は、 第 1の所定の範囲の入力画像データを第 2の所定の範囲に変換し、 画像信 号とする。 第 2変換手段は、 第 3の所定の範囲の出力信号を第 4の所定の範囲に 変換し、 出力画像データとする。 第 2の所定の範囲は、 画像表示を行う際のコン トラス卜の目標値である目標コントラスト値に基づいて定められている。 第 3の 所定の範囲は、 画像表示を行う際の表示環境におけるコントラスト値である実コ ン卜ラスト値に基づいて定められている。
本発明の視覚処理装置では、 環境光の存在によって低下した実コントラスト値 まで画像全体のダイナミックレンジを圧縮しつつ、 局所的には目標コントラスト 値を維持することなどが可能となる。 このため、 視覚処理された画像の視覚的効 果が向上する。
付記 2 5に記載の視覚処理装置は、 付記 2 4に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 4は、 第 2の所定の範囲の画像信号を第 3の所定 の範囲の出力信号に変換する関数である。
本発明の視覚処理装置では、 ダイナミックレンジ圧縮関数 F 4により、 画像全 体のダイナミックレンジが第 3の所定の範囲まで圧縮されている。
付記 2 6に記載の視覚処理装置は、 付記 2 4または 2 5に記載の視覚処理装置 であって、 第 1変換手段は、 第 1の所定の範囲の最小値と最大値とのそれぞれを 第 2の所定の範囲の最小値と最大値とのそれぞれに変換する。 第 2変換手段は、 第 3の所定の範囲の最小値と最大値とのそれぞれを第 4の所定の範囲の最小値と 最大値とのそれぞれに変換する。
付記 2 7に記載の視覚処理装置は、 付記 2 6に記載の視覚処理装置であって、 第 1変換手段および第 2変換手段における変換は、 それぞれ線形の変換である。 付記 2 8に記載の視覚処理装置は、 付記 2 4 ~ 2 7のいずれかに記載の視覚処 理装置であって、 第 3の所定の範囲を設定する設定手段をさらに備える。
本発明の視覚処理装置では、 画像表示を行う表示装置の表示環境に応じて第 3 の所定の範囲を設定可能となる。 このため、 より適切に環境光の補正を行うこと が可能となる。
付記 2 9に記載の視覚処理装置は、 付記 2 8に記載の視覚処理装置であって、 設定手段は、 画像表示を行う表示装置のダイナミックレンジを記憶する記憶手段 と、 画像表示を行う際の表示環境における環境光の輝度を測定する測定手段とを 含む。
本発明の視覚処理装置では、 環境光の輝度を測定し、 測定された輝度と表示装 置のダイナミックレンジとから実コントラスト値を決定することが可能となる。 付記 3 0に記載の視覚処理装置は、 付記 2 8に記載の視覚処理装置であって、 設定手段は、 画像表示を行う表示装置の表示環境における黒レベル表示時と白レ ベル表示時との輝度を測定する測定手段を含む。
本発明の視覚処理装置では、 表示環境における黒レベル表示時と白レベル表示 時との輝度を測定し実コントラスト値を決定することが可能となる。
付記 3 1に記載の視覚処理装置は、 入力信号処理手段と、 信号演算手段とを備 えている。 入力信号処理手段は、 入力された画像信号に対して空間処理を行い、 処理信号を出力する。 信号演算手段は、 画像信号と処理信号との差を、 画像信号 の値に応じて強調する演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、 例えば、 画像信号と処理信号との差である画像信 号のシャープ成分を画像信号の値に応じて強調することが可能となる。 このため、 画像信号の暗部から明部まで適切な強調を行うことが可能となる。
付記 3 2に記載の視覚処理装置は、 付記 3 1に記載の視覚処理装置であって、 信号演算手段は、 強調する演算により強調された値に対して、 画像信号をダイナ ミックレンジ圧縮した値を加える演算に基づいて出力信号を出力する。
本発明の視覚処理装置では、 例えば、 画像信号のシャープ成分などを画像信号 の値に応じて強調しつつ、 ダイナミックレンジの圧縮を行うことが可能となる。 付記 3 3に記載の視覚処理装置は、 付記 3 1または 3 2に記載の視覚処理装置 であって、 信号演算手段は、 画像信号の値 A、 処理信号の値 B、 強調量調整関数 F 6、 強調関数 F 7、 ダイナミックレンジ圧縮関数 F 8に対して、 数式 F 8 ( A ) + F 6 ( A ) * F 7 ( A - B ) に基づいて出力信号の値 Cを演算する。 ここで出力信号の値 Cは、 次のことを示している。 すなわち、 画像信号の値 A と処理信号の値 Bとの差分 (A— B ) は、 例えばシャープ信号を表している。 ま た、 F 7 ( A - B ) は、 例えば、 シャープ信号の強調量を表している。 さらに、 強調量は、 強調量調整関数 F 6により、 画像信号の値 Aに応じて調整され、 必要 に応じてダイナミックレンジ圧縮を行った画像信号に対して加算されている。 本発明の視覚処理装置では、 例えば、 画像信号 Aの値が大きいところでは、 強 調量を減らすなど暗部から明部までのコントラストを維持することが可能となる c また、 ダイナミックレンジ圧縮を行った場合でも、 暗部から明部までの局所コン トラス卜を維持することが可能となる。
付記 3 4に記載の視覚処理装置は、 付記 3 3に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 8は、 比例係数 1の正比例関数である。
本発明の視覚処理装置では、 画像信号の暗部から明部まで均一に、 コントラス トを強調することが可能となる。
付記 3 5に記載の視覚処理装置は、 付記 3 3に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 8は、 単調増加関数である。
本発明の視覚処理装置では、 単調増加関数であるダイナミックレンジ圧縮関数 F 8を用いてダイナミックレンジ圧縮を行いつつ、 局所的なコントラス卜を維持 することが可能となる。
付記 3 6に記載の視覚処理装置は、 付記 3 5に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 8は、 上に凸の関数である。
本発明の視覚処理装置では、 上に凸の関数であるダイナミックレンジ圧縮関数 F 8を用いてダイナミックレンジ圧縮を行いつつ、 局所的なコントラス卜を維持 することが可能となる。
付記 3 7に記載の視覚処理装置は、 付記 3 3に記載の視覚処理装置であって、 ダイナミックレンジ圧縮関数 F 8は、 べき関数である。
本発明の視覚処理装置では、 べき関数であるダイナミックレンジ圧縮関数 F 8 を用いてダイナミックレンジの変換を行いつつ、 局所的なコントラストを維持す ることが可能となる。
付記 3 8に記載の視覚処理装置は、 付記 3 3に記載の視覚処理装置であって、 信号演算手段は、 強調処理手段と、 出力処理手段とを有している。 強調処理手段 は、 画像信号と処理信号との差分信号に対して画像信号の画素値に応じた強調処 理を行う。 出力処理手段は、 画像 号と強調処理された差分信号とに基づいて出 力信号を出力する。 本発明の視覚処理装置では、 強調処理手段は、 強調量調整関数 F 6により強調 量を調整された強調関数 F 7を用いて強調処理を行う。 出力処理手段は、 画像信 号と差分信号とに基づいて出力信号を出力する。
付記 3 9に記載の視覚処理装置は、 付記 3 8に記載の視覚処理装置であって、 出力処理手段は、 画像信号と強調処理された差分信号との加算処理を行う。 本発明の視覚処理装置では、 ダイナミックレンジ圧縮関数 F 8は、 例えば、 比 例係数 1の正比例関数である。
付記 4 0に記載の視覚処理装置は、 付記 3 8に記載の視覚処理装置であって、 出力処理手段は、 画像信号に対してダイナミックレンジ (D R) 圧縮を行う D R 圧縮手段を含んでおり、 D R圧縮された画像信号と強調処理された差分信号との 加算処理を行う。
本発明の視覚処理装置では、 D R圧縮手段は、 ダイナミックレンジ圧縮関数 F 8を用いて画像信号のダイナミックレンジ圧縮を行う。
付記 4 1に記載の視覚処理装置は、 入力信号処理手段と、 信号演算手段とを備 えている。 入力信号処理手段は、 入力された画像信号に対して空間処理を行い、 処理信号を出力する。 信号演算手段は、 画像信号と処理信号との差を強調した値 に対して、 画像信号を階調補正した値を加える演算に基づいて出力信号を出力す る。
本発明の視覚処理装置では、 例えば、 画像信号と処理信号との差は、 画像信号 のシャープ成分を表している。 また、 シャープ成分の強調と画像信号の階調補正 とは独立して行われる。 このため、 画像信号の階調補正量にかかわらず、 一定の シャープ成分の強調を行うことが可能となる。
付記 4 2に記載の視覚処理装置は、 付記 4 1に記載の視覚処理装置であって、 信号演算手段は、 画像信号の値 A、 処理信号の値 B、 強調関数 F 1 1、 階調補正 関数 F 1 2に対して、 数式 F 1 2 ( A ) + F 1 1 ( A— B ) に基づいて出力信号 の値 Cを演算する。
ここで出力信号の値 Cは、 次のことを示している。 すなわち、 画像信号の値 A と処理信号の値 Bとの差分 (A— B ) は、 例えば、 シャープ信号を表している。 また、 F 1 1 ( A— B ) は、 例えば、 シャープ信号の強調処理を表している。 さ らに、 階調補正された画像信号と強調処理されたシャープ信号とが加算されてい ることを表している。
本発明の視覚処理装置では、 階調補正にかかわらず、 一定のコントラスト強調 を行うことが可能となる。
付記 4 3に記載の視覚処理装置は、 付記 4 2に記載の視覚処理装置であって、 信号演算手段は、 強調処理手段と、 加算処理手段とを有している。 強調処理手段 は、 画像信号と処理信号との差分信号に対して強調処理を行う。 加算処理手段は、 階調補正された画像信号と強調処理された差分信号とを加算処理し出力信号とし て出力する。
本発明の視覚処理装置では、 強調処理手段は、 差分信号に対して、 強調関数 F 1 1を用いて強調処理を行う。 加算処理手段は、 階調補正関数 F 1 2を用いて階 調補正処理した画像信号と、 強調処理された差分信号とを加算処理する。
付記 4 4に記載の視覚処理方法は、 第 1変換ステップと、 信号演算ステップと、 第 2変換ステップとを備えている。 第 1変換ステップは、 第 1の所定の範囲の入 力画像データを第 2の所定の範囲に変換し、 画像信号とする。 信号演算ステップ は、 画像信号のダイナミックレンジ圧縮を行う演算、 あるいは画像信号と画像信 号を空間処理した処理信号との比を強調する演算の少なくとも一方を含む演算に 基づいて、 第 3の所定の範囲の出力信号を出力する。 第 2変換ステップは、 第 3 の所定の範囲の出力信号を第 4の所定の範囲に変換し、 出力画像データとする。 第 2の所定の範囲は、 画像表示を行う際のコントラストの目標値である目標コン トラスト値に基づいて定められている。 第 3の所定の範囲は、 画像表示を行う際 の表示環境におけるコントラス卜値である実コントラスト値に基づいて定められ ている。
本発明の視覚処理方法では、 例えば、 環境光の存在によって低下した実コント ラスト値まで画像全体のダイナミックレンジを圧縮しつつ、 局所的には目標コン トラスト値を維持することなどが可能となる。 このため、 視覚処理された画像の 視覚的効果が向上する。
付記 4 5に記載の視覚処理装置は、 第 1変換手段と、 信号演算手段と、. 第 2変 換手段とを備えている。 第 1変換手段は、 第 1の所定の範囲の入力画像データを 第 2の所定の範囲に変換し、 画像信号とする。 信号演算手段は、 画像信号のダイ ナミックレンジ圧縮を行う演算、 あるいは画像信号と画像信号を空間処理した処 理信号との比を強調する演算の少なくとも一方を含む演算に基づいて、 第 3の所 定の範囲の出力信号を出力する。 第 2変換手段は、 第 3の所定の範囲の出力信号 を第 4の所定の範囲に変換し、 出力画像データとする。 第 2の所定の範囲は、 画 像表示を行う際のコントラス卜の目標値である目標コントラスト値に基づいて定 められている。 第 3の所定の範囲は、 画像表示を行う際の表示環境におけるコン トラス卜値である実コントラス卜値に基づいて定められている。
本発明の視覚処理装置では、 例えば、 環境光の存在によって低下した実コント ラスト値まで画像全体のダイナミックレンジを圧縮しつつ、 局所的には目標コン トラスト値を維持することなどが可能となる。 このため、 視覚処理された画像の 視覚的効果が向上する。
付記 4 6に記載の視覚処理プログラムは、 コンピュータに視覚処理を行わせる ための視覚処理プログラムであって、 第 1変換ステップと、 信号演算ステップと、 第 2変換ステップとをそなえる視覚処理方法をコンピュータに対して行わせるも のである。
第 1変換ステツプは、 第 1の所定の範囲の入力画像データを第 2の所定の範囲に 変換し、 画像信号とする。 信号演算ステップは、 画像信号のダイナミックレンジ 圧縮を行う演算、 あるいは画像信号と画像信号を空間処理した処理信号との比を 強調する演算の少なくとも一方を含む演算に基づいて、 第 3の所定の範囲の出力 信号を出力する。 第 2変換ステップは、 第 3の所定の範囲の出力信号を第 4の所 定の範囲に変換し、 出力画像データとする。 第 2の所定の範囲は、 画像表示を行 う際のコントラス卜の目標値である目標コントラス卜値に基づいて定められてい る。 第 3の所定の範囲は、 画像表示を行う際の表示環境におけるコントラスト値 である実コントラス卜値に基づいて定められている。
本発明の視覚処理プログラムでは、 例えば、 環境光の存在によって低下した実 コントラス卜値まで画像全体のダイナミックレンジを圧縮しつつ、 局所的には目 標コントラスト値を維持することなどが可能となる。 このため、 視覚処理された 画像の視覚的効果が向上する。 (産業上の利用可能性)
本発明の視覚処理装置により、 視覚処理された画像を視覚する者にとって、 よ リ視覚的効果の高い画像を得ることが可能となり、 視覚処理装置、 特に、 画像信 号の空間処理または階調処理などの視覚処理を行う視覚処理装置として有用であ る。

Claims

請 求. の 範 囲
環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ 出力手段と、
前記パラメータ出力手段により出力された輝度調整パラメータと、 視覚処理の 対象となる対象画素の輝度と、 前記対象画素の周辺に位置する周辺画素の輝度と に基づいて、 前記対象画素の輝度を変換する変換手段と
を備えた視覚処理装置。
2.
前記パラメータ出力手段は、 前記環境光を表すパラメータと外部から入力され る外部パラメータとに基づいて輝度調整パラメータを出力することを特徴とする、 請求項 1に記載の視覚処理装置。
3.
前記パラメータ出力手段は、 環境光を表すパラメータに基づいて輝度調整パラ メータを出力する第 1のモードと、 環境光を表すパラメータと外部から入力され る外部パラメータとに基づいて輝度調整パラメータを出力する第 2のモードとの いずれかを、 切り換え信号に基づいて切り換えて動作することを特徴とする、 請求項 1に記載の視覚処理装置。
4.
前記変換手段は、 対象画素の輝度と周辺画素の輝度との差または比を強調する 演算を行うことを特徴とする、
請求項 1に記載の視覚処理装置。
5 .
前記環境光を表すパラメータ、 あるいは前記輝度調整パラメータの時間変化を 制御する時間変化調整部、
をさらに備える請求項 1に記載の視覚処理装置。
6 .
環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ 出力ステップと、
前記パラメータ出力ステップにより出力された輝度調整パラメータと、 視覚処 理の対象となる対象画素の輝度と、 前記対象画素の周辺に位置する周辺画素の輝 度とに基づいて、 前記対象画素の輝度を変換する変換ステップと
を備えた視覚処理方法。
7 .
コンピュータに視覚処理方法を行わせるプログラムであって、
前記視覚処理方法は、
環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ 出力ステップと、
前記パラメータ出カステツプによリ出力された輝度調整パラメータと、 視覚処 理の対象となる対象画素の輝度と、 前記対象画素の周辺に位置する周辺画素の輝 度とに基づいて、 前記対象画素の輝度を変換する変換ステップと、
を備える視覚処理方法である、
視覚処理プログラム。
8.
環境光を表すパラメータに基づいて輝度調整パラメータを出力するパラメータ 出力部と、
前記パラメータ出力部によリ出力された輝度調整パラメータと、 視覚処理の対 象となる対象画素の輝度と、 前記対象画素の周辺に位置する周辺画素の輝度とに 基づいて、 前記対象画素の輝度を変換する変換部と
を備えた半導体装置。
PCT/JP2004/013602 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 WO2005027042A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/571,296 US20070109447A1 (en) 2003-09-11 2004-09-10 Visual processing device, visual processing method, visual processing program, and semiconductor device
EP04773246.6A EP1667065B1 (en) 2003-09-11 2004-09-10 Visual processing apparatus, visual processing method, visual processing program, and semiconductor device
KR1020117000704A KR101089426B1 (ko) 2003-09-11 2004-09-10 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003320060 2003-09-11
JP2003-320060 2003-09-11
JP2004084118 2004-03-23
JP2004-084118 2004-03-23

Publications (1)

Publication Number Publication Date
WO2005027042A1 true WO2005027042A1 (ja) 2005-03-24

Family

ID=34315662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/013602 WO2005027042A1 (ja) 2003-09-11 2004-09-10 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置

Country Status (5)

Country Link
US (1) US20070109447A1 (ja)
EP (1) EP1667065B1 (ja)
JP (3) JP4688945B2 (ja)
KR (2) KR101089426B1 (ja)
WO (1) WO2005027042A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194999B2 (en) 2007-01-30 2012-06-05 Fujitsu Limited Image generating apparatus, image generating method and computer product

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640063B1 (ko) * 2005-02-18 2006-10-31 삼성전자주식회사 외부조도를 고려한 영상향상방법 및 장치
TW200631432A (en) * 2005-02-21 2006-09-01 Asustek Comp Inc Display system and displaying method capable of auto-adjusting display brightness
JP4872508B2 (ja) 2006-07-28 2012-02-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR100782505B1 (ko) * 2006-09-19 2007-12-05 삼성전자주식회사 이동통신 단말기의 명암색을 이용한 영상 표시 방법 및장치
KR100827239B1 (ko) 2006-10-17 2008-05-07 삼성전자주식회사 영상의 시인성을 향상시키는 장치 및 방법
US20100277452A1 (en) * 2007-02-23 2010-11-04 Sony Corporation Mobile display control system
US20080204599A1 (en) * 2007-02-23 2008-08-28 Sony Corporation Mobile display control system
JP4858610B2 (ja) * 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
JP4894595B2 (ja) * 2007-04-13 2012-03-14 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2009071621A (ja) * 2007-09-13 2009-04-02 Panasonic Corp 画像処理装置及びデジタルカメラ
JP4314305B1 (ja) * 2008-02-04 2009-08-12 シャープ株式会社 鮮鋭化画像処理装置、方法、及びソフトウェア
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
JP5169652B2 (ja) * 2008-09-08 2013-03-27 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8654140B2 (en) * 2008-12-26 2014-02-18 Seiko Epson Corporation Image processor, image display device, and image processing method
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
KR101389932B1 (ko) 2011-11-29 2014-04-29 연세대학교 산학협력단 이미지 톤 매핑 장치 및 방법
JP5933332B2 (ja) * 2012-05-11 2016-06-08 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
JP5514344B2 (ja) 2012-05-15 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
KR101947125B1 (ko) * 2012-11-27 2019-02-13 엘지디스플레이 주식회사 타이밍 컨트롤러 및 그 구동 방법과 이를 이용한 표시장치
RU2563333C2 (ru) * 2013-07-18 2015-09-20 Федеральное государственное унитарное предприятие "Научно-производственное объединение автоматики имени академика Н.А. Семихатова" Бесплатформенная инерциальная навигационная система
KR102111777B1 (ko) * 2013-09-05 2020-05-18 삼성디스플레이 주식회사 영상 표시장치 및 그의 구동 방법
CN105379263B (zh) 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
RU2548927C1 (ru) * 2013-12-05 2015-04-20 Федеральное государственное унитарное предприятие "Научное объединение автоматики имени академика Н.А. Семихатова" Система астронавигации
JP6335614B2 (ja) * 2014-04-25 2018-05-30 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP6523151B2 (ja) * 2015-12-09 2019-05-29 富士フイルム株式会社 表示装置
US10043456B1 (en) * 2015-12-29 2018-08-07 Amazon Technologies, Inc. Controller and methods for adjusting performance properties of an electrowetting display device
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0732669A1 (en) 1995-03-14 1996-09-18 Eastman Kodak Company A method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
JPH1065930A (ja) * 1996-08-19 1998-03-06 Fuji Xerox Co Ltd カラー画像処理方法およびカラー画像処理装置
JPH10334218A (ja) * 1997-06-02 1998-12-18 Canon Inc 画像処理装置およびその方法、並びに、記録媒体
JP2002095021A (ja) * 2000-09-13 2002-03-29 Seiko Epson Corp 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体
JP2002204372A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像処理装置およびその方法
JP2002536677A (ja) * 1999-02-01 2002-10-29 マイクロソフト コーポレイション 表示装置と表示条件情報とを用いる方法及び装置
JP2003108109A (ja) * 2001-09-27 2003-04-11 Seiko Epson Corp 画像表示システム、プログラム、情報記憶媒体および画像処理方法
US6618045B1 (en) 2000-02-04 2003-09-09 Microsoft Corporation Display device with self-adjusting control parameters

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US660774A (en) * 1900-03-23 1900-10-30 Thomas H Hicks Amalgamator.
DE3024459A1 (de) * 1979-07-03 1981-01-08 Crosfield Electronics Ltd Pyramideninterpolation
US4837722A (en) * 1986-05-14 1989-06-06 Massachusetts Institute Of Technology Digital high speed 3-dimensional interpolation machine
JPH0348980A (ja) * 1989-07-18 1991-03-01 Fujitsu Ltd 輪郭強調処理方式
JP2663189B2 (ja) * 1990-01-29 1997-10-15 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
JP2752309B2 (ja) * 1993-01-19 1998-05-18 松下電器産業株式会社 表示装置
JP3196864B2 (ja) * 1993-04-19 2001-08-06 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
US5483360A (en) * 1994-06-06 1996-01-09 Xerox Corporation Color printer calibration with blended look up tables
US5479926A (en) * 1995-03-10 1996-01-02 Acuson Corporation Imaging system display processor
US6094185A (en) * 1995-07-05 2000-07-25 Sun Microsystems, Inc. Apparatus and method for automatically adjusting computer display parameters in response to ambient light and user preferences
JP3003561B2 (ja) * 1995-09-25 2000-01-31 松下電器産業株式会社 階調変換方法及びその回路と画像表示方法及びその装置と画像信号変換装置
EP1156451B1 (en) * 1995-09-29 2004-06-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JPH09275496A (ja) * 1996-04-04 1997-10-21 Dainippon Screen Mfg Co Ltd 画像の輪郭強調処理装置および方法
US6351558B1 (en) * 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
KR100261214B1 (ko) * 1997-02-27 2000-07-01 윤종용 영상처리 시스템의 콘트라스트 확장장치에서 히스토그램 등화방법 및 장치
JP2951909B2 (ja) * 1997-03-17 1999-09-20 松下電器産業株式会社 撮像装置の階調補正装置及び階調補正方法
JP3585703B2 (ja) * 1997-06-27 2004-11-04 シャープ株式会社 画像処理装置
US6147664A (en) * 1997-08-29 2000-11-14 Candescent Technologies Corporation Controlling the brightness of an FED device using PWM on the row side and AM on the column side
US6069597A (en) * 1997-08-29 2000-05-30 Candescent Technologies Corporation Circuit and method for controlling the brightness of an FED device
GB2335326B (en) * 1997-10-31 2002-04-17 Sony Corp Image processing apparatus and method and providing medium.
US6411306B1 (en) * 1997-11-14 2002-06-25 Eastman Kodak Company Automatic luminance and contrast adustment for display device
JP2001527372A (ja) * 1997-12-31 2001-12-25 ジェンテクス・コーポレーション 車両視覚システム
US6323869B1 (en) * 1998-01-09 2001-11-27 Eastman Kodak Company Method and system for modality dependent tone scale adjustment
JP3809298B2 (ja) * 1998-05-26 2006-08-16 キヤノン株式会社 画像処理方法、装置および記録媒体
US6643398B2 (en) * 1998-08-05 2003-11-04 Minolta Co., Ltd. Image correction device, image correction method and computer program product in memory for image correction
US6275605B1 (en) * 1999-01-18 2001-08-14 Eastman Kodak Company Method for adjusting the tone scale of a digital image
US6580835B1 (en) * 1999-06-02 2003-06-17 Eastman Kodak Company Method for enhancing the edge contrast of a digital image
JP2001111858A (ja) * 1999-08-03 2001-04-20 Fuji Photo Film Co Ltd 色修正定義作成方法、色修正定義作成装置、および色修正定義作成プログラム記憶媒体
JP4076302B2 (ja) * 1999-08-31 2008-04-16 シャープ株式会社 画像の輝度補正方法
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP3758452B2 (ja) * 2000-02-28 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 記録媒体、並びに、画像処理装置および画像処理方法
US6813041B1 (en) * 2000-03-31 2004-11-02 Hewlett-Packard Development Company, L.P. Method and apparatus for performing local color correction
US6822762B2 (en) * 2000-03-31 2004-11-23 Hewlett-Packard Development Company, L.P. Local color correction
JP4081219B2 (ja) * 2000-04-17 2008-04-23 富士フイルム株式会社 画像処理方法及び画像処理装置
JP4605987B2 (ja) * 2000-08-28 2011-01-05 セイコーエプソン株式会社 プロジェクタ、画像処理方法および情報記憶媒体
US6483245B1 (en) * 2000-09-08 2002-11-19 Visteon Corporation Automatic brightness control using a variable time constant filter
US6856704B1 (en) * 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
US6915024B1 (en) * 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
US7023580B2 (en) * 2001-04-20 2006-04-04 Agilent Technologies, Inc. System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
JP3752448B2 (ja) * 2001-12-05 2006-03-08 オリンパス株式会社 画像表示システム
JP2003242498A (ja) * 2002-02-18 2003-08-29 Konica Corp 画像処理方法および画像処理装置ならびに画像出力方法および画像出力装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0732669A1 (en) 1995-03-14 1996-09-18 Eastman Kodak Company A method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
JPH1065930A (ja) * 1996-08-19 1998-03-06 Fuji Xerox Co Ltd カラー画像処理方法およびカラー画像処理装置
JPH10334218A (ja) * 1997-06-02 1998-12-18 Canon Inc 画像処理装置およびその方法、並びに、記録媒体
JP2002536677A (ja) * 1999-02-01 2002-10-29 マイクロソフト コーポレイション 表示装置と表示条件情報とを用いる方法及び装置
US6618045B1 (en) 2000-02-04 2003-09-09 Microsoft Corporation Display device with self-adjusting control parameters
JP2002095021A (ja) * 2000-09-13 2002-03-29 Seiko Epson Corp 補正カーブ生成方法、画像処理方法、画像表示装置および記録媒体
JP2002204372A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像処理装置およびその方法
JP2003108109A (ja) * 2001-09-27 2003-04-11 Seiko Epson Corp 画像表示システム、プログラム、情報記憶媒体および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1667065A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194999B2 (en) 2007-01-30 2012-06-05 Fujitsu Limited Image generating apparatus, image generating method and computer product

Also Published As

Publication number Publication date
EP1667065A1 (en) 2006-06-07
JP2009213155A (ja) 2009-09-17
JP2011090706A (ja) 2011-05-06
KR101027849B1 (ko) 2011-04-07
KR20060121875A (ko) 2006-11-29
EP1667065A4 (en) 2009-06-03
EP1667065B1 (en) 2018-06-06
JP2011172260A (ja) 2011-09-01
KR101089426B1 (ko) 2011-12-07
JP4745458B2 (ja) 2011-08-10
JP5300906B2 (ja) 2013-09-25
KR20110007630A (ko) 2011-01-24
JP4688945B2 (ja) 2011-05-25
US20070109447A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
JP4688945B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4410304B2 (ja) 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4857360B2 (ja) 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
JP4157592B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP4440245B2 (ja) 視覚処理装置、表示装置および集積回路
JP2008159069A5 (ja)
JP4437150B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
WO2005027041A1 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4414307B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
JP4126297B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP2006024176A5 (ja)
JP4094652B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
JP4437149B2 (ja) 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480026253.0

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GM HR HU ID IL IN IS KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NA NI NO NZ OM PG PL PT RO RU SC SD SE SG SK SL SY TM TN TR TT TZ UA UG US UZ VC YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SZ TZ UG ZM ZW AM AZ BY KG MD RU TJ TM AT BE BG CH CY DE DK EE ES FI FR GB GR HU IE IT MC NL PL PT RO SE SI SK TR BF CF CG CI CM GA GN GQ GW ML MR SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067005004

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2004773246

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004773246

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007109447

Country of ref document: US

Ref document number: 10571296

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020067005004

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10571296

Country of ref document: US