WO2012099013A1 - 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体 - Google Patents
画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体 Download PDFInfo
- Publication number
- WO2012099013A1 WO2012099013A1 PCT/JP2012/050582 JP2012050582W WO2012099013A1 WO 2012099013 A1 WO2012099013 A1 WO 2012099013A1 JP 2012050582 W JP2012050582 W JP 2012050582W WO 2012099013 A1 WO2012099013 A1 WO 2012099013A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- correction
- target area
- data
- signal
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
Definitions
- the present invention relates to an image correction apparatus that corrects image data, an image correction display apparatus, and an image correction method.
- Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique relating to an imaging device that corrects the hue of a color information signal corresponding to a human face area out of color information signals of an image based on a calculated hue correction value. Is disclosed.
- FIG. 13 shows the main components of the imaging device disclosed in Patent Document 1.
- FIG. 13 is a block diagram showing main components of the imaging device 90 disclosed in Patent Document 1.
- the imaging device 90 includes a face area extraction unit 91 that extracts a color information signal corresponding to a person's face area, and a hue correction value that corrects the hue of the color information signal corresponding to the person's face area.
- a hue correction value calculation unit 92 to be calculated, and a hue correction unit 93 to correct the hue of the color information signal corresponding to the face area based on the hue correction value are provided.
- Japanese Patent Publication Japanese Patent Laid-Open No. 2004-180114 (published June 24, 2004)”
- the area corresponding to the color information signal corresponding to the skin color in the image occupies a predetermined range with respect to the entire image, and the aspect ratio of the range
- an area having a predetermined ratio (for example, length: width ⁇ 1: 1) is determined as a face area. For this reason, it is difficult to extract only the face area by the method of discriminating the area that satisfies the above conditions.
- an area other than an area that actually includes a face among areas corresponding to a color information signal corresponding to skin color may be determined as a face area.
- the present invention has been made to solve the above-described problems, and its main purpose is to extract data indicating a target area to be corrected from image data and perform correction suitable for the data indicating the extracted target area.
- An object of the present invention is to provide an image correction apparatus for performing.
- an image correction apparatus refers to an input image stored in a storage unit by referring to a target feature database including feature data indicating features specific to a correction target region.
- a target area extracting means for extracting target area data including specific features from the data
- a correction content database stored in a storage unit and defined as correction contents for the target area data
- the target area data when the target area data is extracted from the input image data, data corresponding to feature data indicating characteristics specific to the correction target area included in the target feature database is used as the target area data. Can be extracted.
- input image data applicable to the feature data for example, when a face area is extracted as the target area data, the same color as the partial area of the body or the face of the same color as the face area It is possible to prevent erroneous detection of the wall area of the camera.
- An image correction method of an image correction apparatus is an image correction method of an image correction apparatus that corrects an input image, and is feature data that is stored in a storage unit and indicates characteristics specific to a correction target region.
- a target region extraction step for extracting target region data including specific features from input image data, and correction contents for the target region data stored in the storage unit are determined.
- a correction processing step of performing image correction on the target area data extracted in the target area extraction step in the input image data by referring to the correction content database.
- the input image data corresponding to the feature data indicating the characteristic specific to the correction target area included in the target feature database is converted into the target area. It can be extracted as data. As a result, the same effects as those of the image correction apparatus described above can be obtained.
- an image correction apparatus refers to an input image stored in a storage unit by referring to a target feature database including feature data indicating features specific to a correction target region.
- a target area extracting means for extracting target area data including specific features from the data
- a correction content database stored in a storage unit and defined as correction contents for the target area data
- target area data to be corrected is extracted from the input image data, and correction suitable for the extracted target area data can be performed.
- FIG. 4 is a flowchart illustrating an example of a flow of correction target area extraction processing in a target area extraction unit of the image correction apparatus illustrated in FIG. 2.
- 3 is a flowchart illustrating an example of a flow of image correction processing in a correction processing unit of the image correction apparatus illustrated in FIG. 2.
- FIG. 4 is a diagram showing color difference correction for hue information of face area data in the CbCr coordinate system in the color difference correction processing unit of the image correction apparatus shown in FIG. 2, and (a) shows the range of skin color hue information of the face area data in CbCr coordinates; (B) is a diagram showing a range of hue information before and after correcting the skin color of the face area data in the CbCr coordinate system.
- It is a block diagram which shows the detail of a structure of the image correction apparatus which concerns on the modification of one Embodiment of this invention. It is a block diagram which shows the detail of a structure of the image correction apparatus which concerns on the other modification of one Embodiment of this invention.
- FIG. 10 is a block diagram illustrating main components of a face color correction device disclosed in Patent Document 1.
- FIG. 1 is a block diagram illustrating a configuration of an image correction apparatus 1 according to the present embodiment.
- FIG. 2 is a block diagram showing details of the configuration of the image correction apparatus 1 according to the present embodiment.
- the image correction device 1 is mounted on, for example, a television receiver or an information processing device, and corrects the image quality of input image data included in a broadcast signal or an output signal of the image output device.
- the image correction apparatus 1 includes a target region extraction unit 10 (target region extraction unit), a correction processing unit 20 (correction processing unit), and a storage unit 30.
- the storage unit 30 stores a target feature database 31 and a correction content database 32.
- the image correction apparatus 1 further includes an RGB conversion unit 40 (first color space signal conversion means).
- the correction processing unit 20 of the image correction apparatus 1 includes a luminance correction processing unit 21 (luminance correction processing unit), a color difference correction processing unit 22 (color difference correction processing unit), and a noise reduction processing unit 23 (noise reduction processing unit). It is comprised including.
- the target area extraction unit 10 is means for extracting correction target area data (target area data) indicating a target to be corrected from input image data.
- the target feature database 31 stored in the storage unit 30 is referred to, and data having a value within a range value predetermined in the target feature database 31 (features indicating features unique to the correction target region). Data) is extracted as correction target area data.
- the target feature database 31 will be described later.
- the correction processing unit 20 is means for performing image quality correction processing (hereinafter also referred to as target region correction processing) on the correction target region data. Specifically, the correction processing unit 20 stores, in the storage unit 30, the correction content most suitable for the target indicated by the correction target region data with respect to the correction target region data extracted by the target region extraction unit 10. The target area correction process is executed based on the determined content with reference to the correction content database 32 being determined.
- the target area correction processing is, for example, a luminance signal including luminance information (brightness value) indicating the degree of brightness of the correction target area data included in the correction target area data, and the color of the correction target area data. It means that at least one of the color difference signals quantitatively indicating the perceptual difference is adjusted. Further, the color difference signal includes hue information (hue value) indicating the hue of the correction target area data and the attribute of the color to be characterized, and saturation information (saturation value) indicating the degree of vividness of the correction target area data. include.
- the correction content database 32 will be described later.
- the luminance correction processing unit 21 is provided in the correction processing unit 20 and executes a correction process on the luminance information included in the luminance signal of the correction target region data extracted by the target region extraction unit 10. Specifically, the luminance correction processing unit 21 corrects the luminance information in the correction target area data, thereby correcting a thick outline (for example, a thick edge such as a face outline), a thin and sharp outline. For example, fine outline emphasis correction for emphasizing (for example, thin and sharp edges such as eyelashes) and texture emphasis correction for emphasizing texture (for example, thin edges such as lawn and brick) are performed.
- a thick outline for example, a thick edge such as a face outline
- texture emphasis correction for emphasizing texture
- texture for example, thin edges such as lawn and brick
- the luminance correction processing unit 21 preferably includes a band pass filter and a high pass filter.
- the luminance correction processing unit 21 performs thick contour emphasis correction using a bandpass filter, performs fine contour emphasis correction using a bandpass filter having a higher pass frequency band than the bandpass filter used for thick contour emphasis correction, Texture enhancement correction may be performed using a high-pass filter.
- the configuration of the luminance correction processing unit 21 is not limited to this.
- the chrominance correction processing unit 22 is provided in the correction processing unit 20 and is chromaticity indicating hue information and chromaticity information indicating hue information included in the chrominance signal of the correction target region data extracted by the target region extraction unit 10. Execute correction processing for information. Specifically, the color difference correction processing unit 22 performs a hue correction process on the hue information of the correction target area data, and performs a saturation correction process on the saturation information of the correction target area data.
- the value of the hue information included in the correction target area data is corrected to a value within a predetermined appropriate range.
- the hue correction process include, but are not limited to, a skin color hue correction process for correcting the facial hue within an appropriate range, a blue sky hue correction process, and a lawn hue correction process. It is not a thing.
- the saturation correction process is performed by multiplying the color difference signal by a positive coefficient.
- the coefficient is larger than 1, the color is corrected so as to be vivid, and when the coefficient is smaller than 1, the color is corrected so as to become light.
- saturation correction is not performed.
- r is the saturation and ⁇ is the hue.
- the noise reduction processing unit 23 removes noise in the luminance signal and the color difference signal included in the correction target area data. Specifically, the noise reduction processing unit 23 removes noise (flickering, roughness, etc.) in the luminance signal and removes noise (excess color information, etc.) in the color difference signal, thereby removing the noise in the correction target area data. Remove.
- the noise reduction processing unit 23 preferably includes a low-pass filter or a median filter.
- the median filter arranges the density values in the respective pixels of the mask having a mask size of n ⁇ n (n is a natural number) (for example, 3 ⁇ 3 or 5 ⁇ 5) in ascending order,
- the noise is removed by setting the output density of the target pixel.
- the median filter has a larger noise removal effect as the mask size is larger.
- the low-pass filter sets a coefficient for each pixel of the mask of the mask size n ⁇ n so that the sum of the coefficients becomes 1 and the coefficient of the target pixel becomes the maximum, and weighted averaging processing is performed.
- the noise By removing the noise.
- the coefficients are uniform, the noise removal effect is maximized. If the coefficient of the pixel of interest is 1, other coefficients are 0, and the noise removal effect is lost.
- a filter coefficient it is sufficient to use a filter coefficient with a large noise removal effect for a target area that is flat and has few edges, such as a face and a blue sky. For a target region with a large amount of noise, a filter coefficient having a small noise removal effect may be used.
- the noise reduction processing unit 23 when the noise reduction processing unit 23 is a low-pass filter, it is possible to perform correction by weighted average processing on the correction target region data, and when the noise reduction processing unit 23 is a median filter. Correction that removes fine noise can be performed.
- the storage unit 30 includes a target feature database 31 that is referred to when the target region extraction unit 10 extracts correction target region data, and a correction that is referred to when the target region correction process is executed in the correction processing unit 20.
- the storage unit 30 is a program for operating a computer as the image correction apparatus 1, and serves as a computer-readable recording medium that records a program that causes the computer to function as each unit of the image correction apparatus 1. Also bears.
- the RGB conversion unit 40 converts the color space signal of the color system indicating the input image data corrected by the correction processing unit 20 into a color space signal of another color system and outputs it as output image data.
- the RGB conversion unit 40 converts the color space signal (Y, Cb, Cr) of the input image data input in the color system represented by the YCbCr color space into the color space signal (R, G) of the RGB color system. , B).
- the RGB conversion unit 40 will be described by taking as an example a configuration for converting a color space signal of the color system expressed in the YCbCr color space into a color space signal of the RGB color system.
- the present invention is not limited to this.
- a configuration for converting to a color space signal of the CIE L * a * b * color system may be adopted.
- FIG. 3 is a diagram showing an example of the target feature database 31 in the present embodiment.
- FIG. 4 is a diagram showing an example of the correction content database 32 in the present embodiment.
- the target feature database 31 extracts, for example, face feature information and a blue sky that are referred to when extracting a human face as feature information of a region extracted as correction target region data from input image data.
- This is a database in which a plurality of feature information, such as blue sky feature information referred to when performing grass extraction, and lawn feature information referred to when extracting grass, is set in advance.
- the facial feature information for example, a range value value of hue information indicating the skin color of the face, a range value value of saturation information indicating the saturation of the face, a range value of value of luminance information indicating the brightness of the face, and The range value of the relative distance relationship of facial features such as eyes, nose and mouth is set.
- the blue sky feature information for example, the range value of the hue information, the range value of the saturation information value, the range value of the luminance information value, the range value of the high frequency component, and the range of the position on the screen Value is set.
- the range value of the high frequency component in the blue sky feature information includes, for example, a threshold value indicating that the ratio of the high frequency component included is below a certain level (for example, a high frequency component other than the high frequency component caused by noise) A small value that indicates that the position is not set), and the range value of the position on the screen is a value of a predetermined position that specifies that the position is higher than the predetermined position on the screen Should be set.
- the range value of the hue information value, the range value of the saturation information value, the range value of the luminance information value, the range value of the high frequency component, and the range of the position on the screen Value is set.
- the range value of the high frequency component in the lawn feature information is set with a threshold value indicating that the ratio of the high frequency component included is equal to or greater than a certain value, and the range value of the position on the screen includes the screen It is only necessary to set a value of a predetermined position that specifies that the position is lower than the predetermined position above.
- the correction content included in the correction content database includes luminance correction content indicating correction content for luminance information, color difference correction content indicating correction content for color difference information, and noise reduction content indicating correction content for both luminance information and color difference information. Includes at least one of them.
- the correction content database 32 is referred to when correcting the face correction content, which is referred to when correcting a person's face in the correction target region data, and when correcting the blue sky.
- Correction content information such as the blue sky correction content and the lawn correction content referred to when correcting the lawn is predetermined.
- hue correction processing is performed on hue information indicating parts other than the eyes, nose, and mouth, the hue is corrected to an appropriate range of standard skin color (for example, compression), and hue information indicating the lip part is referred to Select the color that corrects the hue information indicating the lip from several predetermined colors, perform hue correction, perform edge enhancement on eyes, nose and mouth, and edge enhancement on eyelashes Etc. are set.
- standard skin color for example, compression
- the blue sky correction content is set such that the hue information indicating the blue sky is corrected to the appropriate range of the standard blue, and the noise reduction is performed on the hue information indicating the blue sky.
- the lawn correction contents are set such that the hue information indicating the lawn is corrected to a proper range of standard green, and the high frequency component is emphasized for the hue information indicating the lawn.
- the correction for the luminance information, the correction for the hue information and the saturation information, and the correction for the luminance information, the hue information and the saturation information are respectively performed as necessary on the characteristics of the correction target region. And natural correction can be performed on the input image data.
- correction processing that is unnecessary or incompatible due to the characteristics of the correction target region is not corrected by the corresponding processing unit, and the signal is passed through. You can do it.
- the target area extraction unit 10 and the correction processing unit 20 can perform processing based on the luminance information and the color difference information, the luminance signal and the color difference signal constituting the input image data are represented by the luminance signal and the color difference signal. It is possible to perform processing without converting to a color space signal of a color system different from the displayed color system.
- the luminance signal and the color difference signal including the luminance information and the color difference information processed by the correction processing unit 20 are different from the color system represented by the luminance signal and the color difference signal. After being converted to a color space signal, it can be output as output image data.
- FIG. 5 is a flowchart illustrating an example of the flow of the correction target area extraction process in the target area extraction unit 10 included in the image correction apparatus 1 according to the present embodiment.
- the target region extraction unit 10 acquires the face feature information, blue sky feature information, and lawn feature information shown in FIG. 3 as feature information from the target feature database 31 as an example.
- the feature information acquired by the target region extraction unit 10 in the present invention is not limited to this.
- the target region extraction unit 10 may adopt a configuration in which which feature information is acquired can be set in advance by a setting unit (not shown).
- the target area extracting unit 10 acquires feature information defined in the target feature database 31 stored in the storage unit 30 (step S1).
- the target region extraction unit 10 compares the luminance information, the hue information, and the saturation information included in the luminance signal and the color difference signal of the supplied input image data with the feature information (step S2).
- the target region extraction unit 10 determines that the region data indicated by the luminance information, hue information, and saturation information included in the luminance signal and the color difference signal of the input image data has a value within each range value of the facial feature information. It is determined whether the data is possessed (step S3).
- the target area extraction unit 10 determines that the area data indicated by the luminance information, hue information, and saturation information in the input image data is data having a value within each range value of the face feature information (in step S3). YES) It is determined whether or not the eye, nose and mouth features can be extracted from the area data (step S4).
- the target region extraction unit 10 determines that the relative distance relationship between the eyes, nose, and mouth is within the range of the face feature information. It is determined whether it is a value (step S5).
- the target region extraction unit 10 determines the luminance information, hue information, and saturation information. Region data having a value within each range value of the face feature information from the input image data indicated by, and the region data in which the relative distance relationship between the eyes, nose and mouth is a value within the range value of the face feature information Are extracted as face area data to be corrected (step S6).
- the target area extraction unit 10 determines that the feature information of the eyes, nose, and mouth cannot be extracted (NO in step S4), the relative distance relationship between the eyes, nose, and mouth is not within the range value of the face feature information. If it is determined (NO in step S5), or whether the luminance information, hue information, and saturation information of the supplied input image data have been compared with all feature information after extracting face area data to be corrected Is determined (step S7).
- step S7 If it is determined that the luminance information, hue information, and saturation information of the supplied input image data are not compared with all the feature information (NO in step S7), the target area extraction unit 10 again performs the processing from step S2. repeat.
- the target area extraction unit 10 determines that the area data indicated by the luminance information, the hue information, and the saturation information is not data having a value within each range value of the face feature information in the input image data (NO in step S3). ) In the region, it is determined whether or not the region data indicated by the luminance information, hue information, and saturation information is data that is a value within each range value of the blue sky feature information (step S8).
- the target area extraction unit 10 determines that the area data indicated by the luminance information, the hue information, and the saturation information in the input image data is data having a value within each range value of the blue sky feature information (in step S8). YES) In the area data, it is determined whether or not a high frequency component is included in the area data that is a value within each range value of the blue sky feature information (step S9). For example, the ratio value of the high frequency component included in the area data is compared with the threshold value set in the range value of the high frequency component in the blue sky feature information, and the ratio of the high frequency component included in the area data is equal to or less than the threshold value. In this case, it may be determined that the high frequency component is not included.
- the target region extraction unit 10 determines that the region data determined not to include the high frequency component is above the image represented by the input image data. It is determined whether or not the data has a value within a range value indicating that it is located at (step S10). For example, the target area extraction unit 10 determines whether or not a predetermined percentage of the area data determined to contain no high-frequency components is above the center of the image represented by the input image data. The determination in step S10 may be performed by determining the above.
- the target area extraction unit 10 is such that the area data indicated by the luminance information, the hue information, and the saturation information is a value within each range value of the blue sky feature information, does not include a high-frequency component, and is input image data
- the area data having a value within the range value indicating that it is located above the image represented by is extracted as the blue sky area data to be corrected (step S11).
- the target region extraction unit 10 is not region data having a value within a range value indicating that it is located above the image represented by the input image data. (NO in step S10), or after extracting the blue sky region data to be corrected, whether the luminance information, hue information and saturation information of the supplied input image data are compared with all feature information It is determined again whether or not (step S7).
- step S7 If it is determined that the luminance information, hue information, and saturation information included in the luminance signal and the color difference signal of the supplied input image data are not compared with all the feature information (NO in step S7), the target region extraction unit 10 Repeats the process from step S2 again.
- the target area extraction unit 10 is an area in which the luminance information, the hue information, and the saturation information are determined not to be within the range values of the face feature information in the input image data (NO in step S3), and each of the blue sky feature information Whether or not the area data indicated by the luminance information, the hue information, and the saturation information is data that is a value within each range value of the lawn feature information in the area determined not to be within the range value (NO in step S8). Is determined (step S12).
- the target region extraction unit 10 determines that the region data indicated by the luminance information, hue information, and saturation information in the input image data is data having a value within each range value of the lawn feature information (in step S12). YES) In the area data, it is determined whether or not a high frequency component is included in the area data within each range value of the lawn feature information (step S13). For example, the ratio value of the high frequency component included in the area data is compared with the threshold value set for the range value of the high frequency component in the lawn feature information, and the ratio of the high frequency component included in the area data is equal to or greater than the threshold value. If it is, it may be determined that a high frequency component is included.
- the target region extraction unit 10 When it is determined that a high frequency component is included (YES in step S13), the target region extraction unit 10 has a region data determined to include a high frequency component below the image represented by the input image data. It is determined whether or not the data has a value within a range value indicating that it is located at (step S14). For example, the target area extraction unit 10 determines whether or not a predetermined percentage of the area data determined to include a high frequency component is below the center of the image represented by the input image data. By determining the above, the determination in step S14 may be performed.
- the target region extraction unit 10 is a region data in which the region data indicated by the luminance information, the hue information, and the saturation information has a value within each range value of the lawn feature information, and includes high frequency components. And region data having a value within a range value indicating that the input image data is located below the image represented by the input image data is extracted as lawn region data to be corrected (step S15).
- the target area extraction unit 10 includes, in the input image data, area data that is determined that the area data indicated by the luminance information, the hue information, and the saturation information has data within each range value of the lawn feature information. If not (YES in step S12), if it is determined that a high frequency component is not included (NO in step S13), a value within a range value indicating that the input image data is positioned below the image is displayed. If it is determined that the region data is not included (NO in step S14), or after extracting the lawn region data to be corrected, luminance information, hue information, and saturation information of the supplied input image data are all feature information. Is again determined (step S7).
- step S7 If it is determined that the luminance information, hue information, and saturation information included in the luminance signal and the color difference signal of the supplied input image data are not compared with all the feature information (NO in step S7), the target region extraction unit 10 Repeats the process from step S2 again.
- the target region extraction unit 10 Ends the correction target area extraction processing.
- luminance information, hue information, and saturation information are first compared with face feature information, then compared with blue sky feature information, and further compared with lawn feature information.
- the order of comparison is not limited to this, and the order may be changed as appropriate.
- FIG. 6 is a flowchart illustrating an example of the flow of target area correction processing in the correction processing unit 20 of the image correction apparatus 1 according to the present embodiment.
- a target area correction process performed on the correction target face area data extracted by the target area extraction unit 10 will be described as an example.
- the correction processing unit 20 acquires correction content information defined in the correction content database 32 stored in the storage unit 30 (step S21). .
- the correction processing unit 20 supplies information regarding correction for luminance information and correction target area data among the acquired correction content information to the luminance correction processing unit 21. In addition, the correction processing unit 20 supplies information regarding correction for hue information and saturation information and correction target area data among the acquired correction content information to the color difference correction processing unit 22. Further, the correction processing unit 20 supplies information regarding noise removal (noise reduction) and correction target area data among the acquired correction content information to the noise reduction processing unit 23.
- the luminance correction processing unit 21 performs luminance correction processing on the luminance information included in the correction target region data extracted by the target region extraction unit 10 (step S22). For example, when the correction target area data is face area data, the luminance correction processing unit 21 refers to the face correction content information, performs thick outline emphasis correction that emphasizes thick outlines of eyes, nose, and mouth, and narrows the eyelashes. Performs fine contour emphasis correction that emphasizes steep contours. Note that the luminance correction processing unit 21 does not have to perform correction when the correction content for the luminance information is not defined in the correction content information. The luminance correction processing unit 21 supplies the input image data to the noise reduction processing unit 23 regardless of whether or not the luminance correction processing has been performed.
- the color difference correction processing unit 22 performs a hue correction for correcting the hue information included in the correction target region data extracted by the target region extraction unit 10 (step S23).
- the color difference correction processing unit 22 refers to the face correction content information and performs the correction calculation using the above-described equation (1), whereby the eyes, nose, and mouth. Correct the hue of the part other than to the appropriate range of the standard skin color.
- the color difference correction processing unit 22 refers to the face correction content information, and refers to the lip portion with reference to the lip color of the original image.
- the hue correction is performed by selecting and applying the most natural lip color from the colors.
- the color difference correction processing unit 22 does not need to perform correction when the correction content for the hue information is not defined in the correction content information.
- FIG. 7 is a diagram showing color difference correction for the hue information of the face area data in the CbCr coordinate system.
- FIG. 7A is a diagram showing the range of skin color hue information of the face area data in the CbCr coordinate system
- FIG. 7B is a diagram before and after correcting the skin color of the face area data in the CbCr coordinate system. It is a figure which shows the range of the hue information after performing.
- the hue ⁇ shown in the hue information of the face area data is a value in the range from ⁇ 1 ⁇ 1 to ⁇ 1 + ⁇ 2 with ⁇ 1 as the center
- the saturation shown in the saturation information r is a value within the range from r1 to r2.
- the intersection of ⁇ 1 + ⁇ 2 and r1 is a
- the intersection of ⁇ 1 ⁇ 1 and r1 is b
- the intersection of ⁇ 1 ⁇ 1 and r2 is c
- ⁇ 1 + ⁇ 2 and r2 When the intersection point with d is d, the value of the skin color hue information of the face area data is a value in the range abcd.
- the color difference correction processing unit 22 corrects the value of the hue ⁇ from ⁇ 1 ⁇ 1 ′ to ⁇ 1 + ⁇ 2 ′ centering on ⁇ 1, as shown in FIG. (However, ⁇ 1 ⁇ ⁇ 1 ′ and ⁇ 2 ⁇ ⁇ 2 ′). That is, as shown in FIG. 7B, the color difference correction processing unit 22 sets the intersection of ⁇ 1 + ⁇ 2 ′ and r1 as e, sets the intersection of ⁇ 1 ⁇ 1 ′ and r1 as f, and sets ⁇ 1 ⁇ 1 ′ and r2.
- the hue value can be corrected within the range of the coordinate area where the input image data becomes a natural image in the CbCr coordinate system.
- the color difference correction processing unit 22 performs saturation correction on the saturation information included in the correction target region data extracted by the target region extraction unit 10 (step S24). For example, when the correction target area data is face area data, the color difference correction processing unit 22 performs correction with reference to the face correction content information. Note that the color difference correction processing unit 22 may not perform correction when the correction content for the saturation information is not defined.
- the noise reduction processing unit 23 performs noise reduction that is correction for removing noise in luminance information and color difference information included in the correction target region data extracted by the target region extraction unit 10 (step S25). For example, when the correction target area data is face area data, the noise reduction processing unit 23 performs correction by referring to the face correction content information. In addition, the noise reduction process part 23 does not need to perform correction
- the correction processing unit 20 determines whether or not the target region correction processing has been performed on all the correction target region data extracted by the target region extraction unit 10 (step S26).
- step S26 If it is determined that the target area correction process has not been performed on all the correction target area data extracted by the target area extraction unit 10 (NO in step S26), the correction processing unit 20 has not performed the target area correction process.
- the processing from step S22 to S26 is executed for the correction target area data. That is, the correction processing unit 20 repeats steps S22 to S26 until it is determined that the target region correction processing has been performed on all the correction target region data extracted by the target region extraction unit 10.
- the correction processing unit 20 ends the target area correction process.
- the correction processing unit 20 when the correction processing unit 20 extracts the correction target area data from the input image data, the data corresponding to the feature data indicating the characteristic specific to the correction target area included in the target feature database 31 is extracted. It can be extracted as correction target area data. Accordingly, in order to extract the input image data applicable to the feature data as the correction target area data, for example, when extracting a face area as the correction target area data, a part of the body of the same color as the face area or a face It is possible to prevent erroneous detection of the same color wall area.
- the correction processing unit 20 can perform correction based on the correction content included in the correction content database 32 on the extracted correction target region data.
- the content of the correction may be incompatible with the area other than the correction target area while being compatible with the characteristics of the correction target area. Accordingly, inadequate correction is not performed on data other than the correction target area data, so that the same correction is uniformly performed on the entire input image data, and an unnatural output image can be prevented.
- the image correction apparatus 1 can extract the correction target area data to be corrected from the input image data, and can perform correction suitable for the extracted correction target area data.
- a device such as a television receiver or an information processing device in which the image correction apparatus 1 according to this embodiment is mounted can display input image data corrected by the image correction apparatus 1, a more natural image can be displayed.
- the input image data corrected to become can be displayed.
- FIG. 8 is a block diagram showing details of the configuration of the image correction apparatus 1a according to this modification.
- the configuration is the same as that of the image correction apparatus 1.
- the correction processing unit 20a is means for performing target area correction processing on the correction target area data. Specifically, with respect to the correction target area data extracted by the target area extraction unit 10, the correction content database 32 stored in the storage unit 30 stores the correction content most suitable for the target indicated by the correction target area data. The target area correction processing is executed based on the determined content with reference to the determined contents.
- the correction processing unit 20a includes a luminance correction processing unit 21a, a color difference correction processing unit 22a, and a noise reduction processing unit 23a.
- the luminance correction processing unit 21a is provided in the correction processing unit 20a, and executes correction processing on luminance information included in the luminance signal of the correction target region data extracted by the target region extraction unit 10 from the input image data.
- the luminance correction processing unit 21a supplies the input image data that has been subjected to the correction process on the correction target region data to the RGB conversion unit 40a.
- the color difference correction processing unit 22a is provided in the correction processing unit 20a, and executes correction processing on hue information and saturation information included in the color difference signal of the correction target region data extracted by the target region extraction unit 10 from the input image data. To do. Further, the color difference correction processing unit 22a supplies the input image data that has been subjected to the correction processing on the correction target area data to the RGB conversion unit 40a.
- the RGB conversion unit 40a converts the color space signal of the color system indicating the input image data subjected to the correction process on the correction target area data in the luminance correction processing unit 21a and the color difference correction processing unit 22a into another color system. Convert to color space signal.
- the RGB conversion unit 40 converts the color space signal (Y, Cb, Cr) of the input image data input in the color system represented by the YCbCr color space into the color space signal (R, G) of the RGB color system. , B). Further, the RGB conversion unit 40a supplies the input image data of the converted color space signal to the noise reduction processing unit 23a.
- the noise reduction processing unit 23a is provided in the correction processing unit 20a, and removes noise in the luminance signal and the color difference signal included in the correction target region data from the input image data supplied from the RGB conversion unit 40a.
- the noise reduction processing unit 23a outputs the input image data from which noise has been removed as output image data.
- correction target area extraction processing (Correction target area extraction processing, target area correction processing)
- the correction target area extraction process in the present modification is the same as the correction target area extraction process in the first embodiment shown in FIG.
- the input image data is converted by the RGB conversion unit 40a between the saturation correction process (step S24) and the noise reduction process (step S25) shown in the target area correction process of FIG.
- This is the same as the target area correction processing according to the first embodiment, except that a step of converting the color space signal of the color system shown into a color space signal of another color system is included.
- the noise reduction processing unit 23a can perform the noise reduction process using the color space signal of the color system converted from the color system represented by the color space signal of the luminance signal and the color difference signal.
- FIG. 9 is a block diagram showing details of the configuration of the image correction apparatus 1b according to the present modification.
- the image correction apparatus 1 b has the same configuration as the image correction apparatus 1 according to the first embodiment except that the image correction apparatus 1 b includes a correction processing unit 20 b instead of the correction processing unit 20.
- the correction processing unit 20b is means for performing target area correction processing on the correction target area data. Specifically, with respect to the correction target area data extracted by the target area extraction unit 10, the correction content database 32 stored in the storage unit 30 stores the correction content most suitable for the target indicated by the correction target area data. The target area correction processing is executed based on the determined content with reference to the determined contents.
- the correction processing unit 20b includes a luminance correction processing unit 21b, a color difference correction processing unit 22b, and a noise reduction processing unit 23b.
- the noise reduction processing unit 23b is provided in the correction processing unit 20a, and removes noise in the luminance signal and the color difference signal of the correction target region data extracted by the target region extraction unit 10 from the input image data.
- the noise reduction processing unit 23b supplies the input image data from which noise has been removed to the luminance correction processing unit 21b and the color difference correction processing unit 22b.
- the luminance correction processing unit 21b is provided in the correction processing unit 20b, and the luminance included in the luminance signal of the correction target region data extracted by the target region extraction unit 10 out of the input image data supplied from the noise reduction processing unit 23b. Execute correction processing for information. In addition, the luminance correction processing unit 21b supplies input image data obtained by performing correction processing on the correction target area data to the RGB conversion unit 40b.
- the color difference correction processing unit 22b is provided in the correction processing unit 20b, and the hue included in the color difference signal of the correction target region data extracted by the target region extraction unit 10 out of the input image data supplied from the noise reduction processing unit 23b. Correction processing for information and saturation information is executed. Further, the color difference correction processing unit 22b supplies an input image signal obtained by performing correction processing on the correction target region data to the RGB conversion unit 40b.
- correction target area extraction processing (Correction target area extraction processing, target area correction processing)
- the correction target area extraction process in the present modification is the same as the correction target area extraction process in the first embodiment shown in FIG.
- the target area correction process in the present modification is the same as the target area correction process shown in FIG. 6, after performing the noise reduction process (step S25), the luminance correction process (step S22), the hue correction process (step S23), and the saturation.
- the target area correction process is the same as that of the first embodiment except that the correction process (step S24) is performed.
- the correction processing unit 20b can perform correction on the luminance signal and correction on the color difference signal after the noise reduction processing is performed in the noise reduction processing unit 23.
- FIG. 10 is a block diagram showing details of the configuration of the image correction apparatus 2 according to this modification.
- the image correction apparatus 2 has the same configuration as the image correction apparatus 1 according to the first embodiment except that the image correction apparatus 2 further includes a YCbCr conversion unit 41 (second color space signal conversion unit).
- the YCbCr converter 41 converts the color space signal indicating the input image data into a color space signal of another color system.
- the YCbCr conversion unit 41 converts an RGB color system color space signal representing input image data into a color system color space signal represented by a YCbCr color space.
- the YCbCr conversion unit 41 supplies the input image data obtained by converting the color space signal to the target area extraction unit 10 and the correction processing unit 20.
- correction target area extraction processing (Correction target area extraction processing, target area correction processing)
- the correction target area extraction process and the target area correction process in the present embodiment are the same as the correction target area extraction process in the first embodiment shown in FIG. 5 and the target area correction process in the first embodiment shown in FIG. Description is omitted.
- the input image data is a color space signal having a color system different from the color system represented by the YCbCr color space represented by, for example, a luminance signal and a color difference signal
- the YCbCr color space is used.
- a color space signal of a color system different from the represented color system can be converted into a luminance signal and a color difference signal representing the YCbCr color space.
- the input image data can be corrected by correcting the luminance signal and the color difference signal regardless of the color space signal of the color system that the input image data is.
- FIG. 11 is a block diagram showing details of the configuration of the image correction apparatus 2a according to this modification.
- the image correction apparatus 2 a includes a correction processing unit 20 a instead of the correction processing unit 20, an RGB conversion unit 40 a instead of the RGB conversion unit 40, and a YCbCr conversion unit 41. Except for this, the configuration is the same as that of the image correction apparatus 1 according to the first embodiment.
- the YCbCr conversion unit 41 converts the color space signal of the color system indicating the input image data into a color space signal of another color system. For example, the YCbCr conversion unit 41 converts an RGB color system color space signal representing input image data into a color system color space signal represented by a YCbCr color space. Further, the YCbCr conversion unit 41 supplies the input image data obtained by converting the color space signal to the target area extraction unit 10 and the correction processing unit 20a.
- the correction processing unit 20a is means for performing target area correction processing on the correction target area data. Specifically, with respect to the correction target area data extracted by the target area extraction unit 10, the correction content database 32 stored in the storage unit 30 stores the correction content most suitable for the target indicated by the correction target area data. The target area correction processing is executed based on the determined content with reference to the determined contents.
- the correction processing unit 20a includes a luminance correction processing unit 21a, a color difference correction processing unit 22a, and a noise reduction processing unit 23a.
- the luminance correction processing unit 21a is provided in the correction processing unit 20a, and executes correction processing on luminance information included in the luminance signal of the correction target region data extracted by the target region extraction unit 10 from the input image data.
- the luminance correction processing unit 21a supplies the input image data that has been subjected to the correction process on the correction target region data to the RGB conversion unit 40a.
- the color difference correction processing unit 22a is provided in the correction processing unit 20a, and executes correction processing on hue information and saturation information included in the color difference signal of the correction target region data extracted by the target region extraction unit 10 from the input image data. To do. Further, the color difference correction processing unit 22a supplies the input image data that has been subjected to the correction processing on the correction target area data to the RGB conversion unit 40a.
- the RGB conversion unit 40a converts the color space signal of the color system indicating the input image data subjected to the correction process on the correction target area data in the luminance correction processing unit 21a and the color difference correction processing unit 22a into another color system. Convert to color space signal.
- the RGB converter 40 converts the color space signal (Y, Cb, Cr) of the input image data input in the color system expressed in the YCbCr color space into the color space signal (R, G in the RGB color system). , B). Further, the RGB conversion unit 40a supplies the input image data of the converted color space signal to the noise reduction processing unit 23a.
- the noise reduction processing unit 23a is provided in the correction processing unit 20a, and removes noise in the luminance signal and the color difference signal included in the correction target region data from the input image data supplied from the RGB conversion unit 40a.
- the noise reduction processing unit 23a outputs the input image data from which noise has been removed as output image data.
- correction target area extraction processing (Correction target area extraction processing, target area correction processing)
- the correction target area extraction process in the present modification is the same as the correction target area extraction process in the first embodiment shown in FIG.
- the input image data is converted by the RGB conversion unit 40a between the saturation correction process (step S24) and the noise reduction process (step S25) shown in the target area correction process of FIG.
- This is the same as the target area correction processing according to the first embodiment, except that a step of converting the color space signal of the color system shown into a color space signal of another color system is included.
- FIG. 12 is a block diagram showing details of the configuration of the image correction apparatus 2b according to this modification.
- the image correction apparatus 2 b is the same as the image correction apparatus 1 according to the first embodiment except that the image correction apparatus 2 b includes a correction processing unit 20 b instead of the correction processing unit 20 and further includes a YCbCr conversion unit 41. It is a configuration.
- the YCbCr conversion unit 41 converts the color space signal of the color system indicating the input image data into a color space signal of another color system. For example, the YCbCr conversion unit 41 converts an RGB color system color space signal representing input image data into a color system color space signal represented by a YCbCr color space. Further, the YCbCr conversion unit 41 supplies the input image data obtained by converting the color space signal to the target area extraction unit 10 and the correction processing unit 20b.
- the correction processing unit 20b is means for performing target area correction processing on the correction target area data. Specifically, with respect to the correction target area data extracted by the target area extraction unit 10, the correction content database 32 stored in the storage unit 30 stores the correction content most suitable for the target indicated by the correction target area data. The target area correction processing is executed based on the determined content with reference to the determined contents.
- the correction processing unit 20b includes a luminance correction processing unit 21b, a color difference correction processing unit 22b, and a noise reduction processing unit 23b.
- the noise reduction processing unit 23b is provided in the correction processing unit 20a, and removes noise in the luminance signal and the color difference signal of the correction target region data extracted by the target region extraction unit 10 from the input image data.
- the noise reduction processing unit 23b supplies the input image data from which noise has been removed to the luminance correction processing unit 21b and the color difference correction processing unit 22b.
- the luminance correction processing unit 21b is provided in the correction processing unit 20b, and the luminance included in the luminance signal of the correction target region data extracted by the target region extraction unit 10 out of the input image data supplied from the noise reduction processing unit 23b. Execute correction processing for information. In addition, the luminance correction processing unit 21b supplies input image data obtained by performing correction processing on the correction target area data to the RGB conversion unit 40b.
- the color difference correction processing unit 22b is provided in the correction processing unit 20b, and the hue included in the color difference signal of the correction target region data extracted by the target region extraction unit 10 out of the input image data supplied from the noise reduction processing unit 23b. Correction processing for information and saturation information is executed. Further, the color difference correction processing unit 22b supplies an input image signal obtained by performing correction processing on the correction target region data to the RGB conversion unit 40b.
- correction target area extraction processing (Correction target area extraction processing, target area correction processing)
- the correction target area extraction process in the present modification is the same as the correction target area extraction process in the first embodiment shown in FIG.
- the target area correction process in the present modification is the same as the target area correction process shown in FIG. 6, after performing the noise reduction process (step S25), the luminance correction process (step S22), the hue correction process (step S23), and the saturation.
- the target area correction process is the same as that of the first embodiment except that the correction process (step S24) is performed.
- Each block of the image correction apparatus 1 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized in software using a CPU (Central Processing Unit). Good.
- IC chip integrated circuit
- CPU Central Processing Unit
- the image correction apparatus 1 includes a CPU that executes instructions of a program that realizes each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program,
- a storage device (recording medium) such as a memory for storing various data is provided.
- An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the image correction apparatus 1 which is software for realizing the functions described above is recorded so as to be readable by a computer. This can also be achieved by supplying the image correction apparatus 1 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
- Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
- IC cards including memory cards
- semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, or PLD (Programmable logic device) or FPGA (Field Programmable Gate Array) Logic circuits can be used.
- the program code may be supplied to the image correction apparatus 1 via a communication network.
- the communication network is not particularly limited as long as it can transmit the program code.
- the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (Virtual Private Network), telephone line network, mobile communication network, satellite communication network, etc. can be used.
- the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
- wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared such as IrDA or remote control, Bluetooth (registered trademark), IEEE 8021 wireless, HDR (High Data) Rate), NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, and the like.
- wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared such as IrDA or remote control, Bluetooth (registered trademark), IEEE 8021 wireless, HDR (High Data) Rate), NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, and the like.
- wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared such as IrDA or remote control, Bluetooth (registered trademark), IEEE
- an image correction apparatus refers to an input image stored in a storage unit by referring to a target feature database including feature data indicating features specific to a correction target region.
- a target area extracting means for extracting target area data including specific features from the data
- a correction content database stored in a storage unit and defined as correction contents for the target area data
- the input image And correction processing means for performing image correction on the target area data extracted by the target area extraction means among the data.
- the image correction apparatus refers to a target feature database that includes feature data indicating features specific to a region extracted as target region data, stored in a storage unit, and thereby from input image data.
- a target area extracting means for extracting target area data including the feature data and a correction content database in which correction contents for the target area data are stored, the input image data is stored.
- the target area data when the target area data is extracted from the input image data, data corresponding to feature data indicating characteristics specific to the correction target area included in the target feature database is used as the target area data. Can be extracted.
- input image data applicable to the feature data for example, when a face area is extracted as the target area data, the same color as the partial area of the body or the face of the same color as the face area It is possible to prevent erroneous detection of the wall area of the camera.
- correction based on the correction content included in the correction content database can be performed on the extracted target area data.
- the content of the correction may be incompatible with the area other than the correction target area while being compatible with the characteristics of the correction target area. Therefore, since the data other than the target area data is not subjected to inadequate correction, the same correction is uniformly performed on the entire input image data, thereby preventing an unnatural output image.
- target area data to be corrected can be extracted from the input image data, and correction suitable for the extracted target area data can be performed.
- the input image data includes still image data or moving image data, as well as a case where a still image is displayed on a part of a moving image or a moving image is displayed on a part of a still image.
- a combination of still image data and moving image data is also included.
- the target feature database in the image correction apparatus includes a plurality of types of feature data including the feature data, and the correction content database includes a plurality of types of correction content for each of the plurality of types of target region data.
- the target area extracting unit extracts a plurality of types of target area data corresponding to the plurality of types of feature data, and the correction processing unit performs image correction corresponding to each of the plurality of types of target area data. Preferably it is done.
- the plurality of types of target area data can be extracted, and image correction corresponding to each of the extracted types of target area data can be performed. That is, a plurality of correction target areas can be corrected, and more natural correction can be performed on the input image data.
- the target area data includes a luminance signal and a color difference signal
- the correction content indicates a luminance correction content indicating a correction content for the luminance signal and a correction content for the color difference signal. It is preferable to include at least one of color difference correction contents and noise reduction contents indicating correction contents for both the luminance signal and the color difference signal.
- the correction processing means in the image correction apparatus includes a luminance correction processing means for correcting the luminance signal of the target area data based on the luminance correction content, and the target based on the color difference correction content.
- a color difference correction processing unit that corrects the color difference signal of the area data, a luminance signal supplied from the luminance correction processing unit based on the noise reduction content, and a color difference signal supplied from the color difference correction processing unit
- a noise reduction processing unit that performs correction for both, and the color signal system in which the luminance signal and the color difference signal of the input image data supplied from the correction processing unit are represented by the luminance signal and the color difference signal It is preferable to further include first color space signal conversion means for converting to a color space signal of a different color system.
- the correction processing unit includes the luminance correction processing unit, the color difference correction processing unit, and the noise reduction processing unit
- the correction for the luminance value indicated by the luminance signal, the color difference signal is The correction for the hue value and the saturation value shown, and the correction for the luminance value, the hue value and the saturation value can be respectively performed according to the characteristics of the correction target area, and the input image data Can be corrected naturally.
- the target area extraction unit and the correction processing unit can perform processing based on the luminance signal and the color difference signal, the luminance signal and the color difference signal constituting the input image data are converted into the luminance signal. Processing can be performed without conversion to a color space signal of a color system different from the color system represented by the signal and the color difference signal.
- the color system represented by the color space signal of the luminance signal and the color difference signal is, for example, a color system represented by a YCbCr color space.
- different color system color space signals include, for example, CIEL * a * b * color system color space signals (L * signal, a * signal, b * signal) and RGB color system colors. Spatial signals (R (Red: red), G (Green: green), B (Blue: blue))) can be used.
- the luminance signal and the color difference signal processed by the correction processing means are different from the color system represented by the luminance signal and the color difference signal. It can be output as output image data after being converted into a color space signal of a color system (for example, an RGB signal of an RGB color system).
- the correction processing means in the image correction apparatus includes a luminance correction processing means for correcting the luminance signal of the target area data based on the luminance correction content, and the target based on the color difference correction content.
- Color difference correction processing means for correcting the color difference signal of the area data
- noise reduction processing means for correcting the color space signal supplied from the first color space signal conversion means based on the noise reduction content;
- the first color space signal conversion unit converts the luminance signal and the color difference signal of the input image data supplied from the correction processing unit to a color system different from the color system represented by the luminance signal and the color difference signal. It is preferable to convert to a system color space signal.
- the noise reduction processing unit performs noise reduction processing using the color space signal of the color system converted from the color system represented by the color space signal of the luminance signal and the color difference signal. It can be carried out.
- the correction processing means includes a noise reduction processing means for correcting the luminance signal and the color difference signal based on the noise reduction content, and the noise based on the luminance correction content.
- Luminance correction processing means for correcting the luminance signal supplied from the reduction processing means; color difference correction processing means for correcting the color difference signal supplied from the noise reduction processing means based on the color difference correction content;
- the luminance signal and the color difference signal can be corrected.
- the image correction apparatus includes a color space signal of input image data input by a color space signal of a color system different from the color system represented by the luminance signal and the color difference signal, the luminance signal and the color signal. It is preferable to further include second color space signal conversion means for converting to a color difference signal.
- the input image data is a color space signal of a color system different from the color system represented by the YCbCr color space represented by the luminance signal and the color difference signal
- a color space signal of a color system different from the color system represented by the YCbCr color space can be converted into the luminance signal and the color difference signal representing the YCbCr color space.
- the input image data can be corrected by correcting the luminance signal and the color difference signal.
- the brightness correction processing means in the image correction apparatus according to the present invention is preferably a band pass filter and a high pass filter.
- the bandpass filter corrects the data indicating the contour of the specific target included in the target region data, and the high pass filter includes the specific target included in the target region data. It is possible to correct the data indicating the texture. As a result, necessary correction can be performed on the target area data for each data included in the target area data, so that the same correction is performed on the entire target area data, resulting in an unnatural output image. Can be prevented.
- the color difference correction processing means in the image correction apparatus according to the present invention performs a correction operation on the saturation and hue in the CbCr coordinate system.
- the saturation and hue values can be corrected in the appropriate range of the coordinate area so that the input image data becomes a natural image in the CbCr coordinate system.
- the noise reduction processing means in the image correction apparatus according to the present invention is preferably a low-pass filter or a median filter.
- the noise reduction processing means when the noise reduction processing means is a low-pass filter, the target area data can be corrected by weighted average processing, and the noise reduction processing means is a median filter. Correction that removes fine noise can be performed.
- the image correction display device preferably includes the image correction device and a display unit that displays the input image data corrected by the image correction device.
- An image correction method of an image correction apparatus is an image correction method of an image correction apparatus that corrects an input image, and is feature data that is stored in a storage unit and indicates characteristics specific to a correction target region.
- a target region extraction step for extracting target region data including specific features from input image data, and correction contents for the target region data stored in the storage unit are determined.
- a correction processing step of performing image correction on the target area data extracted in the target area extraction step in the input image data by referring to the correction content database.
- the input image data corresponding to the feature data indicating the characteristic specific to the correction target area included in the target feature database is converted into the target area. It can be extracted as data. As a result, the same effects as those of the image correction apparatus described above can be obtained.
- a program for causing a computer to operate as the image correction apparatus according to the present invention, which causes the computer to function as each unit of the image correction apparatus, and a computer recording the program A readable recording medium is also included in the scope of the present invention.
- the image correction apparatus can be suitably applied to a television receiver, a personal computer, a car navigation system, a mobile phone, a digital camera, a digital video camera, and the like.
- Target area extraction unit target area extraction means
- Correction processing unit correction processing means
- Luminance correction processing unit luminance correction processing means
- Color difference correction processing section color difference correction processing means
- Noise Reduction Processing Unit Noise Reduction Processing Means
- Storage Unit 31 Target Feature Database 32
- Correction Content Database 40
- RGB Conversion Unit First Color Space Signal Conversion Unit
- YCbCr converter second color space signal converter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本発明に係る画像補正装置(1)は、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベース(31)を参照して入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出部(10)と、上記対象領域データに対する補正内容が定められた補正内容データベース(32)を参照して対象領域抽出部(10)において抽出された対象領域データに対する画像補正を行う補正処理部(20)と、を備えている。
Description
本発明は、画像データの補正を行う画像補正装置、画像補正表示装置、及び、画像補正方法に関する。
近年、画像(動画像及び静止画像)を表示するディスプレイに対し、大画面化及び高画質化などが進められている。これに伴い、ディスプレイに表示される画像の画質を向上させるための技術が求められてきている。しかし、従来の画質向上に関する技術は、画像全体に対して補正が行われることが一般的である。このため、画像全体に対して補正を行った場合、画像の一部の画質は向上するものの、逆に画像の他の一部の画質が低下してしまうことがある。このような技術では、高性能化したディスプレイの潜在能力を十分に発揮することはできない。
これに対し、下掲の特許文献1には、画像の色情報信号のうち、人物の顔面領域に相当する色情報信号の色相を、算出した色相補正値に基づいて補正する撮像機器についての技術が開示されている。
図13に、特許文献1に開示されている撮像機器の主な構成要素を示す。図13は、特許文献1に開示されている撮像機器90の主な構成要素を示すブロック図である。図13に示すように、撮像機器90は、人物の顔面領域に相当する色情報信号を抽出する顔領域抽出部91、人物の顔面領域に相当する色情報信号の色相を補正する色相補正値を算出する色相補正値算出部92、及び、色相補正値に基づいて顔面領域に相当する色情報信号の色相を補正する色相補正部93を備えている。
また、従来の技術においては、画像データからノイズ除去を行うために、画像データに対してノイズリダクションを実行することが一般的である。
しかし、特許文献1に記載の技術では、画像の中の肌色に相当する色情報信号に対応した領域のうち、画像全体に対して所定の範囲の大きさを占め、かつ、その範囲の縦横比が、所定の比率(例えば、縦:横≒1:1)を有する領域を顔面領域として判別している。このため、上記の条件を満たす領域を判別するやり方では、顔面領域だけを抽出することは困難である。換言すれば、特許文献1に記載の技術では、肌色に相当する色情報信号に対応した領域のうち、実際に顔を含む領域以外の領域を顔面領域として判別してしまうことがある。このため、顔面領域以外の領域を補正対象としてしまい、顔面領域以外の領域にはすべきではない不自然な補正を、顔面領域以外の領域に対応した肌色の色情報信号に対して行ってしまうことがあるという問題があった。
また、従来の技術においては、画像データの青空の雲及び人の肌などにノイズリダクションが実行されると自然な補正を行うことができるが、煉瓦及び芝生などにノイズリダクションが実行されると細部が消え、不自然な補正がされてしまうという問題があった。
本発明は、上記の課題を解決するためになされたものであり、その主たる目的は、画像データから補正を行う対象領域を示すデータを抽出し、抽出した対象領域を示すデータに適した補正を行う画像補正装置を提供することにある。
本発明に係る画像補正装置は、上記の課題を解決するために、記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出手段と、記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出手段において抽出された対象領域データに対する画像補正を行う補正処理手段と、を備えていることを特徴としている。
上記の構成によれば、上記入力画像データから上記対象領域データを抽出する際に、上記対象特徴データベースに含まれる補正対象領域に特有の特徴を示す特徴データにあてはまるデータを、上記対象領域データとして抽出することができる。上記特徴データにあてはまる入力画像データを上記対象領域データとして抽出するため、例えば、上記対象領域データとして顔領域を抽出する場合に、顔領域と同じ色の体の一部の領域又は顔と同じ色の壁の領域などを誤って検出することを防ぐことができる。
本発明に係る画像補正装置の画像補正方法は、入力された画像を補正する画像補正装置の画像補正方法であって、記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出ステップと、記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出ステップにおいて抽出された対象領域データに対する画像補正を行う補正処理ステップと、を含んでいることを特徴としている。
上記の構成によれば、上記入力画像データから上記対象領域データを抽出する際に、上記対象特徴データベースに含まれる補正対象領域に特有の特徴を示す特徴データにあてはまる入力画像データを、上記対象領域データとして抽出することができる。これによって、上述した画像補正装置と同様の効果を奏する。
本発明に係る画像補正装置は、上記の課題を解決するために、記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出手段と、記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出手段において抽出された対象領域データに対する画像補正を行う補正処理手段と、を備えていることを特徴としている。
これによって、入力画像データから補正を行う対象領域データを抽出し、抽出した対象領域データに適した補正を行うことができるという効果を奏する。
<実施形態1>
本発明の一実施形態に係る画像補正装置について、図1から図7を参照して説明する。但し、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
本発明の一実施形態に係る画像補正装置について、図1から図7を参照して説明する。但し、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
(画像補正装置の構成)
本実施形態に係る画像補正装置の構成について、図1及び図2を参照して説明する。図1は、本実施形態に係る画像補正装置1の構成を示すブロック図である。図2は、本実施形態に係る画像補正装置1の構成の詳細を示すブロック図である。
本実施形態に係る画像補正装置の構成について、図1及び図2を参照して説明する。図1は、本実施形態に係る画像補正装置1の構成を示すブロック図である。図2は、本実施形態に係る画像補正装置1の構成の詳細を示すブロック図である。
画像補正装置1は、例えばテレビジョン受像機又は情報処理装置などに実装され、放送信号又は画像出力装置の出力信号などに含まれる入力画像データの画質を補正する。そのために、図1に示すように、画像補正装置1は、対象領域抽出部10(対象領域抽出手段)、補正処理部20(補正処理手段)、及び、記憶部30を備えている。また、図1に示すように、記憶部30には、対象特徴データベース31、及び、補正内容データベース32が格納されている。
また、図2に示すように、画像補正装置1はさらに、RGB変換部40(第1色空間信号変換手段)を備えている。また、画像補正装置1の補正処理部20は、輝度補正処理部21(輝度補正処理手段)、色差補正処理部22(色差補正処理手段)、及び、ノイズリダクション処理部23(ノイズリダクション処理手段)を含んで構成される。
対象領域抽出部10は、入力画像データから、補正を行う対象を示す補正対象領域データ(対象領域データ)を抽出する手段である。具体的には、記憶部30に格納されている対象特徴データベース31を参照し、対象特徴データベース31において予め定められている範囲値内の値を有するデータ(補正対象領域に特有の特徴を示す特徴データ)を補正対象領域データとして抽出する。なお、対象特徴データベース31については後述する。
補正処理部20は、補正対象領域データに対し、画質の補正処理(以降、対象領域補正処理とも呼称する)を行う手段である。具体的には、補正処理部20は、対象領域抽出部10において抽出された補正対象領域データに対し、補正対象領域データの示す対象に最も適した補正の内容を、記憶部30に格納されている補正内容データベース32を参照して決定し、決定した内容に基づいて対象領域補正処理を実行する。
ここで、対象領域補正処理とは、例えば、補正対象領域データに含まれる、補正対象領域データの明るさの度合いを示す輝度情報(輝度値)を含む輝度信号、及び、補正対象領域データの色の知覚的な相違を定量的に示した色差信号の少なくとも何れかを調整することを指す。また、色差信号には、補正対象領域データの色合い及び特徴付ける色の属性などを示す色相情報(色相値)、及び、補正対象領域データの鮮やかさの度合いを示す彩度情報(彩度値)が含まれている。なお、補正内容データベース32については後述する。
輝度補正処理部21は、補正処理部20に備えられ、対象領域抽出部10において抽出された補正対象領域データの輝度信号に含まれる輝度情報に対する補正処理を実行する。具体的には、輝度補正処理部21は、補正対象領域データにおける輝度情報を補正することによって、太い輪郭(例えば、顔の輪郭などの太いエッジ)を強調する太輪郭強調補正、細く急峻な輪郭(例えば、睫毛などの細く急峻なエッジ)を強調する細輪郭強調補正、及び、テクスチャ(例えば、芝生及び煉瓦などの細いエッジ)を強調するテクスチャ強調補正などを行う。
なお、輝度補正処理部21は、バンドパスフィルタ及びハイパスフィルタを備えていることが好ましい。輝度補正処理部21は、バンドパスフィルタを用いて太輪郭強調補正を行い、太輪郭強調補正に用いたバンドパスフィルタよりも通過周波数帯域の高いバンドパスフィルタを用いて細輪郭強調補正を行い、ハイパスフィルタを用いてテクスチャ強調補正を行えばよい。もちろん、輝度補正処理部21の構成は、これに限定されるものではない。
これによって、補正対象領域データに対して、補正対象領域データに含まれるデータ毎に対して必要な補正を行うことができるため、補正対象領域データ全体に同じ補正が行われ、不自然な出力画像になることを防ぐことができる。
色差補正処理部22は、補正処理部20に備えられ、対象領域抽出部10において抽出された補正対象領域データの色差信号に含まれる色相の情報を示す色相情報及び彩度の情報を示す彩度情報に対する補正処理を実行する。具体的には、色差補正処理部22は、補正対象領域データの色相情報に対する色相補正処理を行い、また、補正対象領域データの彩度情報に対する彩度補正処理を行う。
色相補正処理においては、補正対象領域データに含まれる色相情報の値を、予め定められた適正範囲内の値に補正する。色相補正処理としては、例えば、顔の色相を適正範囲内に補正する肌色の色相補正処理、青空の色相補正処理、及び、芝生の色相補正処理などを挙げることができるが、これに限定されるものではない。
また、彩度補正処理は、色差信号に対し、正の係数を掛けることによって行う。なお、係数が1より大きい場合には、色が鮮やかになるように補正され、係数が1より小さい場合には、色が淡くなるように補正される。また、係数が1の場合には彩度補正は行われない。
なお、色相補正処理は、式(1)を用いて行われる。
ここで、rは彩度であり、θは色相である。また、係数kは0≦k≦1の範囲で任意の値をとり、kの値が小さいほど色相補正の効果が強くなり、k=0の場合に色相補正の効果が最も強く、補正対象領域データに含まれる色相は全てθ1に補正される。また、k=1の場合には色相補正は行われない。
ノイズリダクション処理部23は、補正対象領域データに含まれる輝度信号及び色差信号におけるノイズを除去する。具体的には、ノイズリダクション処理部23は、輝度信号におけるノイズ(ちらつき及びざらつきなど)を除去し、色差信号におけるノイズ(余分な色情報など)を除去することによって、補正対象領域データにおけるノイズを除去する。なお、ノイズリダクション処理部23は、ローパスフィルタ、又は、メディアンフィルタを備えていることが好ましい。
ここで、メディアンフィルタは、マスクサイズn×n(nは自然数)(例えば、3×3又は5×5など)のマスクの各画素における濃度値を小さい順に並べ、中央にくる濃度値をマスク中央の注目画素の出力濃度とすることによって、ノイズを除去する。なお、メディアンフィルタは、マスクサイズが大きいほど、ノイズ除去の効果が大きい。
また、ローパスフィルタは、係数の合計が1になり、かつ、注目画素の係数が最大になるように、マスクサイズn×nのマスクの各画素のそれぞれに対して係数を設定し、重み付け平均処理を行うことによって、ノイズを除去する。係数が均一の場合に、ノイズ除去の効果が最大になる。また、注目画素の係数を1とすると、他の係数は0となり、ノイズ除去の効果がなくなる。ローパスフィルタの係数としては、顔及び青空などに代表される、平坦でエッジの少ない対象領域に対しては、ノイズ除去効果の大きいフィルタ係数を用いればよく、芝生などに代表される、テクスチャやエッジの多い対象領域に対しては、ノイズ除去効果の小さいフィルタ係数を用いればよい。
これによって、例えば、ノイズリダクション処理部23がローパスフィルタである場合には、補正対象領域データに対して重み付け平均処理による補正を行うことができ、ノイズリダクション処理部23がメディアンフィルタである場合には、細かなノイズを除去する補正を行うことができる。
記憶部30は、対象領域抽出部10において補正対象領域データが抽出される際に参照される対象特徴データベース31、及び、補正処理部20において対象領域補正処理が実行される際に参照される補正内容データベース32が格納される、読み出し可能かつ書き込み可能なメモリである。
なお、記憶部30は、コンピュータを画像補正装置1として動作させるためのプログラムであって、上記コンピュータを画像補正装置1の上記各手段として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体としての役割も担っている。
RGB変換部40は、補正処理部20において補正された入力画像データを示す表色系の色空間信号を、他の表色系の色空間信号に変換し、出力画像データとして出力する。例えば、RGB変換部40は、YCbCr色空間で表される表色系で入力された入力画像データの色空間信号(Y、Cb、Cr)を、RGB表色系の色空間信号(R、G、B)に変換する。
なお、本実施形態では、RGB変換部40は、YCbCr色空間で表される表色系の色空間信号から、RGB表色系の色空間信号に変換する構成を例に挙げて説明するが、本発明はこれに限定されるものではなく、例えば、CIEL*a*b*表色系の色空間信号に変換する構成を採用してもよい。
(対象特徴データベース)
記憶部30に格納されている対象特徴データベース31及び補正内容データベース32について、図3及び図4を参照して説明する。図3は、本実施形態における対象特徴データベース31の一例を示す図である。図4は、本実施形態における補正内容データベース32の一例を示す図である。
記憶部30に格納されている対象特徴データベース31及び補正内容データベース32について、図3及び図4を参照して説明する。図3は、本実施形態における対象特徴データベース31の一例を示す図である。図4は、本実施形態における補正内容データベース32の一例を示す図である。
対象特徴データベース31は、図3に示すように、例えば、入力画像データから補正対象領域データとして抽出する領域の特徴情報として、人物の顔を抽出する際に参照される顔特徴情報、青空を抽出する際に参照される青空特徴情報、及び、芝生を抽出する際に参照される芝生特徴情報など、複数の特徴情報を予め設定しているデータベースである。
顔特徴情報としては、例えば、顔の肌色を示す色相情報の値の範囲値、顔の彩度を示す彩度情報の値の範囲値、顔の輝度を示す輝度情報の値の範囲値、及び、目、鼻及び口など顔の特徴部分の相対距離関係の範囲値などが設定されている。
また、青空特徴情報としては、例えば、色相情報の値の範囲値、彩度情報の値の範囲値、輝度情報の値の範囲値、高周波数成分の範囲値、及び、画面上の位置の範囲値などが設定されている。なお、青空特徴情報における高周波数成分の範囲値には、例えば、高周波数成分の含まれる割合が一定以下であることを示す閾値(例えば、ノイズに起因する高周波数成分以外の高周波数成分が含まれていないことを示すような小さな値)が設定されており、画面上の位置の範囲値には、画面上の所定の位置よりも上方に位置していることを指定する所定の位置の値が設定されていればよい。
また、芝生特徴情報としては、例えば、色相情報の値の範囲値、彩度情報の値の範囲値、輝度情報の値の範囲値、高周波数成分の範囲値、及び、画面上の位置の範囲値などが設定されている。なお、芝生特徴情報における高周波数成分の範囲値には、例えば、高周波数成分の含まれる割合が一定以上であることを示す閾値が設定されており、画面上の位置の範囲値には、画面上の所定の位置よりも下方に位置していることを指定する所定の位置の値が設定されていればよい。
これによって、複数種類の補正対象領域データを抽出し、抽出した複数種類の補正対象領域データのそれぞれに対応した画像補正を行うことができる。すなわち、複数の補正対象領域を補正することができ、入力画像データに対して、より自然な補正を行うことができる。
(補正内容データベース)
補正内容データベースに含まれる補正内容は、輝度情報に対する補正内容を示す輝度補正内容、色差情報に対する補正内容を示す色差補正内容、及び、輝度情報及び色差情報の双方に対する補正内容を示すノイズリダクション内容のうちの少なくとも何れかを含んでいる。
補正内容データベースに含まれる補正内容は、輝度情報に対する補正内容を示す輝度補正内容、色差情報に対する補正内容を示す色差補正内容、及び、輝度情報及び色差情報の双方に対する補正内容を示すノイズリダクション内容のうちの少なくとも何れかを含んでいる。
これによって、補正対象領域データのそれぞれに特有の特徴に応じた補正を行うことができる。例えば、ノイズリダクションを行うべきではない補正対象領域データに対しては、補正内容にノイズリダクション内容を含まないことによって、ノイズリダクションが行われないようにすることができる。
補正内容データベース32には、具体的には、図4に示すように、補正対象領域データのうち、人物の顔を補正する際に参照される顔補正内容、青空を補正する際に参照される青空補正内容、及び、芝生を補正する際に参照される芝生補正内容などの補正内容情報が予め定められている。
例えば、顔補正内容として、目、鼻及び口以外の部分を示す色相情報に色相補正処理を行い、色相を標準肌色の適正範囲に補正(例えば圧縮)すること、唇部分を示す色相情報を参考にして予め定められた数種類の色から、唇部分を示す色相情報を補正する色を選択して色相補正を行うこと、目、鼻及び口に輪郭強調を行うこと、睫毛にエッジ強調を行うことなどが設定されている。
また、青空補正内容として、青空を示す色相情報に色相補正を行い標準青色の適正範囲に補正すること、青空を示す色相情報に対してノイズリダクションを行うことなどが設定されている。
また、芝生補正内容として、芝生を示す色相情報に色相補正を行い標準緑色の適正範囲に補正すること、芝生を示す色相情報に対して高周波数成分の強調を行うことなどが設定されている。
上記の構成によれば、輝度情報に対する補正、色相情報及び彩度情報に対する補正、及び、輝度情報、色相情報及び彩度情報に対する補正を、補正対象領域の特性上の必要に応じてそれぞれ実行することができ、入力画像データに対して自然な補正を行うことができる。
なお、上述した輝度補正内容、色差補正内容、及び、ノイズリダクション内容のうち、補正対象領域の特性上、不必要または不適合な補正内容については、対応する処理部は補正を行わず、信号をスルーさせればよい。
また、対象領域抽出部10及び補正処理部20が、輝度情報及び色差情報に基づいて処理を行うことができるため、入力画像データを構成する輝度信号及び色差信号を、輝度信号及び色差信号で表される表色系と異なる表色系の色空間信号に変換することなく処理を行うことができる。
また、RGB変換部40を備えていることによって、補正処理部20において処理された輝度情報及び色差情報を含む輝度信号及び色差信号を、輝度信号及び色差信号で表される表色系と異なる表色系の色空間信号に変換した後に出力画像データとして出力することができる。
(補正対象領域抽出処理)
次に、図5を参照して、対象領域抽出部10における補正対象領域抽出処理の流れについて説明する。図5は、本実施形態に係る画像補正装置1の備える対象領域抽出部10における、補正対象領域抽出処理の流れの一例を示すフローチャートである。
次に、図5を参照して、対象領域抽出部10における補正対象領域抽出処理の流れについて説明する。図5は、本実施形態に係る画像補正装置1の備える対象領域抽出部10における、補正対象領域抽出処理の流れの一例を示すフローチャートである。
なお、図5に示す補正対象領域抽出処理では、対象領域抽出部10が対象特徴データベース31から、特徴情報として、図3に示す顔特徴情報、青空特徴情報及び芝生特徴情報を取得する場合を例に挙げて説明するが、本発明において対象領域抽出部10が取得する特徴情報はこれに限定されるものではない。また、対象領域抽出部10において、何れの特徴情報を取得するかを、不図示の設定部において予め設定することが可能な構成を採用してもよい。
図5に示すように、対象領域抽出部10は、入力画像データが供給されると、記憶部30に格納されている対象特徴データベース31において定められている特徴情報を取得する(ステップS1)。
特徴情報を取得すると、対象領域抽出部10は、供給された入力画像データの輝度信号及び色差信号に含まれる輝度情報、色相情報及び彩度情報を、特徴情報と比較する(ステップS2)。
対象領域抽出部10は、比較した結果、入力画像データの輝度信号及び色差信号に含まれる輝度情報、色相情報及び彩度情報で示される領域データが、顔特徴情報の各範囲値内の値を有するデータであるか否かを判定する(ステップS3)。
対象領域抽出部10は、入力画像データのうち、輝度情報、色相情報及び彩度情報で示される領域データが顔特徴情報の各範囲値内の値を有するデータであると判定した(ステップS3においてYES)領域データにおいて、目、鼻及び口の特徴を抽出可能か否かを判定する(ステップS4)。
目、鼻及び口の特徴情報が抽出可能であると判定した場合(ステップS4においてYES)、対象領域抽出部10は、目、鼻及び口の相対距離関係が、顔特徴情報の範囲値内の値であるか否かを判定する(ステップS5)。
目、鼻及び口の相対距離関係が、顔特徴情報の範囲値内の値であると判定した場合、(ステップS5においてYES)、対象領域抽出部10は、輝度情報、色相情報及び彩度情報で示される入力画像データから、顔特徴情報の各範囲値内の値を有する領域データであり、かつ、目、鼻及び口の相対距離関係が顔特徴情報の範囲値内の値である領域データを、補正対象の顔領域データとして抽出する(ステップS6)。
対象領域抽出部10は、目、鼻及び口の特徴情報が抽出可能でないと判定した場合(ステップS4においてNO)、目、鼻及び口の相対距離関係が、顔特徴情報の範囲値内でないと判定した場合(ステップS5においてNO)、又は、補正対象の顔領域データを抽出した後、供給された入力画像データの輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較したか否かを判定する(ステップS7)。
供給された入力画像データの輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較していないと判定すると(ステップS7においてNO)、対象領域抽出部10は、再びステップS2からの処理を繰り返す。
対象領域抽出部10は、入力画像データのうち、輝度情報、色相情報及び彩度情報で示される領域データが顔特徴情報の各範囲値内の値を有するデータでないと判定した(ステップS3においてNO)領域において、輝度情報、色相情報及び彩度情報で示される領域データが、青空特徴情報の各範囲値内の値であるデータであるか否かを判定する(ステップS8)。
対象領域抽出部10は、入力画像データのうち、輝度情報、色相情報及び彩度情報で示される領域データが青空特徴情報の各範囲値内の値を有するデータであると判定した(ステップS8においてYES)領域データにおいて、青空特徴情報の各範囲値内の値である領域データに高周波数成分が含まれているか否かを判定する(ステップS9)。例えば、領域データに含まれる高周波数成分の割合の値と、青空特徴情報における高周波数成分の範囲値に設定されている閾値とを比較し、領域データに含まれる高周波数成分の割合が閾値以下である場合に、高周波数成分が含まれていないと判定すればよい。
高周波数成分が含まれていないと判定した場合(ステップS9においてNO)、対象領域抽出部10は、高周波数成分が含まれていないと判定された領域データが、入力画像データが表す画像の上方に位置することを示す範囲値内の値を有するデータであるか否かを判定する(ステップS10)。対象領域抽出部10は、例えば、高周波数成分が含まれていないと判定された領域データのうち、所定の割合の領域データが、入力画像データが表す画像の中心よりも上方であるか否かを判定することによって、ステップS10における判定を行えばよい。
高周波数成分が含まれていないと判定された領域データが、入力画像データが表す画像の上方に位置することを示す範囲値内の値を有する領域データであると判定した場合(ステップS10においてYES)、対象領域抽出部10は、輝度情報、色相情報及び彩度情報で示される領域データが青空特徴情報の各範囲値内の値であり、高周波数成分が含まれておらず、入力画像データが表す画像の上方に位置することを示す範囲値内の値を有する領域データを、補正対象の青空領域データとして抽出する(ステップS11)。
対象領域抽出部10は、高周波数成分が含まれていると判定した場合(ステップS9においてYES)、入力画像データが表す画像の上方に位置することを示す範囲値内の値を有する領域データでないと判定した場合(ステップS10においてNO)、又は、補正対象の青空領域データを抽出した後、供給された入力画像データの輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較したか否かを再び判定する(ステップS7)。
供給された入力画像データの輝度信号及び色差信号に含まれる輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較していないと判定すると(ステップS7においてNO)、対象領域抽出部10は、再びステップS2からの処理を繰り返す。
対象領域抽出部10は、入力画像データのうち、輝度情報、色相情報及び彩度情報が顔特徴情報の各範囲値内でないと判定した(ステップS3においてNO)領域であり、青空特徴情報の各範囲値内でないと判定した(ステップS8においてNO)領域において、輝度情報、色相情報及び彩度情報で示される領域データが、芝生特徴情報の各範囲値内の値であるデータであるか否かを判定する(ステップS12)。
対象領域抽出部10は、入力画像データのうち、輝度情報、色相情報及び彩度情報で示される領域データが芝生特徴情報の各範囲値内の値を有するデータであると判定した(ステップS12においてYES)領域データにおいて、芝生特徴情報の各範囲値内である領域データに高周波数成分が含まれているか否かを判定する(ステップS13)。例えば、領域データに含まれる高周波数成分の割合の値と、芝生特徴情報における高周波数成分の範囲値に設定されている閾値とを比較し、領域データに含まれる高周波数成分の割合が閾値以上である場合に、高周波数成分が含まれていると判定すればよい。
高周波数成分が含まれていると判定した場合(ステップS13においてYES)、対象領域抽出部10は、高周波数成分が含まれていると判定された領域データが、入力画像データが表す画像の下方に位置することを示す範囲値内の値を有するデータであるか否かを判定する(ステップS14)。対象領域抽出部10は、例えば、高周波数成分が含まれていると判定された領域データのうち、所定の割合の領域データが、入力画像データが表す画像の中心よりも下方であるか否かを判定することによって、ステップS14における判定を行えばよい。
高周波数成分が含まれていると判定された領域データが入力画像データが表す画像の下方に位置することを示す範囲値内の値を有する領域データであると判定した場合(ステップS14においてYES)、対象領域抽出部10は、輝度情報、色相情報及び彩度情報で示される領域データが芝生特徴情報の各範囲値内の値を有する領域データであり、高周波数成分が含まれている領域データであり、かつ、入力画像データが表す画像の下方に位置することを示す範囲値内の値を有する領域データを、補正対象の芝生領域データとして抽出する(ステップS15)。
対象領域抽出部10は、入力画像データに、輝度情報、色相情報及び彩度情報で示される領域データが芝生特徴情報の各範囲値内の値を有するデータであると判定される領域データが含まれていない場合(ステップS12においてYES)、高周波数成分が含まれていないと判定した場合(ステップS13においてNO)、入力画像データが表す画像の下方に位置することを示す範囲値内の値を有する領域データでないと判定した場合(ステップS14においてNO)、又は、補正対象の芝生領域データを抽出した後、供給された入力画像データの輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較したか否かを再び判定する(ステップS7)。
供給された入力画像データの輝度信号及び色差信号に含まれる輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較していないと判定すると(ステップS7においてNO)、対象領域抽出部10は、再びステップS2からの処理を繰り返す。
また、供給された入力画像データの輝度信号及び色差信号に含まれる輝度情報、色相情報及び彩度情報を、全ての特徴情報と比較したと判定すると(ステップS7においてNO)、対象領域抽出部10は、補正対象領域抽出処理を終了する。
なお、本実施形態においては、輝度情報、色相情報及び彩度情報を、まず顔特徴情報と比較し、次に青空特徴情報と比較し、さらに芝生特徴情報と比較する構成を例に挙げて説明したが、比較する順番はこれに限定されるものではなく、適宜順番を入れ替えてもよい。
また、対象特徴データベースにおいて、顔特徴情報、青空特徴情報及び芝生特徴情報以外の特徴情報が定められている場合には、入力画像データの輝度情報、色相情報及び彩度情報と、顔特徴情報、青空特徴情報及び芝生特徴情報以外の特徴情報とを比較するステップをさらに追加すればよい。
また、対象特徴データベースにおいて、複数の特徴情報が定められている場合には、複数の特徴情報のうち何れの特徴情報に基づいて補正対象領域抽出処理を行うかを予め選択することができる構成を採用してもよい。これによって、輝度情報、色相情報及び彩度情報と、複数の特徴情報のうち予め選択された特徴情報とを比較することによって、予め選択された特徴領域と一致する領域のみを補正対象領域として抽出することができる。
(対象領域補正処理)
次に、図6及び図7を参照して、補正処理部20における対象領域補正処理の流れについて説明する。図6は、本実施形態に係る画像補正装置1の補正処理部20における、対象領域補正処理の流れの一例を示すフローチャートである。なお、本実施形態においては、対象領域抽出部10において抽出された補正対象の顔領域データに対して行う対象領域補正処理を例に挙げて説明する。
次に、図6及び図7を参照して、補正処理部20における対象領域補正処理の流れについて説明する。図6は、本実施形態に係る画像補正装置1の補正処理部20における、対象領域補正処理の流れの一例を示すフローチャートである。なお、本実施形態においては、対象領域抽出部10において抽出された補正対象の顔領域データに対して行う対象領域補正処理を例に挙げて説明する。
図6に示すように、補正処理部20は、補正対象領域データが供給されると、記憶部30に格納されている補正内容データベース32において定められている補正内容情報を取得する(ステップS21)。
補正処理部20は、取得した補正内容情報のうち、輝度情報に対する補正に関する情報、及び、補正対象領域データを輝度補正処理部21に供給する。また、補正処理部20は、取得した補正内容情報のうち、色相情報及び彩度情報に対する補正に関する情報、及び、補正対象領域データを色差補正処理部22に供給する。さらに、補正処理部20は、取得した補正内容情報のうち、ノイズの除去(ノイズリダクション)に関する情報、及び、補正対象領域データをノイズリダクション処理部23に供給する。
輝度補正処理部21は、対象領域抽出部10において抽出された補正対象領域データに含まれる輝度情報に対して、輝度補正処理を行う(ステップS22)。例えば、補正対象領域データが顔領域データである場合、輝度補正処理部21は、顔補正内容情報を参照し、目、鼻及び口の太い輪郭を強調する太輪郭強調補正を行い、睫毛の細く急峻な輪郭を強調する細輪郭強調補正を行う。なお、輝度補正処理部21は、補正内容情報において輝度情報に対する補正内容が定められていない場合には、補正を行わなくてもよい。輝度補正処理部21は、輝度補正処理を行ったか否かに係わらず、入力画像データをノイズリダクション処理部23に供給する。
色差補正処理部22は、対象領域抽出部10において抽出された補正対象領域データに含まれる色相情報に対して補正を行う色相補正を行う(ステップS23)。例えば、補正対象領域データが顔領域データである場合、色差補正処理部22は、顔補正内容情報を参照し、上述した式(1)を用いて補正演算を行うことにより、目、鼻及び口以外の部分の色相を、標準肌色の適正範囲に補正する。
また、補正対象領域データが顔領域データである場合、色差補正処理部22は、顔補正内容情報を参照し、唇部分に、元画像の唇の色を参考にして、予め定められた複数種類の色から最も自然な唇の色を選択して適用することにより、色相補正を行う。
なお、色差補正処理部22は、補正内容情報において色相情報に対する補正内容が定められていない場合には、補正を行わなくてもよい。
ここで、図7を参照して、CbCr座標系における、顔領域データの色相情報に対する補正演算について説明する。図7は、CbCr座標系における、顔領域データの色相情報に対する色差補正を示す図である。図7の(a)は、顔領域データの肌色の色相情報の範囲をCbCr座標系において示した図であり、(b)は、CbCr座標系における顔領域データの肌色の補正を行う前及び補正を行った後の色相情報の範囲を示す図である。
図7の(a)に示すように、顔領域データの色相情報に示される色相θは、θ1を中心としてθ1-Δθ1からθ1+Δθ2までの範囲内の値であり、彩度情報に示される彩度rはr1からr2までの範囲内の値である。また、図7の(b)に示すように、θ1+Δθ2とr1との交点をaとし、θ1-Δθ1とr1との交点をbとし、θ1-Δθ1とr2との交点をcとし、θ1+Δθ2とr2との交点をdとすると、顔領域データの肌色の色相情報の値は、範囲abcd内の値である。
色差補正処理部22は、上述した式(1)を用いて補正を行うことにより、図7の(a)に示すように、色相θの値を、θ1を中心としてθ1-Δθ1’からθ1+Δθ2’までの範囲に補正することができる(ただし、Δθ1≧Δθ1’、及び、Δθ2≧Δθ2’)。すなわち、色差補正処理部22は、図7(b)に示すように、θ1+Δθ2’とr1との交点をeとし、θ1-Δθ1’とr1との交点をfとし、θ1-Δθ1’とr2との交点をgとし、θ1+Δθ2’とr2との交点をhとすると、式(1)を用いて補正演算を行うことにより、範囲abcd内の値の色相情報を、範囲efgh内の値になるよう、補正することができる。
これによって、色相の値を、CbCr座標系において、入力画像データが自然な画像になるような座標領域の範囲内に補正することができる。
色差補正処理部22は、対象領域抽出部10において抽出された補正対象領域データに含まれる彩度情報に対して彩度補正を行う(ステップS24)。例えば、補正対象領域データが顔領域データである場合、色差補正処理部22は、顔補正内容情報を参照して補正を行う。なお、色差補正処理部22は、彩度情報に対する補正内容が定められていない場合には、補正を行わなくてもよい。
ノイズリダクション処理部23は、対象領域抽出部10において抽出された補正対象領域データに含まれる輝度情報及び色差情報におけるノイズを除去する補正であるノイズリダクションを行う(ステップS25)。例えば、補正対象領域データが顔領域データである場合、ノイズリダクション処理部23は、顔補正内容情報を参照して補正を行う。なお、ノイズリダクション処理部23は、ノイズリダクションに関する補正内容が定められていない場合には、補正を行わなくてもよい。
補正処理部20は、対象領域抽出部10において抽出された全ての補正対象領域データに対して対象領域補正処理を行ったか否かを判定する(ステップS26)。
対象領域抽出部10において抽出された全ての補正対象領域データに対して対象領域補正処理を行っていないと判定すると(ステップS26においてNO)、補正処理部20は、対象領域補正処理を行っていない補正対象領域データに対して、ステップS22からS26までの処理を実行する。すなわち、補正処理部20は、対象領域抽出部10において抽出された全ての補正対象領域データに対して対象領域補正処理を行ったと判定するまで、ステップS22からS26までのステップを繰り返す。
例えば、対象領域抽出部10において顔領域データ以外に青空領域データ及び芝生領域データが抽出されている場合には、青空領域データ及び芝生領域データに対して対象領域補正処理が行われるように、ステップS22からS26までのステップを繰り返す。
対象領域抽出部10において抽出された全ての補正対象領域データに対して対象領域補正処理を行ったと判定すると(ステップS26においてYES)、補正処理部20は、対象領域補正処理を終了する。
上述の構成によれば、補正処理部20は、入力画像データから補正対象領域データを抽出する際に、対象特徴データベース31に含まれる補正対象領域に特有の特徴を示す特徴データにあてはまるデータを、補正対象領域データとして抽出することができる。これにより、特徴データにあてはまる入力画像データを補正対象領域データとして抽出するため、例えば、補正対象領域データとして顔領域を抽出する場合に、顔領域と同じ色の体の一部の領域又は顔と同じ色の壁の領域などを誤って検出することを防ぐことができる。
また、補正処理部20は、抽出された補正対象領域データに対し、補正内容データベース32に含まれる補正内容に基づいた補正を行うことができる。その補正内容は、補正対象領域の特性に適合している一方で、補正対象領域以外の領域には不適合であり得る。したがって、補正対象領域データ以外のデータには、不適合な補正が施されないため、入力画像データ全体に同じ補正が一律に行われ、不自然な出力画像になるという不具合を防ぐことができる。
以上の構成によれば、本実施携帯に係る画像補正装置1は、入力画像データから補正を行う補正対象領域データを抽出し、抽出した補正対象領域データに適した補正を行うことができる。
また、本実施形態に係る画像補正装置1を実装するテレビジョン受像機又は情報処理装置などの装置は、画像補正装置1において補正された入力画像データを表示することができるため、より自然な画像になるよう補正された入力画像データを表示することができる。
〔変形例1〕
本実施形態の変形例について、図8に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
本実施形態の変形例について、図8に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
(画像補正装置の構成)
図8は、本変形例に係る画像補正装置1aの構成の詳細を示すブロック図である。図8に示すように、画像補正装置1aは、補正処理部20の代わりに補正処理部20a、及び、RGB変換部40の代わりにRGB変換部40aを備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
図8は、本変形例に係る画像補正装置1aの構成の詳細を示すブロック図である。図8に示すように、画像補正装置1aは、補正処理部20の代わりに補正処理部20a、及び、RGB変換部40の代わりにRGB変換部40aを備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
補正処理部20aは、補正対象領域データに対し、対象領域補正処理を行う手段である。具体的には、対象領域抽出部10において抽出された補正対象領域データに対し、補正対象領域データの示す対象に最も適した補正の内容を、記憶部30に格納されている補正内容データベース32を参照して決定し、決定した内容に基づいて対象領域補正処理を実行する。
また、補正処理部20aは、図8に示すように、輝度補正処理部21a、色差補正処理部22a、及び、ノイズリダクション処理部23aを含んで構成される。
輝度補正処理部21aは、補正処理部20aに備えられ、入力画像データのうち対象領域抽出部10において抽出された補正対象領域データの輝度信号に含まれる輝度情報に対する補正処理を実行する。また、輝度補正処理部21aは、補正対象領域データに対する補正処理を行った入力画像データをRGB変換部40aに供給する。
色差補正処理部22aは、補正処理部20aに備えられ、入力画像データのうち対象領域抽出部10において抽出された補正対象領域データの色差信号に含まれる色相情報及び彩度情報に対する補正処理を実行する。また、色差補正処理部22aは、補正対象領域データに対する補正処理を行った入力画像データをRGB変換部40aに供給する。
RGB変換部40aは、輝度補正処理部21a及び色差補正処理部22aにおいて、補正対象領域データに対する補正処理が行われた入力画像データを示す表色系の色空間信号を、他の表色系の色空間信号に変換する。例えば、RGB変換部40は、YCbCr色空間で表される表色系で入力された入力画像データの色空間信号(Y、Cb、Cr)を、RGB表色系の色空間信号(R、G、B)に変換する。また、RGB変換部40aは、変換した色空間信号の入力画像データをノイズリダクション処理部23aに供給する。
ノイズリダクション処理部23aは、補正処理部20aに備えられ、RGB変換部40aから供給された入力画像データのうち補正対象領域データに含まれる輝度信号及び色差信号におけるノイズを除去する。また、ノイズリダクション処理部23aは、ノイズを除去した入力画像データを、出力画像データとして出力する。
(補正対象領域抽出処理、対象領域補正処理)
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における対象領域補正処理は、図6の対象領域補正処理に示す彩度補正処理(ステップS24)とノイズリダクション処理(ステップS25)との間に、RGB変換部40aにおいて、入力画像データを示す表色系の色空間信号を他の表色系の色空間信号に変換するステップが含まれることを除いて、実施形態1に係る対象領域補正処理と同じである。
これによって、ノイズリダクション処理部23aは、輝度信号及び色差信号の色空間信号によって表される表色系から変換された表色系の色空間信号を用いてノイズリダクション処理を行うことができる。
〔変形例2〕
本実施形態の他の変形例について、図9に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
本実施形態の他の変形例について、図9に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
(画像補正装置の構成)
図9は、本変形例に係る画像補正装置1bの構成の詳細を示すブロック図である。図9に示すように、画像補正装置1bは、補正処理部20の代わりに補正処理部20bを備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
図9は、本変形例に係る画像補正装置1bの構成の詳細を示すブロック図である。図9に示すように、画像補正装置1bは、補正処理部20の代わりに補正処理部20bを備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
補正処理部20bは、補正対象領域データに対し、対象領域補正処理を行う手段である。具体的には、対象領域抽出部10において抽出された補正対象領域データに対し、補正対象領域データの示す対象に最も適した補正の内容を、記憶部30に格納されている補正内容データベース32を参照して決定し、決定した内容に基づいて対象領域補正処理を実行する。
補正処理部20bは、図9に示すように、輝度補正処理部21b、色差補正処理部22b、及び、ノイズリダクション処理部23bを含んで構成される。
ノイズリダクション処理部23bは、補正処理部20aに備えられ、入力画像データのうち対象領域抽出部10において抽出された補正対象領域データの輝度信号及び色差信号におけるノイズを除去する。また、ノイズリダクション処理部23bは、ノイズを除去した入力画像データを、輝度補正処理部21b及び色差補正処理部22bに供給する。
輝度補正処理部21bは、補正処理部20bに備えられ、ノイズリダクション処理部23bから供給された入力画像データのうち、対象領域抽出部10において抽出された補正対象領域データの輝度信号に含まれる輝度情報に対する補正処理を実行する。また、輝度補正処理部21bは、補正対象領域データに対する補正処理を行った入力画像データをRGB変換部40bに供給する。
色差補正処理部22bは、補正処理部20bに備えられ、ノイズリダクション処理部23bから供給された入力画像データのうち、対象領域抽出部10において抽出された補正対象領域データの色差信号に含まれる色相情報及び彩度情報に対する補正処理を実行する。また、色差補正処理部22bは、補正対象領域データに対する補正処理を行った入力画像信号をRGB変換部40bに供給する。
(補正対象領域抽出処理、対象領域補正処理)
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における対象領域補正処理は、図6に示す対象領域補正処理において、ノイズリダクション処理(ステップS25)を行った後に、輝度補正処理(ステップS22)、色相補正処理(ステップS23)、彩度補正処理(ステップS24)を行うことを除いて、実施形態1に係る対象領域補正処理と同じである。
これによって、補正処理部20bは、ノイズリダクション処理部23においてノイズリダクション処理を行った後に、輝度信号に対する補正、及び、色差信号に対する補正を行うことができる。
<実施形態2>
本発明の他の実施形態について、図10に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
本発明の他の実施形態について、図10に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
(画像補正装置の構成)
図10は、本変形例に係る画像補正装置2の構成の詳細を示すブロック図である。図10に示すように、画像補正装置2は、YCbCr変換部41(第2色空間信号変換手段)をさらに備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
図10は、本変形例に係る画像補正装置2の構成の詳細を示すブロック図である。図10に示すように、画像補正装置2は、YCbCr変換部41(第2色空間信号変換手段)をさらに備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
YCbCr変換部41は、入力画像データを示す表色系の色空間信号を、他の表色系の色空間信号に変換する。例えば、YCbCr変換部41は、入力画像データを表すRGB表色系の色空間信号を、YCbCr色空間で表される表色系の色空間信号に変換する。また、YCbCr変換部41は、色空間信号が変換された入力画像データを、対象領域抽出部10及び補正処理部20に供給する。
(補正対象領域抽出処理、対象領域補正処理)
本実施形態における補正対象領域抽出処理及び対象領域補正処理は、図5に示す実施形態1における補正対象領域抽出処理、及び、図6に示す実施形態1における対象領域補正処理と同じであるため、説明を省略する。
本実施形態における補正対象領域抽出処理及び対象領域補正処理は、図5に示す実施形態1における補正対象領域抽出処理、及び、図6に示す実施形態1における対象領域補正処理と同じであるため、説明を省略する。
上記の構成によって、入力画像データが、例えば輝度信号及び色差信号で表されるようなYCbCr色空間で表される表色系と異なる表色系の色空間信号である場合に、YCbCr色空間で表される表色系と異なる表色系の色空間信号を、YCbCr色空間を表す輝度信号及び色差信号に変換することができる。これによって、入力画像データがどのような表色系の色空間信号であっても、輝度信号及び色差信号に対する補正を行うことによって、入力画像データを補正することができる。
〔変形例1〕
本実施形態の変形例について、図11に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
本実施形態の変形例について、図11に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
(画像補正装置の構成)
図11は、本変形例に係る画像補正装置2aの構成の詳細を示すブロック図である。図11に示すように、画像補正装置2aは、補正処理部20の代わりに補正処理部20a、及び、RGB変換部40の代わりにRGB変換部40aを備え、さらにYCbCr変換部41を備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
図11は、本変形例に係る画像補正装置2aの構成の詳細を示すブロック図である。図11に示すように、画像補正装置2aは、補正処理部20の代わりに補正処理部20a、及び、RGB変換部40の代わりにRGB変換部40aを備え、さらにYCbCr変換部41を備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
YCbCr変換部41は、入力画像データを示す表色系の色空間信号を、他の表色系の色空間信号に変換する。例えば、YCbCr変換部41は、入力画像データを表すRGB表色系の色空間信号を、YCbCr色空間で表される表色系の色空間信号に変換する。また、YCbCr変換部41は、色空間信号が変換された入力画像データを、対象領域抽出部10及び補正処理部20aに供給する。
補正処理部20aは、補正対象領域データに対し、対象領域補正処理を行う手段である。具体的には、対象領域抽出部10において抽出された補正対象領域データに対し、補正対象領域データの示す対象に最も適した補正の内容を、記憶部30に格納されている補正内容データベース32を参照して決定し、決定した内容に基づいて対象領域補正処理を実行する。
補正処理部20aは、図11に示すように、輝度補正処理部21a、色差補正処理部22a、及び、ノイズリダクション処理部23aを含んで構成される。
輝度補正処理部21aは、補正処理部20aに備えられ、入力画像データのうち対象領域抽出部10において抽出された補正対象領域データの輝度信号に含まれる輝度情報に対する補正処理を実行する。また、輝度補正処理部21aは、補正対象領域データに対する補正処理を行った入力画像データをRGB変換部40aに供給する。
色差補正処理部22aは、補正処理部20aに備えられ、入力画像データのうち対象領域抽出部10において抽出された補正対象領域データの色差信号に含まれる色相情報及び彩度情報に対する補正処理を実行する。また、色差補正処理部22aは、補正対象領域データに対する補正処理を行った入力画像データをRGB変換部40aに供給する。
RGB変換部40aは、輝度補正処理部21a及び色差補正処理部22aにおいて、補正対象領域データに対する補正処理が行われた入力画像データを示す表色系の色空間信号を、他の表色系の色空間信号に変換する。例えば、RGB変換部40は、YCbCr色空間で表される表色系で入力される入力画像データの色空間信号(Y、Cb、Cr)を、RGB表色系の色空間信号(R、G、B)に変換する。また、RGB変換部40aは、変換した色空間信号の入力画像データをノイズリダクション処理部23aに供給する。
ノイズリダクション処理部23aは、補正処理部20aに備えられ、RGB変換部40aから供給された入力画像データのうち補正対象領域データに含まれる輝度信号及び色差信号におけるノイズを除去する。また、ノイズリダクション処理部23aは、ノイズを除去した入力画像データを、出力画像データとして出力する。
(補正対象領域抽出処理、対象領域補正処理)
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における対象領域補正処理は、図6の対象領域補正処理に示す彩度補正処理(ステップS24)とノイズリダクション処理(ステップS25)との間に、RGB変換部40aにおいて、入力画像データを示す表色系の色空間信号を他の表色系の色空間信号に変換するステップが含まれることを除いて、実施形態1に係る対象領域補正処理と同じである。
〔変形例2〕
本実施形態の他の変形例について、図12に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
本実施形態の他の変形例について、図12に基づいて説明する。なお、説明の便宜上、実施形態1の構成要素と同様の機能を有する構成要素には同一の番号を付し、その説明を省略する。本実施形態では、主に、実施形態1との相違点について説明するものとする。
(画像補正装置の構成)
図12は、本変形例に係る画像補正装置2bの構成の詳細を示すブロック図である。図12に示すように、画像補正装置2bは、補正処理部20の代わりに補正処理部20bを備え、さらにYCbCr変換部41を備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
図12は、本変形例に係る画像補正装置2bの構成の詳細を示すブロック図である。図12に示すように、画像補正装置2bは、補正処理部20の代わりに補正処理部20bを備え、さらにYCbCr変換部41を備えていること以外は実施形態1に係る画像補正装置1と同じ構成である。
YCbCr変換部41は、入力画像データを示す表色系の色空間信号を、他の表色系の色空間信号に変換する。例えば、YCbCr変換部41は、入力画像データを表すRGB表色系の色空間信号を、YCbCr色空間で表される表色系の色空間信号に変換する。また、YCbCr変換部41は、色空間信号が変換された入力画像データを、対象領域抽出部10及び補正処理部20bに供給する。
補正処理部20bは、補正対象領域データに対し、対象領域補正処理を行う手段である。具体的には、対象領域抽出部10において抽出された補正対象領域データに対し、補正対象領域データの示す対象に最も適した補正の内容を、記憶部30に格納されている補正内容データベース32を参照して決定し、決定した内容に基づいて対象領域補正処理を実行する。
補正処理部20bは、図12に示すように、輝度補正処理部21b、色差補正処理部22b、及び、ノイズリダクション処理部23bを含んで構成される。
ノイズリダクション処理部23bは、補正処理部20aに備えられ、入力画像データのうち対象領域抽出部10において抽出された補正対象領域データの輝度信号及び色差信号におけるノイズを除去する。また、ノイズリダクション処理部23bは、ノイズを除去した入力画像データを、輝度補正処理部21b及び色差補正処理部22bに供給する。
輝度補正処理部21bは、補正処理部20bに備えられ、ノイズリダクション処理部23bから供給された入力画像データのうち、対象領域抽出部10において抽出された補正対象領域データの輝度信号に含まれる輝度情報に対する補正処理を実行する。また、輝度補正処理部21bは、補正対象領域データに対する補正処理を行った入力画像データをRGB変換部40bに供給する。
色差補正処理部22bは、補正処理部20bに備えられ、ノイズリダクション処理部23bから供給された入力画像データのうち、対象領域抽出部10において抽出された補正対象領域データの色差信号に含まれる色相情報及び彩度情報に対する補正処理を実行する。また、色差補正処理部22bは、補正対象領域データに対する補正処理を行った入力画像信号をRGB変換部40bに供給する。
(補正対象領域抽出処理、対象領域補正処理)
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における補正対象領域抽出処理は、図5に示す、実施形態1における補正対象領域抽出処理と同じであるため、説明を省略する。
本変形例における対象領域補正処理は、図6に示す対象領域補正処理において、ノイズリダクション処理(ステップS25)を行った後に、輝度補正処理(ステップS22)、色相補正処理(ステップS23)、彩度補正処理(ステップS24)を行うことを除いて、実施形態1に係る対象領域補正処理と同じである。
(プログラム、記憶媒体)
画像補正装置1の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
画像補正装置1の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、画像補正装置1は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補正装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、画像補正装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記プログラムコードは、通信ネットワークを介して画像補正装置1に供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE80211無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
(付記事項)
本発明に係る画像補正装置は、上記の課題を解決するために、記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出手段と、記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出手段において抽出された対象領域データに対する画像補正を行う補正処理手段と、を備えていることを特徴としている。
本発明に係る画像補正装置は、上記の課題を解決するために、記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出手段と、記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出手段において抽出された対象領域データに対する画像補正を行う補正処理手段と、を備えていることを特徴としている。
また、本発明に係る画像補正装置は、記憶部に格納されている、対象領域データとして抽出される領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから上記特徴データを含む対象領域データを抽出する対象領域抽出手段と、上記記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出手段において抽出された対象領域データに対する画像補正を行う補正処理手段と、を備えていることが好ましい。
上記の構成によれば、上記入力画像データから上記対象領域データを抽出する際に、上記対象特徴データベースに含まれる補正対象領域に特有の特徴を示す特徴データにあてはまるデータを、上記対象領域データとして抽出することができる。上記特徴データにあてはまる入力画像データを上記対象領域データとして抽出するため、例えば、上記対象領域データとして顔領域を抽出する場合に、顔領域と同じ色の体の一部の領域又は顔と同じ色の壁の領域などを誤って検出することを防ぐことができる。
また、抽出された上記対象領域データに対し、上記補正内容データベースに含まれる補正内容に基づいた補正を行うことができる。その補正内容は、補正対象領域の特性に適合している一方で、補正対象領域以外の領域には不適合であり得る。したがって、上記対象領域データ以外のデータには、不適合な補正が施されないため、上記入力画像データ全体に同じ補正が一律に行われ、不自然な出力画像になるという不具合を防ぐことができる。
したがって、入力画像データから補正を行う対象領域データを抽出し、抽出した対象領域データに適した補正を行うことができる。
なお、上記入力画像データは、静止画像データ又は動画像データを含んでいるほかに、動画の一部に静止画が表示されたり、静止画の一部に動画が表示される場合のような、静止画像データと動画像データとの組み合わせをも含んでいる。
本発明に係る画像補正装置における上記対象特徴データベースは、上記特徴データを含む複数種類の特徴データを含み、上記補正内容データベースは、上記複数種類の対象領域データのそれぞれに対する複数種類の補正内容を含み、上記対象領域抽出手段は、上記複数種類の特徴データのそれぞれに対応した複数種類の対象領域データを抽出し、上記補正処理手段は、上記複数種類の対象領域データのそれぞれに対応した画像補正を行うことが好ましい。
上記の構成によれば、上記複数種類の対象領域データを抽出し、抽出した上記複数種類の対象領域データのそれぞれに対応した画像補正を行うことができる。すなわち、複数の補正対象領域を補正することができ、入力画像データに対して、より自然な補正を行うことができる。
本発明に係る画像補正装置は、上記対象領域データには、輝度信号及び色差信号が含まれており、上記補正内容は、輝度信号に対する補正内容を示す輝度補正内容、色差信号に対する補正内容を示す色差補正内容、及び、輝度信号及び色差信号の双方に対する補正内容を示すノイズリダクション内容のうちの少なくとも何れかを含んでいることが好ましい。
上記の構成によれば、上記対象領域データのそれぞれに特有の特徴に応じた補正を行うことができる。例えば、ノイズリダクションを行うべきではない対象領域データに対しては、上記補正内容にノイズリダクション内容を含まいことによって、ノイズリダクションが行われないようにすることができる。
本発明に係る画像補正装置における上記補正処理手段は、上記輝度補正内容に基づいて、上記対象領域データの上記輝度信号に対する補正を行う輝度補正処理手段と、上記色差補正内容に基づいて、上記対象領域データの上記色差信号に対する補正を行う色差補正処理手段と、上記ノイズリダクション内容に基づいて、上記輝度補正処理手段から供給された輝度信号、及び、上記色差補正処理手段から供給された色差信号の双方に対する補正を行うノイズリダクション処理手段と、を備え、上記補正処理手段から供給された上記入力画像データの上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換する第1色空間信号変換手段をさらに備えていることが好ましい。
上記の構成によれば、上記補正処理手段が、上記輝度補正処理手段、上記色差補正処理手段、及び、上記ノイズリダクション処理手段を含むため、上記輝度信号が示す輝度値に対する補正、上記色差信号が示す色相値及び彩度値に対する補正、及び、上記輝度値、上記色相値及び上記彩度値に対する補正を、補正対象領域の特性上の必要に応じてそれぞれ実行することができ、上記入力画像データに対して自然な補正を行うことができる。
なお、上述した輝度補正内容、色差補正内容、及び、ノイズリダクション内容のうち、補正対象領域の特性上、不必要または不適合な補正内容については、対応する処理手段は補正を行わず、信号をスルーさせればよい。
また、上記対象領域抽出手段及び上記補正処理手段が、上記輝度信号及び上記色差信号に基づいて処理を行うことができるため、上記入力画像データを構成する上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換することなく処理を行うことができる。
ここで、上記輝度信号及び上記色差信号の色空間信号によって表現される表色系は、例えば、YCbCr色空間で表される表色系である。また、異なる表色系の色空間信号とは、例えば、CIEL*a*b*表色系の色空間信号(L*信号、a*信号、b*信号)、及び、RGB表色系の色空間信号(R(Red:赤)、G(Green:緑)、B(Blue:青))などを挙げることができる。
また、上記第1色空間信号変換手段を備えていることによって、上記補正処理手段において処理された上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号(例えば、RGB表色系のRGB信号など)に変換した後に出力画像データとして出力することができる。
本発明に係る画像補正装置における上記補正処理手段は、上記輝度補正内容に基づいて、上記対象領域データの上記輝度信号に対する補正を行う輝度補正処理手段と、上記色差補正内容に基づいて、上記対象領域データの上記色差信号に対する補正を行う色差補正処理手段と、上記ノイズリダクション内容に基づいて、第1色空間信号変換手段から供給された色空間信号に対する補正を行うノイズリダクション処理手段と、備え、上記第1色空間信号変換手段は、上記補正処理手段から供給された上記入力画像データの上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換することが好ましい。
上記の構成によれば、上記ノイズリダクション処理部において、上記輝度信号及び上記色差信号の色空間信号によって表される表色系から変換された表色系の色空間信号を用いてノイズリダクション処理を行うことができる。
なお、上述した輝度補正内容、色差補正内容、及び、ノイズリダクション内容のうち、補正対象領域の特性上、不必要または不適合な補正内容については、対応する処理手段は補正を行わず、信号をスルーさせればよい。
本発明に係る画像補正装置において、上記補正処理手段は、上記ノイズリダクション内容に基づいて、上記輝度信号及び上記色差信号に対する補正を行うノイズリダクション処理手段と、上記輝度補正内容に基づいて、上記ノイズリダクション処理手段から供給された上記輝度信号に対する補正を行う輝度補正処理手段と、上記色差補正内容に基づいて、上記ノイズリダクション処理手段から供給された上記色差信号に対する補正を行う色差補正処理手段と、を備えており、上記補正処理手段から供給された上記入力画像データの上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換する第1色空間信号変換手段をさらに備えていることが好ましい。
上記の構成によれば、上記ノイズリダクション処理部においてノイズリダクション処理を行った後に、上記輝度信号に対する補正、及び、上記色差信号に対する補正を行うことができる。
なお、上述した輝度補正内容、色差補正内容、及び、ノイズリダクション内容のうち、補正対象領域の特性上、不必要または不適合な補正内容については、対応する処理手段は補正を行わず、信号をスルーさせればよい。
本発明に係る画像補正装置は、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号によって入力される入力画像データの色空間信号を、上記輝度信号及び上記色差信号に変換する第2色空間信号変換手段をさらに備えていることが好ましい。
上記の構成によって、上記入力画像データが、例えば上記輝度信号及び上記色差信号で表されるようなYCbCr色空間で表される表色系と異なる表色系の色空間信号である場合に、当該YCbCr色空間で表される表色系と異なる表色系の色空間信号を、YCbCr色空間を表す上記輝度信号及び上記色差信号に変換することができる。これによって、上記入力画像データがどのような表色系の色空間信号であっても、上記輝度信号及び上記色差信号に対する補正を行うことによって、入力画像データを補正することができる。
本発明に係る画像補正装置における上記輝度補正処理手段は、バンドパスフィルタ及びハイパスフィルタであることが好ましい。
上記の構成によれば、例えば、上記バンドパスフィルタにおいて上記対象領域データに含まれる上記特定の対象の輪郭を示すデータに対する補正を行い、上記ハイパスフィルタにおいて上記対象領域データに含まれる上記特定の対象のテクスチャを示すデータに対する補正を行うことができる。これによって、上記対象領域データに対して、上記対象領域データに含まれるデータ毎に対して必要な補正を行うことができるため、上記対象領域データ全体に同じ補正が行われ、不自然な出力画像になることを防ぐことができる。
本発明に係る画像補正装置における上記色差補正処理手段は、CbCr座標系における彩度及び色相に対して補正演算を行うことが好ましい。
上記の構成によれば、彩度及び色相の値を、CbCr座標系において、入力画像データが自然な画像になるような座標領域の適正範囲に補正することができる。
本発明に係る画像補正装置における上記ノイズリダクション処理手段は、ローパスフィルタ、又は、メディアンフィルタであることが好ましい。
上記の構成によれば、例えば、上記ノイズリダクション処理手段がローパスフィルタである場合、上記対象領域データに対して重み付け平均処理による補正を行うことができ、上記ノイズリダクション処理手段がメディアンフィルタである場合、細かなノイズを除去する補正を行うことができる。
本発明に係る画像補正表示装置は、上記画像補正装置と、上記画像補正装置において補正された上記入力画像データを表示する表示部と、を備えていることが好ましい。
上記の構成によれば、入力画像データを上記画像補正装置において、より自然な画像になるよう補正された入力画像データを表示することができる。
本発明に係る画像補正装置の画像補正方法は、入力された画像を補正する画像補正装置の画像補正方法であって、記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出ステップと、記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出ステップにおいて抽出された対象領域データに対する画像補正を行う補正処理ステップと、を含んでいることを特徴としている。
上記の構成によれば、上記入力画像データから上記対象領域データを抽出する際に、上記対象特徴データベースに含まれる補正対象領域に特有の特徴を示す特徴データにあてはまる入力画像データを、上記対象領域データとして抽出することができる。これによって、上述した画像補正装置と同様の効果を奏する。
なお、コンピュータを本発明に係る画像補正装置として動作させるためのプログラムであって、上記コンピュータを上記画像補正装置の各手段として機能させることを特徴とするプログラム、及び、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
なお、本発明は上述した本実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
本発明に係る画像補正装置は、テレビジョン受像機、パーソナルコンピュータ、カーナビゲーションシステム、携帯電話、デジタルカメラ、及び、デジタルビデオカメラなどに好適に適用することができる。
1、2 画像補正装置
10 対象領域抽出部(対象領域抽出手段)
20 補正処理部(補正処理手段)
21 輝度補正処理部(輝度補正処理手段)
22 色差補正処理部(色差補正処理手段)
23 ノイズリダクション処理部(ノイズリダクション処理手段)
30 記憶部
31 対象特徴データベース
32 補正内容データベース
40 RGB変換部(第1色空間信号変換手段)
41 YCbCr変換部(第2色空間信号変換手段)
90 撮像機器
91 顔領域抽出部
92 色相補正値算出部
93 色相補正部
10 対象領域抽出部(対象領域抽出手段)
20 補正処理部(補正処理手段)
21 輝度補正処理部(輝度補正処理手段)
22 色差補正処理部(色差補正処理手段)
23 ノイズリダクション処理部(ノイズリダクション処理手段)
30 記憶部
31 対象特徴データベース
32 補正内容データベース
40 RGB変換部(第1色空間信号変換手段)
41 YCbCr変換部(第2色空間信号変換手段)
90 撮像機器
91 顔領域抽出部
92 色相補正値算出部
93 色相補正部
Claims (14)
- 記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出手段と、
記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出手段において抽出された対象領域データに対する画像補正を行う補正処理手段と、
を備えていることを特徴とする画像補正装置。 - 上記対象特徴データベースは、上記特徴データを含む複数種類の特徴データを含み、
上記補正内容データベースは、上記複数種類の対象領域データのそれぞれに対する複数種類の補正内容を含み、
上記対象領域抽出手段は、上記複数種類の特徴データのそれぞれに対応した複数種類の対象領域データを抽出し、
上記補正処理手段は、上記複数種類の対象領域データのそれぞれに対応した画像補正を行う
ことを特徴とする請求項1に記載の画像補正装置。 - 上記対象領域データには、輝度信号及び色差信号が含まれており、
上記補正内容は、輝度信号に対する補正内容を示す輝度補正内容、色差信号に対する補正内容を示す色差補正内容、及び、輝度信号及び色差信号の双方に対する補正内容を示すノイズリダクション内容のうちの少なくとも何れかを含んでいる
ことを特徴とする請求項1又は2に記載の画像補正装置。 - 上記補正処理手段は、
上記輝度補正内容に基づいて、上記対象領域データの上記輝度信号に対する補正を行う輝度補正処理手段と、
上記色差補正内容に基づいて、上記対象領域データの上記色差信号に対する補正を行う色差補正処理手段と、
上記ノイズリダクション内容に基づいて、上記輝度補正処理手段から供給された輝度信号、及び、上記色差補正処理手段から供給された色差信号の双方に対する補正を行うノイズリダクション処理手段と、を備え、
上記補正処理手段から供給された上記入力画像データの上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換する第1色空間信号変換手段をさらに備えている
ことを特徴とする請求項3に記載の画像補正装置。 - 上記補正処理手段は、
上記輝度補正内容に基づいて、上記対象領域データの上記輝度信号に対する補正を行う輝度補正処理手段と、
上記色差補正内容に基づいて、上記対象領域データの上記色差信号に対する補正を行う色差補正処理手段と、
上記ノイズリダクション内容に基づいて、第1色空間信号変換手段から供給された色空間信号に対する補正を行うノイズリダクション処理手段と、備え、
上記第1色空間信号変換手段は、上記補正処理手段から供給された上記入力画像データの上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換する
ことを特徴とする請求項3に記載の画像補正装置。 - 上記補正処理手段は、
上記ノイズリダクション内容に基づいて、上記輝度信号及び上記色差信号に対する補正を行うノイズリダクション処理手段と、
上記輝度補正内容に基づいて、上記ノイズリダクション処理手段から供給された上記輝度信号に対する補正を行う輝度補正処理手段と、
上記色差補正内容に基づいて、上記ノイズリダクション処理手段から供給された上記色差信号に対する補正を行う色差補正処理手段と、を備えており、
上記補正処理手段から供給された上記入力画像データの上記輝度信号及び上記色差信号を、上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号に変換する第1色空間信号変換手段をさらに備えている
ことを特徴とする請求項3に記載の画像補正装置。 - 上記輝度信号及び上記色差信号で表される表色系と異なる表色系の色空間信号によって入力される入力画像データの色空間信号を、上記輝度信号及び上記色差信号に変換する第2色空間信号変換手段をさらに備えている
ことを特徴とする請求項4から6までの何れか1項に記載の画像補正装置。 - 上記輝度補正処理手段は、バンドパスフィルタ及びハイパスフィルタである
ことを特徴とする請求項4から7までの何れか1項に記載の画像補正装置。 - 上記色差補正処理手段は、CbCr座標系における彩度及び色相に対して補正演算を行う
ことを特徴とする請求項4から8までの何れか1項に記載の画像補正装置。 - 上記ノイズリダクション処理手段は、ローパスフィルタ、又は、メディアンフィルタである
ことを特徴とする請求項4から9までの何れか1項に記載の画像補正装置。 - 請求項1から10までの何れか1項に記載の画像補正装置と、
上記画像補正装置において補正された上記入力画像データを表示する表示部と、を備えている
ことを特徴とする画像補正表示装置。 - 入力された画像を補正する画像補正装置の画像補正方法であって、
記憶部に格納されている、補正対象領域に特有の特徴を示す特徴データを含む対象特徴データベースを参照することによって、入力画像データから特有の特徴を含む対象領域データを抽出する対象領域抽出ステップと、
記憶部に格納されている、上記対象領域データに対する補正内容が定められた補正内容データベースを参照することによって、上記入力画像データのうち、上記対象領域抽出ステップにおいて抽出された対象領域データに対する画像補正を行う補正処理ステップと、
を含んでいることを特徴とする画像補正方法。 - コンピュータを請求項1から10までの何れか1項に記載の画像補正装置として動作させるためのプログラムであって、上記コンピュータを上記画像補正装置の各手段として機能させるプログラム。
- 請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-010178 | 2011-01-20 | ||
| JP2011010178 | 2011-01-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012099013A1 true WO2012099013A1 (ja) | 2012-07-26 |
Family
ID=46515641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2012/050582 Ceased WO2012099013A1 (ja) | 2011-01-20 | 2012-01-13 | 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2012099013A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014080613A1 (ja) * | 2012-11-22 | 2014-05-30 | 日本電気株式会社 | 色補正装置、色補正方法および色補正用プログラム |
| JP2016173716A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社ジェイメック | 肌画像解析装置、画像処理装置及びコンピュータプログラム |
| CN110766639A (zh) * | 2019-10-30 | 2020-02-07 | 北京迈格威科技有限公司 | 图像增强方法、装置、移动设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678320A (ja) * | 1992-08-25 | 1994-03-18 | Matsushita Electric Ind Co Ltd | 色調整装置 |
| JP2001292390A (ja) * | 2000-04-04 | 2001-10-19 | Minolta Co Ltd | 画像処理装置 |
| JP2003348614A (ja) * | 2002-03-18 | 2003-12-05 | Victor Co Of Japan Ltd | 映像補正装置及び方法、並びに、映像補正プログラム及びこれを記録した記録媒体 |
| JP2007164628A (ja) * | 2005-12-15 | 2007-06-28 | Canon Inc | 画像処理装置及び方法 |
| JP2010193381A (ja) * | 2009-02-20 | 2010-09-02 | Panasonic Corp | 信号処理装置および信号処理方法 |
-
2012
- 2012-01-13 WO PCT/JP2012/050582 patent/WO2012099013A1/ja not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0678320A (ja) * | 1992-08-25 | 1994-03-18 | Matsushita Electric Ind Co Ltd | 色調整装置 |
| JP2001292390A (ja) * | 2000-04-04 | 2001-10-19 | Minolta Co Ltd | 画像処理装置 |
| JP2003348614A (ja) * | 2002-03-18 | 2003-12-05 | Victor Co Of Japan Ltd | 映像補正装置及び方法、並びに、映像補正プログラム及びこれを記録した記録媒体 |
| JP2007164628A (ja) * | 2005-12-15 | 2007-06-28 | Canon Inc | 画像処理装置及び方法 |
| JP2010193381A (ja) * | 2009-02-20 | 2010-09-02 | Panasonic Corp | 信号処理装置および信号処理方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014080613A1 (ja) * | 2012-11-22 | 2014-05-30 | 日本電気株式会社 | 色補正装置、色補正方法および色補正用プログラム |
| US9462160B2 (en) | 2012-11-22 | 2016-10-04 | Nec Corporation | Color correction device, method, and program |
| JPWO2014080613A1 (ja) * | 2012-11-22 | 2017-01-05 | 日本電気株式会社 | 色補正装置、色補正方法および色補正用プログラム |
| JP2016173716A (ja) * | 2015-03-17 | 2016-09-29 | 株式会社ジェイメック | 肌画像解析装置、画像処理装置及びコンピュータプログラム |
| CN110766639A (zh) * | 2019-10-30 | 2020-02-07 | 北京迈格威科技有限公司 | 图像增强方法、装置、移动设备及计算机可读存储介质 |
| CN110766639B (zh) * | 2019-10-30 | 2022-09-27 | 北京迈格威科技有限公司 | 图像增强方法、装置、移动设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4376912B2 (ja) | 色強調方法および色ガマットマッピング方法 | |
| CN105009580B (zh) | 高动态范围视频的显示管理 | |
| CN107680056B (zh) | 一种图像处理方法及装置 | |
| CN108090876B (zh) | 一种图像处理方法及装置 | |
| WO2013185449A1 (zh) | 图像增强方法、图像增强装置和显示装置 | |
| CN103366364A (zh) | 一种基于颜色差异的抠图方法 | |
| CN110246087A (zh) | 参考多通道的多分辨率去除图像色度噪声的系统和方法 | |
| CN110298812B (zh) | 一种图像融合处理的方法及装置 | |
| WO2012153661A1 (ja) | 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体 | |
| CN107742280A (zh) | 一种图像锐化方法及装置 | |
| US20190394438A1 (en) | Image processing device, digital camera, and non-transitory computer-readable storage medium | |
| CN113132696A (zh) | 图像色调映射方法、装置、电子设备和存储介质 | |
| CN115689903A (zh) | 图像处理方法及装置、设备、存储介质 | |
| WO2012099013A1 (ja) | 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体 | |
| WO2023241339A1 (zh) | 色偏校正方法、装置、设备、存储介质及程序产品 | |
| CN109636739B (zh) | 图像饱和度增强的细节处理方法及装置 | |
| WO2022246663A1 (zh) | 图像处理方法、设备、系统和存储介质 | |
| JP2011076302A (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| TWI531246B (zh) | Color adjustment method and its system | |
| JP4111689B2 (ja) | 画像処理装置、画像処理プログラムを記録したコンピュータ読取可能な記録媒体およびプログラム | |
| JP4375580B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2012510201A (ja) | デジタル画像における記憶色の修正 | |
| CN111612702B (zh) | 一种颜色迁移的中性色矫正后处理方法 | |
| US8873862B2 (en) | Product image processor, product image processing method, information recording medium, and program | |
| CN113781330A (zh) | 图像处理方法、装置及电子系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12736764 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 12736764 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |
