WO2009093294A1 - 画像信号処理装置及び画像信号処理プログラム - Google Patents
画像信号処理装置及び画像信号処理プログラム Download PDFInfo
- Publication number
- WO2009093294A1 WO2009093294A1 PCT/JP2008/003808 JP2008003808W WO2009093294A1 WO 2009093294 A1 WO2009093294 A1 WO 2009093294A1 JP 2008003808 W JP2008003808 W JP 2008003808W WO 2009093294 A1 WO2009093294 A1 WO 2009093294A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- color
- signal
- color signal
- image signal
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
Definitions
- the present invention relates to an image signal processing device and an image video signal processing program.
- an image output apparatus having a color gamut that exceeds the definition area of the image signal, it is possible to compensate for a color change due to signal clipping or the like in the recording process of the image signal, and to effectively use the wide color gamut of the image output apparatus
- the present invention relates to an image signal processing apparatus and an image signal processing program.
- the ⁇ curve is extended from the sYCC standard after using the three primary colors having the same chromaticity coordinates as sYCC, and the Cb and Cr range not used in the sYCC standard. Is used to transmit a color signal of a wide color gamut that is upward compatible with the conventional sYCC standard.
- the RGB values of color images displayed on the display are converted into ink amounts such as CMYK and printed.
- CMYK complementary metal-oxide-semiconductor
- a color gamut that can be handled in common by the display and the printer is accurately reproduced, and an appropriate mapping is performed on a portion where the color gamuts of both do not overlap.
- the display color on the display is displayed by mapping to the nearest point on the surface of the color gamut of the printer in the L * a * b * color space.
- Color conversion processing that minimizes the difference in output colors from the printer is performed (see, for example, Patent Document 2).
- the color signal conversion is performed by a process common to all the pixels, so even if the error for each pixel is minimized, the spatial characteristics may be crushed, resulting in an unnatural image. .
- the conventional color gamut expansion technique represented by Patent Document 3 uses a single color.
- a feature in the spatial direction such as the original gradation cannot be restored from the solid painting, and only the conversion to the solid painting using the color of the gamut surface of the output device is performed.
- the original gradation shown in FIG. 4C cannot be restored when the color gamut expansion is performed for a solid area outside the definition area. Instead, as shown in FIG. 4B, only a uniform value is added as a whole.
- the occurrence of such a solid portion has a great adverse effect on subjective image quality.
- an object of the present invention is to provide an image signal processing apparatus capable of effectively using the entire gamut of an output device while considering clipping even when an image signal including a color signal that may have been clipped is received.
- An image signal processing program is provided.
- an image signal processing apparatus receives an image signal using a first color signal, converts it into image data using a second color signal, and outputs the image data.
- a device An image signal input unit that receives an image signal using the first color signal for each pixel;
- the first color signal is a color signal at the end of the definition area of the color space that defines the first color signal, or a color near the end of a specific color gamut that exists in the definition area of the color space.
- a clip determination unit for determining whether or not The pixel that is the color signal at the end of the definition area of the color space or the color near the end of the specific color gamut is determined by the clip determination unit.
- a distance calculation unit that calculates a distance to an edge or a nearest pixel that is determined not to be a neighboring color of the specific color gamut edge;
- An adjustment amount determination unit that determines a color signal adjustment amount for a color signal in each pixel based on outputs of the clip determination unit and the distance calculation unit; Based on the output of the color signal adjustment amount determination unit, the color signal adjustment unit that adjusts the color signal in each pixel with the color signal adjustment amount to obtain a second color signal;
- An image signal output unit for outputting an image signal using the second color signal; It is provided with.
- the image signal using the first color signal is subjected to color space conversion from a color signal defined in a color space different from the color space in which the first color signal is defined, and the first color signal is converted into the first color signal.
- the first color signal converted from the color signal in the color gamut that cannot be expressed in the defined color space is trimmed.
- the different color space before the conversion to the first color signal is Adobe RGB, wide gamut RGB, DCI standard, NTSC, etc., as well as RAW RGB based on the primary color chromaticity coordinates of a specific imaging device. Also good.
- the image signal input unit may receive metadata related to trimming in the first color signal of the image signal together with the image signal.
- the adjustment amount determination unit prepares a plurality of types of functions for obtaining a color signal adjustment amount of a color signal in advance, selects the function based on the metadata, and selects the selected function May be selected, and the color signal adjustment amount may be determined using the selected function.
- the color signal adjustment unit superimposes appropriate noise on the second color signal after processing so that the processing target area does not have a too smooth gradation, or noise is added to the color signal adjustment amount in advance.
- Color signal adjustment processing may be performed after superposition.
- a color space conversion unit that converts a color space from the first color signal defined in the first color space to the third color signal defined in a third color space different from the first color space. May be further provided.
- the adjustment amount determination unit determines a color signal adjustment amount with respect to the third color signal in each pixel, and the color signal adjustment unit converts the third color signal in each pixel to the color signal adjustment.
- the second color signal may be obtained by adjusting according to the amount, and the image signal output unit may output the second color signal.
- the image signal output unit may output an image signal using the third color signal.
- the first color space may be xvYCC
- the third color space may be RGB.
- Another configuration of the image signal processing apparatus is an image signal processing apparatus that receives an image signal using a first color signal, converts the image signal into image data using a second color signal, and outputs the image data.
- An image signal input unit that receives an image signal using the first color signal for each pixel;
- a feature extraction unit that extracts, from the image signal, a feature image signal whose element is a signal distance vector from an end of a definition area of a color space that defines the first color signal;
- a dictionary search unit for obtaining a color signal adjustment amount corresponding to the feature image signal from a color signal adjustment amount dictionary in which the feature image signal and a color signal adjustment amount for restoring an image before clipping are recorded in association with each other;
- a color signal adjustment unit that adjusts the color signal in each pixel according to the color signal adjustment amount to obtain a second color signal;
- An image signal output unit for outputting an image signal using the second color signal; It is provided with.
- An image signal processing method is for causing a computer to execute an image signal processing method that receives an image signal using a first color signal, converts the image signal into image data using a second color signal, and outputs the image data.
- a computer program An image signal input step for receiving an image signal using the first color signal for each pixel; For each pixel, the first color signal is the color signal at the end of the domain of the color space in which the first color signal is defined, or the specific color gamut end that exists within the domain of the color space
- a clip determination step for determining whether the color is in the vicinity of For the pixel determined by the clip determination step to be a color signal at the end of the definition area of the color space or a color near the end of the specific color gamut,
- a distance calculating step of calculating a distance to an edge and a nearest pixel determined not to be any of the neighboring colors of the specific color gamut edge;
- An adjustment amount determining step for determining a color signal adjustment amount for the color signal in each pixel based on the
- An image signal using the first color signal is converted from a color signal defined in a color space different from the first color space, and is expressed in a color space defining the first color signal.
- the image signal input step accepts input of metadata related to trimming in the first color signal of the image signal together with the image signal;
- the color signal adjustment amount determination step a plurality of types of functions for obtaining a color signal adjustment amount of a color signal are prepared in advance, the function is selected based on the metadata, and the selected function The parameter value may be selected, and the color signal adjustment amount may be determined using the selected function.
- the color signal adjustment step appropriate noise is superimposed on the second color signal after processing, or noise is superimposed on the color signal adjustment amount in advance so that a gradation in the processing target region does not become too smooth. Then, the color signal adjustment process may be performed.
- the adjustment amount determination step determines a color signal adjustment amount with respect to the third color signal in each pixel, and the color signal adjustment step converts the third color signal in each pixel to the color signal.
- the third color signal may be obtained by adjusting according to the adjustment amount, and the image signal output step may output the third color signal.
- the image signal output step may output an image signal using the third color signal.
- Another configuration of the image signal processing program is a computer that executes an image signal processing method that receives an image signal using a first color signal, converts the image signal into image data using a second color signal, and outputs the image data.
- a feature extraction step of extracting, from the image signal, a feature image signal whose element is a signal distance vector from an end of a definition area of a color space that defines the first color signal;
- a dictionary search step of obtaining a color signal adjustment amount corresponding to the feature image signal from a color signal adjustment amount dictionary in which the feature image signal and a color signal adjustment amount for restoring an image before clipping are associated and recorded; ,
- An image signal output step of outputting an image signal using the second color signal; It is characterized by including.
- the image signal processing apparatus and the image signal processing program according to the present invention even when an image signal using a color signal that may have been clipped is received, clipping is performed while maintaining color fidelity reproducibility.
- the entire display gamut can be used effectively while taking this into consideration.
- the image signal processing apparatus and the image signal processing program according to the present invention assume, for example, simple clipping or color gamut compression to a very narrow value range.
- a region in which only a color in the vicinity of a specific color gamut surface or a specific color gamut surface is detected is detected.
- the detected color of the outside of the area and the outline is retained, and color conversion is performed so that the color within the area approaches the color of the gamut surface as the distance from the area outline increases.
- unnatural color expression due to clipping or the like can be eliminated.
- FIG. 2A is a schematic diagram of an image obtained by converting FIG. 2A from the AdobeRGB color gamut to the xvYCC color space.
- FIG. 2B corresponds to FIG. 2B, and the Cr value is within the xvYCC definition area.
- FIG. 2A is a schematic diagram when correction by the conventional method is performed on the area subjected to clipping in FIG.
- FIG. 4 is a schematic diagram for compressing the AdobeRGB color gamut into the xvYCC color space. It is a block diagram which shows the structure of the image signal processing apparatus which concerns on Embodiment 1 of this invention. It is a flowchart of the image signal processing program which concerns on Embodiment 1 of this invention. It is a more detailed flowchart of the image signal processing program of FIG. It is a flowchart following the flowchart of FIG. 8A.
- FIG. 6 is a schematic diagram illustrating an example of a distance parameter for each pixel in the image buffer memory.
- FIG. It is the schematic which shows the example in which incorrect color correction is performed by the correction by a conventional method, when there is no gradation toward the center of an image. It is the schematic which shows another example of the function f of a distance parameter and a color signal adjustment amount. It is a block diagram which shows the structure of the image signal processing apparatus which concerns on Embodiment 2 of this invention. It is a flowchart of the image signal processing program which concerns on Embodiment 2 of this invention. It is a block diagram which shows the structure of the image signal processing apparatus which concerns on Embodiment 3 of this invention. It is a flowchart of the image signal processing program which concerns on Embodiment 3 of this invention.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- step S42 determines the color signal adjustment amount of FIG.
- block diagram shows the structure of the image signal processing apparatus which concerns on Embodiment 5 of this invention.
- image signal processing program which concerns on Embodiment 5 of this invention.
- block diagram shows the structure of the learning apparatus of a color signal adjustment amount dictionary.
- learning program of a color signal adjustment amount dictionary It is a flowchart of the learning program of a color signal adjustment amount dictionary.
- FIG. 6 is a block diagram showing a configuration of the image signal processing apparatus 10 according to Embodiment 1 of the present invention.
- the image signal processing apparatus 10 includes an image signal input unit 11, an image buffer memory 12, a clip determination unit 13, a distance calculation unit 14, an adjustment amount determination unit 15, a color signal adjustment unit 16, and an image signal output. Unit 17 and a color space conversion unit 18.
- the image signal input unit 11 receives an xvYCC signal that has undergone color space conversion from a wide color gamut color signal (for example, Adobe RGB signal shown in FIG. 1) in a digital camera or the like through color gamut compression processing such as clipping.
- the image buffer memory 12 holds still image data.
- the clip determination unit 13 determines whether the xvYCC color signal input to the image signal input unit 11 is the end of the xvYCC color gamut definition area or the vicinity of the end of the AdobeRGB color gamut definition area. In this case, there is a possibility that the neighborhood color at the end of the domain of the xvYCC gamut has undergone clipping due to conversion from AdobeRGB to xvYCC, and the neighborhood color at the end of the AdobeRGB gamut ends due to conversion from RAW RGB or the like of the imaging device to AdobeRGB. It is determined that there is a possibility that clipping has occurred, and is subject to color gamut expansion processing.
- the distance calculation unit 14 applies the xvYCC color gamut to the pixels determined by the clip determination unit 13 to be near the end of the definition region end of the xvYCC color gamut or the definition region end of the AdobeRGB color gamut. The distance to the nearest pixel that is determined not to be a color near the definition end of the definition region or the AdobeRGB color gamut is calculated.
- the adjustment amount determination unit 15 determines the color signal adjustment amount of the xvYCC color signal based on the outputs of the clip determination unit 13 and the distance calculation unit 14. Further, the color signal adjustment unit 16 adjusts the xvYCC color signal according to the color signal adjustment amount to obtain an adjusted xvYCC color signal.
- the color signal adjustment amount is set so as not to deviate from the defined area after the subsequent conversion to the RGB color signal, that is, the color cannot be displayed on the display.
- the color signal adjustment unit 16 adjusts the xvYCC color signal based on the output of the adjustment amount determination unit 15.
- the color space conversion unit 18 converts the color space from the xvYCC color signal into an RGB color signal to be displayed on the display.
- the image signal output unit 17 outputs the obtained RGB color signal.
- the xvYCC color signal corresponds to a YCbCr signal value based on Japanese Patent No. 3800197. As shown in FIG. 1, both the sYCC color space and the xvYCC color space are represented by YCbCr signal values. Further, the xvYCC color space is an extension of the sYCC color space for Cb values and Cr values. Further, the AdobeRGB color space having a wide color gamut is defined by parameters different from sYCC, xvYCC, and the like. Therefore, when the AdobeRGB color gamut is represented on the Cr-Y plane, it does not fall within either the sYCC gamut or the xvYCC gamut as shown in FIG. 1, and does not match the sRGB gamut.
- FIG. 7 is a flowchart of an image signal processing program executed by the computer according to Embodiment 1 of the present invention.
- A An image signal using the first color signal (xvYCC color signal) is received for each pixel (S01).
- B It is determined whether or not the first color signal (xvYCC color signal) is a color near the end of the defined area of the color space (xvYCC color space) or the end of the specific color gamut (S02).
- C The distance to the nearest pixel that is determined to be neither the edge of the defined area of the color space nor the color near the specific color gamut edge is calculated (S03).
- D Based on the distance to the nearest pixel, the color signal adjustment amount for the first color signal in each pixel is determined (S04).
- FIG. 8A and 8B are more detailed flowcharts of the image signal processing program of FIG. This detailed flowchart will be described below.
- the flag for determining escape from the loop of S17 is set to 1 (S16).
- An example of the distance parameter for each pixel in the image buffer memory 12 at this time is shown in FIG. 9A.
- the distance parameter value of a pixel that may have undergone clipping is -1, and the distance parameter value of other pixels is 0. Pixels with a distance parameter value of ⁇ 1 are circled for easy viewing.
- the loop of S17 corresponds to the processing performed by the distance calculation unit 14. For all pixels (S17), the pixel clip flag is first checked (S18). (E) If the clip flag is set, it is checked whether the pixel distance parameter has already been updated and is greater than 0 (S19). (F) If the distance parameter is not updated ( ⁇ 1), it is checked whether or not there is a distance parameter value of 0 or more in a maximum of 8 pixels adjacent to the pixel (S20). (G) When there is a distance parameter value of 0 or more, a value obtained by adding 1 to the minimum distance parameter value of the adjacent pixels is set as the distance parameter of the pixel (S21).
- the loop of S24 corresponds to processing for performing processing corresponding to the adjustment amount determination unit 15 and the color signal adjustment unit 16 for each pixel.
- K First, the clip flag of the pixel is checked (S25). If 1 is set in the clip flag, the color signal adjustment amount is determined by a function using the distance parameter of the pixel as an argument (S26). As a function used here, for example, a function f shown in FIG. 10 can be used. This function has a domain of [0, 1] ⁇ R, and the color signal adjustment amount increases little when the distance parameter value d is near 0. On the other hand, when the distance parameter value d increases to some extent, the color signal adjustment amount approaches 1 and then saturates.
- This function f has a characteristic that the color signal adjustment amount monotonously increases with respect to the distance parameter value d. By using such a function f, it is possible to perform conversion so as to suppress a color difference with the surrounding pixels to a low level in the pixels on the outer periphery of the region subjected to clipping or on the pixels inside the region outer periphery to some extent.
- the color signal of the pixel is adjusted using the color signal adjustment amount calculated in S26 (S27).
- S26 S27
- the adjusted Cb value is obtained using, for example, the following function g.
- g (Cb, ⁇ Cb, d) Cb + ⁇ Cb ⁇ f (d)
- adjustment is performed by adding ⁇ Cb weighted by the color signal adjustment amount f (d) calculated in step S26 to Cb of the original input color signal. Since f (d) does not exceed 1 here, the color signal value after adjustment approaches the color gamut surface of the output device as d increases, according to this method. Similar adjustments are made for Cr.
- the YCbCr color signal adjusted in this way can have a value that exceeds the domain of the xvYCC color signal.
- the adjusted xvYCC value is converted into the primary color RGB value of the display (S28).
- the xvYCC value of each pixel is temporarily mapped to the sRGB color space, and converted to the primary color RGB value of the display through the XYZ color space. You may go. Also, another method equivalent to this may be used, or all calculations may be simplified by referring to a lookup table calculated in advance.
- the distance calculation performed in the distance calculation unit 14 according to the first embodiment is simple in that the minimum value of the polygonal line distance is updated by the width priority search from the outer periphery of the region where the color of the signal definition region end is continuous toward the inside of the region. It is a thing. Therefore, when sufficient resources can be secured, a more accurate distance can be obtained by obtaining the minimum value of the Euclidean distance between all pixels in each region and all pixels in the outer periphery of the region.
- FIG. 12A a clipped pixel has a clip flag 1 and a non-clipped pixel is represented by 0.
- the pixel indicated by (0) is the outermost peripheral pixel of a continuous region of non-clipped pixels adjacent to the clipped pixel.
- FIG. 12B is a schematic diagram illustrating the process of counting the distance from the pixel that received clipping of coordinates (6, V) to the pixel that has not received clipping in 8 directions.
- the distance parameter at the coordinate (6, V) may be the minimum value of the distance parameter obtained for each of the eight directions, and in this case, it is zero. If the function g for obtaining the color signal adjustment amount is not less than a certain value with respect to the argument distance parameter, and the change amount is sufficiently small, the value may be used as a search termination threshold value.
- each pixel has only one distance parameter, and the color signal adjustment amount is determined by using only the nearest pixel outside the region for the pixels inside the region.
- the color signal adjustment amount may be determined using the distances to the nearest neighbor pixels in all the directions found. For example, once the color signal adjustment amount is calculated for all directions, the maximum / minimum / average / median value thereof is taken, or the color signal adjustment amount is calculated using the average value or median value of the distances in all directions. You may ask for.
- the error of the color signal adjustment result with respect to the original image is minimized.
- Information on the types and parameters of the functions f and g that become the following may be embedded in the image or added as meta information.
- the central portion is a color signal in the defined area, but its periphery is outside the defined area, and the color signal is not present at the boundary between the center and its periphery.
- FIGS. 13 (a) and 13 (b) the central portion is a color signal in the defined area, but its periphery is outside the defined area, and the color signal is not present at the boundary between the center and its periphery.
- FIG. 13B the color signal at the end of the domain is obtained for the peripheral portion of the circle.
- the adjustment is performed so that the color signal adjustment amount increases in accordance with the distance from the boundary, the adjustment becomes such that the color signal is continuous in the vicinity of the boundary. Therefore, as shown in FIG. Adjustments opposite to the original gradation of (b) are performed in the periphery.
- the optimum determination method of the color signal adjustment amount can be defined by the meta information, from the boundary corresponding to (a) and (b) of FIG.
- the original image signal can be reproduced by designating a function whose adjustment amount is reduced according to the distance to f and g.
- a method of suppressing the size of the image buffer memory 12 to only one horizontal line of the image is used. It may be adopted. In this case, the distance calculation is performed only in the horizontal direction.
- a counter indicating the distance from the end of the area may be provided and used.
- the distance can be counted only in the right direction from the left end of the area, for example.
- the color signal adjustment amount becomes unnaturally large near the right end of the area.
- the effect of expanding the color gamut can be obtained simply by calculating the distance from only one direction. be able to.
- the parameters can be determined so that a + b + a matches the horizontal width of the area over the entire screen, the same effect as having an image buffer memory for one line can be obtained.
- the color signal adjustment amount uses a function that smoothly and monotonously increases with respect to the distance parameter of each pixel.
- the adjusted area has a smooth gradation toward the inside of the area. If a smooth gradation looks unnatural, a circuit that adds noise to the adjusted area may be added. Alternatively, it may be used after adding noise to the function f of the distance parameter d and the color signal adjustment amount used in the adjustment amount determination unit 15.
- the noise pattern may be added based on, for example, an empirical rule, or the dark current noise pattern of the imaging device used to create the input signal may be superimposed as a template.
- FIG. 15 is a block diagram showing a configuration of an image signal processing device 10a according to Embodiment 2 of the present invention.
- the image signal processing device 10 a is different from the image signal processing device according to the first embodiment in that a color space conversion unit 18 is provided between the image buffer memory 12 and the color signal adjustment unit 16. That is, in Embodiment 1, the xvYCC color signal before the xvYCC color signal is converted into the RGB color signal is adjusted.
- the second embodiment is different in that color adjustment is performed in the RGB color space after conversion from the xvYCC color signal to the RGB color signal.
- an xvYCC color signal that has undergone a predetermined color space conversion from the AdobeRGB color signal is input, a pixel that may have undergone clipping is determined, and the xvYCC color signal of that pixel is determined.
- a color signal adjustment amount is calculated and converted to a primary color RGB value of a wide color gamut display that partially exceeds the xvYCC signal definition area.
- the RGB color gamut of the display extends beyond the xvYCC signal definition area, and therefore the clipping is compensated using the expanded color gamut.
- the adjustment amount determination unit 15 determines the color signal adjustment amount of the converted display primary color RGB color signal based on the outputs of the clip determination unit 13 and the distance calculation unit 14.
- the color signal adjustment unit 16 adjusts the RGB color signal based on the output of the adjustment amount determination unit 15.
- the image signal output unit 17 outputs the RGB color signal after adjustment.
- the adjustment of “decreasing the saturation with constant luminance” is difficult to perform.
- whether or not the color gamut of the output device has been exceeded can be determined only by the RGB value overflow / underflow determination.
- FIG. 16 is a flowchart of an image signal processing program executed by a computer according to Embodiment 2 of the present invention.
- A An image signal using the first color signal (xvYCC color signal) is received for each pixel (S31).
- the first color signal (xvYCC color signal) is the end of the definition area of the color space (the definition area end of the xvYCC color gamut) or the color near the specific color gamut edge (the definition area end of the AdobeRGB color gamut). It is determined whether or not the color is a neighboring color (S32).
- FIG. 17 is a block diagram showing a configuration of an image signal processing device 10b according to Embodiment 3 of the present invention.
- This image signal processing device 10b is different from the image signal processing devices according to the first and second embodiments in that it does not have a color space conversion unit. Another difference is that an sYCC signal that has undergone color space conversion is received from the AdobeRGB signal through color gamut compression processing such as clipping.
- the image signal processing apparatus 10b includes an image signal input unit 11, an image buffer memory 12, a clip determination unit 13, a distance calculation unit 14, an adjustment amount determination unit 15, a color signal adjustment unit 16, and an image signal output.
- Unit 17 The image signal input unit 11 receives an sYCC signal that has been color space converted from a wide color gamut color signal (for example, Adobe RGB signal shown in FIG. 1) in a digital camera or the like through color gamut compression processing such as clipping.
- a wide color gamut color signal for example, Adobe RGB signal shown in FIG. 1
- the image buffer memory 12 holds still image data.
- the clip determination unit 13 determines whether the sYCC color signal input to the image signal input unit 11 is a color near the sRGB color gamut end, and if it is a color near the sRGB color gamut end, AdobeRGB. When the conversion from the wide color gamut color space to the sRGB color gamut is performed, it may be interpreted that clipping may have occurred.
- the distance calculation unit 14 determines the pixel that is determined to be a color near the sRGB color gamut end by the clip determination unit 13, and has recently been determined by the clip determination unit 13 not to be a color near the sRGB color gamut end. Calculate distance to neighboring pixels.
- the adjustment amount determination unit 15 determines the color signal adjustment amount of the sYCC color signal based on the outputs of the clip determination unit 13 and the distance calculation unit 14. Further, the color signal adjustment unit 16 adjusts the sYCC color signal based on the output of the adjustment amount determination unit 15 to obtain an xvYCC color signal.
- the image signal output unit 17 outputs the obtained xvYCC color signal.
- the clip signal determination unit 13, the distance calculation unit 14, and the adjustment amount determination unit 15 constitute a color signal adjustment amount calculation unit 20.
- the color signal adjustment amount calculation unit 20 determines a pixel that may have received clipping, calculates a pixel distance to a pixel that has been determined not to receive clipping, that is, a distance parameter, and sets the distance parameter as the distance parameter. Based on this, the color signal adjustment amount is determined.
- the image signal processing apparatus 10b receives an sYCC signal that has been clipped in the sRGB color gamut as an input image signal, identifies pixels that may have been clipped, and calculates a color signal adjustment amount for each pixel. Thereafter, the Cr value and the Cb value in the sYCC signal of each pixel are adjusted based on the color signal adjustment amount, and an xvYCC signal is obtained and output.
- the color gamut is expanded from the sYCC signal to the xvYCC signal and output as an xvYCC signal. That is, the video source authored with sYCC can be applied as a converter for expanding the color gamut for a wide color gamut display.
- processing is performed on the assumption that the input sYCC signal is clipped to the sRGB color gamut, and clipping to the end of the sYCC signal definition area is not considered, but sYCC is directly applied from a wide color gamut signal such as AdobeRGB.
- the clipping compensation may be performed by the same method as in the first embodiment.
- FIG. 18 is a flowchart of an image signal processing program to be executed by a computer according to Embodiment 3 of the present invention.
- A An image signal using the first color signal (here, sYCC signal) is received for each pixel (S41).
- B) A color signal adjustment amount for the color signal (sYCC signal) in each pixel is determined (S42).
- C The color signal (sYCC signal) in each pixel is adjusted by the color signal adjustment amount to obtain a second color signal (xvYCC signal) (S43).
- S44 An image signal using the second color signal (xvYCC signal) is output (S44).
- FIG. 19 is a flowchart showing details of the step (S42) of determining the color signal adjustment amount of FIG.
- A It is determined whether or not the first color signal (sYCC color signal) is a color near a specific color gamut end (sRGB color gamut end) (S51). If the color is in the vicinity of the end of the approximate color gamut, it is interpreted that there is a possibility of clipping to the approximate color gamut from Adobe RGB, wide gamut RGB or the like.
- B A distance from a pixel that may have been clipped to the nearest pixel that is determined not to be clipped, that is, a distance parameter is calculated (S52).
- the color signal adjustment amount for the color signal in each pixel is determined (S53). This is because the color signal adjustment amount is changed in accordance with the distance parameter from the boundary of the clipping portion on the assumption that the gradation is inward of the pixel that may have undergone clipping.
- the image signal processing apparatus does not handle all pixels subjected to color signal adjustment in the same column, but from, for example, the xvYCC domain.
- the difference is that the protruding green / cyan and red are handled separately.
- the color signals that protrude in the + and ⁇ directions of the Cb and Cr axes in the YCbCr space are handled independently. Therefore, in the flowcharts of FIGS. 8A and 8B, the loop of S17 is repeated a total of four times to obtain the distance parameter.
- FIG. 20 is a block diagram showing a configuration of an image signal processing device 10c according to Embodiment 5 of the present invention.
- the image signal processing device 10c includes an adjustment value calculation unit 20 that calculates color signal adjustment values, a feature extraction unit 21, a color signal adjustment value dictionary 22, The difference is that it includes a dictionary search unit 23.
- the feature extraction unit 21 extracts, from the image signal, a feature image signal whose element is a signal distance vector from the end of the definition area of the color space that defines the first color signal.
- the color signal adjustment amount dictionary 22 records the characteristic image signal and the color signal adjustment amount for restoring the image before clipping in association with each other.
- the dictionary search unit 23 obtains a color signal adjustment amount corresponding to the feature image signal from the color signal adjustment amount dictionary.
- the color signal adjustment value is calculated from the relationship between the color signal definition area or the pixel distance d from the end of the specific color gamut and the color signal adjustment value function f.
- the image signal processing apparatus 10c uses the color signal adjustment amount dictionary 22 in which the characteristic image signal and the color signal adjustment amount for restoring the image before clipping are associated and recorded.
- the color signal adjustment amount corresponding to the feature image signal can be obtained by the color signal adjustment amount dictionary 22.
- the color signal adjustment amount dictionary 22 is constructed by learning the correspondence between the feature image signal extracted from the image signal subjected to clipping and the color signal adjustment value for obtaining the image data before clipping.
- FIG. 21 is a flowchart of the image signal processing method according to the fifth embodiment of the present invention.
- A An image signal using the first color space is received for each pixel (S61).
- B A feature image signal having a signal distance vector from the end of the color space domain as an element is extracted from the image signal (S62). For example, for the xvYCC color signal of each pixel, the signal distances Db and Dr from the definition area end of the xvYCC color gamut are calculated with the following colors based on Cb and Cr. Also, Dr is obtained in the same manner as Db.
- a color signal feature image having a signal distance vector (Y, Db, Dr) whose elements have values in the range of [ ⁇ 4, +4] can be derived.
- the area 5 from the end of the definition area of Cb and Cr is a value area used by clipping from outside the definition area, and Db and Dr correspond to the color gamut compression amount.
- a color signal adjustment amount for restoring the image before clipping is obtained from the color signal adjustment amount dictionary 22 based on the feature image signal (S63).
- the color signal adjustment amount dictionary 22 a feature image signal and a color signal correction value image having a function g value for restoring an image before clipping as values of each pixel are recorded in association with each other.
- the color signal feature image has the signal distance vector (Y, Db, Dr) as an element.
- a color signal corrected image can be obtained using the signal distance vector (Y, Db, Dr) as a search key.
- the color signal feature image and the color signal corrected image an image created by applying an appropriate window to a part of the original image can be used, and the color signal adjustment amount of each pixel can be obtained while shifting the window position.
- the first color signal in each pixel is adjusted by the color signal adjustment amount to obtain the second color signal (S64).
- E) The color space is converted from the second color signal to the third color signal defined in the third color space (S65).
- An image signal using the third color signal is output (S66).
- FIG. 22 is a block diagram showing a configuration of the color signal adjustment value dictionary learning device 30.
- the color signal adjustment value dictionary learning device 30 includes an xvYCC conversion unit 31, a feature extraction unit 32, and a learning unit 33.
- the xvYCC conversion unit 31 performs conversion from an AdobeRGB image signal to an xvYCC image signal and calculates a YCbCr difference value at the time of clipping.
- the feature extraction unit 21 extracts a feature image signal whose element is a signal distance vector (Y, Db, Dr) from the end of the definition area from the xvYCC image signal.
- the learning unit 33 records the feature image signal and the color signal adjustment amount for restoring the image before clipping in association with the color signal adjustment amount dictionary 22.
- FIG. 23 is a flowchart of a learning program that causes a computer to execute the learning method of the color signal adjustment value dictionary 22.
- A The Adobe RGB image signal is converted into an xvYCC image signal, and a difference at the time of clipping is calculated (S71).
- B A feature image signal having a signal distance vector (Y, Db, Dr) from the end of the definition area of the color space as an element is extracted from the image signal after clipping (S72).
- S72 The feature image signal and the color signal adjustment amount for restoring the image before clipping are learned in association with each other (S73).
- D The characteristic image signal and the color signal adjustment amount for restoring the image before clipping are associated with each other and stored in the color signal adjustment amount dictionary 22 (S74).
- the image signal processing apparatus and the image signal processing program according to the present invention enable the entire gamut of the output device while considering clipping even when an image signal including a color signal that may be clipped is received. Available. Therefore, it can be used as an image output apparatus having a color gamut that exceeds the definition area of the image signal.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力部と、
第1の色信号が、前記第1の色信号を定義する色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定部と、
前記クリップ判定部によって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、又は、前記特定の色域端部の近傍色ではないと判定される最近傍ピクセルまでの距離を算出する距離計算部と、
前記クリップ判定部及び前記距離計算部の出力に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定部と、
前記色信号調整量決定部の出力に基づいて、前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整部と、
前記第2の色信号を用いた画像信号を出力する画像信号出力部と、
を備えたことを特徴とする。
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力部と、
前記画像信号から、前記第1の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出部と、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索部と、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整部と、
前記第2の色信号を用いた画像信号を出力する画像信号出力部と、
を備えたことを特徴とする。
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力ステップと、
各ピクセルについて、第1の色信号が、前記第1の色信号が定義される色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定ステップと、
前記クリップ判定ステップによって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、及び、前記特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する距離計算ステップと、
前記最近傍ピクセルまでの距離に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整ステップと、
前記第2の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含むことを特徴とする。
前記色信号調整量決定ステップは、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することとしてもよい。
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力ステップと、
前記画像信号から、前記第1の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出ステップと、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整ステップと、
前記第2の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含むことを特徴とする。
11 画像信号入力部
12 バッファメモリ
13 クリップ判定部
14 距離計算部
15 調整量決定部
16 色信号調整部
17 画像信号出力部
18 色空間変換部
20 調整量算出部
21 特徴抽出部
22 色信号調整量辞書
23 辞書検索部
30 色信号調整量辞書学習装置
31 xvYCC変換部
32 特徴抽出部
33 学習部
図6は、本発明の実施の形態1に係る画像信号処理装置10の構成を示すブロック図である。この画像信号処理装置10は、画像信号入力部11と、画像バッファメモリ12と、クリップ判定部13と、距離計算部14と、調整量決定部15と、色信号調整部16と、画像信号出力部17と、色空間変換部18とを備える。画像信号入力部11は、デジタルカメラ等における広色域色信号(例えば、図1に示すAdobeRGB信号等)からクリッピング等の色域圧縮処理を介して色空間変換されたxvYCC信号を受け付ける。画像バッファメモリ12は、静止画像データを保持する。また、クリップ判定部13は、画像信号入力部11に入力されたxvYCC色信号がxvYCC色域の定義域端か、もしくはAdobeRGB色域の定義域端の近傍色であるかどうかを判定する。この場合、xvYCC色域の定義域端の近傍色はAdobeRGBからxvYCCへの変換によりクリッピングを受けた可能性があり、AdobeRGB色域端の近傍色は撮像装置のRAW RGB等からAdobeRGBへの変換によりクリッピングを受けた可能性があると判定され、色域拡大処理の対象となる。距離計算部14は、クリップ判定部13によりxvYCC色域の定義域端もしくはAdobeRGB色域の定義域端の近傍色であると判定されたピクセルに対して、同じくクリップ判定部13によって、xvYCC色域の定義域もしくはAdobeRGB色域の定義端近傍色ではないと判定された最近傍ピクセルとの距離を計算する。調整量決定部15は、クリップ判定部13及び距離計算部14の出力に基づいてxvYCC色信号の色信号調整量を決定する。さらに、色信号調整部16は、色信号調整量によってxvYCC色信号を調整して、調整後のxvYCC色信号を得る。この場合に、その後のRGB色信号への変換後に定義域を外れないよう、すなわちディスプレイで表示不可能な色にならないような色信号調整量とする。また、色信号調整部16は、調整量決定部15の出力に基づいて、xvYCC色信号を調整する。色空間変換部18は、xvYCC色信号から色空間の変換を行ってディスプレイで表示するRGB色信号に変換する。画像信号出力部17は、得られたRGB色信号を出力する。
(a)ピクセル毎に第1の色信号(xvYCC色信号)を用いた画像信号を受け取る(S01)。
(b)第1の色信号(xvYCC色信号)が、色空間(xvYCC色空間)の定義域の端部又は特定の色域端部の近傍色であるか否かを判定する(S02)。
(c)色空間の定義域の端部、及び、特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する(S03)。
(d)最近傍ピクセルまでの距離に基づいて、各ピクセルにおける第1の色信号に対する色信号調整量を決定する(S04)。
(e)各ピクセルにおける第1の色信号を色信号調整量によって調整して、第2の色信号を得る(S05)。
(f)第2の色信号から、第3の色空間で定義される第3の色信号へ色空間を変換する(S06)。
(g)第3の色信号を用いた画像信号を出力する(S07)。
(a)まず、受け付けたxvYCC入力色信号を1画面分全て画像バッファメモリ12に格納する(S11)。これによって、1画面分のxvYCC色信号の格納が完了する。
(b)次に、全ての画素(ピクセル)に対して(S12)、クリップ判定部13によるクリップ判定を行って(S13)、クリッピングを受けた可能性のある画素にクリップフラグを立て(例えば1)、画素の距離パラメータを-1にセットする(S14)。一方、クリッピングを受けた可能性の無い画素についてはクリップフラグを0にし、画素の距離パラメータを0にセットする(S15)。
(c)全ての画素についてクリップ判定の処理が完了したら、S17のループからの脱出判定用のフラグを1にセットする(S16)。この時点での、画像バッファメモリ12内の各ピクセルに対する距離パラメータの例を図9Aに示す。クリッピングを受けた可能性のあるピクセルの距離パラメータ値は-1、それ以外のピクセルの距離パラメータ値は0である。距離パラメータ値-1のピクセルには、見やすいように丸印を付けてある。
(e)クリップフラグが立っていれば画素の距離パラメータが既に更新されて0より大きくなっているかどうかを調べる(S19)。
(f)距離パラメータが未更新(-1)である場合には、該当画素に隣接する最大8画素に距離パラメータ値が0以上のものがあるかどうかを調べる(S20)。
(g)距離パラメータ値が0以上のものがある場合には、隣接画素のうち距離パラメータ値が0以上かつ最小のものに1を足した値を当該画素の距離パラメータとする(S21)。
(h)一方、距離パラメータ値が0以上のものが無ければループ脱出フラグを0にリセットする(S22)操作を繰り返す。
(i)全ての画素について処理が完了した後、もしループ脱出フラグが立っていなければ(S23)、S16に戻りS17からのループを繰り返す。
一方、ループ脱出フラグが立っていた場合には、S17のループを脱出して次のS24のループに入る。S17のループを脱出した時点での距離パラメータは、クリッピングを受けた可能性のある領域の境界までの距離に対応する。
このループを1回回した結果を図9Bに示す。距離パラメータ値0のピクセルに隣接するピクセルの距離パラメータ値が1に更新されている。さらにループを2回、3回と回した結果が図9C、図9Dである。図9Dの状態からさらにもう1度ループを回すと、距離パラメータ値=-1のピクセルが無いため、ループ脱出フラグが1のままS23に到達し、S17のループを脱出する。
(k)まず画素のクリップフラグをチェックする(S25)。クリップフラグに1が立っていれば、当該画素の距離パラメータを引数とする関数によって、色信号調整量を決定する(S26)。ここで用いる関数としては、例えば図10に示される関数fを用いることができる。この関数は[0,1]∈Rの定義域を持ち、距離パラメータ値dが0付近では色信号調整量の増加が少ない。一方、距離パラメータ値dがある程度大きくなると色信号調整量は1に近付き、その後飽和する。この関数fでは、距離パラメータ値dについて色信号調整量は単調増加するという特性を持つ。このような関数fを用いることで、クリッピングを受けた領域外周のピクセルや、領域外周からある程度以上内側のピクセルでは周辺ピクセルとの色差を低く抑えるような変換を行うことができる。
g(Cb、ΔCb、d)=Cb+ΔCb×f(d)
この関数gでは、S26のステップで算出された色信号調整量f(d)で重み付けされたΔCbを元の入力色信号のCbに加算することで調整が行われる。なお、ここではf(d)は1を超えないので、この方法によれば調整後の色信号値はdが大きいほど出力デバイスの色域表面に近付く。同様の調整がCrについても行われる。このようにして調整されたYCbCr色信号は、xvYCC色信号の定義域を超える値を持ち得る。
以上の方法によって、入力画像データ内からxvYCC信号定義域の端に近い色が連続する領域を見つけ、領域の内側ほどxvYCC信号定義域の外側へと色域を拡大して表示する処理が可能になる。
上記実施の形態1の距離計算部14において行う距離計算は、信号定義域端の色が連続する領域の外周から領域内部に向かって幅優先探索で折れ線距離の最小値を更新していくという簡易的なものである。そこで、十分なリソースが確保できる場合、各領域内部の全ピクセルに対して領域外周部の全ピクセルとのユークリッド距離の最小値を求めるようにすれば、より正確な距離が求めることができる。
上記実施の形態1では、色信号調整量は各ピクセルの距離パラメータに対してなめらかに単調増加する関数を用いている。この方法では、例えば信号定義域端の色によるベタ塗りの領域があった場合、調整後の領域は領域内部に向かうなめらかなグラデーションとなる。なめらかなグラデーションが不自然に見える場合は、調整後の領域にノイズを加える回路を追加してもよい。あるいは、調整量決定部15で用いられる距離パラメータdと色信号調整量との関数fにノイズを加えた上で使用してもよい。なお、ノイズパターンは、例えば経験則に基づくものを作成して加えてもよく、あるいは、入力信号の作成に用いられた撮像デバイスの暗電流ノイズパターンをテンプレートとして重畳してもよい。
図15は、本発明の実施の形態2に係る画像信号処理装置10aの構成を示すブロック図である。この画像信号処理装置10aは、実施の形態1に係る画像信号処理装置と比較すると、色空間変換部18を画像バッファメモリ12と色信号調整部16との間に備える点で相違する。すなわち、実施の形態1ではxvYCC色信号をRGB色信号に変換する前のxvYCC色信号について調整を行っていた。一方、この実施の形態2では、xvYCC色信号からRGB色信号に変換後のRGB色空間内で色調整を行う点で相違する。また、この画像信号処理装置10aでは、AdobeRGB色信号から所定の色空間の変換を受けたxvYCC色信号が入力され、クリッピングを受けた可能性のあるピクセルを判定し、そのピクセルのxvYCC色信号について色信号調整量を算出して、xvYCC信号定義域を一部で超えるような広色域ディスプレイの原色RGB値へと変換する。この画像信号処理装置10aでは、ディスプレイの持つRGB色域がxvYCC信号定義域外まで拡がっているので、その拡がっている色域の部分を利用してクリッピングの補償を行うことを特徴とする。
(a)ピクセル毎に第1の色信号(xvYCC色信号)を用いた画像信号を受け取る(S31)。
(b)第1の色信号(xvYCC色信号)が、色空間の定義域の端部(xvYCC色域の定義域端)又は特定の色域端の近傍色(AdobeRGB色域の定義域端の近傍色)であるか否かを判定する(S32)。
(c)色空間の定義域の端部、及び、特定の色域端の近傍色(AdobeRGB色域端の近傍色)のいずれでもないと判定される最近傍ピクセルまでの距離を算出する(S33)。
(d)第1の色空間で定義される第1の色信号(xvYCC色信号)から、第3の色空間で定義される第3の色信号(RGB色信号)へ色空間を変換する(S34)。
(e)最近傍ピクセルまでの距離に基づいて、各ピクセルにおける第3の色信号(RGB色信号)に対する色信号調整量を決定する(S35)。
(f)各ピクセルにおける第3の色信号(RGB色信号)を色信号調整量によって調整して、第2の色信号(RGB色信号)を得る(S36)。
(g)第2の色信号(RGB色信号)を用いた画像信号を出力する(S37)
図17は、本発明の実施の形態3に係る画像信号処理装置10bの構成を示すブロック図である。この画像信号処理装置10bは、実施の形態1及び2に係る画像信号処理装置と比較すると、色空間変換部を有しない点で相違する。また、AdobeRGB信号からクリッピング等の色域圧縮処理を介して色空間変換されたsYCC信号を受け付ける点においても相違する。
(a)ピクセル毎に第1の色信号(ここではsYCC信号)を用いた画像信号を受け取る(S41)。
(b)各ピクセルにおける色信号(sYCC信号)に対する色信号調整量を決定する(S42)。
(c)各ピクセルにおける色信号(sYCC信号)を色信号調整量によって調整して、第2の色信号(xvYCC信号)を得る(S43)。
(d)第2の色信号(xvYCC信号)を用いた画像信号を出力する(S44)。
(a)第1の色信号(sYCC色信号)が、特定の色域端(sRGB色域端)の近傍色であるか否かを判定する(S51)。概色域端の近傍色であれば、AdobeRGBやwide gamut RGB等から概色域へのクリッピングの可能性ありと解釈する。
(b)クリッピングを受けた可能性のあるピクセルから、クリッピングを受けていないと判定される最近傍ピクセルまでの距離、すなわち距離パラメータを算出する(S52)。
(c)最近傍ピクセルまでの距離(距離パラメータ)に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する(S53)。これはクリッピングを受けた可能性のあるピクセルの内側に向かってグラデーションを有すると仮定し、クリッピング部分の境界からの距離パラメータに応じて色信号調整量を変化させるためである。
本発明の実施の形態4に係る画像信号処理装置は、実施の形態1から3の画像信号処理装置と比較すると、色信号調整を受けるピクセルを全て同列に扱うのではなく、例えばxvYCC定義域からはみ出した緑・シアンと、赤とをそれぞれ別個に取り扱う点で相違する。この場合には、YCbCr空間内のCb、Cr軸の+方向と-方向にはみ出す色信号をそれぞれ独立に扱う。そのため、図8A及び図8Bのフローチャートにおいて、S17のループを計4回繰り返して距離パラメータを求める。
図20は、本発明の実施の形態5に係る画像信号処理装置10cの構成を示すブロック図である。この画像信号処理装置10cは、実施の形態1から4に係る画像信号処理装置と比較すると、色信号調整値を算出する調整値算出部20が、特徴抽出部21、色信号調整値辞書22、辞書検索部23とを備える点で相違する。特徴抽出部21は、画像信号から、第1の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する。色信号調整量辞書22は、特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている。辞書検索部23は、色信号調整量辞書から、特徴画像信号に対応する色信号調整量を得る。
(a)ピクセル毎に第1の色空間を用いた画像信号を受け取る(S61)。
(b)画像信号から色空間定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する(S62)。
例えば、各ピクセルのxvYCC色信号に対して、Cb、Crに基づいて下記の色によってxvYCC色域の定義域端からの信号距離Db、Drを算出する。
また、Drについても上記Dbと同様にして求める。上記式に基づいてDb、Drを算出すると、Db、Drがそれぞれ[-4,+4]の範囲の値を取る信号距離ベクトル(Y,Db,Dr)を要素とする色信号特徴画像を導出できる。ここでは、Cb、Crの定義域端から5の領域は定義域外からのクリッピングによって使用される値域と仮定しており、Db、Drは色域圧縮量に相当する。
(d)各ピクセルにおける第1の色信号を色信号調整量によって調整して、第2の色信号を得る(S64)。
(e)第2の色信号から、第3の色空間で定義される第3の色信号へ色空間を変換する(S65)。
(f)第3の色信号を用いた画像信号を出力する(S66)。
(a)AdobeRGB画像信号をxvYCC画像信号に変換すると共に、クリッピング時の差分を算出する(S71)。
(b)クリッピング後の画像信号から色空間の定義域の端部からの信号距離ベクトル(Y,Db,Dr)を要素とする特徴画像信号を抽出する(S72)。
(c)特徴画像信号と、クリッピング前の画像を復元するための色信号調整量とを関連づけて学習する(S73)。
(d)特徴画像信号と、クリッピング前の画像を復元するための色信号調整量とを関連づけて色信号調整量辞書22に保存する(S74)。
Claims (16)
- 第1の色信号を用いた画像信号を受け取り、第2の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力部と、
第1の色信号が、前記第1の色信号を定義する色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定部と、
前記クリップ判定部によって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、又は、前記特定の色域端部の近傍色ではないと判定される最近傍ピクセルまでの距離を算出する距離計算部と、
前記クリップ判定部及び前記距離計算部の出力に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定部と、
前記色信号調整量決定部の出力に基づいて、前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整部と、
前記第2の色信号を用いた画像信号を出力する画像信号出力部と、
を備えた画像信号処理装置。 - 前記第1の色信号を用いた画像信号は、前記第1の色信号が定義される色空間とは異なる色空間で定義された色信号から色空間の変換を受け、前記第1の色信号が定義された色空間で表現できない色域の色信号から変換された第1の色信号はトリミングされていることを特徴とする請求項1に記載の画像信号処理装置。
- 前記第1の色信号へ変換する前の前記異なる色空間は、AdobeRGB、wide gamut RGB、DCI標準、NTSCのいずれかであることを特徴とする請求項2に記載の画像信号処理装置。
- 前記画像信号入力部は、前記画像信号と共に前記画像信号の前記第1の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記調整量決定部は、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することを特徴とする請求項1に記載の画像信号処理装置。 - 前記色信号調整部は、処理対象の領域内がなめらかすぎるグラデーションにならないように、処理後の前記第2の色信号に適当なノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行うことを特徴とする請求項1に記載の画像信号処理装置。
- 第1の色空間で定義される前記第1の色信号から、前記第1の色空間と異なる第3の色空間で定義される前記第3の色信号へ色空間を変換する色空間変換部をさらに備え、
前記調整量決定部は、各ピクセルにおける前記第3の色信号に対する色信号調整量を決定し、
前記色信号調整部は、前記各ピクセルにおける前記第3の色信号を前記色信号調整量によって調整して、第2の色信号を得ると共に、
前記画像信号出力部は、前記第2の色信号を出力することを特徴とする請求項1に記載の画像信号処理装置。 - 前記第2の色信号を、前記第2の色信号が定義される色空間と異なる第3の色空間で定義される第3の色信号へ色空間を変換する色空間変換部をさらに備え、
前記画像信号出力部は、前記第3の色信号を用いた画像信号を出力することを特徴とする請求項1に記載の画像信号処理装置。 - 前記第1の色空間はxvYCCであって、前記第3の色空間はRGBである、請求項6又は7に記載の画像信号処理装置。
- 第1の色信号を用いた画像信号を受け取り、第2の色信号を用いた画像データに変換して出力する画像信号処理装置であって、
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力部と、
前記画像信号から、前記第1の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出部と、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索部と、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整部と、
前記第2の色信号を用いた画像信号を出力する画像信号出力部と、
を備えた画像信号処理装置。 - 第1の色信号を用いた画像信号を受け取り、第2の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力ステップと、
各ピクセルについて、第1の色信号が、前記第1の色信号が定義される色空間の定義域の端部の色信号、又は、前記色空間の定義域内に存在する特定の色域端部の近傍色であるか否かを判定するクリップ判定ステップと、
前記クリップ判定ステップによって、前記色空間の定義域の端部の色信号であるか、又は、前記特定の色域端部の近傍色であると判定されたピクセルについて、前記色空間の定義域の端部、及び、前記特定の色域端部の近傍色のいずれでもないと判定される最近傍ピクセルまでの距離を算出する距離計算ステップと、
前記最近傍ピクセルまでの距離に基づいて、各ピクセルにおける色信号に対する色信号調整量を決定する調整量決定ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整ステップと、
前記第2の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含む、画像信号処理プログラム。 - 前記第1の色信号を用いた画像信号は、前記第1の色空間とは異なる色空間で定義された色信号から変換を受け、前記第1の色信号を定義する色空間で表現できない色域の色信号から変換された第1の色信号はトリミングされていることを特徴とする請求項10に記載の画像信号処理プログラム。
- 前記画像信号入力ステップは、前記画像信号と共に前記画像信号の前記第1の色信号におけるトリミングに関するメタデータの入力を受け付けると共に、
前記色信号調整量決定ステップは、色信号の色信号調整量を求めるための複数種類の関数をあらかじめ用意しておき、前記メタデータに基づいて、前記関数を選択すると共に、選択した前記関数のパラメータ値の選択を行って、前記選択した関数を用いて色信号調整量を決定することを特徴とする請求項10に記載の画像信号処理プログラム。 - 前記色信号調整ステップは、処理対象の領域内がなめらかすぎるグラデーションにならないよう、処理後の前記第2の色信号に適当な色ノイズを重畳するか、又は、前記色信号調整量にあらかじめノイズを重畳した上で色信号調整処理を行うことを特徴とする請求項10に記載の画像信号処理プログラム。
- 第1の色空間で定義される前記第1の色信号から、前記第1の色空間と異なる第3の色空間で定義される第3の色信号へ色空間を変換する色空間変換ステップをさらに含み、
前記調整量決定ステップは、各ピクセルにおける前記第3の色信号に対する色信号調整量を決定し、
前記色信号調整ステップは、前記各ピクセルにおける前記第3の色信号を前記色信号調整量によって調整して、第3の色信号を得ると共に、
前記画像信号出力ステップは、前記第3の色信号を出力することを特徴とする請求項10に記載の画像信号処理プログラム。 - 前記第2の色信号を、前記第2の色信号が定義される色空間と異なる第3の色空間で定義される第3の色信号へ色空間を変換する色空間変換ステップをさらに含み、
前記画像信号出力ステップは、前記第3の色信号を用いた画像信号を出力することを特徴とする請求項10に記載の画像信号処理プログラム。 - 第1の色信号を用いた画像信号を受け取り、第2の色信号を用いた画像データに変換して出力する画像信号処理方法をコンピュータで実行させるためのコンピュータプログラムであって、
ピクセル毎に第1の色信号を用いた画像信号を受け取る画像信号入力ステップと、
前記画像信号から、前記第1の色信号を定義する色空間の定義域の端部からの信号距離ベクトルを要素とする特徴画像信号を抽出する特徴抽出ステップと、
前記特徴画像信号とクリッピング前の画像を復元するための色信号調整量とが関連付けて記録されている色信号調整量辞書から、前記特徴画像信号に対応する色信号調整量を得る辞書検索ステップと、
前記各ピクセルにおける前記色信号を前記色信号調整量によって調整して、第2の色信号を得る色信号調整ステップと、
前記第2の色信号を用いた画像信号を出力する画像信号出力ステップと、
を含む、画像信号処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008801252727A CN101925921A (zh) | 2008-01-24 | 2008-12-17 | 图像信号处理装置及图像信号处理程序 |
JP2009550382A JPWO2009093294A1 (ja) | 2008-01-24 | 2008-12-17 | 画像信号処理装置及び画像信号処理プログラム |
EP08871357A EP2246818A4 (en) | 2008-01-24 | 2008-12-17 | IMAGE SIGNAL PROCESSING DEVICE AND IMAGE SIGNAL PROCESSING PROGRAM |
US12/864,094 US20100328343A1 (en) | 2008-01-24 | 2008-12-17 | Image signal processing device and image signal processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008013746 | 2008-01-24 | ||
JP2008-013746 | 2008-01-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009093294A1 true WO2009093294A1 (ja) | 2009-07-30 |
Family
ID=40900815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2008/003808 WO2009093294A1 (ja) | 2008-01-24 | 2008-12-17 | 画像信号処理装置及び画像信号処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100328343A1 (ja) |
EP (1) | EP2246818A4 (ja) |
JP (1) | JPWO2009093294A1 (ja) |
CN (1) | CN101925921A (ja) |
WO (1) | WO2009093294A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188174A (ja) * | 2010-03-08 | 2011-09-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
TWI602419B (zh) * | 2012-12-24 | 2017-10-11 | 台達電子工業股份有限公司 | 調整方法及其所適用之顯示設備 |
EP2806401A1 (en) * | 2013-05-23 | 2014-11-26 | Thomson Licensing | Method and device for processing a picture |
JP7057159B2 (ja) * | 2018-03-02 | 2022-04-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003153027A (ja) | 2001-11-08 | 2003-05-23 | Korea Electronics Telecommun | カラーデバイスの線形色域幅拡張装置、および、その方法 |
JP2005284521A (ja) * | 2004-03-29 | 2005-10-13 | Seiko Epson Corp | 複数種類の色再現に対応した色変換プロファイルを利用した印刷制御 |
JP2006033246A (ja) | 2004-07-14 | 2006-02-02 | Canon Inc | 色処理装置 |
JP2006094531A (ja) * | 2004-09-23 | 2006-04-06 | Toshiba Corp | カラー画像処理装置 |
JP3800427B2 (ja) | 2004-07-20 | 2006-07-26 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP2007053521A (ja) * | 2005-08-17 | 2007-03-01 | Seiko Epson Corp | 画像データ変換装置、印刷装置、画像データ変換方法、印刷方法、および変換テーブル作成方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9009722D0 (en) * | 1990-05-01 | 1990-06-20 | Crosfield Electronics Ltd | Improvements relating to colour vignettes |
US6414690B1 (en) * | 1999-12-08 | 2002-07-02 | Xerox Corporation | Gamut mapping using local area information |
US7123380B2 (en) * | 2001-05-10 | 2006-10-17 | Agfa-Gevaert N.V. | Method and a device for determining multi-ink color separations |
GB0212367D0 (en) * | 2002-05-29 | 2002-07-10 | Eastman Kodak Co | Image processing |
US7593147B2 (en) * | 2004-05-26 | 2009-09-22 | Fujifilm Corporation | Output apparatus, color conversion method, and machine readable medium storing program |
JP4684030B2 (ja) * | 2005-07-06 | 2011-05-18 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP4883789B2 (ja) * | 2007-03-30 | 2012-02-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
KR20080095671A (ko) * | 2007-04-25 | 2008-10-29 | 삼성전자주식회사 | 광 색상범위 영상의 디스플레이 방법 및 장치 |
JP2009008835A (ja) * | 2007-06-27 | 2009-01-15 | Hitachi Ltd | 画像表示装置 |
JP4461164B2 (ja) * | 2007-08-17 | 2010-05-12 | 三菱電機株式会社 | 色変換装置および色変換方法 |
-
2008
- 2008-12-17 CN CN2008801252727A patent/CN101925921A/zh active Pending
- 2008-12-17 US US12/864,094 patent/US20100328343A1/en not_active Abandoned
- 2008-12-17 JP JP2009550382A patent/JPWO2009093294A1/ja active Pending
- 2008-12-17 WO PCT/JP2008/003808 patent/WO2009093294A1/ja active Application Filing
- 2008-12-17 EP EP08871357A patent/EP2246818A4/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003153027A (ja) | 2001-11-08 | 2003-05-23 | Korea Electronics Telecommun | カラーデバイスの線形色域幅拡張装置、および、その方法 |
JP2005284521A (ja) * | 2004-03-29 | 2005-10-13 | Seiko Epson Corp | 複数種類の色再現に対応した色変換プロファイルを利用した印刷制御 |
JP2006033246A (ja) | 2004-07-14 | 2006-02-02 | Canon Inc | 色処理装置 |
JP3800427B2 (ja) | 2004-07-20 | 2006-07-26 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP2006094531A (ja) * | 2004-09-23 | 2006-04-06 | Toshiba Corp | カラー画像処理装置 |
JP2007053521A (ja) * | 2005-08-17 | 2007-03-01 | Seiko Epson Corp | 画像データ変換装置、印刷装置、画像データ変換方法、印刷方法、および変換テーブル作成方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2246818A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188174A (ja) * | 2010-03-08 | 2011-09-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2009093294A1 (ja) | 2011-05-26 |
US20100328343A1 (en) | 2010-12-30 |
CN101925921A (zh) | 2010-12-22 |
EP2246818A1 (en) | 2010-11-03 |
EP2246818A4 (en) | 2011-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6608926B1 (en) | Image processing method, image processing apparatus and recording medium | |
US8363125B2 (en) | Image processing apparatus, image processing method, and computer program product | |
JP2000165692A (ja) | カラーデータ変換方法 | |
JP2004192614A (ja) | 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 | |
JP2007094742A (ja) | 画像信号処理装置及び画像信号処理プログラム | |
JP2009055465A (ja) | 画像処理装置および方法 | |
JP2006229925A (ja) | 動的画像彩度処理装置 | |
JP4393491B2 (ja) | 画像処理装置およびその制御方法 | |
KR20050098949A (ko) | 화상 처리 장치 및 방법과 프로그램 | |
JP2003209708A (ja) | 画像処理方法および画像処理装置ならびに画像形成装置、プログラム、記録媒体 | |
WO2009093294A1 (ja) | 画像信号処理装置及び画像信号処理プログラム | |
JP2001014448A (ja) | カラーデータ変換装置、カラーデータ変換方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
WO2000007144A1 (fr) | Dispositif de conversion monotone, procede de conversion monotone et milieu sur lequel un programme de conversion monotone est enregistre | |
JP2008072551A (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 | |
US20050068587A1 (en) | Monotone conversion process for color images | |
JP4112413B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2007312313A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4423226B2 (ja) | 色調整方法及び装置 | |
JP4359730B2 (ja) | モノトーン変換装置、モノトーン変換方法およびモノトーン変換プログラムを記録した媒体 | |
JP2002094826A (ja) | 画像処理装置、画像形成装置、並びに画像処理方法 | |
JP2004112494A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
JP2002314827A (ja) | 画像処理方法、画像処理装置、及びそれを備えた画像形成装置、画像処理プログラム、並びに記録媒体 | |
JP4176656B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび該プログラムを記録した記録媒体 | |
KR100537509B1 (ko) | 칼라 영상에서의 적응적 색 향상 방법 및 장치 | |
JP4101741B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200880125272.7 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08871357 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2009550382 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 12864094 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2008871357 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |