WO2018131202A1 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
WO2018131202A1
WO2018131202A1 PCT/JP2017/029779 JP2017029779W WO2018131202A1 WO 2018131202 A1 WO2018131202 A1 WO 2018131202A1 JP 2017029779 W JP2017029779 W JP 2017029779W WO 2018131202 A1 WO2018131202 A1 WO 2018131202A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
target color
target
image
specified
Prior art date
Application number
PCT/JP2017/029779
Other languages
English (en)
French (fr)
Inventor
賢嗣 木村
光浩 松尾
賢九 梁
美希 金
昌隼 川島
Original Assignee
株式会社ブライセン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ブライセン filed Critical 株式会社ブライセン
Publication of WO2018131202A1 publication Critical patent/WO2018131202A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control

Definitions

  • the present invention relates to an image processing apparatus and a program.
  • Color reproduction processing is applied to digital cameras, digital video cameras, and mobile terminals with cameras (mobile phones, smartphones, tablet terminals, etc.) that are generally classified as electronic cameras.
  • automatic exposure correction, automatic white balance adjustment, automatic focus, shading correction, etc. are performed on image signals obtained from image sensors such as CMOS (Complementary Metal Oxide Semiconductor) image sensors. It is common to perform image processing in an image signal processor.
  • CMOS Complementary Metal Oxide Semiconductor
  • image processing in an image signal processor.
  • color adjustment is performed, but in recent years, the original color adjustment is often performed by the manufacturer that manufactures the final product according to the shooting scene rather than faithfully reproducing the actual color. It is coming.
  • there are images obtained from various shooting scenes such as shooting scenes under sunlight, shooting scenes under various light sources, and distance to the subject and reflection from the subject. Accordingly, the color adjustment is performed so that the image looks good by adjusting the saturation and hue of the blue sky.
  • Patent Document 1 When color adjustment is performed, the two axes of the color space may be rotated, but in that case, colors other than the color to be adjusted also change.
  • Patent Document 2 In order to suppress such a situation, there is a type that independently rotates and expands / contracts four axes of Cb axis, Cb-axis, Cr axis, and Cr-axis (Patent Document 1).
  • Patent Document 2 there is a technique that detects the hue and saturation levels of an input component video signal and adds a correction amount representing a difference from each level after color adjustment to the input component video signal.
  • Patent Document 3 there is a technique that determines which region in the color difference signal plane the color difference signal belongs to and converts the color difference signal in accordance with the determined region.
  • An object of the present invention is to prevent an uncomfortable feeling in an image after color conversion.
  • An image processing apparatus includes a target color designating unit for designating a target color to be converted into a target color, a target color designating unit for designating the target color, and a target color designated by the target color designating unit.
  • the color in the adjustment area centered on the position that identifies the target color specified by the target color specifying means in the color space that is converted into the target color specified by the target color specifying means and expresses the color in two dimensions. Then, the closer to the boundary of the adjustment area from the center, the color is converted from the target color specified by the target color specifying means to the color closer to the boundary area of the adjustment area, and the color conversion at the boundary area of the adjustment area is performed.
  • This invention also provides an image processing method.
  • the target color designating unit designates a target color to be converted into a target color
  • the target color designating unit designates the target color
  • the image processing unit is designated by the target color designating unit.
  • An adjustment area centered on the position where the target color is converted into the target color specified by the target color specifying means and the target color specified by the target color specifying means is specified in a two-dimensional color space.
  • the target color specifying means Is converted from the target color specified by the target color specifying means to a color that approaches the color of the boundary part of the adjustment area as it approaches the boundary of the adjustment area from the center, and the boundary part of the adjustment area
  • a color conversion parameter that eliminates the color conversion in the image is generated, and the color adjustment processing means composes a ridge line from the vertex of the color conversion parameter to the boundary portion of the adjustment area with a non-linear curve and takes a photograph.
  • Image is, whether indoor photographing or shooting outdoors, to determine a bright or dark transition, the color temperature color conversion parameters appropriate and executes a color adjustment processing by the relocation scheme color space parameters interpolation.
  • the present invention also provides a computer-readable program for carrying out the image processing method and a recording medium storing the program.
  • the adjustment area includes, for example, an area centered on the position of the target color specified by the target color specifying means, and the position of the target color specified by the target color specifying means is defined at the peripheral edge, and The area is wider than the area.
  • the display device is controlled by the control device so as to display the first color image.
  • the target color designating unit designates the target color from the color included in the color image displayed on the display device, and the target color designating unit determines from the color included in the second color image.
  • the target color will be specified.
  • the third color image is displayed on the display device so as to display the position of the target color specified by the target color specifying means in the color space and the position of the target color specified by the target color specifying means in the color space. Is displayed.
  • At least two color images may be the same, or all may be the same.
  • FIG. 1 shows an embodiment of the present invention, and is a block diagram showing an electrical configuration of an image processing apparatus 1.
  • the overall operation of the image processing device 1 is controlled by the control device 3.
  • the image processing apparatus 1 includes a display device 2 that displays images and the like.
  • the image processing apparatus 1 includes a storage medium 5. Data is written to and read from the built-in memory mounted on the control device 3 by the storage medium 5. By reading the image data recorded in the built-in memory, an image represented by the read image data is displayed on the display device 2.
  • a hard disk mounted on the control apparatus 3 is accessed by a storage medium 5 on which various data and programs are recorded. Further, the image processing apparatus 1 includes an HID (Human Interface Device) 4 such as a keyboard and a mouse, and inputs from these HID 4 are given to the control apparatus 3.
  • HID Human Interface Device
  • the storage medium 5 of the image processing apparatus 1 may be recorded on another computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory), a memory card, or a USB memory.
  • a program is read from such a recording medium and installed in the image processing apparatus 1.
  • control device 3 of the image processing device 1 may be provided with a communication means for communicating with a network such as the Internet.
  • the operation program of the image processing device 1 may be received by the control device 3 via a network such as the Internet and installed in the image processing device 1.
  • FIG. 2 is a flowchart showing a processing procedure of the image processing apparatus 1.
  • the image processing apparatus 1 designates a target color and a target color that are to be converted into a target color, and converts the designated target color into the designated target color. Furthermore, not only the target color designated in this way is converted into the designated target color, but also the color similar to the designated color is converted according to the color conversion from the designated color to the target color. .
  • the image data stored in the storage medium 5 is read, and a large number of images represented by the read image data are displayed on the display screen of the display device 2.
  • the user selects a desired image from a large number of images displayed on the display screen. It is assumed that the first color image 20 shown in FIG. 3 is displayed on the display screen of the display device 2 by the user's selection.
  • the target color to be converted into the target color is specified by specifying a desired color among the colors included in the first color image 20 of FIG. 3 (S10). For example, it is assumed that an empty partial region 21 of the first color image 20 is designated by the user using HID4. Then, the color in the area 21 is designated as the target color. When the region 21 includes a plurality of colors, the average color may be the target color, or the color at the center of the region 21 may be the target color. Further, when one color can be designated instead of the area 21, that color may be the target color. Furthermore, the region 21 is rectangular, but is not limited to a rectangle, and may be any other shape such as a circle. However, the target color may be specified using HID4 or the like without displaying the first color image 20 on the display screen of the display device 2.
  • FIG. 4 is a block diagram showing a part of the electrical configuration of the electronic camera.
  • the color space conversion processing unit 35 converts the coordinates into coordinates in the UV plane in the YUV color space (a color space expressing colors in two dimensions).
  • the YUV color space is a luminance from the color component U and R (red component) data obtained by multiplying the data obtained by subtracting the luminance Y from the B (blue component) data (BY) by a predetermined constant.
  • a color is expressed by a color component V obtained by multiplying data (R ⁇ Y) obtained by subtracting Y by a predetermined constant.
  • R data, G data, and B data can be converted into Y data, U data, and V data.
  • the coordinate position is displayed on the display screen of the display device 2.
  • Image data is read from the storage medium 5 and a large number of images are displayed again on the display screen of the display device 2.
  • a second color image is selected by the user from the multiple images. It is assumed that the second color image 40 shown in FIG. 5 is displayed on the display screen of the display device 2 by the user's selection.
  • the first color image 20 and the second color image 40 may be the same.
  • the second color image 40 is also an image represented by color expression in the YUV color space, like the first color image 20, and the user can display the display screen of the display device 2.
  • a target color is designated by designating a desired color among the colors included in the second color image 40 displayed on the screen.
  • the designation of the target color for example, it is assumed that a part of the sky 41 in the second color image 40 is designated by the user using HID4. Then, the color in the area 41 is designated as the target color.
  • the average color may be set as the target color, or the color at the center of the region 41 may be set as the target color.
  • the target color when one color can be designated instead of the area 41, that color may be set as the target color.
  • the region 41 is rectangular, but is not limited to a rectangle, and may be any other shape such as a circle.
  • the target color may be designated using HID 4 or the like without displaying the second color image 40 on the display screen of the display device 2.
  • FIG. 6 shows the target color, the target color coordinate position, and the adjustment area on the UV plane displayed on the display screen of the display device.
  • the adjustment area 50 corresponds to, for example, a part of the sky 21 in the first color image 20.
  • a white circle mark 52 indicates the coordinate position of the target color on the UV plane.
  • a black circle mark 51 indicating the coordinate position of the target color is also displayed at the same time, and the coordinate positions of the target color and the target color on the UV plane can be compared.
  • the display device 2 displays the black circle mark 51 indicating the coordinate position of the target color and the white circle mark 52 indicating the coordinate position of the target color on the display screen of the display device 2.
  • the black circle mark 51 indicating the coordinate position of the target color and the white circle mark 52 indicating the coordinate position of the target color may not be displayed at the same time.
  • FIG. 7 is an example of the adjustment area 50.
  • the adjustment area 50 defines a color conversion range, and a color existing in the adjustment area 50 is converted by a color conversion parameter described later.
  • the adjustment area 50 is centered on the coordinates of the position of the designated target color on the UV plane, and the black circle mark 51 is the center coordinate.
  • all of the adjustment areas 50 are rectangular, Sat Range is higher than Modified Sat, Sat Range is lower than Modified Sat, Hue Range is rightward than Modified Hue, and Modified is leftward.
  • the adjustment region 50 is widely defined. These Sat Range and Hue Range can be arbitrarily determined.
  • the coordinate position of the target color on the UV plane is specified by the specific color as the adjustment reference, and the coordinate position of the target color is specified by the specific color as the adjustment target.
  • the upper boundary line of the adjustment region 50 is defined by TopLine 60
  • the lower boundary line is defined by BottomLine 61
  • the right boundary line is defined by RightLine 62
  • the left boundary line is defined by LeftLine 63.
  • the adjustment areas 50 are all rectangular areas, but they are not necessarily rectangular areas, and may be other shapes such as a circle.
  • the adjustment area 50 calculated as described above is displayed on the display screen of the display device 2 together with the black circle mark 51 indicating the target color and the white circle mark 52 indicating the target color as shown in FIG. However, the adjustment area 50 may not be displayed, and at least one of the black circle mark 51 indicating the target color or the white circle mark 52 indicating the target color may not be displayed.
  • a color conversion parameter for converting a color existing in the adjustment area 50 is generated by the control device 3 (image processing means). A method for generating the color conversion parameter will be described later. Data indicating the generated color conversion parameter is stored in the storage medium 5.
  • FIG. 8 shows the color conversion parameter 70.
  • the value on the vertical axis is set as a movement amount ratio for rearranging the color space.
  • the color conversion parameter 70 is represented as a mountain shape, and rearranges the UV value in the adjustment region 50 in the UV plane and the color space represented by the position where a line perpendicular to the UV plane intersects the surface. The ratio of the movement amount to do.
  • the surface of the mountain shape corresponds to the UV value after color conversion.
  • the color conversion parameter 70 in the UV plane is illustrated corresponding to the adjustment region 50 having TopLine 60, BottomLine 61, RightLine 62, and LeftLine 63 on four sides.
  • the color after the color conversion that is, the white circle mark 52 indicating the coordinate position of the target color is maximized with respect to the black circle mark 51 indicating the coordinate position of the target color which is the center of the adjustment area 50 on the UV plane.
  • a conversion parameter 70 is defined.
  • the vertex of the color conversion parameter 70 corresponds to a white circle mark 52 indicating the target color.
  • the surface of the color conversion parameter 70 gradually decreases from the top mark 52 toward TopLine60, BottomLine61, RightLine62, and LeftLine63 in the adjustment region 50, and the height in TopLine60, BottomLine61, RightLine62, and LeftLine63 in the adjustment region 50. Is 0, and color conversion is not performed on U data and V data of TopLine 60, Bottom Line 61, Right Line 62, and Left Line 63 in the adjustment area 50 and U data and V data outside the adjustment area 50.
  • FIG. 9 shows a ridge line 71 in the color conversion parameter 70.
  • the ridge 71 is a non-linear curve of the UV value after color conversion from the mark 52 which is the vertex of the color conversion parameter 70 to the midpoint (for example, not necessarily the center) of Bottomline 61, for example. It shows a change.
  • the horizontal axis indicates the UV value (U data, V data) before color conversion
  • the vertical axis indicates the UV value after color conversion.
  • the coordinates of the target color in the UV space are rearranged by the color conversion parameter 70 (ridge line 71) to become the coordinates of the target color in the UV space.
  • the designated target color is rearranged to the designated target color.
  • the coordinates before the color conversion of the middle point of BottomLine 61 in the adjustment area 50 are not changed before and after the rearrangement even if the coordinates are rearranged by the color conversion parameter 70 (ridge line 71).
  • rearrangement in the adjustment region 50 is not performed in the boundary portion of the adjustment region 50 other than the midpoint.
  • the color conversion parameter 70 is set such that the color after color conversion approaches the boundary color of the adjustment region 50 as the coordinate of the color before rearrangement approaches the boundary of the adjustment region 50 from the coordinate of the target color in the adjustment region 50.
  • (Ridge 71) is defined.
  • the target color defined by the black circle mark 51 coordinates is converted to the target color defined by the white circle mark 52 coordinates, and the midpoint color defined by the BottomMline 61 is not subjected to color conversion.
  • the color between the target color defined by the black circle mark 51 coordinate and the midpoint color defined by the white circle mark 52 coordinate approaches the midpoint color defined by BottomLine 61 at the boundary of the adjustment area 50.
  • the target color defined by the coordinates of the white circle mark 52 approaches the midpoint color defined by Bottomline 61.
  • the color defined by the coordinates (UA, VA) is converted by the coordinates (UB, VB), and the target color defined by the white circle mark 52 coordinates on the UV plane and the midpoint defined by the BottomMline 61 Converted to a color between colors.
  • Such color conversion is the same not only on the surface of the color conversion parameter 70 defined by the ridge 71 but also on other parts.
  • the color conversion parameter 70 not only converts the specified target color to the specified target color, but also converts the color in the adjustment region 50 centered on the position specifying the specified target color to the center. From the target color to the color closer to the boundary of the adjustment region. Color conversion corresponding to the color conversion from the specified color to the target color is also performed for the color approximate to the specified color. For example, when the dark blue color is specified as the target color and the reddish purple color is specified as the target color, if the dark blue color and blue color are similar (when the dark blue color and blue color are included in the adjustment area 50), the dark blue color is red.
  • the color conversion parameter 70 eliminates the color conversion at the boundary portion of the adjustment region 50, no color level difference occurs even when the color conversion using the color conversion parameter 70 is performed at the boundary portion.
  • Fig. 10 shows another example of the color conversion parameter.
  • the color conversion parameter 80 is defined such that the vertex 81 is defined so as to convert the target color into the target color, and color conversion is not performed at the boundary portion of the adjustment region 50. Yes.
  • the surface gradient of the color conversion parameter 80 is different from the surface gradient of the color conversion parameter 70.
  • the color after the color conversion using the color conversion parameter 80 in FIG. 10 is used. Is different from the color after color conversion when the color conversion parameter 70 is used.
  • FIGS. 11 and 12 correspond to FIG. 9 and show ridge lines 72 and 73 defined by the color conversion parameters.
  • the color before color conversion is represented by coordinates (UA, VA) and the color after color conversion is represented by coordinates (UB, VB), as in the example shown in FIG.
  • the color after color conversion in the example shown in FIG. 11 is different from the color after color conversion in the example shown in FIG. This is because the color conversion parameters have different shapes, and various color-converted colors can be obtained by generating color conversion parameters having various shapes.
  • the range of the color conversion is a range from the designated target color to the color specified by the boundary of the adjustment area 50.
  • the first color image 20 shown in FIG. 3, the second color image 40 shown in FIG. 5, the marks 51 and 52 and the adjustment region 50 shown in FIG. 6 are displayed on the same display device 2. However, it may be displayed on a different display device. Further, even when displayed on the same display device 2, the first color image 20 shown in FIG. 3 is displayed in the first area of the display screen, and the second color image 40 shown in FIG. 5 is displayed on the display screen.
  • the marks 51 and 52 and the adjustment area 50 shown in FIG. 6 may be displayed in the third area, or they may be switched and displayed in the second area.
  • Data indicating the color conversion parameter 70 and the like described above is stored in advance in a memory (not shown) included in the color space rearrangement processing unit 36 of FIG.
  • Image data representing a subject image is output from the imaging device by imaging the subject with an imaging device such as a CMOS (Complementary metal-oxide-semiconductor) sensor.
  • Image data output from the image sensor is input to the white balance processing unit 31 as input image data, and white balance processing is performed.
  • the image data output from the white balance processing unit 31 is subjected to color interpolation by the color interpolation processing unit 32 and input to the color reproduction gain processing unit 33.
  • the image data is subjected to predetermined gain processing in the color reproduction gain processing unit 33, and gamma processing is performed in the gamma processing unit.
  • the image data output from the gamma processing unit 34 is subjected to color space conversion processing from image data in the RGB color space to image data in the YUV space in the color space conversion processing unit 35.
  • the color space rearrangement processing unit 36 rearranges the color space of the image data that has been color space converted by the color space conversion processing unit 35. Details of the rearrangement of the color space will be described later.
  • FIG. 13 is a flowchart showing the color space rearrangement processing procedure.
  • the first color image 20 shown in FIG. 3 is taken as a subject image for the sake of clarity, but it goes without saying that other images may be subject images. .
  • an image represented by the read image data is obtained by indoor shooting (In) based on information obtained from the ISP.
  • the color space rearrangement processing unit 36 determines whether the image is obtained by outdoor shooting (Out) (S90).
  • the color temperature of the image is detected by the color space rearrangement processing unit 36, and the color temperature parameter is determined from the detected color temperature (S97).
  • the color space rearrangement processing unit 36 has a built-in memory (not shown), in which a low color temperature parameter, a medium color temperature parameter, and a high color temperature parameter are stored. In addition, first to fourth types of interpolation threshold values are defined.
  • FIG. 14 shows the relationship between the color temperature parameter and the interpolation threshold.
  • the color temperature of the image When the color temperature of the image is equal to or higher than the first interpolation threshold, it is determined as a high color temperature parameter.
  • a first interpolation color temperature parameter is generated from the high color temperature parameter and the medium color temperature parameter, and the first interpolation color The temperature parameter is determined.
  • the medium color temperature parameter is determined.
  • a second interpolation color temperature parameter is generated from the medium color temperature parameter and the low color temperature parameter, and the second interpolation color temperature. Determined as a parameter.
  • the color temperature of the image is equal to or lower than the fourth interpolation threshold, the low color temperature parameter is determined.
  • the color temperature parameter is determined in this way, it is determined whether the image data (S98) input to the color space rearrangement processing unit 36 is image data in the adjustment region 50 (S99).
  • a plurality of color temperature parameters are determined from the value set in the previous flag PF and the determined color temperature parameter.
  • the correction parameter to be used is determined (S100).
  • This determination method can also be defined by the user, the user's desired color temperature parameter can be determined based on the color temperature and brightness of the image, and the user's desired color conversion can be realized.
  • Data representing a plurality of color temperature parameters generated as described above is stored in a memory (not shown) of the color space rearrangement processing unit 36, and a correction parameter to be used is determined from the data.
  • the color space is rearranged for the colors in the adjustment region 50 using the determined correction parameters (S101).
  • the processing from S98 to S101 is repeated until the processing is completed for all the image data (S102).
  • a calculation formula as shown in FIG. 16 may be combined, and the color conversion parameter may be dynamically generated using only the calculation formula.
  • the number of significant digits is limited, and it is possible to flexibly change the nonlinear correction method by using a calculation formula.
  • some of the color conversion parameters can be calculated using the calculation formula. It is also possible to interpolate, or to interpolate the color conversion parameter / formula switching portion with another calculation formula.
  • the color in the area 110 corresponding to the area 21 shown in FIG. 3 is color-converted to the target color specified in the area 41 shown in FIG.
  • a color-converted image 111 is obtained for the colors in the adjustment region 50 on the UV plane among the colors included in the image 20 shown in FIG.
  • FIG. 3 there is one area 21 for designating the target color, and there is one area 41 for designating the target color as shown in FIG.
  • multiple adjustment areas 50 can be created, and even if these adjustment areas 50 overlap, a color conversion parameter is defined for each adjustment area 50, and either color Conversion parameters may be used or a plurality of color conversion parameters may be interpolated.
  • the YUV color space (UV plane) is used as a color space that expresses colors in two dimensions.
  • IQ plane YIQ color space
  • CrCb YCbCr color space
  • Other color spaces that can express colors in two dimensions, such as plane), HSV color space (HS plane), Lab color space (ab plane), and HLS color space (HS plane) can be used.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed on a computer or the like from a network or a recording medium.
  • the computer may be a computer incorporated in dedicated hardware.
  • the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or personal computer other than a server.
  • the recording medium including such a program is not only constituted by a removable medium (not shown) distributed separately from the apparatus main body in order to provide the user with the program, but is also provided to the user in a state of being pre-installed in the apparatus main body. It is composed of a provided recording medium or the like.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually.
  • the process to be executed is also included.
  • the image processing apparatus to which the present invention is applied can take various embodiments having the following configurations including the above-described embodiment. That is, the image processing apparatus to which the present invention is applied is A target color specifying means for specifying a target color to be rearranged as a target color; Target color specifying means for specifying the target color; The target color designated by the target color designation unit is rearranged to the target color designated by the target color designation unit, and the target color designated by the target color designation unit in a color space expressing the color in two dimensions The color in the adjustment area centering on the position for specifying the color is changed from the target color specified by the target color specifying means to the color of the boundary part of the adjustment area as it approaches the boundary of the adjustment area from the center.
  • Image processing means for rearranging and generating color conversion parameters such that there is no color difference at the boundary portion of the adjustment region;
  • the ridge line from the vertex of the color conversion parameter to the boundary of the adjustment area is composed of a non-linear curve, and it is judged whether the shot image is indoor shooting or outdoor shooting, bright or dark, and the corresponding color conversion parameter
  • Color adjustment processing means for performing color adjustment processing by a color space rearrangement method that performs parameter interpolation according to color temperature; It is enough to have
  • Such an image processing apparatus rearranges the target color specified by the target color designating unit from the center to a color that approaches the color of the boundary part of the adjustment area as it approaches the boundary of the adjustment area. Also, the rearrangement according to the rearrangement from the designated color to the target color is performed. There is no sense of incongruity in the rearranged image. In addition, since the color conversion parameter is not rearranged at the boundary portion of the adjustment area, a color step may occur even when rearrangement using the color conversion parameter is performed at the boundary portion. To be prevented.
  • the adjustment area includes, for example, an area centered on the position of the target color specified by the target color specifying means, and the position of the target color specified by the target color specifying means is defined at the peripheral edge, and The area is wider than the area.
  • a first display device for displaying the first color image and a second display device for displaying the second color image may be further provided.
  • the target color designating unit designates the target color from colors included in the first color image displayed on the first display device, and the target color designating unit selects the second display device.
  • the target color will be designated from the colors included in the second color image displayed on the screen.
  • first display device the second display device, and the third display device
  • at least two display devices may be the same, or all may be the same.
  • first color image and the second color image may be the same.
  • Image processing device 3 Display control device 14 CPU 15 CD-ROM

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

色変換後の画像に違和感が生じることを防止する画像処理装置等を提供すること。　ＵＶ平面での対象色を目標色に変換し、対象色を中心とした調整領域50内の色を、中心から調整領域50の境界に近づくほど、目標色から境界部分の色に近くなり、境界部分においては色変換が無くなるような色変換パラメータを生成する。そのような色変換パラメータを用いて所望のカラー画像が色変換される。

Description

画像処理装置及びプログラム
　この発明は、画像処理装置及びプログラムに関する。
　一般的に電子カメラとして分類されるデジタル・カメラ、デジタル・ビデオ・カメラ、カメラ付き携帯端末(携帯電話、スマートフォン、タブレット端末など)には色再現処理が施されている。このような色再現処理においては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサなどの撮像素子から得られた画像信号に対して、自動露出補正、自動ホワイト・バランス調整、自動フォーカス、シェーディング補正などの画像処理をイメージ・シグナル・プロセッサにおいて行なうことが一般的である。色再現性を向上させるために色調整が行われるが、近年では実際の色を忠実に再現するよりも撮影シーンなどに応じて最終製品を製造するメーカによって独自の色調整を行うことが多くなってきている。たとえば、太陽光下での撮影シーン、様々な光源下での撮影シーンなどのほか被写体までの距離や被写体からの反射など様々な撮影シーンにより得られた画像が存在するので、それらの撮影シーンなどに応じて、空の青色に対する彩度の調整、色相の調整をすることにより、見栄えの良好な画像となるように色調整が行われる。
　色調整が行われる場合、色空間の二軸を回転させることがあるが、その場合には調整させたい色以外の色も変化してしまう。このようなことを抑えるために、Ｃｂ軸、Ｃｂ－軸、Ｃｒ軸およびＣｒ－軸の４軸を独立して回転および伸縮するものがある(特許文献１)。また、入力コンポーネント映像信号の色相および彩度のレベルを検出し、色調整後のそれぞれのレベルとの差を表す補正量を、入力コンポーネント映像信号に加算するものもある(特許文献２)。さらに、色差信号が色差信号平面内のどの領域に属するかを判定し、判定された領域に応じて色差信号を変換するものもある(特許文献３)。
WO/2005/112429パンフレット 特開2008-118392号公報 特開2002-176656号公報
　指定した色を所望の色に変換する場合、その指定した色に近似した色についても指定した色から所望の色への色変換に応じた色変換が行われなければ、色変換後の画像について違和感が生じる。たとえば、紺色を指定し、その指定した紺色を所望の色として赤紫色に色変換する場合に、紺色に近似した青色についても青色から赤紫色に近い色に紺色の色変換に応じて色変換させなければ、色変換後の画像に違和感が生じてしまう。このような問題は、特許文献１から３のいずれにおいても全く考えられていない。
　この発明は、色変換後の画像に違和感が生じるのを未然に防止することを目的とする。
　この発明による画像処理装置は、目標色に色を変換する対象色を指定する対象色指定手段、上記目標色を指定する目標色指定手段、および上記対象色指定手段によって指定された対象色を、上記目標色指定手段によって指定された目標色に変換し、二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を、上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し、かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成する画像処理手段と、上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段とを備える。
　この発明は、画像処理方法も提供している。その方法は、対象色指定手段が、目標色に色を変換する対象色を指定し、目標色指定手段が、上記目標色を指定し、画像処理手段が、上記対象色指定手段によって指定された対象色を、上記目標色指定手段によって指定された目標色に変換し、二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を、上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し、かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成し、色調整処理手段が、上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行するものである。
　この発明は、上記画像処理方法を実施するためのコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
　上記調整領域は、たとえば、上記対象色指定手段によって指定された対象色の位置を中心とし、上記目標色指定手段によって指定された目標色の位置が周縁部に規定される領域を含み、かつ上記領域よりも広い領域である。
　第１のカラー画像を表示するように表示デバイスは制御装置から制御される。この場合、上記対象色指定手段は、上記の表示デバイスに表示されるカラー画像に含まれる色から上記対象色を指定し、上記目標色指定手段は、第２のカラー画像に含まれる色から上記目標色を指定することとなる。また、上記対象色指定手段によって指定された対象色の上記色空間における位置および上記目標色指定手段によって指定された目標色の上記色空間における位置を表示するように第３のカラー画像が表示デバイスに表示される。
　第１のカラー画像、第２のカラー画像および第３のカラー画像のうち、少なくとも二つのカラー画像が同じものでもよいし、すべてが同じものでもよい。
　この発明によると、色変換後の画像に違和感が生じるのを未然に防止することができる。
画像処理装置の電気的構成を示すブロック図である。 画像処理手順を示すフローチャートである。 第１のカラー画像の一例である。 電子カメラのイメージパイプの一部を示す。 第２のカラー画像の一例である。 対象色を示すマーク、目標色を示すマークなどである。 調整領域を示している。 色変換パラメータの一例である。 色変換パラメータの二次元表示の一例である。 色変換パラメータの一例である。 色変換パラメータの二次元表示の一例である。 色変換パラメータの二次元表示の一例である。 色空間の再配置手順を示すフローチャートである。 色温度パラメータと補間用閾値とを示している。 色変換後の画像の一例である。 色変換用の計算式の一例である。
　図１は、この発明の実施例を示すもので、画像処理装置１の電気的構成を示すブロック図である。
　画像処理装置１の全体の動作は、制御装置３によって統括される。
　画像処理装置１には、画像などを表示する表示デバイス２が含まれている。画像処理装置１には、記憶媒体５が含まれている。記憶媒体５によって制御装置３に搭載されている内蔵メモリへのデータの書き込み、内蔵メモリからのデータの読み出しが行われる。内蔵メモリに記録されている画像データが読み出されることにより、表示デバイス２に読み出された画像データによって表される画像が表示される。
　画像処理装置１には、各種データ、プログラムが記録されている記憶媒体５によって制御装置３に搭載されているハードディスクにアクセスされる。さらに、画像処理装置１には、キーボードやマウスなどのＨＩＤ（ＨｕｍａｎＩｎｔｅｒｆａｃｅＤｅｖｉｃｅ）４が含まれており、これらＨＩＤ４からの入力は、制御装置３に与えられる。
　画像処理装置１の記憶媒体５には、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やメモリ・カード、ＵＳＢメモリなどのコンピュータが読み取り可能な他の記録媒体に記録されていてもよい。そのような記録媒体からプログラムが読み取られ、画像処理装置１にインストールされる。
　さらに、画像処理装置１の制御装置３には、インターネットなどのようなネットワークと通信するための通信手段を備えていてもよい。画像処理装置１の動作プログラムは、インターネットなどのようなネットワークを介して制御装置３によって受信し、画像処理装置１にインストールされるようにしてもよい。
　図２は、画像処理装置１の処理手順を示すフローチャートである。
　画像処理装置１は、目標色に色を変換する対象色および目標色をそれぞれ指定し、指定された対象色を指定された目標色に変換するものである。さらに、そのように指定された対象色を指定された目標色に変換するだけでなく、指定色に近似した色についても指定色から目標色への色変換に応じた色変換を行なうものである。
　記憶媒体５に格納されている画像データが読み出され、その読み出された画像データによって表される多数の画像が表示デバイス２の表示画面に表示される。ユーザは、表示画面に表示されている多数の画像の中から所望の画像を選択する。表示デバイス２の表示画面には、ユーザの選択によって、図３に示す第１のカラー画像20が表示されたものとする。
　図３の第１のカラー画像20に含まれている色のうち、所望の色を指定することにより、目標色に色を変換する対象色を指定する(S10)。たとえば、ＨＩＤ４を使ってユーザによって第１のカラー画像20のうち、空の一部の領域21が指定されたものとする。すると、その領域21内の色が対象色として指定されたこととなる。領域21内に複数の色が含まれている場合には、その平均の色を対象色としてもよいし、領域21の中心部の色を対象色としてもよい。また、領域21ではなく、一つの色を指定できる場合には、その色を対象色としてもよい。さらに、領域21は、矩形であるが矩形に限らず、円形その他の任意の形状であってもよい。もっとも、第１のカラー画像20を表示デバイス２の表示画面に表示せずにＨＩＤ４などを利用して対象色を指定してもよい。
　図４は、電子カメラの電気的構成の一部を示すブロック図である。
　図４に示されるように、色空間変換処理部35によってＹＵＶ色空間におけるＵＶ平面(二次元によって色を表現する色空間)における座標に変換される。ＹＵＶ色空間は、輝度Ｙのほかに、Ｂ(青色成分)データから輝度Ｙを差し引いたデータ（Ｂ－Ｙ）に所定の定数を乗じて得られる色成分ＵおよびＲ(赤色成分)データから輝度Ｙを差し引いたデータ（Ｒ－Ｙ）に所定の定数を乗じて得られる色成分Ｖによって色を表すものである。式１から式３を用いることにより、Ｒデータ、ＧデータおよびＢデータからＹデータ、ＵデータおよびＶデータに変換できる。
　Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ・・・式１
　Ｕ＝－0.14713×Ｒ－0.28886×Ｇ＋0.436×Ｂ・・・式２
　Ｖ＝0.615×Ｒ－0.51499×Ｇ－0.10001×Ｂ・・・式３
　指定された対象色がＹＵＶ色空間におけるＵＶ平面における座標に変換されると、その座標位置が表示デバイス２の表示画面に表示される。
　記憶媒体５から画像データが読み出され、表示デバイス２の表示画面には、再び多数の画像が表示される。その多数の画像の中から第２のカラー画像がユーザによって選択される。表示デバイス２の表示画面には、ユーザの選択によって、図５に示す第２のカラー画像40が表示されたものとする。第１のカラー画像20と第２のカラー画像40とは同じものでもよい。
　図５を参照して、第２のカラー画像40も、第１のカラー画像20と同様に、ＹＵＶ色空間での色表現によって表されている画像であり、ユーザは、表示デバイス２の表示画面に表示されている第２のカラー画像40に含まれている色のうち、所望の色を指定することにより、目標色を指定する。対象色の指定と同様に、たとえば、ＨＩＤ４を使ってユーザによって第２のカラー画像40のうち、空の一部の領域41が指定されたものとする。すると、その領域41内の色が目標色として指定されたこととなる。対象色の指定と同様に、領域41内に複数の色が含まれている場合には、その平均の色を目標色としてもよいし、領域41の中心部の色を目標色としてもよい。また、領域41ではなく、一つの色を指定できる場合には、その色を目標色としてもよい。さらに、領域41は、矩形であるが矩形に限らず、円形その他の任意の形状であってもよい。もっとも、第２のカラー画像40を表示デバイス２の表示画面に表示せずにＨＩＤ４などを利用して目標色を指定してもよい。
　図６は、表示デバイスの表示画面に表示されたＵＶ平面における対象色、目標色の座標位置および調整領域を示している。
　図６において、調整領域50は例えば第１のカラー画像20のうち、空の一部の領域21に相当する。白丸のマーク52がＵＶ平面における目標色の座標位置を示している。図６においては、対象色の座標位置を示す黒丸のマーク51も同時に表示されており、対象色と目標色とのそれぞれのＵＶ平面での座標位置が比較できる。このようにして、表示デバイス２によって、対象色の座標位置を示す黒丸のマーク51と目標色の座標位置を示す白丸のマーク52とが表示デバイス２の表示画面に表示される。もっとも、対象色の座標位置を示す黒丸のマーク51と目標色の座標位置を示す白丸のマーク52とを同時に表示しなくともよい。
　図７は、調整領域50の一例である。
　調整領域50は、色を変換する範囲を規定するものであり、調整領域50内に存在する色が後述する色変換パラメータによって変換させられる。
　調整領域50は、ＵＶ平面において、指定された対象色の位置の座標を中心とし、黒丸のマーク51が中心座標となる。この実施例では、調整領域50のいずれも矩形であり、Ｍｏｄｉｆｉｅｄ　Ｓａｔよりも上方向にＳａｔ　Ｒａｎｇｅ、Ｍｏｄｉｆｉｅｄ　Ｓａｔよりも下方向にＳａｔ　Ｒａｎｇｅ、Ｍｏｄｉｆｉｅｄ　Ｈｕｅよりも右方向にＨｕｅ　Ｒａｎｇｅおよび左方向にＭｏｄｉｆｉｅｄだけ、調整領域50が広く規定される。これらのＳａｔ　Ｒａｎｇe、Ｈｕｅ　Ｒａｎｇｅは任意に決定できる。
　ＵＶ平面での対象色の座標位置は調整基準となる特定色、目標色の座標位置は調整目標となる特定色で規定されている。調整領域50の上側境界線はＴｏｐＬｉｎｅ60で規定され、下側境界線はＢｏｔｔｏｍＬｉｎｅ61で規定され、右側境界線はＲｉｇｈｔＬｉｎｅ62で規定され、左側境界線はＬｅｆｔＬｉｎｅ63で規定される。調整領域50は、いずれも矩形領域とされているが、必ずしも矩形領域でなくともよく、円形など他の形状でもよい。
　上述のようにして算出された調整領域50が、図７に示すように対象色を示す黒丸のマーク51および目標色を示す白丸のマーク52とともに、表示デバイス２の表示画面に表示される。もっとも、調整領域50を表示しなくともよいし、対象色を示す黒丸のマーク51または目標色を示す白丸のマーク52の少なくとも一方を表示しなくともよい。
　つづいて、調整領域50内に存在する色を変換するための色変換パラメータが制御装置３(画像処理手段)によって生成される。色変換パラメータの生成方法については後述する。生成された色変換パラメータを示すデータは、記憶媒体５に記憶される。
　図８は、色変換パラメータ70を表している。
　色変換パラメータ70は、ＵＶ平面に対して垂直軸を考えたときに、その垂直軸での値を色空間を再配置するための移動量の比率とする。色変換パラメータ70は、山の形状として表されており、ＵＶ平面における調整領域50内のＵＶ値を、ＵＶ平面に対して垂直な線が表面と交差する位置によって表される色空間を再配置するための移動量の比率を表す。その山の形状の表面が色変換後のＵＶ値に相当している。ＵＶ平面における色変換パラメータ70は、図７に示したように、ＴｏｐＬｉｎｅ60、ＢｏｔｔｏｍＬｉｎｅ61、ＲｉｇｈｔＬｉｎｅ62、ＬｅｆｔＬｉｎｅ63を四辺にもつ調整領域50に対応して図示されている。
　ＵＶ平面における調整領域50の中心である対象色の座標位置を示す黒丸のマーク51に対して、色変換後の座標、すなわち目標色の座標位置を示す白丸のマーク52が最大となるように色変換パラメータ70が規定されている。色変換パラメータ70の頂点が目標色を示す白丸のマーク52に対応する。色変換パラメータ70の表面は、その頂点であるマーク52から調整領域50におけるＴｏｐＬｉｎｅ60、ＢｏｔｔｏｍＬｉｎｅ61、ＲｉｇｈｔＬｉｎｅ62、ＬｅｆｔＬｉｎｅ63に向かって徐々に低くなっており、調整領域50におけるＴｏｐＬｉｎｅ60、ＢｏｔｔｏｍＬｉｎｅ61、ＲｉｇｈｔＬｉｎｅ62、ＬｅｆｔＬｉｎｅ63では高さが０となり、調整領域50におけるＴｏｐＬｉｎｅ60、ＢｏｔｔｏｍＬｉｎｅ61、ＲｉｇｈｔＬｉｎｅ62、ＬｅｆｔＬｉｎｅ63のＵデータおよびＶデータならびに調整領域50よりも外側のＵデータおよびＶデータは色変換が行われないこととなる。
　図９は、色変換パラメータ70における稜線71を示している。
　稜線71は、図８に示すように、例えば非線形の曲線で色変換パラメータ70の頂点であるマーク52から例えばＢｏｔｔｏｍＬｉｎｅ61の中点(必ずしも中央でなくてもよい)までの色変換後のＵＶ値の変化を示している。図９においては、横軸は色変換前のＵＶ値(Ｕデータ、Ｖデータ)を示し、縦軸は色変換後のＵＶ値を示している。
　上述のように、ＵＶ空間における対象色の座標が色変換パラメータ70(稜線71)によって再配置されることにより、ＵＶ空間における目標色の座標となる。これにより、指定された対象色が指定された目標色に再配置されることとなる。調整領域50のＢｏｔｔｏｍＬｉｎｅ61の中点の色変換前の座標は、その座標が色変換パラメータ70(稜線71)によって再配置されても、再配置前後において座標は変わらない。中点以外の調整領域50の境界部分においても同様に、調整領域50における再配置は行われない。
　また、再配置前の色の座標が調整領域50内において対象色の座標から調整領域50の境界に近づくほど、色変換後の色が調整領域50の境界の色に近づくように色変換パラメータ70（稜線71)が規定されている。たとえば黒丸のマーク51座標で規定される対象色は、白丸のマーク52座標で規定される目標色に変換され、ＢｏｔｔｏｍＬｉｎｅ61で規定される中点の色は、色変換が行われない。黒丸のマーク51座標で規定される対象色から、白丸のマーク52座標で規定される中点の色の間の色は、調整領域50の境界にＢｏｔｔｏｍＬｉｎｅ61で規定されている中点の色に近づくほど、白丸のマーク52座標で規定される目標色から、ＢｏｔｔｏｍＬｉｎｅ61で規定されている中点の色に近づくこととなる。たとえば、座標(ＵＡ、ＶＡ)で規定される色は、座標(ＵＢ、ＶＢ)で変換され、かつＵＶ平面上において白丸のマーク52座標で規定される目標色とＢｏｔｔｏｍＬｉｎｅ61で規定される中点の色との間の色に変換される。このような色変換は、稜線71で規定される色変換パラメータ70の表面だけでなく、その他の部分においても同様である。
　このように、色変換パラメータ70は、指定された対象色を指定された目標色に変換するだけでなく、指定された対象色を特定する位置を中心とした調整領域50内の色を、中心から調整領域50の境界に近づくほど、目標色から調整領域の境界部分の色に近づく色に変換する。指定色に近似した色についても指定色から目標色への色変換に応じた色変換が行われるようになる。たとえば、紺色を対象色として指定し、赤紫色を目標色に指定した場合において、紺色と青色とが近似する場合(紺色と青色とが調整領域50内に含まれる場合)には、紺色が赤紫色に変換されるだけでなく、青色も赤紫色に近い色に変換されることとなるので、色変換後の画像に違和感が生じなくなる。また、色変換パラメータ70は、調整領域50の境界部分における色変換が無くなるから、その境界部分において色変換パラメータ70を用いた色変換が行われた場合であっても色の段差が生じない。
　図10は、色変換パラメータの他の例を表している。
　色変換パラメータ80は、色変換パラメータ70と同様に、対象色を目標色に変換するように頂点81が規定され、かつ調整領域50の境界部分においては色変換が行われないように規定されている。しかしながら、色変換パラメータ80の表面の勾配は、色変換パラメータ70の表面の勾配と異なっている。これにより、対象色から調整領域50の境界部分によって示される色までの間において、変換前の色が同じであっても、図10の色変換パラメータ80を用いた場合の色の変換後の色は、色変換パラメータ70を用いた場合の色の変換後の色と比較して、異なる。
　図11および図12は、図９に対応するもので、色変換パラメータによって規定される稜線72および73を示している。
　図11および図12に示す例では、図９に示す例と同様に、色変換前の色が座標(ＵＡ、ＶＡ)で表され、色変換後の色が座標(ＵＢ、ＶＢ)で表されているが、図11に示す例での色変換後の色と図12に示す例での色変換後の色とは異なることとなる。これは、色変換パラメータの形状が異なることに起因するものであり、様々な形状の色変換パラメータを生成することにより、様々な色変換後の色が得られることとなる。もっとも、その色変換の範囲は、指定された目標色から、調整領域50の境界によって特定される色までの範囲であることはいうまでもない。
　上述の実施例においては、図３に示す第１のカラー画像20、図５に示す第２のカラー画像40ならびに図６に示すマーク51、52および調整領域50は、同一の表示デバイス２に表示されているが、異なる表示デバイスに表示されるようにしてもよい。また、同一の表示デバイス２に表示される場合でも、図３に示す第１のカラー画像20を表示画面の第１の領域に表示し、図５に示す第２のカラー画像40を表示画面の第２の領域に表示し、図６に示すマーク51、52および調整領域50を第３の領域に表示するようにしてもよいし、それぞれを切替えて表示するようにしてもよい。
　上述した色変換パラメータ70などを示すデータは図４の色空間再配置処理部36に含まれるメモリ（図示略）にあらかじめ記憶されている。
　ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの撮像素子により被写体を撮像することにより、被写体像を表す画像データが撮像素子から出力される。撮像素子から出力した画像データが入力画像データとしてホワイト・バランス処理部31に入力し、ホワイト・バランス処理が行われる。ホワイト・バランス処理部31から出力した画像データは、色補間処理部32により色補間が行われ、色再現ゲイン処理部33に入力する。画像データは色再現ゲイン処理部33において所定のゲイン処理が行われ、ガンマ処理部34においてガンマ処理が行われる。
　ガンマ処理部34から出力した画像データは、色空間変換処理部35においてＲＧＢ色空間での画像データから、ＹＵＶ空間での画像データに色空間変換処理が行われる。色空間変換処理部35において色空間変換された画像データが色空間再配置処理部36において色空間の再配置が行われる。色空間の再配置について詳しくは後述する。
　図13は、色空間再配置処理手順を示すフローチャートである。
　この実施例では、分かりやすくするために図３に示した第１のカラー画像20が被写体像として撮像されたものとするが、他の画像が被写体像であってもよいのはいうまでもない。
　色空間再配置処理部36において画像データ(ＵＶ画像データ)が読み取られると、ISPから得られる情報に基づいて、読み取られた画像データによって表される画像が室内撮影(In)により得られたものか、屋外撮影(Out)により得られたものかが色空間再配置処理部36により判定される(S90)。
　室内撮影の場合には、画像が明るい（Ｎｏｒ）か暗い（Ｄａｒｋ）かが画像データの輝度値から判断される(S91)。画像が明るい場合にはフラグＰＦに“In/Nor”がセットされ(S92)、画像が暗い場合にはフラグＰＦに“In/Dark”がセットされる(S93)。同様に、屋外撮影の場合にも、画像が明るいか暗いかが画像データの輝度値から判断される(S94)。画像が明るい場合にはフラグＰＦに“Out/Nor”がセットされ(S95)、画像が暗い場合にはフラグＰＦに“Out/Dark”がセットされる(S96)。
　つづいて、画像の色温度が色空間再配置処理部36によって検出され、検出された色温度から色温度パラメータが決定される(S97)。
　色空間再配置処理部36にはメモリ(図示略)が内蔵されており、そのメモリに、低色温度パラメータ、中色温度パラメータおよび高色温度パラメータが記憶されている。また、第１から第４の４種類の補間用閾値が規定されている。
　図14は、色温度パラメータと補間用閾値との関係を示している。
　画像の色温度が第１補間用閾値以上の場合には、高色温度パラメータに決定される。画像の色温度が第１補間用閾値と第２補間用閾値との間の場合には、高色温度パラメータと中色温度パラメータとから第１補間色温度パラメータが生成され、その第１補間色温度パラメータに決定される。画像の色温度が第２補間用閾値と第３補間用閾値との間の場合には、中色温度パラメータに決定される。画像の色温度が第３補間用閾値と第４補間用閾値との間の場合には中色温度パラメータと低色温度パラメータとから第２補間色温度パラメータが生成され、その第２補間色温度パラメータに決定される。画像の色温度が第４補間用閾値以下の場合には低色温度パラメータに決定される。
　図13を参照して、このようにして色温度パラメータが決定すると、色空間再配置処理部36に入力された画像データ(S98)が調整領域50内の画像データか判断される(S99)。調整領域50内の画像データが色空間再配置処理部36に入力されると(S99でFlag=ON)、前期フラグＰＦにセットされた値と決定した色温度パラメータとから、複数の色温度パラメータのうち使用する補正パラメータが決定される(S100)。この決定方法もユーザによって規定でき、画像の色温度と明るさとにもとづいて、ユーザの所望の色温度パラメータを決定でき、ユーザの所望の色変換を実現できる。上述のようにして生成された複数の色温度パラメータを表すデータが色空間再配置処理部36のメモリ（図示略）に記憶されており、その中から利用する補正パラメータが決定する。
　補正パラメータが決定すると、決定した補正パラメータを用いて、調整領域50内の色について色空間の再配置が行われる(S101)。すべての画像データについて処理が終了するまで、S98からS101までの処理が繰り返される(S102)。
　上記の補正パラメータに加え、図16に示すような計算式を組み合わせることも可能であり、計算式のみを用いて動的に色変換パラメータを生成してもよい。色変換パラメータを使用した場合は有効桁数に制限が生じたり、計算式を用いることで非線形の補正方法を柔軟に変更することが可能となり、さらに色変換パラメータの一部を計算式を用いて補間したり、色変換パラメータと数式の切り替え部分を他の計算式で補間することも可能である。
　このような色空間の再配置処理により、図15に示すように、図３に示す領域21に対応する領域110内の色は、図５に示す領域41で特定される目標色に色変換されるとともに、図３に示す画像20に含まれる色のうちＵＶ平面での調整領域50内の色については色変換された画像111が得られるようになる。
　図３に示すように対象色を指定する領域21は一つであり、図５に示すように目標色を指定する領域41も一つであるが、それぞれ複数としてもよい。また、複数の対象色を指定したことにより、調整領域50が複数でき、それらの調整領域50が重なってしまう場合であっても、調整領域50ごとに色変換パラメータを規定し、いずれかの色変換パラメータを利用するか複数の色変換パラメータを補間するようにして利用すればよい。
　上述の実施例では、二次元によって色を表現する色空間としてＹＵＶ色空間(ＵＶ平面)を利用しているが、ＹＵＶ色空間だけでなく、ＹＩＱ色空間(ＩＱ平面)、ＹＣｂＣｒ色空間(ＣｒＣｂ平面)、ＨＳＶ色空間(ＨＳ平面)、Ｌａｂ色空間(ａｂ平面)、ＨＬＳ色空間(ＨＳ平面)のように、色を二次元で表現できる他の色空間を用いることができる。
　以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
　一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
　このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
　なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
　換言すると、本発明が適用される画像処理装置は、上述の実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される画像処理装置は、
　目標色に色を再配置する対象色を指定する対象色指定手段と、
　上記目標色を指定する目標色指定手段と、
　上記対象色指定手段によって指定された対象色を、上記目標色指定手段によって指定された目標色に再配置し、二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を、上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に再配置し、かつ上記調整領域の境界部分における色の差異が無くなるような色変換パラメータを生成する画像処理手段と、
　上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段と、
　を備えれば足りる。
　このような画像処理装置は、中心から調整領域の境界に近づくほど目標色指定手段によって指定された目標色から調整領域の境界部分の色に近づく色に再配置するから、指定色に近似した色についても指定色から目標色への再配置に応じた再配置が行われるようになる。再配置後の画像に違和感が生じなくなる。また、色変換パラメータは、調整領域の境界部分における再配置が無くなるから、その境界部分において色変換パラメータを用いた再配置が行われた場合であっても色の段差が生じてしまうことが未然に防止される。
　上記調整領域は、たとえば、上記対象色指定手段によって指定された対象色の位置を中心とし、上記目標色指定手段によって指定された目標色の位置が周縁部に規定される領域を含み、かつ上記領域よりも広い領域である。
　第１のカラー画像を表示するように第１の表示デバイス、ならびに第２のカラー画像を表示するように第２の表示デバイスをさらに備えてもよい。この場合、上記対象色指定手段は、上記第１の表示デバイスに表示される第１のカラー画像に含まれる色から上記対象色を指定し、上記目標色指定手段は、上記第２の表示デバイスに表示される第２のカラー画像に含まれる色から上記目標色を指定することとなろう。また、上記対象色指定手段によって指定された対象色の上記色空間における位置および上記目標色指定手段によって指定された目標色の上記色空間における位置を表示するように第３の表示デバイスをさらに備えることが好ましい。
　第１の表示デバイス、第２の表示デバイスおよび第３の表示デバイスのうち、少なくとも２つの表示デバイスが同じものでもよいし、すべてが同じものでもよい。また、第１のカラー画像と第２のカラー画像とは同じものでもよい。
　１　画像処理装置
　３　表示制御装置
　14　ＣＰＵ
　15　ＣＤ－ＲＯＭ

Claims (3)

  1. 　目標色に色を変換する対象色を指定する対象色指定手段と、
    　上記目標色を指定する目標色指定手段と、
    　上記対象色指定手段によって指定された対象色を、上記目標色指定手段によって指定された目標色に変換し、二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を、上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し、かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成する画像処理手段と、
    　上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段と、
    　を備える画像処理装置。
  2. 　第１のカラー画像を表示するように表示デバイスを制御する制御手段を備え、
    　上記対象色指定手段は、
    　上記制御手段の制御により上記表示デバイスに表示される第１のカラー画像に含まれる色から上記対象色を指定し、
    　上記目標色指定手段は、
    　上記制御手段の制御により上記表示デバイスに表示される第２のカラー画像に含まれる色から上記目標色を指定し、
    　上記対象色指定手段によって指定された対象色の上記色空間における位置および上記目標色指定手段によって指定された目標色の上記色空間における位置を表示するように上記制御手段の制御により上記表示デバイスに第３のカラー画像を表示する制御手段、
    をさらに備える、
    　請求項１に記載の画像処理装置。
  3. 　画像処理装置を制御するコンピュータを、
    　目標色に色を変換する対象色を指定する対象色指定手段と、
    　上記目標色を指定する目標色指定手段と、
    　上記対象色指定手段によって指定された対象色を、上記目標色指定手段によって指定された目標色に変換し、二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を、上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し、かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成する画像処理手段と、
    　上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段と、
    　として機能させるプログラム。
PCT/JP2017/029779 2017-01-10 2017-08-21 画像処理装置及びプログラム WO2018131202A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-001757 2017-01-10
JP2017001757A JP6403811B2 (ja) 2017-01-10 2017-01-10 画像処理装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2018131202A1 true WO2018131202A1 (ja) 2018-07-19

Family

ID=62839423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029779 WO2018131202A1 (ja) 2017-01-10 2017-08-21 画像処理装置及びプログラム

Country Status (2)

Country Link
JP (1) JP6403811B2 (ja)
WO (1) WO2018131202A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214792A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 色変換装置
JP2003125222A (ja) * 2001-10-15 2003-04-25 Canon Inc テーブルを調整する画像処理方法を実現するためのプログラム
JP2009188948A (ja) * 2008-02-08 2009-08-20 Canon Inc 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214792A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 色変換装置
JP2003125222A (ja) * 2001-10-15 2003-04-25 Canon Inc テーブルを調整する画像処理方法を実現するためのプログラム
JP2009188948A (ja) * 2008-02-08 2009-08-20 Canon Inc 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2018113524A (ja) 2018-07-19
JP6403811B2 (ja) 2018-10-10

Similar Documents

Publication Publication Date Title
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
JP4304623B2 (ja) 撮像装置及び撮像装置における撮像結果の処理方法
CN110447051B (zh) 在感知上保持参考场景的对比度和色度
US9392177B2 (en) Image processing device, imaging device and image processing method capable of adjusting color of an image
EP3039864B1 (en) Automatic white balancing with skin tone correction for image processing
JP5527931B2 (ja) 映像の視認性を向上させる装置及び方法
JP6006543B2 (ja) 画像処理装置および画像処理方法
KR100809540B1 (ko) 화상 처리 장치, 카메라 장치, 화소 출력 장치, 화상 처리 방법, 색 보정 처리 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
CN101151883A (zh) 显示图象处理方法、图象处理方法及装置、含图象处理装置的集成电路
US8189909B2 (en) Color temperature conversion method and apparatus having luminance correction conversion function
US20240089612A1 (en) Video processing method and apparatus, electronic device, and storage medium
CN104869380A (zh) 图像处理设备和图像处理方法
JP2009183010A (ja) 撮像装置、撮像装置のホワイトバランス処理方法、プログラム、及び記録媒体
JP4992698B2 (ja) 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
WO2023016037A1 (zh) 视频处理方法、装置、电子设备和存储介质
KR20150081153A (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
KR20210078656A (ko) 화이트 밸런스를 제공하는 방법 및 이를 지원하는 전자 장치
JP2015005927A (ja) 画像処理装置およびその制御方法
JP2002281327A (ja) 画像処理のための装置、方法及びプログラム
JP2014168120A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
CN106875356A (zh) 一种图像处理的方法及终端
JP5487737B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009004966A (ja) 撮像装置
US20240137650A1 (en) Video Processing Method and Apparatus, Electronic Device, and Storage Medium
JP6403811B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891361

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891361

Country of ref document: EP

Kind code of ref document: A1