WO2018180860A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2018180860A1
WO2018180860A1 PCT/JP2018/011339 JP2018011339W WO2018180860A1 WO 2018180860 A1 WO2018180860 A1 WO 2018180860A1 JP 2018011339 W JP2018011339 W JP 2018011339W WO 2018180860 A1 WO2018180860 A1 WO 2018180860A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
normal
image
illumination
illumination parameter
Prior art date
Application number
PCT/JP2018/011339
Other languages
English (en)
French (fr)
Inventor
有一 中田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018014019A external-priority patent/JP2018163648A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2018180860A1 publication Critical patent/WO2018180860A1/ja
Priority to US16/582,554 priority Critical patent/US11030799B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program for correcting a high luminance area of an image and imparting a desired gloss.
  • an image correction apparatus disclosed in Patent Document 1 As a method for correcting such a captured image, for example, an image correction apparatus disclosed in Patent Document 1 is known.
  • the image correction apparatus of Patent Document 1 the shine intensity is calculated based on the skin color intensity and the high luminance intensity, and the image is corrected so that the luminance value decreases as the shine intensity increases.
  • the fluctuation of the luminance value in the face area of the subject is reduced by suppressing the shine, and as a result, the corrected image Will give a flat impression. That is, the stereoscopic effect is lost in the corrected image.
  • an image creating apparatus that creates a three-dimensional effect by, for example, applying a shadow to an image without a three-dimensional effect (that is, an image in which the three-dimensional effect is impaired) is disclosed (Patent Literature). 2).
  • shadow information is generated from virtual illumination estimated based on a specified area and three-dimensional information corresponding to a captured image, and blended with the captured image to create a stereoscopic effect. ing.
  • the present invention has been made in view of the above-described conventional problems, and an object of the present invention is to generate a natural image with a stereoscopic effect after correcting a high-luminance region of an image.
  • an image processing apparatus includes a first acquisition unit that acquires normal information corresponding to an image, and an actual illumination parameter based on a high-luminance region of a subject included in the image.
  • a first setting unit that sets a virtual illumination parameter based on the actual illumination parameter, and a lighting process for the image based on the normal information and the virtual illumination parameter.
  • a lighting processing means for executing.
  • FIG. 1 is a diagram illustrating an appearance of a front surface of an imaging apparatus including an image processing apparatus according to Embodiment 1.
  • FIG. 1 is a diagram illustrating an external appearance of a back surface of an imaging apparatus including an image processing apparatus according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating an internal configuration of an imaging apparatus including an image processing apparatus according to Embodiment 1.
  • FIG. 1 is a block diagram illustrating a functional configuration of an image processing apparatus according to a first embodiment.
  • 3 is a flowchart illustrating a processing procedure in the image processing apparatus according to the first embodiment. It is a figure which shows color image data. It is a figure which shows distance image data. It is a figure which shows a face area
  • FIG. 10 is a flowchart illustrating a procedure of illumination parameter setting processing in an illumination parameter setting unit of the image processing apparatus according to the third embodiment. It is a figure which shows the highlight candidate area
  • FIG. 10 is a flowchart illustrating a processing procedure in the image processing apparatus according to the fourth embodiment. It is a figure for supplementing description of lighting processing. It is a figure before correcting the shadow and gloss of a subject in color image data. It is a figure after correcting the shadow and gloss of a subject in color image data.
  • FIG. 1A and 1B are diagrams illustrating an appearance of an imaging apparatus including the image processing apparatus according to the embodiment.
  • FIG. 1A illustrates a front surface of the imaging apparatus
  • FIG. 1B illustrates an appearance of a rear surface.
  • the imaging apparatus 101 includes an optical unit 102, an imaging button 103, a strobe 104, a distance image acquisition unit 105, a display unit 106, and an operation button 107.
  • the optical unit 102 is a lens barrel including a zoom lens, a focus lens, a shake correction lens, a diaphragm, and a shutter, and collects light information of the subject.
  • the imaging button 103 is a button for the user to instruct the imaging apparatus 101 to start imaging.
  • the strobe 104 is illumination that can emit light in accordance with the start of imaging in accordance with a user instruction.
  • the distance image acquisition unit 105 acquires distance image data of the subject according to the imaging instruction.
  • the distance image data means image data in which the subject distance corresponding to the pixel is stored as the pixel value of each pixel of the image.
  • the distance image acquisition unit 105 includes an infrared light emitting unit that emits infrared light and a light receiving unit that receives infrared light reflected on the subject. Based on the time, a distance value from the imaging device to the subject is calculated. Then, based on the calculated distance value and the distance imaging information including the number of sensor pixels and the angle of view of the light receiving unit, the position information of the subject is calculated, and the distance image data is generated. Note that the distance image data acquisition method is not necessarily limited to this. Therefore, for example, instead of the distance image acquisition unit 105, an optical system similar to the optical unit 102 is provided, and distance image data is obtained by performing triangulation based on the parallax between image data captured from two different viewpoints. It can also be acquired.
  • the display unit 106 is a display device such as a liquid crystal display that displays image data processed by the imaging device 101 and other various data. As shown in FIG. 1B, since the imaging apparatus 101 does not include an optical viewfinder, a framing operation (confirmation of focus and composition) is performed using the display unit 106. That is, since the imaging unit 101 performs imaging while checking the live view image on the display unit 106, the display unit 106 also functions as an electronic viewfinder when a framing or focusing operation is performed. In addition, the display unit 106 displays a camera setting menu and the like.
  • the operation button 107 is a button for the user to instruct the imaging apparatus 101 about operation mode switching operation of the imaging apparatus 101 and various parameters at the time of imaging.
  • the imaging apparatus 101 includes a lighting correction processing mode that corrects the degree of illumination in a captured image after imaging as one of operation modes. Therefore, the user uses the operation button 107 or the imaging button 103 to switch to the lighting correction processing mode, set the lighting parameters of the virtual lighting used for lighting correction, and further select the subject for adjusting (correcting) the lighting condition. Etc. can be performed.
  • the user when outputting the corrected image data, the user can also instruct whether or not to output distance image data.
  • the display unit 106 may have a touch screen function. In that case, a user instruction using the touch screen can be handled as an input of the operation button 107.
  • FIG. 2 is a block diagram illustrating an internal configuration of the imaging apparatus including the image processing apparatus according to the embodiment.
  • the CPU 201 is related to all of the processes of each configuration, and sequentially reads and interprets instructions stored in a ROM (Read Only Memory) 202 and a RAM (Random Access Memory) 203, and executes processes according to the interpretation results.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • ROM 202 stores a program executed by CPU 201.
  • the ROM 202 stores face normal information.
  • the face normal information includes normal image data corresponding to a face having a predetermined shape, in which normal vectors on the face surface are stored as pixel values, and organs indicating the positions of organs such as eyes, nose and mouth in the normal image data.
  • the RAM 203 stores a program executed by the CPU 201.
  • the optical system control unit 204 is a control circuit that performs control instructed to the optical unit 102 by the CPU 201 such as focusing, opening a shutter, and adjusting an aperture.
  • the control unit 205 is a control circuit that receives user instructions from the imaging button 103 and the operation button 107 and controls imaging, switching to a lighting correction processing mode, selecting a subject area, setting illumination parameters, and the like.
  • the color image sensor unit 206 is an image sensor that converts light information collected by the optical unit 102 into a current value.
  • the color imaging element unit 206 includes a color filter having a predetermined arrangement such as a Bayer arrangement, and acquires color information of the subject from the light collected by the optical unit 102.
  • the A / D conversion unit 207 is a processing circuit that converts the color information of the subject detected by the color image sensor unit 206 into a digital signal value to obtain RAW image data.
  • the image processing unit 208 performs development processing on the RAW image data acquired by the A / D conversion unit 207 to generate color image data.
  • the image processing unit 208 performs various image processing such as generating corrected image data obtained by performing lighting correction on the color image data using the color image data and the distance image data.
  • the internal configuration and function of the image processing unit 208 will be described in detail with reference to FIG.
  • the character generation unit 209 is a processing circuit that generates characters, graphics, and the like.
  • the characters and graphics generated by the character generation unit 209 are displayed on the display unit 106 so as to be superimposed on the image data, the corrected image data, and the like.
  • the encoder unit 210 converts various image data such as color image data and corrected image data generated by the image processing unit 208 into a file format such as Jpeg.
  • the media I / F 211 is an interface for transmitting / receiving image data to / from a PC / media 213 (for example, a hard disk, a memory card, a CF card, an SD card, etc.).
  • USB Universal SerialUSBBus
  • the system bus 212 is a bus for transmitting and receiving data.
  • FIG. 3 is a block diagram illustrating a functional configuration of the image processing apparatus (image processing unit 208) according to the embodiment.
  • the development processing unit 301 performs white balance processing, demosaic processing, noise reduction processing, color conversion processing, edge enhancement processing, gamma processing, and the like on the RAW image data acquired from the A / D conversion unit 207 to obtain color image data. Is generated.
  • the imaging apparatus 101 can output the color image data generated in the development processing unit 301 to the display unit 106 and display it, or can store it in a storage device such as the RAM 203 or the PC / media 213.
  • the development processing unit 301 generates color image data without performing gamma processing, and outputs the generated color image data to the lighting processing unit 307.
  • the face detection unit 302 acquires the face information of the subject from the color image data acquired from the development processing unit 301.
  • the face information of the subject includes at least information regarding a face region indicating an area occupied by the face of the subject in the color image data and an organ position indicating a position in the color image data such as eyes and mouth included in the face.
  • the distance correcting unit 303 generates corrected distance image data by correcting the distance image data based on the color image data. Specifically, the distance value missing in the distance image data, the mismatch of the contour portion, and the like are corrected.
  • the normal generation unit 304 generates subject normal image data based on the corrected distance image data generated by the distance correction unit 303. In addition, the normal generation unit 304 corrects the face normal information stored in the ROM 202 based on the face information acquired from the face detection unit 302 and the color image data acquired from the development processing unit 301. Face normal image data is generated. When the normal line generation unit 304 generates the subject normal line image data and the face normal line image data, the normal line generation unit 304 further combines (combines) these images to generate integrated normal line image data.
  • the high luminance area correction processing unit 305 calculates the luminance value of the high luminance area among the face areas of the subject specified based on the face information acquired from the face detection unit 302 in the color image data acquired from the development processing unit 301. By suppressing, high brightness area correction image data is generated. Further, the high luminance area correction processing unit 305 sets the high luminance area correction parameter based on the user operation acquired from the control unit 205 in the generation of the high luminance area correction image data, and sets the intensity of the high luminance area correction processing. decide.
  • the illumination parameter setting unit 306 sets illumination parameters based on the high brightness area of the subject in the color image data and the integrated normal image data. Specifically, the illumination parameter setting unit 306 extracts a high-luminance region of the subject by performing threshold processing as will be described later. Then, based on the actual illumination position at the time of imaging, which is estimated from the extracted normal vector of the high-luminance area of the subject, illumination parameters used in the subsequent lighting process are set. Note that, when the actual illumination position is estimated, the normal vector can be weighted based on the face information.
  • the lighting processing unit 307 performs a lighting process on the high-intensity area corrected image data based on the corrected distance image data, the integrated normal image data, and the illumination parameter, and gives a highlight to the subject. In this way, an image with a three-dimensional effect is generated by giving a highlight to the subject.
  • the imaging apparatus 101 can output and store the corrected image data generated by the lighting process to a storage device such as the RAM 203 or the PC / media 213, or can output and display the corrected image data on the display unit 106.
  • color processing such as gamma processing may be performed in advance before outputting the corrected image data.
  • FIG. 4 is a flowchart illustrating a processing procedure in the image processing apparatus (image processing unit 208) according to the embodiment.
  • the image processing unit 208 first generates integrated normal image data corresponding to the color image data.
  • the image processing unit 208 performs processing for suppressing luminance on the high luminance region of the face region of the subject specified based on the face information, and generates high luminance region corrected image data.
  • the image processing unit 208 further sets illumination parameters based on the actual illumination position at the time of imaging estimated from the normal line information of the high brightness area of the subject.
  • the image processing unit 208 generates corrected image data obtained by adding highlight to the high-luminance region corrected image data based on the integrated normal image data and the illumination parameters.
  • the development processing unit 301 generates color image data based on the RAW image data acquired from the A / D conversion unit 207 (S401).
  • the color image data is, for example, as shown in FIG. 5A, and RGB values are stored as pixel values in the pixel I (i, j) of the color image data 501, and Ir (i, j), Indicated as Ig (i, j), Ib (i, j).
  • the method of acquiring color image data is not necessarily limited to this. Therefore, for example, RAW image data stored in the RAM 203 or the PC / media 213 can be acquired, and the development processing unit 301 can generate color image data from the acquired RAW image data. Further, the color image data stored in the RAM 203 or the PC / media 213 can be directly acquired.
  • the distance correction unit 303 acquires distance image data from the distance image acquisition unit 105 (S402).
  • the distance image data is shown, for example, as shown in FIG. 5B, and the distance value from the imaging device to the subject is stored in the pixel D (i, j) of the distance image data 502.
  • the distance image data acquisition method is not necessarily limited to this. Therefore, for example, distance image data stored in the RAM 203 or the PC / media 213 can be directly acquired.
  • the image processing unit 208 acquires the state of the flag SW1 from the RAM 203, and determines whether to perform correction processing based on the state of the flag SW1. If the flag SW1 is OFF, the image processing unit 208 determines not to perform correction processing, and the process proceeds to step S404. If the flag SW1 is ON, it is determined that correction processing is to be performed, and the process proceeds to step S405.
  • the image processing unit 208 acquires the state of the flag SW2 from the RAM 203 (S404).
  • the image processing unit 208 outputs and records only the color image data to the PC / media 213 when the flag SW2 is OFF, and the color image data and the distance image data when the flag SW2 is ON.
  • the image processing unit 208 can output the image data to the display unit 106 and display it so that the user can check it. Note that the image processing unit 208 ends the process illustrated in FIG. 4 when the process in step S404 is executed.
  • the face detection unit 302 acquires face information based on the color image data 501 (S405).
  • the face information will be described with reference to FIG.
  • the face information includes a face area 601 and an organ position 602.
  • the face area is shown as a set of pixels in the area including the face in the image data.
  • the organ position 602 is shown as coordinates corresponding to eyes, nose, mouth, etc. in the face area. It should be noted that reliability is set for each of the face region 601 and the organ position 602, and it is assumed that the higher the reliability, the higher the possibility that accurate position information can be acquired.
  • Existing algorithms can be applied to the detection method of the face area and organ position.
  • existing algorithms there are an algorithm using template matching, an algorithm using Haar-Like feature, and the like.
  • the face region / organ position is detected by applying template matching.
  • a skin color region is extracted as a face candidate region by performing threshold processing on color image data.
  • matching processing is performed on the face candidate regions, and likelihood is calculated.
  • a determination process of whether or not the face area is performed is performed, and the face area is extracted.
  • matching processing is similarly performed on the extracted face region using an eye, nose, and mouth image template to calculate the likelihood.
  • the reliability of the face area / organ position is calculated based on the likelihood.
  • the distance correction unit 303 corrects the distance image data (S406). Specifically, since the distance image data may include pixels with missing distance values, the distance correction unit 303 complements them based on the distance values of surrounding pixels. Further, the distance correction unit 303 corrects these regions by performing a smoothing process using the color image data as a reference image because there may be a portion that does not match the color image data in the contour portion or the like. In the smoothing process, a joint bilateral filter using color image data as a reference image can be applied. The distance correction unit 303 generates corrected distance image data by applying the above processing to the distance image data.
  • the normal generation unit 304 generates integrated normal image data corresponding to the color image data (S407).
  • the normal generator 304 first generates subject normal image data based on the corrected distance image data.
  • the normal generation unit 304 generates face normal image data based on the face information and the face normal information.
  • integrated normal image data is generated by integrating the generated subject normal image data and face normal image data. Details of the integrated normal image data generation processing will be described later.
  • the high luminance area correction processing unit 305 generates high luminance area correction image data by suppressing the luminance value of the high luminance area in the face area of the subject in the color image data (S408). The details of the high luminance area correction process will be described later.
  • the illumination parameter setting unit 306 sets illumination parameters based on the high brightness area of the subject in the color image data and the integrated normal image data (S409). Details of the illumination parameter setting process will be described later.
  • the lighting processing unit 307 Based on the corrected distance image data, the integrated normal image data, and the illumination parameters, the lighting processing unit 307 generates corrected image data in which a highlight is applied to the subject in the high brightness area corrected image data (S410). . Details of the lighting process will be described later.
  • the lighting processing unit 307 determines whether or not to end the correction processing based on the user operation acquired from the control unit 205 (S411). If the correction process is to be terminated, the process proceeds to step S412. If the correction process is not to be terminated, the process proceeds to step S408, and the high luminance correction process and the lighting process are performed again.
  • the lighting processing unit 307 acquires the state of the flag SW2 from the RAM 203 and outputs various data based on the state of the flag SW2 (S412).
  • the lighting processing unit 307 outputs the corrected image data and color image data to the PC / media 213 when the flag SW2 is OFF, and the corrected image data, color image data, and distance image data when the flag SW2 is ON. Record. Thereafter, the image processing unit 208 ends the process shown in FIG.
  • normal image data generation processing Here, the normal image data generation processing executed by the normal generation unit 304 in step S407 will be described.
  • the normal generation unit 304 first generates subject normal image data based on the corrected distance image data acquired from the distance correction unit 303.
  • the normal generation unit 304 generates face normal image data based on the face normal information and face organ normal information acquired from the ROM 202.
  • the normal generation unit 304 further integrates the images to generate integrated normal image data.
  • FIG. 7 is a flowchart showing a normal image data generation processing procedure in the normal generation unit 304.
  • the normal generation unit 304 generates subject normal image data based on the corrected distance image data (S701).
  • a three-dimensional coordinate value is calculated for each pixel based on the two-dimensional coordinate value of each pixel in the corrected distance image data and the distance value stored in each pixel.
  • the normal line generation unit 304 calculates a normal vector corresponding to each pixel based on the three-dimensional coordinate values.
  • a method for calculating a normal vector there are a method of calculating based on a gradient calculated from a three-dimensional coordinate value, and a method of applying a plane to each pixel and calculating a normal in the plane as a normal vector.
  • the normal vector is calculated by the latter method.
  • the procedure for calculating the normal vector will be described in detail.
  • the three-dimensional coordinate values of a pixel for which a normal vector is to be calculated and a pixel located in the vicinity thereof are (x0, y0, z0),..., (Xn ⁇ 1, yn ⁇ 1, zn ⁇ 1). ).
  • the x coordinate value is obtained based on the horizontal coordinate value of the two-dimensional coordinate value
  • the y coordinate value is obtained based on the vertical coordinate value of the two-dimensional coordinate value.
  • the z coordinate value is obtained based on the distance value.
  • Equation 1 a, b, and c can be calculated by the following equations. Further, i shown in the mathematical expression is shown as a pixel index value.
  • the normal vector at the target pixel is calculated. Then, the same processing is executed for each pixel in the image data, and the normal vector is calculated to generate subject normal image data. That is, the subject normal image data is shown as image data in which normal vectors (Nx (i, j), Ny (i, j), Nz (i, j)) are stored in the pixel (i, j). .
  • FIG. 8A and 8B are diagrams showing an outline of the subject normal line image data generation process.
  • FIG. 8A shows the corrected distance image data 801
  • FIG. 8B shows the normal vector calculated according to the above method. It is a figure which shows the to-be-photographed object normal image data 802.
  • FIG. 8A shows the corrected distance image data 801
  • FIG. 8B shows the normal vector calculated according to the above method. It is a figure which shows the to-be-photographed object normal image data 802.
  • FIGS. 9A and 9B are diagrams showing an outline of the face normal image data generation processing, FIG. 9A shows the face normal information and face normal organ position information stored in the ROM 202, and FIG. 9B shows the face normal information.
  • transforms is shown as the example.
  • the face normal information 901 shown in FIG. 9A is image data that holds face normal information generated based on a general face shape as a pixel value, and a pixel (i, j) corresponding to the face area. Each element of a normal vector is stored as a pixel value. A value indicating that there is no normal vector is stored in the pixels other than the face region, and thereby, the face region and the region other than the face region are discriminated based on the pixel value (that is, the normal vector). be able to.
  • the face normal organ position information 902 corresponds to face organs such as eyes, nose, and mouth.
  • the normal generation unit 304 converts the face normal information to the subject in the color image data based on the organ position 602 of the subject included in the color image and the face normal organ position information 902 included in the face normal information. A deformation parameter for deforming together is calculated.
  • affine transformation for example, affine transformation, projective transformation, or the like can be applied as a method for transforming face normal information.
  • the face normal information 901 is converted using the affine transformation shown in Formula 4.
  • the transformation parameters correspond to the coordinates of the right eye, left eye, nose, and mouth of the organ position 602 and the face normal organ position information 902, respectively.
  • it can be calculated by applying a least square method or the like.
  • the normal generation unit 304 deforms the face normal information 901 based on the calculated deformation parameter, and generates face normal image data 903, as indicated by reference numeral 903 in FIG. 9B.
  • face normal image data 903 a value indicating that there is no normal information in pixels other than the face area is stored as a pixel value.
  • the normal generation unit 304 generates the integrated normal image data by integrating the subject normal image data and the face normal image data (S703).
  • the normal generation unit 304 overwrites the subject normal image data 802 and the pixel values of the pixels having the normal information of the face normal image data 903 on the subject normal image data 802, so that the subject normal image data 802 and the face normal image are displayed.
  • Data 903 is synthesized.
  • a smoothing process using the color image data 501 as a reference image is executed on the normal image data 1001 that is the synthesis result.
  • the smoothing process is executed by applying a joint bilateral filter or the like using the color image data 501 as a reference image to each pixel of the normal image data 1001.
  • the normal line generation unit 304 performs the normalization process so that the size of the normal vector at each pixel becomes 1.
  • the normal generator 304 generates the integrated normal image data 1002 by executing the above processing.
  • an image obtained by integrating the subject normal image data 802 based on the corrected distance image data and the face normal image data 903 based on the face information is used as normal image data (that is, integrated normal image data 1002).
  • the normal image data is not necessarily limited to this. Therefore, instead of the integrated normal image data 1002, for example, the subject normal image data 802 based on the corrected distance image data is used as the normal image data, or the face normal image data 903 based on the face information is used as the normal image. It can also be used as data.
  • the high brightness area correction process executed by the high brightness area correction processing unit 305 in step S408 will be described.
  • the high luminance area correction processing in step S408 the high luminance area correction processing unit 305 suppresses the luminance value of the high luminance area in the face area of the subject specified based on the face information in the color image data. Then, high brightness area correction image data is generated. Specifically, the high luminance area correction processing unit 305 corrects the pixel value so that the pixels in the high luminance area are close to the skin color.
  • the high luminance area correction processing unit 305 extracts a frequently used color as the face color of the subject from the pixel values of the pixels included in the face area 601 of the color image data 501.
  • the high brightness area correction processing unit 305 calculates a complementary color based on the extracted face color.
  • the high brightness area correction processing unit 305 calculates the complementary color based on the face color, the higher the area near the center of the face area, as shown in FIG. 11B, the weight becomes 0 in areas other than the face area.
  • a weight map 1101 is generated based on the face area 601.
  • the weight map 1101 indicates the degree of correction of each pixel in the correction process, and it is assumed that a pixel having a larger weight is subjected to stronger correction.
  • the high brightness area correction processing unit 305 generates high brightness area corrected image data I ′ according to the following formula (Formula 5) based on the complementary color U of the face color and the weight map w.
  • Ir, Ig, and Ib are pixel values of the color image data I
  • I′r, I′g, and I′b are pixel values of the high brightness area corrected image data I ′
  • Y is the color image data.
  • the luminance value of I, t is a parameter that controls the degree of correction.
  • the weight g is set as a function that increases as the luminance value Y increases. That is, with the weight g, it is possible to apply stronger correction to a pixel having a larger luminance value.
  • the parameter t and the weight g that control the correction degree can also be set based on a user operation.
  • the correction process (correction method) for the high luminance region is not necessarily limited to the above process. Therefore, for example, after extracting a high luminance area based on the luminance value, the high luminance area can be corrected to a color similar to the pixel values of the pixels around the high luminance area.
  • the high-intensity region correction image 1102 corrected by the high-intensity region correction processing unit 305 is shown as in FIG. 11C.
  • the illumination parameter setting process executed by the illumination parameter setting unit 306 in step S409 will be described.
  • the illumination parameter setting unit 306 sets the illumination direction (posture) included in the illumination parameter based on the high brightness area of the subject in the color image data 501 and the integrated normal image data. . That is, the illumination parameter setting unit 306 functions as virtual illumination parameter setting means.
  • the illumination parameter setting unit 306 first extracts a high luminance area from the color image data 501 (S1201). For example, the illumination parameter setting unit 306 obtains a high luminance region by applying threshold processing based on luminance values to color image data and extracting only pixels having luminance values larger than a predetermined threshold. Note that the illumination parameter setting unit 306 can also extract a high luminance area based on the difference between the color image data 501 and the high luminance area corrected image data.
  • the high brightness region 1301 extracted from the color image data 501 by the illumination parameter setting unit 306 is shown as 1301 in FIG. 13A.
  • the illumination parameter setting unit 306 estimates the direction of actual illumination with respect to the subject based on the high brightness area 1301 and the integrated normal image data 1002 (S1202).
  • the direction of the actual illumination is estimated based on the normal vector of the pixels included in the high luminance area 1301 extracted from the integrated normal image data 1002 as shown in FIG. 13B. More specifically, the illumination parameter setting unit 306 averages the normal vectors of the pixels included in the high luminance region 1301 of the integrated normal image data 1002, and further calculates an inverse vector of the averaged vector as an actual illumination parameter ( Specifically, it is estimated as the actual lighting direction U ′).
  • step S1202 instead of averaging the normal vectors of the pixels included in the high luminance region 1301, the direction of the actual illumination can be estimated using a normal vector having a high frequency. By estimating the direction of actual illumination in this way, it is possible to reduce the influence of a small number of normal vectors that are clearly directed in different directions.
  • the illumination parameter setting unit 306 after estimating the actual illumination direction U 'in step S1202, sets the virtual illumination direction U based on the actual illumination direction U' (S1203).
  • the virtual illumination direction U ′ is weighted by the preset target illumination parameter U ′′ (specifically, the target illumination direction U ′′), and the virtual illumination direction U ′ is calculated. Set the lighting direction U.
  • w ′ is a weight of the target illumination direction U ′′, and is set so that the virtual illumination direction U is not separated from the actual illumination direction U ′ by a predetermined angle or more (so as not to open). Accordingly, the weight w ′ of the target illumination direction U ′′ is increased by an angle ⁇ formed by the direction U ′ from the irradiation target pixel to the actual illumination and the direction U ′′ from the irradiation target pixel to the target illumination. According to the above, it may be set to be small.
  • FIGS. 13D and 13E show a case where the angle ⁇ formed by the actual illumination direction U ′ and the target illumination direction U ′′ is larger than a predetermined angle.
  • the weight w of the target illumination direction U ′′ 'Is set to a value smaller than 1 (that is, the direction U of the virtual illumination is adjusted based on the direction U of the actual illumination).
  • the virtual illumination direction U and the actual illumination direction U are reduced.
  • the angle ⁇ formed with the lighting direction U ′ is limited so as not to exceed a certain value.
  • the weight w ′ of the target illumination direction U ′′ is: For example, it can be set like the following formula (Formula 7).
  • the weight w ′ of the target illumination direction U ′′ is set according to the angle ⁇ formed by the actual illumination direction U ′ and the target illumination direction U ′′. Specifically, when the angle ⁇ is larger than the predetermined angle ⁇ th , the weight w ′ of the target illumination direction U ′′ is set smaller as the angle ⁇ increases.
  • the angle ⁇ formed by the illumination direction U ′ is a constant angle ⁇ th (FIGS. 13D and 13E).
  • the angle ⁇ formed by the actual illumination direction U ′ and the target illumination direction U ′′ is a predetermined angle ⁇ . In the case of th or less, the angle ⁇ formed by the virtual illumination direction U and the actual illumination direction U ′ is the angle ⁇ (FIG. 13C).
  • the virtual illumination direction can be changed by changing the angle by a predetermined value with respect to the estimated actual illumination direction U ′ without using the target illumination direction U ′′. Therefore, for example, a direction obtained by correcting the direction of the normal vector so as to illuminate from above is set as the virtual illumination direction U based on the estimated actual illumination direction U ′.
  • the actual illumination direction U ′ can be set based on the strobe position, for example, the strobe is arranged as shown in FIG. In this case, the direction substantially parallel to the optical axis of the imaging device can be set as the actual illumination direction U ′, and in this case, the processing in steps S1201 and S1202 is omitted. It is possible.
  • the lighting processing unit 307 corrects the corrected image data in which highlighting is applied to the subject in the high brightness region corrected image data based on the corrected distance image data, the integrated normal image data, and the illumination parameter. Is generated.
  • the virtual illumination direction U, intensity ⁇ , and light source color L are set as illumination parameters, and corrected image data I ′′ is generated according to the following equation (Equation 8).
  • I ′′ r, I ′′ g, and I ′′ b are pixel values of the corrected image data I ′′, and Lrm, Lgm, and Lbm are the colors of the mth illumination.
  • s is a value indicating the intensity of glossiness due to virtual illumination, and can be calculated according to the existing Blin-Phong model, Torrance-Sparrow model representing specular reflection, and the like, for example, expressed by the following formula (formula 9).
  • Equation 9 ⁇ is a specular reflectance
  • c is a parameter indicating gloss spread.
  • the gloss changes sensitively with respect to the shape represented by the normal vector N.
  • H is a half vector
  • the unit vector V is directed from the position P of the pixel (i, j) to the virtual illumination, and the position P is directed to the position C corresponding to the imaging device 101.
  • the average vector with the unit vector E is normalized to size 1.
  • the unit vector V is an inverse vector of the direction U of the virtual illumination.
  • corrected image data 1501 obtained by adding highlight to a subject by the process shown in step S410 is shown in FIG. Also, this lighting process can be executed by limiting the application range of the process to the periphery of the face based on the face area 601.
  • a high-luminance area of a subject generated by illumination at the time of imaging is corrected, and gloss is given to the subject by virtual illumination, thereby providing a stereoscopic effect.
  • An image can be generated.
  • Embodiment 2 In the first embodiment described above, the direction of the actual light source is estimated based only on the normal vector included in the high-luminance region. However, in the present embodiment, the normal vector is based on the reliability of the normal map. The direction of the actual light source is estimated by executing weighting. That is, in the present embodiment, the process of estimating the actual illumination direction is different from the process of the first embodiment, and the illumination parameter setting unit 306 includes a reliability setting unit that sets the reliability.
  • weighting is performed on a normal vector with high reliability so that a large weight is assigned based on a weight map 1601 corresponding to integrated normal image data as shown in FIG. Then, the normal vectors included in the high luminance region are weighted and averaged, and the inverse vector of the weighted average vector is estimated as the actual illumination direction U ′.
  • the weight map 1601 is created based on the face map, organ position, etc. included in the distance map and face information.
  • the reliability is set to 4 levels, the area around the organ position, the face area other than the periphery of the organ position, and the vicinity area of the face area (that is, the area within a predetermined range near the face area) ), The reliability is set higher in the order of other areas.
  • the reliability of the face region and the organ position can be changed according to the reliability at the time of detection. Therefore, for example, when the credibility corresponding to the organ position of the mouth is low, only the peripheral area of the mouth can be set to a weight smaller than that of other organ positions and set to the same weight as the face area.
  • the color image data can be referred to and weighted so that a normal vector having a higher luminance value is set with a larger weight.
  • weighting in this way it is possible to preferentially use the normal vector of a pixel with a large luminance value that is considered to be facing the direction of the light source, so that a more probable illumination direction can be acquired.
  • the direction of the real light source can be estimated while reducing the influence of the normal vector having low reliability.
  • Embodiment 3 In the above-described embodiment, a predetermined value is set in advance for the target illumination direction U ′′. In this embodiment, the value of U ′′ is calculated based on the integrated normal image data and the highlight candidate region. That is, in this embodiment, the illumination parameter setting process in S409 is different from the process in the above-described embodiment.
  • FIG. 17 is a flowchart illustrating a procedure of illumination parameter setting processing according to the third embodiment.
  • the illumination parameter setting unit 306 calculates a target illumination direction U ′′ based on the integrated normal image data and the highlight candidate region (S1701). Note that the illumination parameter setting unit 306 sets the highlight candidate region for the highlight.
  • a light candidate area setting unit is provided, and in this embodiment, the highlight candidate area is set based on the organ position.
  • FIG. 18 is a diagram showing the highlight candidate area 1801 as an example.
  • a highlight candidate region a region effective for showing a face in three dimensions is preferentially set based on the organ position. Therefore, for example, as shown in FIG. 18, as highlight candidate regions, based on the nasal muscle region set based on the nasal organ position, the jaw region set based on the mouth organ position, and the organ position of the eye For example, the set heading area. Then, normal vectors included in these highlight candidate regions are averaged from the integrated normal image data, and an inverse vector of the averaged vectors is calculated as a target illumination direction U ′′.
  • the highlight candidate area can be set in advance or selected from a plurality of areas based on a user operation. Further, the processing from step S1702 to step S1704 is the same processing as the processing described in the first embodiment. By calculating the target illumination direction U ′′ through the above processing, it is possible to give a highlight to a preferred position according to the subject.
  • the high-intensity region correction processing unit 305 executes high-intensity correction processing to correct the high-intensity region of the subject.
  • the lighting process is executed by the lighting processing unit 307, thereby correcting the high-luminance area of the subject and applying a highlight.
  • FIG. 19 is a flowchart showing a processing procedure in the image processing apparatus (image processing unit 208) according to the present embodiment. As shown in FIG. 19, the flowchart is different from the flowchart shown in FIG. 4 (that is, a flowchart showing a processing procedure in the image processing apparatus according to the first embodiment) in that the high brightness area correction process is not executed. Further, as described above, the processing content of the lighting processing S1909 is different. Other processes are the same as those shown in FIG.
  • Lighting processing Here, the lighting process executed by the lighting processing unit 307 in step S1909 will be described. Specifically, as lighting processing, processing for generating corrected image data in which highlights are corrected for a subject in color image data based on corrected distance image data, integrated normal image data, and illumination parameters will be described. .
  • virtual illumination direction U, intensity ⁇ , light source color L, and actual illumination direction U ′, intensity ⁇ ′, and light source color L ′ ′ are set as illumination parameters.
  • a plurality of these parameters can be set, and can be set according to the number m of virtual illuminations and the number n of real light sources.
  • the effect of the virtual illumination corresponding to the direction U of the virtual illumination, the intensity ⁇ , and the light source color L is added to the color image data, and the virtual corresponding to the direction U ′ of the actual illumination, the intensity ⁇ ′, and the light source color L ′.
  • Corrected image data is generated by subtracting the illumination effect.
  • the corrected image data I ′′ is generated according to the following formula (Formula 10).
  • S + is an additive gloss component, and is represented by the following formula (Formula 11).
  • Formula 11 By adding S + to the color image data, appropriate gloss can be imparted to the subject.
  • the number m of virtual illuminations corresponds to the number of virtual illuminations to be added.
  • S ⁇ is a subtractive gloss component, which is represented by the following formula (Formula 12).
  • the direction of the virtual illumination A is U
  • the direction of the virtual illumination B is U ′.
  • the direction U ′ of the virtual illumination B corresponds to the direction of the actual light source.
  • Sm is a value indicating the intensity of gloss based on the direction U of the virtual illumination. Specifically, sm is calculated according to Equation 9 based on the half vector H obtained from the inverse vector V of U and the unit vector E, and the normal vector N. Further, in the present embodiment, the added gloss component S + is calculated based on sm.
  • S′n is a value indicating the intensity of gloss based on the actual lighting direction U ′.
  • s′n is calculated according to Equation 9 based on the half vector H ′ obtained from the inverse vector V ′ of U ′ and the unit vector E and the normal vector N.
  • the subtractive gloss component S ⁇ is calculated based on s′n.
  • the subtractive gloss component S ⁇ corresponding to the gloss component by the actual light source at the time of shooting is subtracted from the color image data, thereby correcting the high luminance area due to the gloss at the time of shooting.
  • the image processing apparatus According to the image processing apparatus according to the present embodiment, it is possible to generate a three-dimensional image by correcting the high-intensity region of the subject and adding gloss to the subject by lighting processing. .
  • Embodiment 5 In the above-described embodiment, only the high luminance region (that is, gloss) of the subject is corrected. In this embodiment, not only the gloss of the subject but also the shadow is corrected. In the present embodiment, the content of Expression 10 is different from that in the fourth embodiment. Specifically, the corrected image data I ′′ is generated according to the following formula (Formula 13).
  • I ′ ′′ is a value obtained by subtracting the subtracted gloss component S ⁇ from the color image data, and is expressed as Equation 14.
  • T + is an added shadow component, and is represented by the following formula (Formula 15).
  • T ⁇ is a subtracted shadow component, which is represented by the following formula (Formula 16).
  • tm and tn are values indicating the intensity of the shadow due to virtual illumination, and can be calculated according to the following formula (Formula 17), for example, according to an existing Phong model indicating diffuse reflection.
  • ⁇ is a parameter indicating diffuse reflectance.
  • tm is a value indicating the intensity of the shadow based on the direction U of the virtual illumination. Specifically, tm is calculated according to Equation 17 based on the inverse vector V of U and the normal vector N. In the present embodiment, as described above, the added shadow component T + is calculated based on tm.
  • Tn is a value indicating the intensity of the shadow based on the actual lighting direction U ′. Specifically, tn is calculated according to Equation 17 based on the inverse vector V ′ of U ′ and the normal vector N. In the present embodiment, as described above, the subtraction shadow component T ⁇ is calculated based on tn.
  • the gloss and shadow due to the actual light source are removed as the subtraction gloss component S ⁇ and the subtraction shadow component T ⁇ , and the gloss and shadow due to the virtual illumination are added as the addition gloss component S + and the addition shadow component T +. .
  • the shadow and gloss of the subject in the color image data 2101 can be corrected like the corrected image data 2102 as shown in FIGS. 21A and 21B.
  • the processing for correcting the high luminance area is performed by the lighting processing unit 307.
  • the high luminance area is corrected by the high luminance area correction processing unit 305 as in the first to third embodiments. May be.
  • I ′ ′′ calculated by Expression 14 may be replaced with I ′ calculated by Expression 5.
  • the image processing apparatus According to the image processing apparatus according to the present embodiment, it is possible to generate a three-dimensional image by correcting the gloss and shadow of the subject.
  • the present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus are provided. It can also be realized by a process of reading and executing a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像の高輝度領域を補正した上で、立体感のある自然な画像を生成する。本発明の画像処理装置は画像に対応する法線情報を取得する第１の取得手段と、画像に含まれる被写体の高輝度領域に基づいて、実照明パラメータを推定する推定手段と、実照明パラメータに基づいて、仮想照明パラメータを設定する第１の設定手段と、法線情報と仮想照明パラメータに基づいて、画像に対して、ライティング処理を実行するライティング処理手段とを備える。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像の高輝度領域を補正し、所望の光沢を付与する画像処理装置、画像処理方法及びプログラムに関する。
　屋外で写真や映像を撮像する場合、太陽光と被写体の位置関係によっては被写体の顔等で光が強く反射することになり、結果、テカリ（即ち、肌が光って見える状態）が発生することになる。また、屋内でストロボ等の照明機材を用いて撮像する場合も、照明光の強さや向きを適切に調整しないと、同様にテカリが発生することになり、詰まるところ、撮像画像は好ましくない写真写りとなる。
　このような撮影画像を補正する方法として、例えば、特許文献１の画像補正装置が知られている。特許文献１の画像補正装置では、肌の色強度と高輝度強度に基づいてテカリ強度を算出し、テカリ強度が高いほど輝度値が下がるように、画像を補正している。但し、特許文献１に示されるような、テカリの強度に応じて輝度値を下げる処理では、テカリを抑制することで、被写体の顔領域における輝度値の変動が小さくなり、結果、補正された画像は平坦な印象を与えることになる。即ち、補正された画像において、立体感が損なわれることになる。
　そこで、このように、立体感がない画像（即ち、立体感が損なわれた画像）に対して、例えば、陰影を付与することで、立体感を作り出す画像作成装置が開示されている（特許文献２）。この特許文献２の画像作成装置では、指定された領域に基づいて推定した仮想照明と、撮像画像に対応する３次元情報から陰影情報を生成し、撮像画像とブレンドすることで、立体感を作り出している。
：特開２００５－３２７００９号公報 ：特開２０１３－２３５５３７号公報
　しかしながら、特許文献２の画像作成装置では、仮想照明を設定する上で、実光源の向きが考慮されていない。そのため、仮想照明の向きと実光源の向きとが大きく異なる場合には、光沢及び陰影が実光源で照らした場合と大きく異なる位置に付されることになり、不自然な画像が作成される可能性がある。
　本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、画像の高輝度領域を補正した上で、立体感のある自然な画像を生成することである。
　上記目的を達成するために、本発明の画像処理装置は、画像に対応する法線情報を取得する第１の取得手段と、前記画像に含まれる被写体の高輝度領域に基づいて、実照明パラメータを推定する推定手段と、前記実照明パラメータに基づいて、仮想照明パラメータを設定する第１の設定手段と、前記法線情報と前記仮想照明パラメータに基づいて、前記画像に対して、ライティング処理を実行するライティング処理手段とを備えることを特徴とする。
　本発明によれば、画像の高輝度領域を補正した上で、立体感のある自然な画像を生成することができる。
　本発明の更なる特徴は、添付の図面を参照して行う以下の実施形態の説明より明らかになる。
実施形態１に係る画像処理装置を備えた撮像装置の前面の外観を示す図である。 実施形態１に係る画像処理装置を備えた撮像装置の背面の外観を示す図である。 実施形態１に係る画像処理装置を備えた撮像装置の内部構成を示すブロック図である。 実施形態１に係る画像処理装置の機能構成を示すブロック図である。 実施形態１に係る画像処理装置における処理の手順を示すフローチャートである。 カラー画像データを示す図である。 距離画像データを示す図である。 顔領域と器官位置を示す図である。 法線生成部における法線画像データ生成処理の手順を示すフローチャートである。 補正距離画像データを示す図である。 被写体法線画像データを示す図である。 顔法線情報および顔法線器官位置情報を示す図である。 顔法線情報を変形する処理を示す図である。 法線画像データ統合処理の概要を示す図である。 高輝度領域補正処理の概要を示す図である。 高輝度領域補正処理の概要を示す図である。 高輝度領域補正処理の概要を示す図である。 照明パラメータ設定部における照明パラメータ設定処理の手順を示すフローチャートである。 カラー画像データから抽出した高輝度領域を示す図である。 統合法線画像データにおける高輝度領域を示す図である。 目標照明の向きの重みの設定を説明するための図である。 目標照明の向きの重みの設定を説明するための図である。 目標照明の向きの重みの設定を説明するための図である。 ライティング処理の概要を示す図である。 ライティング処理の概要を示す図である。 補正画像データを示す図である。 実施形態２に係る画像処理装置で用いる重みマップを示す図である。 実施形態３に係る画像処理装置の照明パラメータ設定部における照明パラメータ設定処理の手順を示すフローチャートである。 実施形態３に係る画像処理装置で用いるハイライト候補領域を示す図である。 実施形態４に係る画像処理装置における処理の手順を示すフローチャートである。 ライティング処理の説明を補足するための図である。 カラー画像データにおいて、被写体の陰影や光沢を補正する前の図である。 カラー画像データにおいて、被写体の陰影や光沢を補正した後の図である。
（撮像装置の外観）
　図１Ａ及び図１Ｂは、実施形態に係る画像処理装置を備えた撮像装置の外観を示す図であり、図１Ａは撮像装置の前面、図１Ｂは背面の外観を各々、示している。撮像装置１０１は、光学部１０２、撮像ボタン１０３、ストロボ１０４、距離画像取得部１０５、表示部１０６、及び操作ボタン１０７を備える。
　光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、及びシャッターによって構成される鏡筒であり、被写体の光情報を集光する。撮像ボタン１０３は、ユーザが撮像の開始を撮像装置１０１に指示するためのボタンである。ストロボ１０４は、ユーザの指示に従って、撮像の開始に合わせて発光させることができる照明である。距離画像取得部１０５は、撮像指示に応じて被写体の距離画像データを取得する。ここで、距離画像データとは、画像の各画素の画素値として、その画素に対応する被写体距離を格納した画像データのことを意味する。
　距離画像取得部１０５は、赤外光を発光する赤外発光部と、被写体に反射した赤外光を受光する受光部とを備え、発光した赤外光が被写体に反射し、受光するまでの時間に基づいて、撮像装置から被写体までの距離値を算出する。そして、算出した距離値と受光部のセンサ画素数や画角等を含む距離撮像情報に基づいて、被写体の位置情報を算出し、距離画像データを生成する。なお、距離画像データの取得方法は、必ずしもこれに限られない。したがって、例えば、距離画像取得部１０５の代わりに光学部１０２と同様の光学系を設け、異なる２つの視点から撮像された画像データ間の視差に基づいて、三角測量を行うことにより距離画像データを取得することもできる。
　表示部１０６は、撮像装置１０１にて処理された画像データや他の各種データを表示する、液晶ディスプレイ等の表示装置である。なお、図１Ｂに示すように、撮像装置１０１は光学ファインダを備えていないので、フレーミング操作（ピントや構図の確認）は表示部１０６を用いて行われる。即ち、撮像装置１０１に関して、表示部１０６においてライブビュー画像を確認しながら撮像が行われるので、フレーミングやフォーカシングの操作が行われるとき、表示部１０６は、電子ファインダとしても機能する。その他、表示部１０６では、カメラ設定メニュー等も表示する。
　操作ボタン１０７は、撮像装置１０１の動作モードの切り換え操作や、撮像時の各種パラメータ等をユーザが撮像装置１０１に指示するためのボタンである。なお、撮像装置１０１は、動作モードの一つとして、撮像された画像における照明の当たり具合を撮像後に補正するライティング補正処理モードを備える。そのため、ユーザは、操作ボタン１０７又は撮像ボタン１０３を用いて、ライティング補正処理モードへの切り替え、ライティング補正に用いる仮想照明の照明パラメータの設定、さらに照明の当たり具合を調整（補正）する被写体の選択等を行うことができる。また、ユーザは補正された画像データを出力する際に、距離画像データを出力するか否か等の指示をすることもできる。その他、表示部１０６は、タッチスクリーン機能を備えていてもよく、その場合、タッチスクリーンを用いたユーザ指示を操作ボタン１０７の入力として扱うことも可能である。
（撮像装置の内部構成）
　図２は、実施形態に係る画像処理装置を備えた撮像装置の内部構成を示すブロック図である。ＣＰＵ２０１は、各構成の処理の全てに関わり、ＲＯＭ（Read Only Memory）２０２や、ＲＡＭ（Random Access Memory）２０３に格納された命令を順に読み込み、解釈し、その解釈結果に従って処理を実行する。
　ＲＯＭ２０２は、ＣＰＵ２０１により実行されるプログラムを記憶する。なお、本実施形態において、ＲＯＭ２０２は、顔法線情報を格納しているものとする。顔法線情報は、所定の形状の顔に対応する、顔表面における法線ベクトルを画素値に格納した法線画像データと、法線画像データにおける目・鼻・口等の器官位置を示す器官位置情報とを含む。ＲＡＭ２０３は、ＣＰＵ２０１により実行されるプログラムを記憶する。
　光学系制御部２０４は、光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整する等のＣＰＵ２０１から指示された制御を行う制御回路である。制御部２０５は、撮像ボタン１０３や操作ボタン１０７からのユーザ指示を受取り、撮像、ライティング補正処理モードへの切り換え、被写体領域の選択、照明パラメータの設定等の制御を行う制御回路である。カラー撮像素子部２０６は、光学部１０２にて集光された光情報を電流値に変換する撮像素子である。カラー撮像素子部２０６は、ベイヤ配列等の所定の配列を有するカラーフィルタを備え、光学部１０２において集光された光から被写体の色情報を取得する。
　Ａ／Ｄ変換部２０７は、カラー撮像素子部２０６において検知された被写体の色情報をデジタル信号値に変換し、ＲＡＷ画像データとする処理回路である。なお、本実施形態では、同時刻に撮像した距離画像データとＲＡＷ画像データを取得できるものとする。画像処理部２０８は、Ａ／Ｄ変換部２０７で取得されたＲＡＷ画像データに対して現像処理を行い、カラー画像データを生成する。また、画像処理部２０８は、カラー画像データや距離画像データを用いて、カラー画像データにライティング補正を施した補正画像データを生成する等の各種画像処理を実行する。なお、画像処理部２０８の内部構成及び機能は、後述の図３を用いて詳述する。
　キャラクタージェネレーション部２０９は、文字やグラフィック等を生成する処理回路である。キャラクタージェネレーション部２０９により生成された文字やグラフィックは、表示部１０６において、画像データや補正画像データ等に重畳して表示される。エンコーダ部２１０は、画像処理部２０８において生成されたカラー画像データや補正画像データ等の各種画像データをＪｐｅｇ等のファイルフォーマットに変換する。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード等）に、画像データを送受信するためのインタフェースである。メディアＩ／Ｆ２１１としては、例えば、ＵＳＢ（Universal Serial Bus）等が用いられる。システムバス２１２は、データを送受信するためのバスである。
（画像処理部の内部構成）
　図３は、実施形態における画像処理装置（画像処理部２０８）の機能構成を示すブロック図である。現像処理部３０１は、Ａ／Ｄ変換部２０７から取得したＲＡＷ画像データに対して、ホワイトバランス処理、デモザイク処理、ノイズリダクション処理、色変換処理、エッジ強調処理及びガンマ処理等を施し、カラー画像データを生成する。なお、撮像装置１０１は、現像処理部３０１において生成されたカラー画像データを表示部１０６に出力して表示することや、ＲＡＭ２０３、ＰＣ／メディア２１３等の記憶装置に記憶することができる。また、本実施形態において、現像処理部３０１は、ガンマ処理を施すことなく、カラー画像データを生成し、その生成したカラー画像データをライティング処理部３０７に出力する。
　顔検出部３０２は、現像処理部３０１より取得したカラー画像データから被写体の顔情報を取得する。なお、被写体の顔情報には、カラー画像データにおいて被写体の顔が占める領域を示す顔領域と、顔に含まれる目や口等のカラー画像データにおける位置を示す器官位置とに関する情報が少なくとも含まれる。距離補正部３０３は、カラー画像データに基づいて、距離画像データを補正することで、補正距離画像データを生成する。具体的には、距離画像データにおける距離値の欠損や、輪郭部の不一致等を補正する。
　法線生成部３０４は、距離補正部３０３において生成された補正距離画像データに基づいて、被写体法線画像データを生成する。また、法線生成部３０４は、顔検出部３０２より取得した顔情報と、現像処理部３０１より取得したカラー画像データとに基づいて、ＲＯＭ２０２に格納された顔法線情報を補正することで、顔法線画像データを生成する。法線生成部３０４は、被写体法線画像データと顔法線画像データを生成すると、さらに、それらの画像を統合（合成）することで、統合法線画像データを生成する。
　高輝度領域補正処理部３０５は、現像処理部３０１より取得したカラー画像データにおいて、顔検出部３０２より取得した顔情報に基づいて特定された被写体の顔領域のうち、高輝度領域の輝度値を抑制することで、高輝度領域補正画像データを生成する。また、高輝度領域補正処理部３０５は、高輝度領域補正画像データの生成において、制御部２０５から取得したユーザ操作に基づいて、高輝度領域補正パラメータを設定し、高輝度領域補正処理の強度を決定する。
　照明パラメータ設定部３０６は、カラー画像データにおける被写体の高輝度領域と統合法線画像データに基づいて、照明パラメータを設定する。具体的には、照明パラメータ設定部３０６は、後述するように閾値処理を実行する等して、被写体の高輝度領域を抽出する。そして、その抽出した被写体の高輝度領域の法線ベクトルから推定される、撮像時の実照明位置に基づいて、後工程のライティング処理で使用する照明パラメータを設定する。なお、実照明位置を推定する際に、顔情報に基づいて、法線ベクトルに重み付けをすることもできる。
　ライティング処理部３０７は、補正距離画像データ、統合法線画像データ、及び照明パラメータに基づいて、高輝度領域補正画像データに対してライティング処理を実行し、被写体にハイライトを付与する。そして、このように、被写体にハイライトを付与することで、立体感のある画像が生成される。なお、撮像装置１０１は、ライティング処理により生成された補正画像データをＲＡＭ２０３やＰＣ／メディア２１３等の記憶装置に出力して記憶することや、表示部１０６に出力して表示することができる。また、補正画像データを出力する事前に、ガンマ処理等の色処理を行ってもよい。
（画像処理部の処理フロー）
　図４は、実施形態に係る画像処理装置（画像処理部２０８）における処理の手順を示すフローチャートである。図４に示す処理において、画像処理部２０８は、先ず、カラー画像データに対応する統合法線画像データを生成する。画像処理部２０８は、次に、顔情報に基づいて特定された被写体の顔領域の高輝度領域に対して、輝度を抑制する処理を施し、高輝度領域補正画像データを生成する。画像処理部２０８は、さらに、被写体の高輝度領域の法線情報から推定した撮像時の実照明位置に基づいて、照明パラメータを設定する。そして、画像処理部２０８は、統合法線画像データと照明パラメータに基づいて、高輝度領域補正画像データに対して、ハイライトを付与した補正画像データを生成する。
　以下、画像処理部２０８の処理手順に関して、詳述する。現像処理部３０１は、Ａ／Ｄ変換部２０７より取得したＲＡＷ画像データに基づいて、カラー画像データを生成する（Ｓ４０１）。カラー画像データは、例えば、図５Ａのように示され、また、カラー画像データ５０１の画素Ｉ（ｉ，ｊ）にはＲＧＢ値が画素値として格納されており、各々Ｉｒ（ｉ、ｊ）、Ｉｇ（ｉ、ｊ）、Ｉｂ（ｉ、ｊ）として示される。なお、カラー画像データの取得方法は、必ずしもこれに限られない。したがって、例えば、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されているＲＡＷ画像データを取得し、現像処理部３０１により、その取得したＲＡＷ画像データからカラー画像データを生成することもできる。また、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されているカラー画像データを直接、取得することもできる。
　距離補正部３０３は、距離画像取得部１０５から距離画像データを取得する（Ｓ４０２）。距離画像データは、例えば、図５Ｂのように示され、また、距離画像データ５０２の画素Ｄ（ｉ，ｊ）には、撮像装置から被写体までの距離値が格納されている。なお、距離画像データの取得方法は、必ずしもこれに限られない。したがって、例えば、ＲＡＭ２０３やＰＣ／メディア２１３に記憶されている距離画像データを直接、取得することもできる。
　画像処理部２０８は、ＲＡＭ２０３よりフラグＳＷ１の状態を取得し、フラグＳＷ１の状態に基づいて補正処理を行うか否かを判定する。画像処理部２０８は、フラグＳＷ１がＯＦＦの場合は補正処理を行わないと判定し、ステップＳ４０４に処理を移行する。また、フラグＳＷ１がＯＮの場合は補正処理を行うと判定し、ステップＳ４０５に処理を移行する。
　ステップＳ４０３において補正処理を行わないと判定された場合、画像処理部２０８は、ＲＡＭ２０３からフラグＳＷ２の状態を取得する（Ｓ４０４）。画像処理部２０８は、フラグＳＷ２がＯＦＦの場合はカラー画像データのみを、フラグＳＷ２がＯＮの場合はカラー画像データと距離画像データをＰＣ／メディア２１３に出力し、記録する。また、画像処理部２０８は、画像データを表示部１０６に出力し、表示させることで、ユーザが確認できるようにすることもできる。なお、画像処理部２０８は、ステップＳ４０４における処理を実行すると、図４に示す処理を終了する。
　また、ステップＳ４０３において補正処理を行うと判定された場合、顔検出部３０２は、カラー画像データ５０１に基づいて、顔情報を取得する（Ｓ４０５）。ここで、顔情報に関して、図６を用いて説明する。図６に示されるように、顔情報には、顔領域６０１及び器官位置６０２が含まれる。顔領域は、画像データにおいて、顔が含まれる領域の画素の集合として示される。器官位置６０２は、顔領域内における目、鼻、口等に対応する座標として示される。なお、顔領域６０１及び器官位置６０２には、各々信頼度が設定されており、信頼度が高いほど正確な位置情報が取得できている可能性が高いものとする。
　顔領域、器官位置の検出方法については、既存のアルゴリズムを適用することができる。既存のアルゴリズムとしては、テンプレートマッチングを用いたアルゴリズムや、Ｈａａｒ－Ｌｉｋｅ特徴量を用いたアルゴリズム等があり、本実施形態では、テンプレートマッチングを適用することで、顔領域・器官位置を検出する。
　テンプレートマッチングを適用した検出では、先ず、カラー画像データに対して、閾値処理を実行することで、肌色の領域を顔候補領域として抽出する。次に、様々な大きさの顔画像のテンプレートを用いて、顔候補領域に対してマッチング処理を実行し、尤度を算出する。そして、その算出した尤度に基づいて、顔領域か否かの判定処理を実行し、顔領域を抽出する。器官位置についても、抽出された顔領域に対して、目、鼻、口の画像のテンプレートを用いて、同様にマッチング処理を実行し、尤度を算出する。そして、この尤度の大きさに基づいて、顔領域・器官位置の信頼度を算出する。以上の処理を実行することで、顔領域６０１、器官位置６０２を取得する。
　距離補正部３０３は、距離画像データを補正する（Ｓ４０６）。具体的には、距離補正部３０３は、距離画像データには距離値が欠損した画素が存在することがあるため、それらを周囲の画素の距離値に基づいて補完する。また、距離補正部３０３は、輪郭部等においてカラー画像データと合致しない箇所が存在することがあるため、カラー画像データを参照画像とする平滑化処理を行うことにより、これらの領域を補正する。なお、平滑化処理において、カラー画像データを参照画像とするジョイントバイラテラルフィルタ等を適用することができる。距離補正部３０３は、以上の処理を距離画像データに適用することで、補正距離画像データを生成する。
　法線生成部３０４は、カラー画像データに対応する統合法線画像データを生成する（Ｓ４０７）。法線生成部３０４は、先ず、補正距離画像データに基づいて、被写体法線画像データを生成する。法線生成部３０４は、次に、顔情報と顔法線情報に基づいて、顔法線画像データを生成する。そして、生成した被写体法線画像データと顔法線画像データを統合することで、統合法線画像データを生成する。なお、統合法線画像データ生成処理の詳細については、後述する。
　高輝度領域補正処理部３０５は、カラー画像データにおいて、被写体の顔領域のうち、高輝度領域の輝度値を抑制することで、高輝度領域補正画像データを生成する（Ｓ４０８）。なお、高輝度領域補正処理の詳細については、後述する。
　照明パラメータ設定部３０６は、カラー画像データにおける被写体の高輝度領域と統合法線画像データに基づいて、照明パラメータを設定する（Ｓ４０９）。なお、照明パラメータ設定処理の詳細については、後述する。
　ライティング処理部３０７は、補正距離画像データ、統合法線画像データ、及び照明パラメータに基づいて、高輝度領域補正画像データにおける被写体に対して、ハイライトを付与した補正画像データを生成する（Ｓ４１０）。なお、ライティング処理の詳細については後述する。
　ライティング処理部３０７は、制御部２０５より取得したユーザ操作に基づいて、補正処理を終了するか否かを判定する（Ｓ４１１）。そして、補正処理を終了する場合はステップＳ４１２に処理を移行し、補正処理を終了しない場合はステップＳ４０８に処理を移行し、再度、高輝度補正処理やライティング処理を実行する。
　補正処理を終了する場合（Ｓ４１１ Ｙｅｓ）、ライティング処理部３０７は、ＲＡＭ２０３からフラグＳＷ２の状態を取得し、そのフラグＳＷ２の状態に基づいて、各種データを出力する（Ｓ４１２）。ライティング処理部３０７は、フラグＳＷ２がＯＦＦの場合は補正画像データ及びカラー画像データを、フラグＳＷ２がＯＮの場合は補正画像データ、カラー画像データ、及び距離画像データをＰＣ／メディア２１３に出力し、記録する。その後、画像処理部２０８は、図４に示す処理を終了する。
（法線画像データ生成処理）
　ここでは、ステップＳ４０７において、法線生成部３０４により実行される法線画像データ生成処理について説明する。ステップＳ４０７における法線画像データ生成処理として、法線生成部３０４は、先ず、距離補正部３０３より取得した補正距離画像データに基づいて、被写体法線画像データを生成する。法線生成部３０４は、次に、ＲＯＭ２０２より取得した顔法線情報及び顔器官法線情報に基づいて、顔法線画像データを生成する。法線生成部３０４は、被写体法線画像データと顔法線画像データを生成すると、さらに、それらの画像を統合し、統合法線画像データを生成する。
　図７は、法線生成部３０４における法線画像データ生成処理手順を示すフローチャートである。法線生成部３０４は、補正距離画像データに基づいて、被写体法線画像データを生成する（Ｓ７０１）。ここでは、先ず、補正距離画像データにおける各画素の２次元的な座標値と各画素に格納された距離値に基づいて、画素毎に３次元的な座標値を算出する。法線生成部３０４は、次に、３次元的な座標値に基づいて、画素毎に対応する法線ベクトルを算出する。
　法線ベクトルの算出する方法としては、３次元的な座標値から算出した勾配に基づいて算出する方法や、画素毎に平面を当て嵌め、その平面における垂線を法線ベクトルとして算出する方法があり、本実施形態では、後者の方法により、法線ベクトルを算出する。
　以下、法線ベクトルを算出する手順を詳述する。先ず、法線ベクトルの算出対象とする画素とその近傍に位置する画素の三次元的な座標値を（ｘ０、ｙ０、ｚ０）、・・・、（ｘｎ－１，ｙｎ－１，ｚｎ－１）とする。なお、ここで、ｘ座標値は２次元的な座標値の水平方向の座標値、ｙ座標値は２次元的な座標値の垂直方向の座標値に基づいて求められる。また、ｚ座標値は距離値に基づいて求められる。次に、これらの座標値に対して、平面ａｘ＋ｂｙ＋ｃ＝ｚを当て嵌め、下式に示される関数Ｅが最小となるａ、ｂ、ｃを求める。
Figure JPOXMLDOC01-appb-M000001
　なお、数式１において、ａ、ｂ、ｃは下式で算出することができる。また、数式において示されるｉは、画素のインデックス値として示される。
Figure JPOXMLDOC01-appb-M000002
　そして、平面ａｘ＋ｂｙ＋ｃ＝ｚに垂直なベクトルｎ＝（ｎｘ、ｎｙ、ｎｚ）は、下式のように算出することができる。
Figure JPOXMLDOC01-appb-M000003
　このように（即ち、数式３に示されるように）、対象画素における法線ベクトルを算出する。そして、同様の処理を、画像データにおける各々の画素に対して実行し、法線ベクトルを算出することで、被写体法線画像データを生成する。即ち、被写体法線画像データは、画素（ｉ，ｊ）に法線ベクトル（Ｎｘ（ｉ，ｊ）、Ｎｙ（ｉ，ｊ）、Ｎｚ（ｉ，ｊ））が格納された画像データとして示される。
　なお、図８Ａ及び図８Ｂは、被写体法線画像データ生成処理の概要を示す図であり、図８Ａは補正距離画像データ８０１を、図８Ｂは、上述の方法に従って算出した法線ベクトルに基づいて生成された被写体法線画像データ８０２を示す図である。
　法線生成部３０４は、被写体法線画像データを生成すると、顔法線情報に基づいて顔法線画像データを生成する（Ｓ７０２）。以下、顔法線画像データを生成する処理に関して、図９Ａ及び図９Ｂを用いて詳述する。図９Ａ及び図９Ｂは、顔法線画像データ生成処理の概要を示す図であり、図９ＡはＲＯＭ２０２に記憶された顔法線情報及び顔法線器官位置情報を、図９Ｂは顔法線情報を変形する処理を、その一例として示すものである。
　図９Ａに示す顔法線情報９０１は、一般的な顔形状に基づいて生成された顔の法線情報を、画素値として保持する画像データであり、顔領域に対応する画素（ｉ，ｊ）には画素値として法線ベクトルの各要素が格納されている。顔領域以外の画素には法線ベクトルがないことを示す値が格納されており、これにより、画素値（即ち、法線ベクトル）に基づいて、顔領域と顔領域以外の領域とを判別することができる。また、図９Ａに示すように、顔法線器官位置情報９０２は、目、鼻、口等の顔器官に対応している。
　次に、図９Ｂを用いて、顔法線情報を変形する処理について説明する。法線生成部３０４は、カラー画像内に含まれる被写体の器官位置６０２と、顔法線情報に含まれる顔法線器官位置情報９０２に基づいて、顔法線情報を、カラー画像データにおける被写体に合わせて変形するための変形パラメータを算出する。
　なお、顔法線情報の変形方法として、例えば、アフィン変換、射影変換等を適用することができる。本実施例では、数式４に示すアフィン変換を用いて顔法線情報９０１を変換するものとする。
Figure JPOXMLDOC01-appb-M000004
　上式（数式４）において、変換パラメータ（ａ０，ａ１，ａ２，ａ３，ａ４，ａ５）は、器官位置６０２と顔法線器官位置情報９０２の右目、左目、鼻、口の座標を各々対応付けた上で、最小二乗法等を適用することにより算出することができる。
　変形パラメータを算出すると、法線生成部３０４は、図９Ｂの９０３に示すように、その算出した変形パラメータに基づいて、顔法線情報９０１を変形し、顔法線画像データ９０３を生成する。なお、顔法線画像データ９０３において、顔領域以外の画素には法線情報がないことを示す値が画素値として格納される。
　法線生成部３０４は、被写体法線画像データと顔法線画像データを統合することで、統合法線画像データを生成する（Ｓ７０３）。以下、統合処理の概要を、図１０を用いて説明する。法線生成部３０４は、先ず、被写体法線画像データ８０２に顔法線画像データ９０３の法線情報のある画素の画素値を上書き等することで、被写体法線画像データ８０２と顔法線画像データ９０３を合成する。そして、合成結果である法線画像データ１００１に対して、カラー画像データ５０１を参照画像とする平滑化処理を実行する。なお、平滑化処理は、カラー画像データ５０１を参照画像とするジョイントバイラテラルフィルタ等を、法線画像データ１００１の各画素に適用することで実行される。
　法線生成部３０４は、平滑化処理を実行すると、各画素における法線ベクトルの大きさが１になるように、正規化処理を実行する。法線生成部３０４は、以上の処理を実行することにより、統合法線画像データ１００２を生成する。なお、本実施形態では、補正距離画像データに基づく被写体法線画像データ８０２と顔情報に基づく顔法線画像データ９０３を統合した画像を法線画像データ（即ち、統合法線画像データ１００２）として生成したが、法線画像データは必ずしもこれに限られない。したがって、統合法線画像データ１００２の代わりに、例えば、補正距離画像データに基づく被写体法線画像データ８０２を法線画像データとして用いることも、顔情報に基づく顔法線画像データ９０３を法線画像データとして用いることもできる。
（高輝度領域補正処理）
　ここでは、ステップＳ４０８において、高輝度領域補正処理部３０５により実行される高輝度領域補正処理について説明する。ステップＳ４０８における高輝度領域補正処理として、高輝度領域補正処理部３０５は、カラー画像データにおいて、顔情報に基づいて特定された被写体の顔領域のうち、高輝度領域の輝度値を抑制することで、高輝度領域補正画像データを生成する。具体的には、高輝度領域補正処理部３０５は、高輝度領域における画素が肌の色に近づくように画素値を補正する。
　以下、高輝度領域を補正する処理に関して、図１１Ａ－図１１Ｃを用いて説明する。高輝度領域補正処理部３０５は、先ず、カラー画像データ５０１の顔領域６０１に含まれる画素の画素値から、頻度の高い色を被写体の顔色として抽出する。高輝度領域補正処理部３０５は、次に、その抽出した顔色に基づいて、補色を算出する。高輝度領域補正処理部３０５は、顔色に基づいて補色を算出すると、図１１Ｂに示すような、顔領域の中央付近ほど大きな重みを有し、顔領域以外の領域において重みが０となるような重みマップ１１０１を、顔領域６０１に基づいて生成する。重みマップ１１０１は補正処理における各画素の補正度合いを示しており、重みが大きい画素ほど強い補正がかかるものとする。
　そして、高輝度領域補正処理部３０５は、重みマップ１１０１を生成すると、顔色の補色Ｕと重みマップｗに基づいて、下式（数式５）に従って高輝度領域補正画像データＩ’を生成する。
Figure JPOXMLDOC01-appb-M000005
　ここで、数式５において、Ｉｒ、Ｉｇ、Ｉｂはカラー画像データＩの画素値、Ｉ’ｒ、Ｉ’ｇ、Ｉ’ｂは高輝度領域補正画像データＩ’の画素値、Ｙはカラー画像データのＩの輝度値、ｔは補正度合いを制御するパラメータである。
　加えて、重みｇは、輝度値Ｙが大きくなるほど、大きな値となる関数として設定される。即ち、重みｇにより、輝度値の大きな画素ほど強い補正がかかるようにすることができる。なお、補正度合いを制御するパラメータｔや重みｇは、ユーザ操作に基づいて設定することもできる。また、高輝度領域の補正処理（補正方法）は、必ずしも上記の処理に限られるものではない。したがって、例えば、輝度値に基づいて高輝度領域を抽出した後に、高輝度領域に関して、その高輝度領域の周囲の画素の画素値と類似する色に補正することもできる。
　以上のように、輝度が高い画素ほど大きな重みにして顔色の補色で差し引くことにより、高輝度領域に関して、輝度を小さくしつつ、また顔色に近い色として補正することができる。なお、高輝度領域補正処理部３０５により補正された高輝度領域補正画像１１０２は、図１１Ｃのように示される。
（照明パラメータ設定処理）
　ここでは、ステップＳ４０９において、照明パラメータ設定部３０６により実行される照明パラメータ設定処理について説明する。ステップＳ４０９における照明パラメータ設定処理として、照明パラメータ設定部３０６は、カラー画像データ５０１における被写体の高輝度領域と統合法線画像データに基づいて、照明パラメータに含まれる照明の向き（姿勢）を設定する。即ち、照明パラメータ設定部３０６は、仮想照明パラメータ設定手段として機能する。
　以下、照明パラメータを設定する処理に関して、図１２を用いて説明する。照明パラメータ設定部３０６は、先ず、カラー画像データ５０１において高輝度領域を抽出する（Ｓ１２０１）。照明パラメータ設定部３０６は、例えば、カラー画像データに対して、輝度値に基づく閾値処理を適用し、所定の閾値より輝度値が大きな画素のみを抽出することで、高輝度領域を取得する。なお、照明パラメータ設定部３０６は、カラー画像データ５０１と高輝度領域補正画像データとの差分に基づいて、高輝度領域を抽出することもできる。ここで、照明パラメータ設定部３０６により、カラー画像データ５０１から抽出した高輝度領域１３０１は、図１３Ａの１３０１のように示される。
　照明パラメータ設定部３０６は、次に、高輝度領域１３０１と統合法線画像データ１００２に基づいて、被写体に対する実照明の向きを推定する（Ｓ１２０２）。実照明の向きは、図１３Ｂに示すような統合法線画像データ１００２より抽出した高輝度領域１３０１に含まれる画素の法線ベクトルに基づいて推定される。より具体的には、照明パラメータ設定部３０６は、統合法線画像データ１００２の高輝度領域１３０１に含まれる画素の法線ベクトルを平均し、さらに、その平均したベクトルの逆ベクトルを実照明パラメータ（具体的には、実照明の向きＵ’）として推定する。
　なお、ステップＳ１２０２において、高輝度領域１３０１に含まれる画素の法線ベクトルを平均する代わりに、頻度の高い法線ベクトルを用いて、実照明の向きを推定することもできる。このように実照明の向きを推定することで、明らかに異なる方向を向いた少数の法線ベクトルの影響を低減することができる。
　照明パラメータ設定部３０６は、ステップＳ１２０２において実照明の向きＵ’を推定すると、その実照明の向きＵ’に基づいて、仮想照明の向きＵを設定する（Ｓ１２０３）。本実施形態では、下式（数式６）に従って、実照明の向きＵ’と予め設定しておいた目標照明パラメータＵ”（具体的には、目標照明の向きＵ”）との重み付けにより、仮想照明の向きＵを設定する。
Figure JPOXMLDOC01-appb-M000006
　ここで、数式６において、ｗ’は目標照明の向きＵ”の重みであり、仮想照明の向きＵが実照明の向きＵ’から所定の角度以上離れないように（開かないように）設定することが望ましい。したがって、目標照明の向きＵ”の重みｗ’は、照射対象画素から実照明までの向きＵ’と、その照射対象画素から目標照明までの向きＵ”の成す角度θが大きくなるに従って、小さくなるように設定すればよい。
　理解を容易にするために、目標照明の向きＵ”の重みｗ’の設定に関して、図１３Ｃ～図１３Ｅを用いて補足する。先ず、図１３Ｃに示すように、実照明の向きＵ’と目標照明の向きＵ”の成す角度θが所定の角度よりも小さい場合は、目標照明の向きＵ”のｗ’を１に設定することにより、Ｕ＝Ｕ”とする（即ち、仮想照明の向きＵを目標照明の向きＵ”に合わせる）。
　次に、図１３Ｄと図１３Ｅとして、実照明の向きＵ’と目標照明の向きＵ”の成す角度θが所定の角度よりも大きい場合を示す。この場合、目標照明の向きＵ”の重みｗ’を１より小さい値に設定する（即ち、実照明の向きＵ’を踏まえ、仮想照明の向きＵを調整する）。また、図１３Ｄと図１３Ｅの関係に示されるように、角度θが所定の角度よりも大きくなるにつれて、目標照明の向きＵ”の重みｗ’を小さくすることで、仮想照明の向きＵと実照明の向きＵ’との成す角度φが一定の値以上にならないように制限している。これは、このように制限しない場合、仮想照明の向きＵと実照明の向きＵ’との成す角度φが大きくなると、実照明で生じる陰影と後工程のライティング処理で付されるハイライトとの関係で、違和感が生じてしまうからである。なお、目標照明の向きＵ”の重みｗ’は、例えば、下式（数式７）のように設定することができる。
Figure JPOXMLDOC01-appb-M000007
　上式（数式７）に示すように、実照明の向きＵ’と目標照明の向きＵ”の成す角度θに応じて、目標照明の向きＵ”の重みｗ’を設定する。具体的には、角度θが所定の角度θthより大きい場合に、角度θが大きくなるに従って、目標照明の向きＵ”の重みｗ’は小さく設定される。即ち、仮想照明の向きＵと実照明の向きＵ’との成す角度φは一定の角度θthとなる（図１３Ｄ、図１３Ｅ）。また、実照明の向きＵ’と目標照明の向きＵ”の成す角度θが所定の角度θth以下の場合、仮想照明の向きＵと実照明の向きＵ’との成す角度φは角度θとなる（図１３Ｃ）。
　以上、照明パラメータを設定する処理に関して説明したが、目標照明の向きＵ”を用いることなく、推定した実照明の向きＵ’に対して所定の値だけ角度を変更することで、仮想照明の向きＵを設定することもできる。したがって、例えば、推定した実照明の向きＵ’に基づいて、より上方向から照らすように法線ベクトルの向きを補正したものを、仮想照明の向きＵとして設定することもできる。また、ストロボ１０４を使用して撮像した場合は、実照明の向きＵ’をストロボの位置に基づいて、設定することもできる。例えば、ストロボが図１Ａに示すように配置される場合、撮像装置の光軸と略平行な向きを実照明の向きＵ’として設定することができる。なお、この場合、ステップＳ１２０１とステップＳ１２０２の処理を省略することができる。
（ライティング処理）
　ここでは、ステップＳ４１０において、ライティング処理部３０７により実行されるライティング処理について説明する。ステップＳ４１０におけるライティング処理として、ライティング処理部３０７は、補正距離画像データ、統合法線画像データ、及び照明パラメータに基づいて、高輝度領域補正画像データにおける被写体に対してハイライトを付与した補正画像データを生成する。
　なお、本実施形態では、照明パラメータとして仮想照明の向きＵ、強度α、光源色Ｌが設定され、下式（数式８）に従って、補正画像データＩ”を生成するものとする。
Figure JPOXMLDOC01-appb-M000008
　ここで、Ｉ”ｒ、Ｉ”ｇ、Ｉ”ｂは補正画像データＩ”の画素値、Ｌｒｍ、Ｌｇｍ、Ｌｂｍはｍ番目の照明の色である。ｓは、仮想照明による光沢の強度を示す値であり、既存の鏡面反射を表すＢｌｉｎｎ-ＰｈｏｎｇモデルやＴｏｒｒａｎｃｅ-Ｓｐａｒｒｏｗモデル等に従って算出することができ、例えば、下式（数式９）で示される。
Figure JPOXMLDOC01-appb-M000009
　以下、数式９に関して、図１４Ａ及び図１４Ｂを用いて説明する。数式９において、βは鏡面反射率、ｃは光沢の広がりを示すパラメータである。パラメータｃに関して、その値が大きいほど鋭い光沢となり、その値が小さいほど柔らかな光沢となる。また、数式９に示されるように、光沢は、法線ベクトルＮで表される形状に対して敏感に変化する。なお、Ｈはハーフベクトルであり、図１４Ａ及び図１４Ｂに示すように画素（ｉ、ｊ）の位置Ｐから仮想照明に向かう単位ベクトルＶと、位置Ｐから撮像装置１０１に対応する位置Ｃに向かう単位ベクトルＥとの平均ベクトルを大きさ１に正規化したものである。また、本実施形態においては、単位ベクトルＶを仮想照明の向きＵの逆ベクトルとする。
　この数式９に示されるように、高輝度領域補正画像データにおいて、法線ベクトルＮがハーフベクトルＨと同じ方向を向いている画素ほど、高いハイライトを付与することで、所望の画素位置に適切な光沢を付与することができる。補足として、ステップＳ４１０に示す処理により、被写体に対してハイライトを付与した補正画像データ１５０１を図１５として示す。また、このライティング処理は、顔領域６０１に基づいて、処理の適用範囲を顔周辺に限定して実行することもできる。
　以上のように、実施形態に係る画像処理装置によれば、撮像時の照明により発生した被写体の高輝度領域を補正した上で、仮想照明により被写体に光沢を付与することで、立体感のある画像を生成することができる。
実施形態２
　前述の実施形態１では高輝度領域に含まれる法線ベクトルのみに基づいて実光源の向きを推定したが、本実施形態では、各法線ベクトルに対して、法線マップの信頼度に基づいて重み付けを実行することで実光源の向きを推定する。即ち、本実施形態では、実照明の向きを推定する処理が、実施形態１の処理と異なり、また、照明パラメータ設定部３０６は、信頼度を設定する信頼度設定手段を備える。
　実施形態２では、図１６に示すような統合法線画像データに対応する重みマップ１６０１に基づいて、信頼度の高い法線ベクトルに対して、大きな重みが付されるように重み付けを実行する。そして、高輝度領域に含まれる法線ベクトルを重み付け平均し、さらに、その重み付け平均したベクトルの逆ベクトルを実照明の向きＵ’として推定する。
　ここで、重みマップ１６０１は、距離マップや顔情報に含まれる顔領域、器官位置等に基づいて作成される。本実施形態では、信頼度を４段階に設定し、器官位置周辺の領域、器官位置周辺以外の顔領域、顔領域の近傍領域（即ち、顔領域から距離の近い、所定の範囲内にある領域）、その他の領域の順に信頼度を高く設定している。
　なお、顔領域と器官位置に関しては検出時の信憑性に応じて、信頼度を変更させることもできる。したがって、例えば、口の器官位置に対応する信憑性が低い場合は、口の周辺領域のみ他の器官位置よりも小さい重みとし、顔領域と同じ重みに設定することもできる。
　また、顔領域、器官位置等に基づいて設定する重みの他に、カラー画像データを参照し、輝度値の高い法線ベクトルほど大きな重みが設定されるように重み付けすることもできる。このように重み付けすることで、光源の方向を向いていると考えられる輝度値の大きな画素の法線ベクトルを優先して用いることができるため、より確からしい照明の向きを取得することができる。以上の処理により、信頼度の低い法線ベクトルの影響を小さくした上で、実光源の向きを推定することができる。
実施形態３
　上述の実施形態では目標照明向きＵ”に関して予め所定の値を設定していたが、本実施形態ではＵ”の値を統合法線画像データとハイライト候補領域に基づいて算出する。即ち、本実施形態では、Ｓ４０９における照明パラメータ設定処理が、上述の実施形態における処理と異なる。
　図１７は、実施形態３における照明パラメータの設定処理の手順を示すフローチャートである。照明パラメータ設定部３０６は、統合法線画像データとハイライト候補領域に基づいて、目標照明向きＵ”を算出する（Ｓ１７０１）。なお、照明パラメータ設定部３０６は、ハイライト候補領域を設定するハイライト候補領域設定手段を備え、本実施形態において、ハイライト候補領域は、器官位置に基づいて設定される。
　図１８は、ハイライト候補領域１８０１をその一例として示す図である。ハイライト候補領域として、顔を立体的に見せる上で効果的な領域が、器官位置に基づいて優先的に設定される。したがって、例えば、図１８に示すように、ハイライト候補領域として、鼻の器官位置に基づいて設定された鼻筋領域、口の器官位置に基づいて設定された顎領域、目の器官位置に基づいて設定された目じり領域等が挙げられる。そして、統合法線画像データから、これらのハイライト候補領域に含まれる法線ベクトルを平均し、さらに、その平均したベクトルの逆ベクトルを目標照明向きＵ”として算出する。
　なお、ハイライト候補領域は予め設定することも、ユーザ操作に基づいて複数領域から選択することもできる。また、ステップＳ１７０２からステップＳ１７０４の処理は、実施形態１で説明した処理と同様の処理である。以上の処理により、目標照明向きＵ”を算出することで、被写体に応じて好ましい位置にハイライトを付与することができる。
実施形態４
　上述の実施形態では、高輝度領域補正処理部３０５により高輝度補正処理を実行することで、被写体の高輝度領域を補正した。本実施形態では、ライティング処理部３０７によりライティング処理を実行することで、被写体の高輝度領域の補正と、ハイライトの付与を行う。
　図１９は、本実施形態に係る画像処理装置（画像処理部２０８）における処理の手順を示すフローチャートである。図１９に示されるように、図４に示すフローチャート（即ち、実施形態１に係る画像処理装置における処理の手順を示すフローチャート）とは、高輝度領域補正処理を実行しない点で異なっている。また、上述のように、ライティング処理Ｓ１９０９の処理内容が異なる。なお、その他の処理については、図４に示す処理と同様である。
（ライティング処理）
　ここでは、ステップＳ１９０９において、ライティング処理部３０７により実行されるライティング処理について説明する。具体的には、ライティング処理として、補正距離画像データ、統合法線画像データ、及び照明パラメータに基づいて、カラー画像データにおける被写体に対してハイライトを補正した補正画像データを生成する処理について説明する。
　なお、本実施形態において、照明パラメータとして、仮想照明の向きＵ、強度α、光源色Ｌ、及び実照明の向きＵ′、強度α′、光源色Ｌ′ を設定する。これらのパラメータは複数設定可能であり、仮想照明の数ｍ、実光源の数ｎに応じて、各々設定することができる。
　そして、カラー画像データに対して仮想照明の向きＵ、強度α、光源色Ｌに対応する仮想照明の効果を加算し、実照明の向きＵ′、強度α′、光源色Ｌ′に対応する仮想照明の効果を減算することにより補正画像データを生成する。具体的には、下式（数式１０）に従って、補正画像データＩ”を生成するものとする。
Figure JPOXMLDOC01-appb-M000010
 　　　　　　　　　　　　　（式１０）
　ここで、Ｓ＋は、加算光沢成分であり、下式（数式１１）のように示される。Ｓ＋をカラー画像データに加算することにより、被写体に対して適切な光沢を付与することができる。なお、仮想照明の数ｍは、加算する仮想照明の数に対応する。
Figure JPOXMLDOC01-appb-M000011
 　　　　　　　　　　　　　（式１１）
　また、Ｓ－は、減算光沢成分であり、下式（数式１２）のように示される。Ｓ－をカラー画像データから減算することにより、被写体の高輝度領域を抑制することができる。なお、実光源の数ｎは、減算する仮想照明の数に対応する。
Figure JPOXMLDOC01-appb-M000012
 　　　　　　　　　　　　　（式１２）
　以下、ｓｍ及びｓ′ｎについて、図２０を用いて、説明を補足する。また、ここでは、仮想照明Ａの向きをＵ、仮想照明Ｂの向きをＵ′とする。図２０に示されるように、仮想照明Ｂの向きＵ′は実光源の向きに対応している。
　ｓｍは、仮想照明の向きＵに基づく光沢の強度を示す値である。具体的には、ｓｍを、Ｕの逆ベクトルＶ及び単位ベクトルＥから求められるハーフベクトルＨと、法線ベクトルＮとに基づいて、数式９に従って算出する。さらに、本実施形態では、ｓｍに基づいて、加算光沢成分Ｓ＋を算出する。
　ｓ′ｎは、実照明の向きＵ′に基づく光沢の強度を示す値である。具体的には、ｓ′ｎを、Ｕ′の逆ベクトルＶ′及び単位ベクトルＥから求められるハーフベクトルＨ′と、法線ベクトルＮとに基づいて、数式９に従って算出する。さらに、本実施形態では、ｓ′ｎに基づいて、減算光沢成分Ｓ－を算出する。
　そして、撮影時の実光源による光沢成分に対応する減算光沢成分Ｓ－をカラー画像データから減算することにより、撮影時の光沢による高輝度領域を補正する。
　以上のように、本実施形態に係る画像処理装置によれば、ライティング処理により、被写体の高輝度領域を補正し、被写体に光沢を付与することで、立体感のある画像を生成することができる。
実施形態５
　上述の実施形態では、被写体の高輝度領域（即ち、光沢）のみを補正した。本実施形態では、被写体の光沢だけでなく、陰影も併せて補正する。本実施形態では、実施形態４と比較して、数式１０の内容が異なる。具体的には、下式（数式１３）に従って、補正画像データＩ”を生成するものとする。
Figure JPOXMLDOC01-appb-M000013
 　　　　　　　　　　　　　（式１３）
　ここで、Ｉ′′′は、カラー画像データから減算光沢成分Ｓ－を減算したものであり、数式１４のように示される。
Figure JPOXMLDOC01-appb-M000014
 　　　　　　　　　　　　　（式１４）
　また、Ｔ＋は、加算陰影成分であり、下式（数式１５）のように示される。Ｔ＋を加算することにより、仮想照明による陰影を付与することができる。
Figure JPOXMLDOC01-appb-M000015
 　　　　　　　　　　　　　（式１５）
　さらに、Ｔ－は、減算陰影成分であり、下式（数式１６）のように示される。Ｔ－を減算することにより、実照明による陰影を抑制することができる。
Figure JPOXMLDOC01-appb-M000016
 　　　　　　　　　　　　　（式１６）
　ここで、ｔｍ及びｔｎは、仮想照明による陰影の強度を示す値であり、拡散反射を示す既存のＰｈｏｎｇモデル等に従って、例えば、下式（数式１７）に従って算出することができる。なお、δは拡散反射率を示すパラメータである。
Figure JPOXMLDOC01-appb-M000017
 　　　　　　　　　　　　　（式１７）
　以下、ｔｍ及びｔｎについて、説明を補足する。ｔｍは、仮想照明の向きＵに基づく陰影の強度を示す値である。具体的には、ｔｍは、Ｕの逆ベクトルＶと法線ベクトルＮに基づいて、数式１７に従って算出される。本実施形態では、上述のように、ｔｍに基づいて加算陰影成分Ｔ＋を算出する。
　ｔｎは、実照明の向きＵ′に基づく陰影の強度を示す値である。具体的には、ｔｎは、Ｕ′の逆ベクトルＶ′と法線ベクトルＮに基づいて、数式１７に従って算出される。本実施形態では、上述のように、ｔｎに基づいて減算陰影成分Ｔ－を算出する。
　そして、上述のように、実光源による光沢及び陰影を減算光沢成分Ｓ－及び減算陰影成分Ｔ－として除去し、また、仮想照明による光沢及び陰影を加算光沢成分Ｓ＋及び加算陰影成分Ｔ＋として付加する。
　以上の処理をカラー画像データに適用することにより、図２１Ａ及び図２１Ｂに示されるように、カラー画像データ２１０１における被写体の陰影や光沢を補正画像データ２１０２のように補正することができる。
　なお、本実施形態では、ライティング処理部３０７により高輝度領域を補正する処理を実行したが、上述の実施形態１から実施形態３と同様に、高輝度領域補正処理部３０５により高輝度領域を補正してもよい。この場合、数式１４で算出されるＩ′′′を数式５で算出されるＩ′に置き換えればよい。
　以上のように、本実施形態に係る画像処理装置によれば、被写体の光沢及び陰影を補正することにより、立体感のある画像を生成することができる。
その他の実施形態
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　実施形態を参照して本発明を説明したが、本発明が上述した実施形態に限定されないことは言うまでもない。下記のクレームは最も広く解釈されて、そうした変形例及び同等の構造・機能全てを包含するものとする。
　本出願は、２０１７年３月２７日に出願された日本国特許出願第２０１７－０６１３５９号及び２０１８年１月３０日に出願された日本国特許出願第２０１８－０１４０１９号に基づいて優先権を主張し、前記日本国特許出願は、この参照によって本明細書に含まれる。
符号の説明
２０８　画像処理部
３０４　法線生成部
３０５　高輝度領域補正処理部
３０６　照明パラメータ設定部
３０７　ライティング処理部

Claims (16)

  1. 　画像に対応する法線情報を取得する第１の取得手段と、
    　前記画像に含まれる被写体の高輝度領域に基づいて、実照明パラメータを推定する推定手段と、
    　前記実照明パラメータに基づいて、仮想照明パラメータを設定する第１の設定手段と、
    　前記法線情報と前記仮想照明パラメータに基づいて、前記画像に対して、ライティング処理を実行するライティング処理手段と
    　を備えることを特徴とする画像処理装置。
  2. 　前記第１の設定手段は、前記実照明パラメータが示す実照明の向きに基づいて、前記仮想照明パラメータを設定することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第１の設定手段は、前記仮想照明パラメータが示す仮想照明の向きと前記実照明の向きとの成す角度が、所定の角度以上、大きくならないように、前記仮想照明の向きを設定することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記推定手段は、前記高輝度領域に含まれる画素の前記法線情報に基づいて、前記実照明パラメータを推定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記法線情報に対する信頼度を設定する第２の設定手段を備え、
    　前記推定手段は、前記信頼度により重み付けされた前記法線情報に基づいて、前記実照明パラメータを推定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  6. 　前記推定手段は、前記画像を撮像した撮像装置における照明装置の位置に基づいて、前記実照明パラメータを推定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  7. 　前記被写体の距離画像データを取得する第２の取得手段を備え、
    　前記第１の取得手段は、前記距離画像データに基づいて生成される被写体法線画像データと、顔情報と顔法線情報に基づいて生成される顔法線画像データを統合することで、前記法線情報を取得することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　目標照明パラメータを取得する第３の取得手段を備え、
    　前記第１の設定手段は、前記実照明パラメータが示す実照明の向きと前記目標照明パラメータが示す目標照明の向きに基づいて、前記仮想照明パラメータを設定し、
    　前記目標照明パラメータは、前記被写体に、所望のハイライトを付与するように予め設定されることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　目標照明パラメータを取得する第３の取得手段と、
    　前記被写体に、優先的にハイライトを付与するハイライト候補領域を設定する第３の設定手段と
    　を備え、
    　前記第１の設定手段は、前記実照明パラメータが示す実照明の向きと前記目標照明パラメータが示す目標照明の向きに基づいて、前記仮想照明パラメータを設定し、
    　前記第３の取得手段は、前記ハイライト候補領域と前記法線情報に基づいて、前記目標照明パラメータを取得することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  10. 　前記ライティング処理手段は、前記画像の撮像時の実照明による光沢を減算することで、前記ライティング処理を実行することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　前記ライティング処理手段は、前記画像の撮像時の実照明による陰影を抑制し、仮想照明による陰影を付与することで、前記ライティング処理を実行することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 　前記画像における被写体の高輝度領域を補正する輝度補正手段を有し、
    　前記ライティング処理手段は、前記法線情報と前記仮想照明パラメータに基づいて、前記輝度補正手段により補正された画像に対して、ライティング処理を実行することを特徴とする請求項１に記載の画像処理装置。
  13. 　前記輝度補正手段は、前記被写体の領域において頻度の高い色を抽出し、前記抽出した色に基づいて、前記高輝度領域に含まれる画素の輝度値を補正することを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記輝度補正手段は、前記高輝度領域に含まれる画素の輝度値が大きいほど大きな値となる重みを設定し、前記抽出した色と前記重みに基づいて、前記高輝度領域に含まれる画素の輝度値を補正することを特徴とする請求項１３に記載の画像処理装置。
  15. 　取得手段により、画像に対応する法線情報を取得する取得ステップと、
    　推定手段により、前記画像に含まれる被写体の高輝度領域に基づいて、実照明パラメータを推定する推定ステップと、
    　設定手段により、前記実照明パラメータに基づいて、仮想照明パラメータを設定する設定ステップと、
    　ライティング処理手段により、前記法線情報と前記仮想照明パラメータに基づいて、前記画像に対して、ライティング処理を実行するライティング処理ステップと
    　を含むことを特徴とする画像処理方法。
  16. 　コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
PCT/JP2018/011339 2017-03-27 2018-03-22 画像処理装置、画像処理方法、及びプログラム WO2018180860A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/582,554 US11030799B2 (en) 2017-03-27 2019-09-25 Image processing apparatus, image processing method and storage medium. With estimation of parameter of real illumination based on normal information on pixel included in high luminance area

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017061359 2017-03-27
JP2017-061359 2017-03-27
JP2018014019A JP2018163648A (ja) 2017-03-27 2018-01-30 画像処理装置、画像処理方法、及びプログラム
JP2018-014019 2018-01-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/582,554 Continuation US11030799B2 (en) 2017-03-27 2019-09-25 Image processing apparatus, image processing method and storage medium. With estimation of parameter of real illumination based on normal information on pixel included in high luminance area

Publications (1)

Publication Number Publication Date
WO2018180860A1 true WO2018180860A1 (ja) 2018-10-04

Family

ID=63675918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011339 WO2018180860A1 (ja) 2017-03-27 2018-03-22 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2018180860A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450444A (zh) * 2021-07-09 2021-09-28 网易（杭州）网络有限公司 生成光照贴图的方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208098A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208098A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IKEDA TAKUYA ET AL.: "Relighting with dynamic light environnments using an RGB-D Camera", IEICE TECHNICAL REPORT, vol. 113, no. 403, 16 January 2014 (2014-01-16), pages 219 - 224, ISSN: 0913-5685 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450444A (zh) * 2021-07-09 2021-09-28 网易（杭州）网络有限公司 生成光照贴图的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6864449B2 (ja) イメージの明るさを調整する方法及び装置
JP6576083B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018163648A (ja) 画像処理装置、画像処理方法、及びプログラム
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
JP2017147658A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
US20130120451A1 (en) Image processing device, image processing method, and program
JP2019106045A (ja) 画像処理装置、方法及びプログラム
US11710343B2 (en) Image processing device, image processing method, and storage medium for correcting brightness
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102650217B1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
JP6896811B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2018180860A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7102192B2 (ja) 画像処理装置、その制御方法、プログラム
KR20110074442A (ko) 화상 처리 장치, 화상 처리 방법 및 기록매체
JP6666735B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
JP2021145385A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019129469A (ja) 画像処理装置
JP7534866B2 (ja) 画像処理装置及び方法、プログラム、記憶媒体
JP2021069004A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021005418A (ja) 画像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776663

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18776663

Country of ref document: EP

Kind code of ref document: A1