WO2020250376A1 - 画像処理装置及び方法、並びにプログラム及び記録媒体 - Google Patents

画像処理装置及び方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2020250376A1
WO2020250376A1 PCT/JP2019/023455 JP2019023455W WO2020250376A1 WO 2020250376 A1 WO2020250376 A1 WO 2020250376A1 JP 2019023455 W JP2019023455 W JP 2019023455W WO 2020250376 A1 WO2020250376 A1 WO 2020250376A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
skin
color
image
operator
Prior art date
Application number
PCT/JP2019/023455
Other languages
English (en)
French (fr)
Inventor
亜紀 嶺岸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019558806A priority Critical patent/JP6667739B1/ja
Priority to PCT/JP2019/023455 priority patent/WO2020250376A1/ja
Publication of WO2020250376A1 publication Critical patent/WO2020250376A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only

Definitions

  • the present invention relates to an image processing apparatus and method.
  • the present invention particularly relates to image correction for improving the skin texture expressed in Kansei words.
  • the present invention also relates to programs and recording media.
  • sensitivity adjustment values based on the sensitivity of a standard person for a plurality of sensitivity words and color adjustment parameters corresponding to the sensitivity adjustment values are stored, and based on the individual sensitivity of the user.
  • the sensitivity adjustment value is calculated, and the color adjustment parameter corresponding to the above calculation result is selected from the stored color adjustment parameters to perform the adjustment (see, for example, Patent Document 1).
  • Patent Document 1 When the technique of Patent Document 1 is applied to the correction for improving the skin texture, the input image is corrected by associating the sensibility words requested by the standard person with a plurality of color adjustment parameters. When adjusting to obtain a desired skin texture by using such a color adjustment parameter, there is a problem that the adjustment takes time.
  • the present invention is to enable a correction for improving the skin texture as desired by the operator in a short time.
  • the image processing apparatus of the present invention For each of the plurality of Kansei words, a feature information storage unit that stores the feature information corresponding to the Kansei word, and a feature information storage unit.
  • a feature amount calculation unit that calculates a feature amount that represents the skin texture of the skin area of the input image, Based on the feature amount calculated by the feature amount calculation unit and the feature information stored in the feature information storage unit, the skin region of the corrected image is desired skin according to an instruction from the operator.
  • a correction information generator that generates correction information for correction so that it has a texture, It is provided with an image correction unit that corrects the skin texture of the skin region of the input image based on the correction information.
  • FIG. 1 It is a block diagram which shows the image processing apparatus of embodiment of this invention together with the image display part and the operation input part. It is a figure which shows the skin area of a face. It is a table which shows the feature amount corresponding to each Kansei word which a feature information storage part stores. It is a figure which shows an example of the range in the color space of the average value of a color corresponding to one Kansei word. It is a figure which shows the range in the color space of the average value of a color corresponding to one of the Kansei words. It is a block diagram which shows the structural example of the correction information generation part of FIG. It is a figure which shows an example of the GUI image used for adjusting the skin texture of an image.
  • FIG. 7A is a diagram showing a specific example of the slide bar for adjusting the average value in FIG. 7, and FIGS. 7B and 7C show positions in the color space corresponding to the positions of the markers and sliders on the slide bar. It is a figure. An example of the relationship between the average value of the color of the skin area of the input image and the position of the GUI image on the slide bar, and the relationship between the movement of the slider and the change of the average value of the color of the skin area of the corrected image are shown. It is a figure. Other examples of the relationship between the average value of the skin area color of the input image and the position of the GUI image on the slide bar, and the relationship between the movement of the slider and the change in the average value of the skin area color of the corrected image.
  • FIG. 5 is a flowchart showing a processing procedure when performing processing in the image processing apparatus of the embodiment on the computer shown in FIG.
  • FIG. 1 is a block diagram showing an image processing device 2 according to an embodiment of the present invention together with an image display unit 4 and an operation input unit 6.
  • the illustrated image processing device 2 includes a skin region extraction unit 10, a feature amount calculation unit 20, a feature information storage unit 30, a correction information generation unit 40, an image correction unit 50, and a display control unit 60.
  • the image processing device 2 reads the input image Di and corrects the skin texture of the skin area of the read input image Di.
  • the skin area referred to here is, for example, the skin area of the face.
  • the input image Di is an image obtained by, for example, capturing a human face with a camera.
  • the image processing device 2 corrects the input image Di so that the feature amount representing the skin texture of the skin region approaches a desired value, and outputs the corrected image Do.
  • the image display unit 4 is composed of a monitor and is used for displaying a corrected image.
  • the operation input unit 6 is used by the operator to input an instruction regarding correction.
  • the corrected skin texture is the skin texture expressed in Kansei words.
  • the sensibility words that express the texture of the skin include, for example, "soft skin”, “skin with a good complexion”, and "transparent skin”.
  • the image processing device 2 matches the feature amount corresponding to the sensibility word with the feature amount representing the skin texture in the input image (conversely, a difference). (Degree of) is displayed on the image display unit 4. According to the display, the operator determines whether or not the correction is necessary, and when the correction is necessary, the operation input unit 6 is used to instruct the correction. When instructing correction, specify the degree of correction.
  • the image processing device 2 corrects the image according to the instruction of correction and the designation of the degree of correction.
  • the display of the degree of matching, the instruction of correction, and the designation of the degree of correction can be performed using, for example, a GUI (graphic user interface) image displayed on the image display unit 4 and operated by the operation input unit 6.
  • the operation input by the GUI displayed on the image display unit 4 is performed by, for example, a mouse or a keyboard.
  • the image display unit 4 is composed of a display with a touch panel
  • the operation input by the GUI is performed by the touch panel.
  • the mouse, keyboard, or touch panel constitutes the operation input unit 6.
  • the average value of the color of the skin region and the distribution characteristic of the color of the skin region are used as the feature amount representing the skin texture.
  • the skin region extraction unit 10 extracts the skin region of the face from the input image including the human face.
  • the skin area 204 of the face is the area of the head 202 excluding the eyes 211, the eyebrows 212, the lips 213, and the hair 214. That is, the eyes 211, eyebrows 212, lips 213 and hair 214 in the head 202 are detected, and the skin region is the portion excluding the detected eyes 211, eyebrows 212, lips 213 and hair 214 from the head 202. Extract as 204.
  • the skin region 204 may be extracted by extracting the skin color region from the head 202.
  • the skin area In the extraction of the skin area, only a part of the skin area may be extracted instead of the whole skin area. For example, any one or more of the forehead 205, the cheek 206 and the chin 207 may be extracted as the skin area of the face. Moreover, only a part of any of these regions may be extracted. When extracting only a part, the area to be extracted may be specified by GUI.
  • the feature amount calculation unit 20 calculates the feature amount representing the skin texture based on the pixel value of the skin area extracted by the skin area extraction unit 10.
  • the pixel value is composed of, for example, a color component value, that is, an R value, a G value, and a B value.
  • the feature amount for example, the average value of the colors of the extracted skin region and the distribution characteristic of the color of the skin region are calculated.
  • the average value of the color of the skin region is the average value of the values indicating the color of each pixel of the extracted skin region over the entire extracted skin region.
  • the average value of the colors for example, the average value of the a * values of the L * a * b * color system and the average value of the b * values are used.
  • the pixel value of the input image is composed of the color component value, that is, the R value, the G value and the B value
  • the L * a * b * value is the R value, the G value and the R value of each pixel of the extracted skin region. Obtained by conversion from B value.
  • the color distribution characteristic of the skin region is the distribution characteristic of the value indicating the color of each pixel of the extracted skin region over the entire extracted skin region.
  • the luminance distribution characteristic is used, and as the luminance distribution characteristic, for example, the luminance histogram characteristic is used.
  • the luminance distribution characteristic for example, the luminance histogram characteristic is used.
  • an index representing the characteristics of the luminance histogram for example, at least one of the median value, the average value, the mode value, the skewness, and the kurtosis of the luminance histogram is used.
  • an index showing the distribution characteristics of brightness an index other than the above example may be used. In short, it suffices if it is possible to grasp how the brightness is distributed, for example, the degree of spread of the distribution, the position of the peak, and the like.
  • the distribution characteristics of each component value that is, the R value, the G value, and the B value may be used instead of the brightness distribution characteristic.
  • the feature information storage unit 30 stores feature information corresponding to each of the plurality of Kansei words as a database.
  • An example of the stored feature information is shown in FIG. FIG. 3 shows that the corresponding feature information for each of the plurality of Kansei words is stored in a tabular format.
  • sensibility words "soft skin”, “skin with a good complexion” and "transparent skin” are entered.
  • the characteristic information corresponding to the sensibility word is information representing the skin texture that is perceived by the average user as being expressed by the sensibility word, that is, information representing the characteristics of the skin region having such a skin texture. ..
  • information corresponding to the feature amount calculated by the feature amount calculation unit 20 is stored.
  • the feature information storage unit 30 corresponds to the sensitivity word. It stores information that represents the average value of the colors of the skin region and information that represents the distribution characteristics of the colors of the skin region.
  • the range of the average value of the colors is stored.
  • the range of the average value has a multidimensional spread in the space representing the color, but in the present embodiment, the weakest point and the strongest point of the skin texture corresponding to the sensibility word are memorized in the above range.
  • the space representing the color is a * b * space
  • the range Ha of the average value corresponding to the skin texture has a two-dimensional spread, but in the present embodiment, the range Ha Among them, the weakest point P and the strongest point Q with the degree of skin texture corresponding to the sensitivity words are memorized.
  • the weakest point P is referred to as the minimum point
  • the strongest point Q is referred to as the maximum point.
  • the feature information storage unit 30 stores the coordinates of the minimum point P (a * p , b * p ) and the coordinates of the maximum point Q (a * q , b * q ) for each Kansei word representing the skin texture.
  • the coordinates (a * p , b * p ) of the minimum point P and the coordinates (a * q , b * q ) of the maximum point Q in the color range corresponding to the sensibility word “soft skin” are (a * q , b * q ), respectively. It is shown that it is 15,20) and (13,24).
  • FIG. 5 shows the coordinates of the minimum point P (a * p , b * p ) and the coordinates of the maximum point Q (a * q , b) in the color range corresponding to the sensibility word “soft skin” shown in FIG. * Q ) is shown.
  • a representative value within the range of the index value representing the distribution characteristic corresponding to each Kansei word is stored.
  • the distribution characteristic of brightness for example, the characteristic of the brightness histogram is used as the color distribution characteristic, and the median value, the average value, the mode value, the skewness, and the kurtosis of the brightness histogram are used as indexes representing the characteristics of the brightness histogram. At least one of the degrees is used.
  • the range of the above index values corresponding to the Kansei word also has a certain extent, but a representative value within the range, for example, the center or the center of gravity of the above range. The value located in is stored.
  • the impression you get from Kansei words varies from person to person.
  • the information stored in the feature information storage unit 30 is determined based on the average sensibilities of a large number of users of the image processing device 2.
  • the relationship between the emotional words and the skin texture is evaluated by a large number of people who may use the image processing device 2.
  • the evaluation result is used. For example, a plurality of different images may be prepared and the images corresponding to each of the sensibility words may be selected. You may have a paired comparison evaluation performed when making a selection.
  • the information to be stored may be determined by machine learning, for example, deep learning.
  • Kansei words may differ depending on the user base. In that case, it is desirable to create a database so as to match the feeling of the user group (target user group) who is expected to use the image processing device. If usage by multiple different user groups is expected, create a different database for each user group, and select and use the database according to which layer each user belongs to. You may.
  • the correction information generation unit 40 includes feature information stored in the feature information storage unit 30 corresponding to at least one sensitivity word among the plurality of sensitivity words, and the input image calculated by the feature amount calculation unit 20.
  • the operator is informed of the relationship with the feature amount representing the skin texture of the skin area, and correction information is generated according to the instruction from the operator. For example, whether to let the operator select one of a plurality of sensibility words, notify the operator of the relationship between the feature information corresponding to the selected sensibility word, and the calculated feature amount, and make corrections to the operator.
  • the degree of the correction is decided.
  • the correction information generation unit 40 includes a guidance information generation unit 41, a sensitivity word selection unit 42, an average value setting unit 43, and a distribution characteristic setting unit 44.
  • the guidance information generation unit 41 generates guidance information.
  • the guidance information for example, the initial guidance information is first generated, and then the initial guidance information is changed or added according to the operation input by the operator.
  • the initial guidance information is information for notifying the operator of the Kansei words stored in the feature information storage unit 30 and allowing the operator to select at least one of such Kansei words.
  • information indicating selection or setting by the operation input, or information prompting the next operation is added according to the operation input, or is output instead of the information that has been output so far. .. In this way, the guidance information is updated according to the operation input.
  • the Kansei word selection unit 42 causes the operator to select one or more Kansei words from the plurality of Kansei words stored in the feature information storage unit 30.
  • the guidance information generation unit 41 indicates the selected sensibility word, and the relationship between the feature information corresponding to the selected sensibility word and the feature amount calculated by the feature amount calculation unit 20. That is, it informs the operator of the degree of matching and generates information prompting the operator to determine the necessity of correction and the degree of correction.
  • the average value setting unit 43 causes the operator to set the average value of the colors of the corrected image for each of the selected sensibility words.
  • the setting of the average color value of the corrected image is a process performed while referring to the feature amount of the input image and the feature information corresponding to the stored sensibility word.
  • the guidance information generation unit 41 generates information indicating the set average value.
  • the distribution characteristic setting unit 44 causes the operator to set the similarity of the color distribution characteristics of the corrected image to the color distribution characteristics stored corresponding to the sensitivity words for each of the selected sensitivity words. ..
  • the setting of the similarity is the setting of the similarity with the distribution characteristic indicated by the feature information corresponding to the memorized Kansei word, and can be said to be the setting of the distribution characteristic.
  • the guidance information generation unit 41 When the distribution characteristic is set, that is, the similarity of the distribution characteristic is set, the guidance information generation unit 41 generates information indicating the set distribution characteristic, that is, the similarity thereof.
  • the degree of similarity of distribution characteristics has a larger value as the difference between the indexes used to express the distribution characteristics is smaller.
  • the reciprocal of the absolute value of the index difference or the reciprocal of the square of the index difference is used as the similarity.
  • the weighted addition value of the reciprocal of the absolute value of the difference between the two or more indicators, or the square of the difference between the two or more indicators is used as the similarity.
  • the setting of the average value of the color of the corrected image and the setting of the distribution characteristic are the setting of the degree of correction.
  • the presentation of information (guidance information) to the operator for such processing and the operation input by the operator are performed by using, for example, a GUI image displayed on the image display unit 4 and operated by the operation input unit 6. It is said. In that case, the guidance information generation unit 41 generates a GUI image.
  • FIG. 7 An example of a GUI image is shown in FIG.
  • a character string Ga representing a sensitivity word
  • a plurality of check boxes Gb provided corresponding to each character string
  • a plurality of slide bars Gc for adjusting the average value
  • a plurality of slides for adjusting distribution characteristics are shown.
  • the bar Gd is displayed as a GUI component.
  • sensibility words "soft skin”, “skin with a good complexion”, and “transparent skin” are shown.
  • Each Kansei word is selected by inputting a check mark in the check box Gb corresponding to the Kansei word.
  • the operator may select only one Kansei word or a plurality of Kansei words.
  • the Kansei word selection unit 42 notifies the mean value setting unit 43 and the distribution characteristic setting unit 44 of the selected Kansei words in response to the check mark input to the check box Gb, and the mean value setting unit 43 and the distribution characteristic setting unit 43. Allows setting at 44.
  • a plurality of Kansei words Ga are displayed in advance, and a check mark is put in the check box Gb corresponding to the selected Kansei word from among them. If it is not possible to display all the Kansei words whose feature information is stored in the feature information storage unit 30 on the screen at once, the Kansei words may be sequentially displayed by scrolling the screen. ..
  • Input by the slide bar Gc and slide bar Gd corresponding to each Kansei word can be performed only when the Kansei word is selected. Therefore, the slide bar Gc and the slide bar Gd may be displayed only when each sensitivity word is selected.
  • the slide bar Gc for adjusting the average value indicates the degree of color matching.
  • the left end Gcp and the right end Gcq of the slide bar Gc for adjusting the average value correspond to the minimum point P and the maximum point Q of the color range corresponding to the corresponding Kansei words, respectively.
  • the marker Gci on the slide bar Gc indicates a position corresponding to the average value of the colors of the input image.
  • the slider Gcs is used to specify a desired average value (average value of colors). In the state (initial state) before the operator specifies the average value, the slider Gcs is displayed at the same position as the marker Gci.
  • the average value setting unit 43 outputs information indicating the average value of the colors corresponding to the positions of the slider Gcs to the image correction unit 50.
  • the position corresponding to the position on the straight line is set.
  • the marker Gci may be displayed. If the average color of the input image is not on the straight line connecting the minimum point P and the maximum point Q, which indicate the color range corresponding to the Kansei word, it corresponds to the position where the average value is projected on the above straight line.
  • the marker Gi may be displayed at the desired position. The projection is performed, for example, along a straight line perpendicular to the above straight line.
  • the position R (this position may be referred to as a “point”) in the color space of the average value of the input image is on the straight line Lpq connecting the minimum point P and the maximum point Q. Make it not exist. In that case, the intersection S of the straight line Lpq connecting the minimum point P and the maximum point Q and the line Lrn perpendicular to the straight line Lpq passing through the point R of the average value is projected along the above-mentioned "vertical straight line". That is the point.
  • the marker Gci is displayed at a position corresponding to the position of the above point S.
  • the position of the marker Gci corresponds to the position S in the color space, that is, the ratio of the distance from the marker Gci to the left end Gca and the distance from the marker Gci to the right end Gcb is the distance from the position S to the minimum point P. Means that it is equal to the ratio of to the distance from the position S to the maximum point Q.
  • FIG. 8B shows that the position of the marker Gci is aligned with the position S when the left end Gca and the right end Gcb are drawn so as to be aligned with the minimum point P and the maximum point Q.
  • the average value of the corrected color is specified by the slider Gcs. As the slider Gcs is positioned further to the right on the slide bar Gc, the average value of the color of the skin region in the corrected image becomes stronger in the skin quality represented by the corresponding sensibility word.
  • the average value of the color of the skin area in the corrected image becomes the input image as shown in FIG. 9 as the slider Gcs moves. It passes through the point R of the average value of the colors of the skin region, and moves along the straight line Lrp parallel to the straight line Lpq connecting the minimum point P and the maximum point Q.
  • the slider Gcs is set to a certain position on the slide bar Gc, the position U on the straight line Lpq in the color space corresponding to the position is specified, and the position V on the straight line Lrp is specified accordingly. Will be done.
  • the position U is a position where the ratio of the distance to the minimum point P and the distance to the maximum point Q is equal to the distance from the slider Gcs to the left end Gca and the distance from the slider Gcs to the right end Gcb.
  • the position V is a position where the line Lun, which passes through the position U and is perpendicular to the straight line Lpq, intersects the straight line Lrp.
  • FIG. 8 (c) shows the position on the straight line Lrp aligned with the corresponding position on the straight line Lrq of FIG. 8 (b). In this way, by positioning the slider Gcs, the corresponding position V in the color space is designated as the corrected average value.
  • the correction is a process of moving the average value from the point R to the point V in the color space, and the vector Hvr from the point R to the point V is called a correction vector.
  • the average value of the colors of the input image is not on the straight line Lpq connecting the minimum point P and the maximum point Q indicating the range of colors corresponding to the Kansei words
  • the average value is changed to the above straight line. Is projected along a straight line perpendicular to the above straight line Lpq.
  • the projection may be performed along an arc centered on the maximum point Q.
  • the marker Gci is displayed at a position corresponding to the position of the above point T.
  • the position of the marker Gci corresponds to the position T in the color space, that is, the ratio of the distance from the marker Gci to the left end Gca and the distance from the marker Gci to the right end Gcb is the distance from the position T to the minimum point P and the position. It means that it is equal to the ratio of the distance from T to the maximum point Q.
  • the average value of the color of the skin area in the corrected image becomes the color of the skin area of the input image as shown in FIG. 10 as the slider Gcs moves. It moves along the straight line Lrq connecting the mean value R and the maximum point Q of.
  • the slider Gcs is set to a certain position on the slide bar Gc, the position U on the straight line Lpq in the color space corresponding to the position is specified, and the position W on the straight line Lrq is specified accordingly. Will be done.
  • the position U is a position where the ratio of the distance to the minimum point P and the distance to the maximum point Q is equal to the distance from the slider Gcs to the left end Gca and the distance from the slider Gcs to the right end Gcb.
  • the position W is a position centered on the maximum point Q and where the arc Au passing through the position U and the straight line Lrq intersect. In this way, by positioning the slider Gcs, the corresponding position W in the color space is designated as the corrected average value.
  • the correction is a process of moving the average value from the point R to the point W in the color space, and the vector Hwr from the point R to the point W is called a correction vector.
  • the slide bar Gd for adjusting the distribution characteristics shows the similarity of the distribution characteristics.
  • each distribution characteristic adjusting slide bar Gd corresponds to a lower similarity as it is closer to the left end Gda, and corresponds to a higher similarity as it is closer to the right end Gdb.
  • the marker Gdi on the slide bar Gd is displayed at a position corresponding to the degree of similarity between the color distribution characteristic of the skin region of the input image and the color distribution characteristic corresponding to the sensibility word.
  • the slider Gds are used to specify the desired degree of similarity. In the state (initial state) before the similarity is specified by the operator, the slider Gds is displayed at the same position as the marker Gdi.
  • the distribution characteristic setting unit 44 outputs information indicating the degree of similarity corresponding to the position of the slider Gds to the image correction unit 50.
  • the guidance information generation unit 41 receives notification of the processing content from the sensitivity word selection unit 42, the average value setting unit 43, and the distribution characteristic setting unit 44, and makes the above changes in response to the notification.
  • the image correction unit 50 sets the average value of the colors in the skin region to be the set color value based on the average value of the colors generated by the correction information generation unit 40 and the similarity of the color distribution characteristics. In addition, the input image is corrected and the corrected image is output so that the color distribution characteristic of the skin region has a set similarity.
  • the color average value set by the correction information generation unit 40 with respect to the color average value calculated by the feature amount calculation unit 20 is obtained as a correction coefficient, and the skin in the input image is obtained.
  • the image is corrected by multiplying the pixel value of each pixel in the area by the correction coefficient.
  • the ratio of the a * value of the color average value set by the correction information generation unit 40 to the a * value of the color average value calculated by the feature amount calculation unit 20 is obtained as the correction coefficient. Multiply the a * value of each pixel in the skin area of the input image by the above correction coefficient.
  • the ratio of the b * value of the color average value set by the correction information generation unit 40 to the b * value of the color average value calculated by the feature amount calculation unit 20 is obtained as a correction coefficient, and the input image is obtained. Multiply the b * value of each pixel in the skin area by the above correction coefficient.
  • the a * value and b * value for each pixel are returned to the R value, G value, and B value, and then supplied to the image display unit 4.
  • the operator may select a plurality of Kansei words.
  • the average value of the corrected colors corresponds to the position of the end point of the composite vector which is the sum of the correction vectors for the plurality of Kansei words.
  • the correction vector for one Kansei word is V10
  • the correction vector for the other Kansei words is V20, V10 and V20.
  • the correction is performed so that the point V3, which is the end point of V30, which is the sum of the above, is the corrected average value.
  • the correction of the color distribution characteristic by the image correction unit 50 is performed so that the color distribution characteristic of the corrected image becomes the distribution characteristic having the specified similarity.
  • the similarity of the distribution characteristics has a larger value as the difference between the indexes used to express the distribution characteristics is smaller. Therefore, in order to increase the similarity, the difference between the indexes must be reduced. Is corrected.
  • the difference between the two or more indexes may be small, and the indexes are given priority so that the indexes have a high priority. The difference may be made smaller in order from. "The difference between two or more indicators becomes smaller” means, for example, that the difference between two or more indicators decreases at the same ratio. "Make the difference smaller in order from the highest priority index” means after the difference between each index becomes less than or equal to a predetermined value, or when the difference between the indexes cannot be made smaller than that. It means reducing the difference between low priority indicators.
  • the index is changed, for example, by gradation conversion.
  • gradation conversion For example, to change the median of the luminance histogram, the pixel values of the pixels in the skin area are changed in the same direction. For example, when the median value is reduced, the pixel value of each pixel is converted to be smaller by the gradation conversion using the downwardly convex gradation conversion curve CTa illustrated in FIG. On the contrary, when the median value is increased, the gradation conversion by the upwardly convex gradation conversion curve CTb illustrated in FIG. 13 is performed so that the pixel value of each pixel becomes larger.
  • the pixel value of the pixel with relatively high brightness and the pixel value of the pixel with relatively low brightness are changed in the opposite directions.
  • the pixel value is converted to be larger (away from the intermediate value Pk), and the pixel value smaller than the intermediate value Pk is converted to be smaller (away from the intermediate value Pk).
  • the gradation conversion curve CTc is convex upward in a range larger than the intermediate value Pk, and convex downward in a range smaller than the intermediate value Pk.
  • the gradation conversion curve CTd is convex downward in a range larger than the intermediate value Pk, and convex upward in a range smaller than the intermediate value Pk.
  • the above intermediate value Pk may be, for example, the median value of the luminance histogram or the average value.
  • the image correction unit 50 supplies the image generated by the correction to the image display unit 4 via the display control unit 60.
  • the image display unit 4 displays the supplied image.
  • the correction process ends. If you are not satisfied, you may continue to make further adjustments. In that case, the selection of the Kansei word may be canceled, changed, added, or the degree of correction of the selected Kansei word may be changed.
  • the GUI button for readjustment may be displayed together with the corrected image, and when the button is pressed, the state may return to the state of displaying the GUI image for adjustment (FIG. 7).
  • a GUI button for ending the correction may also be displayed, and the correction may be completed by pressing the button.
  • the image processing device 2 may be composed of a part or all of the processing circuit.
  • the functions of each part of the image processing device 2 may be realized by separate processing circuits, or the functions of a plurality of parts may be collectively realized by one processing circuit.
  • the processing circuit may be composed of hardware or software, that is, a programmed computer. Of the functions of each part of the image processing device 2, a part may be realized by hardware and the other part may be realized by software.
  • FIG. 15 shows a computer 9 that realizes all the functions of the image processing device 2 together with the image display unit 4.
  • the computer 9 has a processor 91 and a memory 92.
  • a program for realizing the functions of each part of the image processing device 2 is stored in the memory 92.
  • the processor 91 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, a DSP (Digital Signal Processor), or the like.
  • the memory 92 includes, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ReadOnly Memory), an EEPROM (Electrically Memory Disk, etc.), or an EEPROM (Electrically Memory) Alternatively, a photomagnetic disk or the like is used.
  • the processor 91 realizes the function of the image processing device 2 by executing the program stored in the memory 92.
  • the functions of the image processing device 2 include a process of displaying a GUI image on the image display unit 4 and a corrected image by correcting the input image according to an operation input performed using the GUI image of the image display unit 4. It includes a process of outputting an image signal representing.
  • the computer of FIG. 15 includes a single processor, but may include two or more processors. The procedure for performing the processing in the image processing apparatus of the embodiment on the computer shown in FIG. 15 will be described with reference to FIG.
  • step ST1 the image processing device 2 reads the input image including the human face.
  • the input image is, for example, an image obtained by capturing a human face with a camera.
  • step ST2 the skin area of the face is extracted from the input image. This process is the same as the process performed by the skin region extraction unit 10 of FIG.
  • step ST3 the feature amount representing the skin texture is calculated from the pixel value of the extracted skin area. This process is the same as that described with respect to the feature amount calculation unit 20 of FIG.
  • step ST4 initial guidance information is generated. This process is the same as described with respect to the guidance information generation unit 41 of FIG.
  • step ST5 the sensitivity word is selected, whether or not the correction is performed, and when the correction is performed, the degree of correction is specified. This process is the same as described for the Kansei word selection unit 42, the average value setting unit 43, and the distribution characteristic setting unit 44 in FIG.
  • step ST6 the image is corrected according to the selected sensibility word, the determination of whether or not to perform the determined correction, and the degree of the correction. This process is the same as that described for the image correction unit 50 of FIG.
  • step ST7 the corrected image is displayed. Along with the corrected image, the operator may be prompted to decide whether or not to perform readjustment.
  • step ST8 the operator looks at the displayed corrected image and decides whether or not to perform readjustment.
  • the process returns to step ST5, and the selection of correction items, the determination of whether or not to correct, the determination of the degree of correction, and the like are redone. If readjustment is not performed in step ST8, the correction process ends.
  • the sensibility word by selecting the sensibility word, it is possible to perform the correction for improving the skin texture corresponding to the sensibility word, so that the operation for the correction is easy and the correction can be performed in a short time. It can be carried out.
  • the information representing the average value of the color is the information indicating two points in the range of the average value corresponding to the sensibility word, so the amount of information can be small and the database. Can be reduced in scale. Further, even when a plurality of sensibility words are selected, it is possible to easily improve the skin texture by combining them.
  • the markers Gci and Gdi on the GUI slide bar may be omitted.
  • the average value of the skin color of the input image may be indicated by the initial positions of the sliders Gcs and Gds. That is, when a new input image is captured, the slider may be displayed at a position corresponding to the color average value and the color distribution characteristic according to the feature amount calculated by the feature amount calculation unit 20. In that case, when the operator moves the slider for adjustment, the position of the slider thereafter corresponds to the average color value and the color distribution characteristic of the corrected image. Further, even after the adjustment is started, if the adjustment reset button (not shown) is pressed, the slider may be returned to the position corresponding to the input image.
  • the other of the color average value and the color distribution characteristic changes accordingly. If so, the changed value may be displayed by a slider or an additional marker (not shown).
  • the left and right ends of the slide bar for adjusting the average value correspond to the minimum and maximum points of the color range corresponding to the sensibility words, respectively, but the points corresponding to the above minimum and maximum points correspond to each other. , It does not have to be located at the left and right edges on the slide bar.
  • the point corresponding to the minimum point may be located to the right of the left end, and the point corresponding to the maximum point may be located to the left of the right end.
  • each position in the slide bar displays the color specified when the slider is positioned at that position.
  • the slide bar is used for adjusting the color and the distribution characteristic, but instead, a combination of a button for instructing an increase in the numerical value and a button for instructing the decrease in the numerical value may be used.
  • a button for strengthening the skin texture corresponding to the sensibility word and a button for weakening the skin texture may be used.
  • a button for increasing the similarity of the color distribution characteristics corresponding to the sensibility word and a button for decreasing the similarity are used. You may.
  • the skin area of the face is the target of correction, but the skin area of other parts of the human body may be the target of correction.
  • the corrected image is displayed on the image display unit, but the corrected image may be printed by the printing device. In that case, the operator may look at the printed correction image and decide whether or not to readjust.
  • the image processing apparatus of the present invention has been described above, the image processing method implemented by the above-mentioned image processing apparatus also forms a part of the present invention.
  • a program for causing a computer to perform processing in the above-mentioned image processing apparatus or image processing method and a computer-readable recording medium for recording the program, for example, a non-temporary recording medium also form a part of the present invention. ..

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

複数の感性語の各々について、当該感性語に対応する特徴情報を記憶しておき、入力画像の肌領域の肌質感を表す特徴量を算出し、算出された特徴量及び記憶されている特徴情報に基づき、さらに操作者からの指示に応じて、肌領域が所望の肌質感を有するように補正するための補正情報を生成し、生成された補正情報に基づいて、入力画像の肌領域の肌質感を補正する。操作者の希望に応じて肌質感を改善するための補正を短時間で行うことが可能になる。

Description

画像処理装置及び方法、並びにプログラム及び記録媒体
　本発明は、画像処理装置及び方法に関する。本発明は特に、感性語で表現される肌質感を改善するための画像の補正に関する。本発明はまたプログラム及び記録媒体に関する。
　スマートフォン、ＰＣ（パーソナルコンピュータ）等の情報処理機能を有する端末の処理性能の向上或いは機能の充実に伴い、これらの端末で撮像画像の補正を行うことが可能となっている。撮像画像の補正においては、肌質感の改善のための補正が望まれることがある。
　特許文献１に記載された画像処理方法では、複数の感性語に対する標準者の感性に基づく感性調整値と、該感性調整値に対応する色調整パラメータを記憶し、利用者個人の感性に基づいて感性調整値を算出し、記憶されている色調整パラメータの中から、上記の算出結果に対応する色調整パラメータを選択して、調整を行っている（例えば、特許文献１参照）。
特開２００５－２０３４４号公報
　特許文献１の技術を、肌質感の改善のための補正に適用する場合、標準者によって求められた感性語と複数の色調整パラメータとを対応させ、入力画像を補正することになる。
　このような色調整パラメータを用いて、所望の肌質感になるように調整を行う場合、調整に時間が掛るという問題がある。
　本発明では、操作者が希望するように肌質感を改善するための補正が短時間で行えるようにすることにある。
　本発明の画像処理装置は、
　複数の感性語の各々について、当該感性語に対応する特徴情報を記憶する特徴情報記憶部と、
　入力画像の肌領域の肌質感を表す特徴量を算出する特徴量算出部と、
　前記特徴量算出部で算出された前記特徴量及び前記特徴情報記憶部に記憶されている前記特徴情報に基づき、さらに操作者からの指示に応じて、補正後の画像の肌領域が所望の肌質感を有するように補正をするための補正情報を生成する補正情報生成部と、
　前記補正情報に基づいて、前記入力画像の肌領域の肌質感を補正する画像補正部と
　を備える。
　本発明によれば、操作者が希望するように肌質感を改善するための補正を短時間で行うことが可能になる。
本発明の実施の形態の画像処理装置を画像表示部及び操作入力部とともに示すブロック図である。 顔の肌領域を示す図である。 特徴情報記憶部が記憶する、各感性語に対応する特徴量を示す表である。 一つの感性語に対応する、色の平均値の、色空間における範囲の一例を示す図である。 感性語の一つに対応する、色の平均値の色空間における範囲を示す図である。 図１の補正情報生成部の構成例を示すブロック図である。 画像の肌質感の調整のために用いられるＧＵＩ画像の一例を示す図である。 （ａ）は図７の平均値調整用スライドバーの具体例を示す図であり、（ｂ）及び（ｃ）は、スライドバー上のマーカ及びスライダーの位置に対応する色空間内の位置を示す図である。 入力画像の肌領域の色の平均値と、ＧＵＩ画像のスライドバー上での位置との関係、及びスライダーの移動と、補正画像の肌領域の色の平均値の変化との関係の一例を示す図である。 入力画像の肌領域の色の平均値と、ＧＵＩ画像のスライドバー上での位置との関係、及びスライダーの移動と、補正画像の肌領域の色の平均値の変化との関係の他の例を示す図である。 図７の分布特性調整用スライドバーの具体例を示す図である。 ２つの感性語に対応する肌質感の変更のための補正ベクトルの合成を示す図である。 画像の輝度の中央値を変えるための階調変換のための変換特性の一例を示す曲線図である。 画像の輝度の分布の尖度を変えるための階調変換のための変換特性の一例を示す曲線図である。 図１の画像処理装置の機能を実現するコンピュータを、画像表示部及び操作入力部とともに示すブロック図である。 図１５で示されるコンピュータで、実施の形態の画像処理装置における処理を実施する場合の処理の手順を示すフローチャートである。
　図１は、本発明の実施の形態の画像処理装置２を画像表示部４及び操作入力部６とともに示すブロック図である。
　図示の画像処理装置２は、肌領域抽出部１０と、特徴量算出部２０と、特徴情報記憶部３０と、補正情報生成部４０と、画像補正部５０と、表示制御部６０とを有する。
　画像処理装置２は、入力画像Ｄｉを読み込み、読み込んだ入力画像Ｄｉの肌領域の肌質感の補正を行うものである。ここで言う肌領域は、例えば顔の肌領域である。入力画像Ｄｉは、例えばカメラで人の顔を撮像することで得られた画像である。
　画像処理装置２は、入力画像Ｄｉを、肌領域の肌質感を表す特徴量が、所望の値に近づくように補正し、補正された画像Ｄｏを出力する。画像表示部４は、モニターで構成されており、補正された画像の表示に用いられる。
　操作入力部６は、操作者が補正に関する指示を入力するために用いられる。
　補正される肌質感は、感性語で表される肌質感である。肌質感を表す感性語としては、例えば、「やわらかい肌」、「血色の良い肌」及び「透明感のある肌」がある。
　操作者が操作入力部６を用いて感性語を入力すると、画像処理装置２は当該感性語に対応する特徴量と、入力画像における肌質感を表す特徴量との合致度（逆に言えば差異の程度）を画像表示部４に表示させる。表示に応じて、操作者が補正の要否を判断して、補正が必要なときは、操作入力部６を用いて補正を指示する。補正を指示する場合には、補正の程度を指定する。画像処理装置２は、補正の指示及び補正の程度の指定に応じて画像を補正する。
　上記の合致度の表示、補正の指示及び補正の程度の指定は、例えば画像表示部４に表示され操作入力部６により操作されるＧＵＩ（ｇｒａｐｈｉｃａｌ　ｕｓｅｒ　ｉｎｔｅｒｆａｃｅ）画像を利用して行い得る。
　画像表示部４に表示されるＧＵＩによる操作入力は、例えば、マウス或いはキーボードで行われる。画像表示部４がタッチパネル付きのディスプレイで構成されている場合、ＧＵＩによる操作入力は、タッチパネルにより行われる。これらの場合、マウス、キーボード、或いはタッチパネルが操作入力部６を構成する。
　肌質感を表す特徴量としては、本実施の形態では、肌領域の色の平均値と、肌領域の色の分布特性とが用いられる。
　肌領域が顔の肌領域である場合、肌領域抽出部１０は、人の顔を含む入力画像から、顔の肌領域を抽出する。
　例えば図２に示される画像２０１が入力された場合、顔の肌領域２０４は頭部２０２の内、目２１１、眉毛２１２、唇２１３及び髪２１４を除く領域である。
　即ち、頭部２０２内の目２１１、眉毛２１２、唇２１３及び髪２１４を検出し、頭部２０２から、検出された目２１１、眉毛２１２、唇２１３及び髪２１４の部分を除いた部分を肌領域２０４として抽出する。
　代わりに、頭部２０２から肌色の領域を抽出することで、肌領域２０４を抽出することとしても良い。
　肌領域の抽出においては、肌領域の全体ではなく一部のみを抽出しても良い。例えば額２０５、頬２０６及び顎２０７のいずれか１つ以上を顔の肌領域として抽出しても良い。またこれらの領域のいずれかの、一部のみを抽出しても良い。
　一部のみを抽出する場合、抽出すべき領域をＧＵＩで指定できるようにしても良い。
　特徴量算出部２０は、肌領域抽出部１０で抽出された肌領域の画素値に基づいて、肌質感を表す特徴量を算出する。画素値は、例えば色成分値、即ちＲ値、Ｇ値及びＢ値で構成される。特徴量としては、例えば抽出された肌領域の色の平均値と、肌領域の色の分布特性とが算出される。
　肌領域の色の平均値とは、抽出した肌領域の各画素の色を示す値の、抽出した肌領域の全体にわたる平均値である。
　色の平均値としては、例えば、Ｌ＊ａ＊ｂ＊表色系のａ＊値の平均値及びｂ＊値の平均値が用いられる。
　入力画像の画素値が色成分値、即ち、Ｒ値、Ｇ値及びＢ値で構成される場合、Ｌ＊ａ＊ｂ＊値は、抽出された肌領域の各画素のＲ値、Ｇ値及びＢ値からの変換で得られる。
　肌領域の色の分布特性は、抽出した肌領域の各画素の色を示す値の、抽出した肌領域の全体にわたる分布特性である。
　色の分布特性としては、輝度の分布特性が用いられ、輝度の分布特性としては、例えば輝度ヒストグラムの特性が用いられる。
　入力画像が色成分値、即ちＲ値、Ｇ値及びＢ値で構成される場合、輝度（Ｙ値）は、例えば、各画素のＲ値、Ｇ値及びＢ値を加重加算することで得られる。
　輝度ヒストグラムの特性を表す指標としては、例えば、輝度ヒストグラムの中央値、平均値、最頻値、歪度及び尖度の少なくとも一つが用いられる。
　輝度の分布特性を表す指標としては、上記の例以外のものを用いても良い。要するに、輝度の分布の仕方、例えば分布の広がりの程度、ピークの位置等を把握できるものであれば良い。
　色の分布特性としては、輝度の分布特性の代わりにそれぞれの成分値、即ちＲ値、Ｇ値及びＢ値の分布特性を用いても良い。
　特徴情報記憶部３０は、複数の感性語の各々について、当該感性語に対応する特徴情報をデータベースとして記憶している。
　記憶されている特徴情報の例を図３に示す。
　図３は、複数の感性語の各々について対応する特徴情報が表形式で記憶されることを示す。感性語の例としては、「やわらかい肌」、「血色の良い肌」及び「透明感のある肌」が記入されている。
　感性語に対応する特徴情報とは、平均的な利用者に当該感性語で表現されていると受け取られる肌質感を表す情報、即ちそのような肌質感を持つ肌領域の特徴を表す情報である。
　特徴情報としては、特徴量算出部２０で算出される特徴量に対応する情報が記憶されている。
　例えば、上記のように、特徴量算出部２０で、入力画像の肌領域の色の平均値と、肌領域の色の分布特性とを算出する場合、特徴情報記憶部３０は、感性語に対応する肌領域の色の平均値を表す情報と、肌領域の色の分布特性を表す情報とを記憶している。
　色の平均値を表す情報としては、色の平均値の範囲が記憶される。
　平均値の範囲は、色を表す空間内において多次元の拡がりを持つが、本実施の形態では、上記の範囲のうち、感性語に対応する肌質感が最も弱い点と最も強い点とが記憶されている。
　例えば、色を表す空間がａ＊ｂ＊空間である場合、図４に示すように、肌質感に対応する平均値の範囲Ｈａは二次元の拡がりを持つが、本実施の形態では、該範囲のうち、感性語に対応する肌質感の程度が最も弱い点Ｐと最も強い点Ｑとが記憶されている。以下では便宜上、最も弱い点Ｐを最小点と言い、最も強い点Ｑを最大点と言う。
　特徴情報記憶部３０は、肌質感を表す感性語ごとに、最小点Ｐの座標（ａ＊ ｐ，ｂ＊ ｐ）と最大点Ｑの座標（ａ＊ ｑ，ｂ＊ ｑ）を記憶する。
　図３は、「やわらかい肌」という感性語に対応する色の範囲の最小点Ｐの座標（ａ＊ ｐ，ｂ＊ ｐ）及び最大点Ｑの座標（ａ＊ ｑ，ｂ＊ ｑ）がそれぞれ（１５，２０）及び（１３，２４）であることを示す。
　図５は、図３に示される、「やわらかい肌」という感性語に対応する色の範囲の最小点Ｐの座標（ａ＊ ｐ，ｂ＊ ｐ）及び最大点Ｑの座標（ａ＊ ｑ，ｂ＊ ｑ）を示す。
　色の分布特性を表す特徴情報としては、各感性語に対応する分布特性を表す指標の値の範囲内の代表的な値が記憶されている。
　例えば、色の分布特性としては輝度の分布特性、例えば、輝度ヒストグラムの特性が用いられ、輝度ヒストグラムの特性を表す指標としては、輝度ヒストグラムの中央値、平均値、最頻値、歪度及び尖度の少なくとも一つが用いられる。
　感性語に対応する色について述べたのと同様に、感性語に対応する上記の指標値の範囲も、ある拡がりを持つが、該範囲の中の代表的な値、例えば上記範囲の中心或いは重心に位置する値が記憶されている。
　上記の指標が２つ以上用いられる場合、２つ以上の指標の代表的な値の組合せが記憶されている。
　感性語から受ける印象は、人によって異なる。
　特徴情報記憶部３０に記憶される情報は、画像処理装置２の多数の利用者の平均的な感性に基づいて定められる。
　即ち記憶される情報の決定、及びそれによるデータベースの作成に当たっては、感性語と、肌質感との関係につき、画像処理装置２を利用する可能性のある多数の人に評価をしてもらい、その評価結果が利用される。
　例えば、異なる画像を複数用意して、各感性語の各々に対応する画像を選択してもらうこととしても良い。選択に当たり一対比較評価を行なってもらっても良い。
　記憶される情報の決定を機械学習、例えば深層学習により行っても良い。
　感性語の受け取られ方が利用者層によって異なる場合がある。その場合、画像処理装置の利用が見込まれる利用者層（ターゲットとする利用者層）の感覚に適合するように、データベースを作成するのが望ましい。複数の異なる利用者層による利用が見込まれる場合には、利用者層毎に異なるデータベースを作成しておき、各利用者が、どの層に属するかに応じてデータベースを選択して使用するようにしても良い。
　補正情報生成部４０は、特徴情報記憶部３０に記憶されている、複数の感性語のうちの少なくとも一つの感性語に対応する特徴情報と、特徴量算出部２０で算出された、入力画像の肌領域の肌質感を表す特徴量との関係を操作者に知らせ、操作者からの指示に応じて補正情報を生成する。
　例えば複数の感性語のうちのいずれかを操作者に選択させ、選択された感性語に対応する特徴情報と、算出された特徴量との関係を操作者に知らせ、操作者に補正を行うか否かを決定させ、補正を行う場合には、補正の程度を決定させる。
　補正情報生成部４０は、図６に示すように、案内情報生成部４１と、感性語選択部４２と、平均値設定部４３と、分布特性設定部４４とを有する。
　案内情報生成部４１は、案内情報を生成する。案内情報としては、例えば、最初に初期案内情報が生成され、その後、操作者による操作入力に応じて初期案内情報に対する変更或いは追加が行われる。初期案内情報は、特徴情報記憶部３０に記憶されている感性語を操作者に知らせ、そのような感性語のうちの少なくとも一つを操作者に選択させるための情報である。操作者による操作入力が行われると、操作入力による選択或いは設定を示す情報、或いは操作入力に応じて次の操作を促す情報が追加され、或いはそれまで出力されていた情報の代わりに出力される。このように、案内情報は、操作入力に応じて更新される。
　感性語選択部４２は、特徴情報記憶部３０に記憶されている複数の感性語のうちの一つ以上の感性語を操作者に選択させる。
　感性語が選択されると、案内情報生成部４１は、選択された感性語を示すとともに、選択された感性語に対応する特徴情報と、特徴量算出部２０で算出された特徴量との関係、即ち合致度を操作者に知らせ、操作者に補正の要否及び補正の程度の決定を促す情報を生成する。
　平均値設定部４３は、選択された感性語の各々について、補正後の画像の色の平均値を操作者に設定させる。補正後の画像の色の平均値の設定は、入力画像の特徴量と、記憶されている感性語に対応する特徴情報を参照しながら行われる処理である。
　平均値の設定が行われると、案内情報生成部４１は、設定されている平均値を示す情報を生成する。
　分布特性設定部４４は、選択された感性語の各々について、補正後の画像の色の分布特性の、感性語に対応して記憶されている色の分布特性に対する類似度を操作者に設定させる。類似度の設定は、記憶されている感性語に対応する特徴情報で示される分布特性との類似度の設定であり、分布特性の設定であるとも言える。
　分布特性の設定、即ち分布特性の類似度の設定が行われると、案内情報生成部４１は、設定されている分布特性即ちその類似度を示す情報を生成する。
　分布特性の類似度は、分布特性を表すために用いられている指標の差が小さいほど、大きい値を持つ。例えば、指標の差の絶対値の逆数、或いは指標の差の２乗の逆数が類似度として用いられる。分布特性を表すために２つ以上の指標が用いられている場合には、当該２つ以上の指標の差の絶対値の逆数の加重加算値、或いは当該２つ以上の指標の差の２乗の逆数の加重加算値が類似度として用いられる。
　補正後の画像の色の平均値の設定及び分布特性の設定は、補正の程度の設定であるとも言える。
　このような処理のための操作者に対する情報（案内情報）の提示、及び操作者による操作入力は、例えば、画像表示部４に表示され操作入力部６により操作されるＧＵＩ画像を利用して行われる。その場合、案内情報生成部４１は、ＧＵＩ画像を生成する。
　ＧＵＩ画像の例を図７に示す。
　図７には、それぞれ感性語を表す文字列Ｇａと、それぞれの文字列に対応して設けられた複数のチェックボックスＧｂ、複数の平均値調整用スライドバーＧｃ、及び複数の分布特性調整用スライドバーＧｄとがＧＵＩ部品として表示されている。
　感性語の例としては「やわらかい肌」、「血色の良い肌」、及び「透明感のある肌」が示されている。
　各感性語は、当該感性語に対応するチェックボックスＧｂにチェックマークを入力することで選択される。
　操作者は、感性語を一つだけ選んでも良く、複数個を選んでも良い。
　感性語選択部４２は、チェックボックスＧｂへのチェックマーク入力に応じて、選択された感性語を平均値設定部４３及び分布特性設定部４４に通知し、平均値設定部４３及び分布特性設定部４４での設定を可能にする。
　図７の例では、予め複数の感性語Ｇａが表示されており、その中から、選択された感性語に対応するチェックボックスＧｂにチェックマークが入れられるものとしている。特徴情報記憶部３０に特徴情報が保存されている感性語のすべてを一度に画面に表示できない場合には、画面をスクロールすることにより、感性語が順次表示されるように構成されていても良い。
　各感性語に対応するスライドバーＧｃ及びスライドバーＧｄによる入力は、当該感性語が選択された状態でのみ、行える。従って各感性語が選択された状態でのみ、スライドバーＧｃ及びスライドバーＧｄを表示するようにしても良い。
　平均値調整用スライドバーＧｃは、色の合致度を示すものである。図８（ａ）に示される例では、各平均値調整用スライドバーＧｃの左端Ｇｃｐ及び右端Ｇｃｑは、それぞれ該当する感性語に対応する色の範囲の最小点Ｐ及び最大点Ｑに対応する。
　スライドバーＧｃ上のマーカＧｃｉは、入力画像の色の平均値に対応する位置を示す。
　スライダーＧｃｓは、所望の平均値（色の平均値）の指定に用いられる。操作者による平均値の指定が行われる前の状態（初期状態）では、スライダーＧｃｓは、マーカＧｃｉと同じ位置に表示されている。
　平均値設定部４３は、スライダーＧｃｓの位置に対応する色の平均値を示す情報を画像補正部５０に出力する。
　入力画像の色の平均値が、色空間内において、感性語に対応する色の範囲を示す最小点Ｐと最大点Ｑとを結ぶ直線上にあれば、当該直線上の位置に対応する位置にマーカＧｃｉを表示すれば良い。
　入力画像の色の平均値が、感性語に対応する色の範囲を示す最小点Ｐと最大点Ｑとを結ぶ直線上にない場合には、該平均値を上記の直線に投影した位置に対応する位置にマーカＧｉを表示すれば良い。
　投影は、例えば、上記の直線に垂直な直線に沿って行われる。
　例えば、図９に示すように、入力画像の平均値の色空間内における位置Ｒ（この位置を「点」という場合がある）が、最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑ上にはないものとする。その場合、平均値の点Ｒを通り、最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑと、該直線Ｌｐｑに垂直な線Ｌｒｎとの交点Ｓが、上記の「垂直な直線に沿って投影」した点である。
　マーカＧｃｉは、上記の点Ｓの位置に対応する位置に表示される。ここでマーカＧｃｉの位置が、色空間内の位置Ｓに対応するとは、マーカＧｃｉから左端Ｇｃａまでの距離とマーカＧｃｉから右端Ｇｃｂまでの距離との比が、位置Ｓから最小点Ｐまでの距離と位置Ｓから最大点Ｑまでの距離との比に等しいことを意味する。図８（ｂ）には、左端Ｇｃａ及び右端Ｇｃｂが、最小点Ｐ及び最大点Ｑに整列するように作図した場合に、マーカＧｃｉの位置が位置Ｓに整列することを示している。
　補正後の色の平均値の指定は、スライダーＧｃｓによって行われる。スライドバーＧｃ上で、スライダーＧｃｓをより右に位置させるほど、補正後の画像における肌領域の色の平均値は、対応する感性語で表される肌質がより強いものとなる。
　上記のように、垂直な線に沿う投影が利用されている場合には、補正後の画像における肌領域の色の平均値は、スライダーＧｃｓの移動に伴い、図９に示すように、入力画像の肌領域の色の平均値の点Ｒを通り、上記の最小点Ｐと最大点Ｑを結ぶ直線Ｌｐｑに平行な直線Ｌｒｐに沿って移動する。
　例えば、スライドバーＧｃ上において、スライダーＧｃｓをある位置に設定したとすると、当該位置に対応する色空間内の、直線Ｌｐｑ上の位置Ｕが指定され、これに伴い直線Ｌｒｐ上の位置Ｖが指定される。
　位置Ｕは、最小点Ｐまでの距離と最大点Ｑまでの距離の比が、スライダーＧｃｓから左端Ｇｃａまでの距離とスライダーＧｃｓから右端Ｇｃｂまでの距離に等しい位置である。
　位置Ｖは、位置Ｕを通り、直線Ｌｐｑに垂直な線Ｌｕｎが直線Ｌｒｐとが交わる位置である。
　図８（ｃ）には、直線Ｌｒｐ上の位置が、図８（ｂ）の直線Ｌｒｑ上の対応する位置と整列するように示してある。
　このように、スライダーＧｃｓの位置決めにより、色空間内の対応する位置Ｖが補正後の平均値として指定される。
　補正は色空間内において平均値を点Ｒから点Ｖに移動させる処理であり、点Ｒから点Ｖに向かうベクトルＨｖｒを補正ベクトルと言う。
　上記の例では、入力画像の色の平均値が、感性語に対応する色の範囲を示す最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑ上にない場合に、該平均値の上記の直線への投影が、上記の直線Ｌｐｑに垂直な直線に沿って行われる。
　代わりに、上記の投影を上記の最大点Ｑを中心とする円弧に沿って行っても良い。
　例えば、図１０に示すように、入力画像の平均値の色空間内における位置Ｒが、最小点Ｐと最大点Ｑとを結ぶ直線Ｌｐｑ上にないものとする。その場合、最大点Ｑを中心とし、点Ｒを通る円弧Ａｒと、直線Ｌｐｑとの交点Ｔが、上記の「円弧に沿って投影」した点である。
　マーカＧｃｉは、上記の点Ｔの位置に対応する位置に表示される。マーカＧｃｉの位置が、色空間内の位置Ｔに対応するとは、マーカＧｃｉから左端Ｇｃａまでの距離とマーカＧｃｉから右端Ｇｃｂまでの距離との比が、位置Ｔから最小点Ｐまでの距離と位置Ｔから最大点Ｑまでの距離との比に等しいことを意味する。
　上記の円弧に沿う投影が利用されている場合には、補正後の画像における肌領域の色の平均値は、スライダーＧｃｓの移動に伴い、図１０に示すように、入力画像の肌領域の色の平均値Ｒと最大点Ｑとを結ぶ直線Ｌｒｑに沿って移動する。
　例えば、スライドバーＧｃ上において、スライダーＧｃｓをある位置に設定したとすると、当該位置に対応する色空間内の、直線Ｌｐｑ上の位置Ｕが指定され、これに伴い直線Ｌｒｑ上の位置Ｗが指定される。
　位置Ｕは、最小点Ｐまでの距離と最大点Ｑまでの距離の比が、スライダーＧｃｓから左端Ｇｃａまでの距離とスライダーＧｃｓから右端Ｇｃｂまでの距離に等しい位置である。
　位置Ｗは、最大点Ｑを中心とし、位置Ｕを通る円弧Ａｕと、直線Ｌｒｑとが交わる位置である。
　このように、スライダーＧｃｓの位置決めにより、色空間内の対応する位置Ｗが補正後の平均値として指定される。
　補正は色空間内において平均値を点Ｒから点Ｗに移動させる処理であり、点Ｒから点Ｗに向かうベクトルＨｗｒを補正ベクトルと言う。
　分布特性調整用スライドバーＧｄは、分布特性の類似度を示すものである。図１１に示される例では、各分布特性調整用スライドバーＧｄは、その左端Ｇｄａに近いほど低い類似度に対応し、右端Ｇｄｂに近いほど、高い類似度に対応する。
　スライドバーＧｄ上のマーカＧｄｉは、入力画像の肌領域の色の分布特性と、感性語に対応する色の分布特性との類似度に応じた位置に表示される。
　スライダーＧｄｓは、所望の類似度の指定に用いられる。操作者による類似度の指定が行われる前の状態（初期状態）では、スライダーＧｄｓは、マーカＧｄｉと同じ位置に表示されている。
　分布特性設定部４４は、スライダーＧｄｓの位置に対応する類似度を示す情報を画像補正部５０に出力する。
　なお、ＧＵＩ画像におけるチェックボックスＧｂ内のチェックマークの有無、及びスライドバーＧｃ及びＧｄ上のスライダーの位置は操作入力に応じて変更されるが、そのような変更は、案内情報生成部４１によって行われる。即ち、案内情報生成部４１は、感性語選択部４２、平均値設定部４３及び分布特性設定部４４から処理の内容の通知を受け、該通知に応じて、上記の変更を行う。
　画像補正部５０は、補正情報生成部４０で生成された色の平均値と色の分布特性の類似度とに基づき、肌領域の色の平均値が設定された色の値となるように、また、肌領域の色の分布特性が設定された類似度を有する分布特性となるように、入力画像を補正して補正画像を出力する。
　例えば、色の平均値については、特徴量算出部２０で算出された、色の平均値に対する、補正情報生成部４０で設定された色の平均値を補正係数として求め、入力画像のうちの肌領域内の各画素の画素値に対して補正係数を乗算することで画像の補正を行う。
　具体的には、特徴量算出部２０で算出された、色の平均値のａ＊値に対する、補正情報生成部４０で設定された色の平均値のａ＊値の比を補正係数として求め、入力画像のうちの肌領域内の各画素のａ＊値に対して上記の補正係数を乗算する。同様に、特徴量算出部２０で算出された、色の平均値のｂ＊値に対する、補正情報生成部４０で設定された色の平均値のｂ＊値の比を補正係数として求め、入力画像のうちの肌領域内の各画素のｂ＊値に対して上記の補正係数を乗算する。
　各画素についてのａ＊値及びｂ＊値はＲ値、Ｇ値及びＢ値に戻された後、画像表示部４に供給される。
　上記のように、操作者が複数個の感性語を選択する場合がある。複数の感性語を選択する場合、補正後の色の平均値は、複数の感性語についての補正ベクトルの和である合成ベクトルの終点の位置に相当する。
　例えば、選択された感性語が２つであり、図１２に示すように、一つの感性語についての補正ベクトルがＶ１０であり、他の感性語についての補正ベクトルがＶ２０である場合、Ｖ１０とＶ２０の和であるＶ３０の終点である点Ｖ３が補正後の平均値となるように補正が行われる。
　上記のように、画像補正部５０による色の分布特性の補正は、補正後の画像の色の分布特性が、指定された類似度を有する分布特性となるように行われる。
　分布特性の類似度は、上記のように、分布特性を表すために用いられている指標の差が小さいほど大きい値を持つので、類似度を大きくするためには、指標の差を小さくするための補正が行われる。
　分布特性を表すために２以上の指標が用いられている場合には、当該２以上の指標の差がともに小さくなるようにしても良く、指標に優先順位を与えておき、優先順位の高い指標から順に差が小さくなるようにしても良い。
　「２以上の指標の差がともに小さくなる」とは、例えば、２以上の指標の差が同じ比率で減少することを意味する。
　「優先順位の高い指標から順に差が小さくなるようにする」とは、各指標の差が予め定められた値以下になった後に、或いは当該指標の差をそれ以上小さくできないときに、それより低い優先順位の指標の差を小さくすることを意味する。
　指標の変更は、例えば階調変換により行われる。
　例えば、輝度ヒストグラムの中央値を変えるには、肌領域内の画素の画素値を同じ方向に変更する。例えば中央値を小さくする場合、図１３に例示する、下方に凸の階調変換曲線ＣＴａによる階調変換で、各画素の画素値がより小さくなるように変換する。逆に、中央値を大きくする場合、図１３に例示する、上方に凸の階調変換曲線ＣＴｂによる階調変換で、各画素の画素値がより大きくなるように、変換する。
　また、輝度の分布の尖度を変えるには、肌領域内の画素のうち、比較的高い輝度の画素の画素値と、比較的低い輝度の画素の画素値とを逆方向に変更する。例えば、分布の尖度を小さくする（広がりを大きくする）場合、図１４に例示する、階調変換曲線ＣＴｃによる階調変換で、階調範囲の中間に位置する値（中間値）Ｐｋより大きい画素値はより大きくなる（中間値Ｐｋから遠ざかる）ように、中間値Ｐｋより小さい画素値はより小さくなる（中間値Ｐｋから遠ざかる）ように変換する。逆に、分布の尖度を大きくする（分布の広がりを小さくする）場合、図１４に例示する、階調変換曲線ＣＴｄによる階調変換で、中間値Ｐｋより大きい画素値はより小さくなる（中間値Ｐｋに近づく）ように、中間値Ｐｋより小さい画素値はより大きくなる（中間値Ｐｋに近づく）ように変換する。
　階調変換曲線ＣＴｃは、中間値Ｐｋよりも大きい範囲では、上に凸であり、中間値Ｐｋよりも小さい範囲では、下に凸である。
　階調変換曲線ＣＴｄは、中間値Ｐｋよりも大きい範囲では、下に凸であり、中間値Ｐｋよりも小さい範囲では、上に凸である。
　曲線ＣＴｃ及びＣＴｄのいずれにおいても入力値が中間値Ｐｋに等しいとき、出力値も中間値Ｐｋに等しい。
　上記の中間値Ｐｋは、例えば輝度ヒストグラムの中央値であっても良く、平均値であっても良い。
　画像補正部５０は、補正により生成した画像を表示制御部６０を介して画像表示部４に供給する。
　画像表示部４は、供給された画像を表示する。
　操作者は、画像表示部４に表示された補正後の画像を見て満足すれば、それで補正の処理を終了する。満足しない場合には、さらに調整を続けても良い。その場合、感性語の選択の取り消し、変更、追加、選択した感性語についての補正の程度の変更等を行なっても良い。
　例えば再調整のためのＧＵＩボタンを補正後の画像とともに表示して、該ボタンが押されたら、調整のためのＧＵＩ画像（図７）を表示する状態に戻ることとしても良い。
　補正を終了するためのＧＵＩボタンをも表示して、該ボタンを押すことで補正を終了することとしても良い。
　画像補正部５０で補正された画像（及び上記のＧＵＩボタン）と、補正情報生成部４０で生成されたＧＵＩ画像とは互いに合成されて画像表示部４の画面に同時に表示されるようにしても良く、切替えながら表示されるようにしても良い。
　画像の合成或いは切替えは、表示制御部６０で行われる。
　画像処理装置２は、その一部又は全部を処理回路で構成し得る。
　例えば、画像処理装置２の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
　処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
　画像処理装置２の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。
　図１５は、画像処理装置２の全ての機能を実現するコンピュータ９を、画像表示部４とともに示す。
　図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
　メモリ９２には、画像処理装置２の各部の機能を実現するためのプログラムが記憶されている。
　プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
　メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
　プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、画像処理装置２の機能を実現する。
　画像処理装置２の機能には、画像表示部４にＧＵＩ画像を表示させる処理及び、画像表示部４のＧＵＩ画像を利用して行われた操作入力に応じて入力画像を補正して、補正画像を表す画像信号を出力する処理が含まれる。
　図１５のコンピュータは単一のプロセッサを含むが、２以上のプロセッサを含んでいても良い。
　図１５で示されるコンピュータで、実施の形態の画像処理装置における処理を実施する場合の手順を図１６を参照して説明する。
　ステップＳＴ１では、画像処理装置２が人の顔を含む入力画像の読み込みを行う。入力画像は、例えばカメラで人の顔を撮像することで得られた画像である。
　ステップＳＴ２では、入力画像から顔の肌領域を抽出する。この処理は、図１の肌領域抽出部１０で行われる処理と同じである。
　ステップＳＴ３では、抽出された肌領域の画素値から、肌質感を表す特徴量を算出する。この処理は、図１の特徴量算出部２０に関して説明したのと同様である。
　ステップＳＴ４では、初期案内情報を生成する。この処理は、図１の案内情報生成部４１に関して説明したのと同様である。
　ステップＳＴ５では、感性語の選択及び補正を行うか否かの選択、並びに補正を行う場合には補正の程度の指定を行う。この処理は、図１の感性語選択部４２、平均値設定部４３及び分布特性設定部４４に関して説明したのと同様である。
　ステップＳＴ６では、選択された感性語、決定された補正を行うか否かの決定、及び補正の程度に応じて画像の補正を行う。
　この処理は、図１の画像補正部５０について説明したのと同様である。
　ステップＳＴ７では、補正画像を表示する。
　補正画像とともに、再調整を行うか否かの決定を操作者に促すようにしても良い。
　ステップＳＴ８では、操作者は、表示されている補正画像を見て、再調整を行うか否かを決定する。再調整を行う場合には、ステップＳＴ５に戻り、補正項目の選択、補正するか否かの決定、補正の程度の決定等をやり直す。
　ステップＳＴ８で再調整を行わない場合には補正の処理を終了する。
　実施の形態によれば、感性語を選択することで、感性語に対応する肌質感を改善するための補正を行うことができるので、補正のための操作が容易であり、短時間で補正を行うことができる。
　また、肌質感に対応する特徴量のうち、色を平均値を表す情報が、感性語に対応する平均値の範囲のうちの２点を示す情報であるので、情報量が少なくて済み、データベースの規模を小さくすることができる。
　さらに、複数の感性語が選択された場合にも組合せによる肌質感の改善を容易に行うことができる。
　本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されず、種々の変形が可能である。
　例えば、ＧＵＩのスライドバー上のマーカＧｃｉ、Ｇｄｉを省略しても良い。その場合、入力画像の肌の色の平均値は、スライダーＧｃｓ、Ｇｄｓの初期位置で示すこととしても良い。
　即ち、新たに入力画像が取り込まれると、特徴量算出部２０で算出した特徴量に応じた色の平均値及び色の分布特性に対応する位置にスライダーが表示されることとしても良い。その場合、操作者が調整のためにスライダーを移動させると、それ以降は、スライダーの位置は、補正後の画像の色の平均値及び色の分布特性に対応するものとなる。
　また、調整開始後であっても図示しない調整リセットボタンが押されたら、入力画像に応じた位置にスライダーが戻されるようにしても良い。
　スライドバーＧｃ及びＧｄのいずれかのスライダーＧｃｓ、Ｇｄｓの移動によって、色の平均値及び色の分布特性の一方を変化させた結果、それに伴って色の平均値及び色の分布特性の他方が変化した場合には、変化後の値をスライダー又は図示しない付加的なマーカで表示することとしても良い。
　上記の例では、平均値調整用のスライドバーの左端及び右端が、感性語に対応する色の範囲の最小点及び最大点にそれぞれ対応するが、上記の最小点及び最大点に対応する点が、スライドバー上の左端及び右端に位置しなくても良い。例えば、上記の最小点に対応する点が左端よりも右方向に位置し、上記の最大点に対応する点が右端よりも左方向に位置しても良い。
　各感性語に対応する平均値調整用スライドバー内には、その位置に応じて次第に変化する色を表示しても良い。この場合スライドバー内の各位置には、当該位置にスライダーが位置決めされたときに指定される色が表示される。
　上記の例では、色の調整及び分布特性の調整にスライドバーを用いているが、代わりに数値の増加を指示するボタン及び数値の減少を指示するボタンの組合せを用いても良い。
　例えば、各感性語に対応する平均値の調整用のスライドバーの代わりに、当該感性語に対応する肌質感を強めるためのボタンと弱めるためのボタンとを用いても良い。
　また、各感性語に対応する色の分布特性の調整用のスライドバーの代わりに、当該感性語に対応する色の分布特性の類似度を高くするためのボタンと低くするためのボタンとを用いても良い。
　上記の例では、顔の肌領域を補正の対象としているが、人体の他の部分の肌領域を補正の対象としても良い。
　上記の例では、補正画像が画像表示部で表示されるが、補正画像を印刷装置で印刷することとしても良い。
　その場合、操作者は印刷された補正画像を見て、再調整するか否かの判断をしても良い。
　以上本発明の画像処理装置について説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置又は画像処理方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体、例えば非一時的な記録媒体もまた本発明の一部を成す。
　２　画像処理装置、　４　画像表示部、　６　操作入力部、　１０　肌領域抽出部、　２０　特徴量算出部、　３０　特徴情報記憶部、　４０　補正情報生成部、　４１　案内情報生成部、　４２　感性語選択部、　４３　平均値設定部、　４４　分布特性設定部、　５０　画像補正部、　６０　表示制御部。

Claims (11)

  1. 　複数の感性語の各々について、当該感性語に対応する特徴情報を記憶する特徴情報記憶部と、
    　入力画像の肌領域の肌質感を表す特徴量を算出する特徴量算出部と、
    　前記特徴量算出部で算出された前記特徴量及び前記特徴情報記憶部に記憶されている前記特徴情報に基づき、さらに操作者からの指示に応じて、補正後の画像の肌領域が所望の肌質感を有するように補正をするための補正情報を生成する補正情報生成部と、
    　前記補正情報に基づいて、前記入力画像の肌領域の肌質感を補正する画像補正部と
    　を備える画像処理装置。
  2. 　前記補正情報生成部は、
    　前記複数の感性語のうちの一つ以上の感性語を操作者に選択させ、
    　前記特徴情報記憶部に記憶されている前記特徴情報のうち、前記操作者によって選択された前記一つ以上の感性語の各々に対応する特徴情報と、前記特徴量算出部で算出された前記特徴量との合致度を前記操作者に知らせ、
    　前記操作者に補正の要否及び補正の程度を決定させる
    　請求項１に記載の画像処理装置。
  3. 　前記補正情報生成部は、
    　前記複数の感性語を前記操作者に提示し、
    　前記操作者に、前記感性語の選択を行わせる
    　請求項２に記載の画像処理装置。
  4. 　前記特徴量算出部で算出される特徴量が、前記肌領域の色の平均値と色の分布特性とを含み、
    　前記特徴情報記憶部に記憶されている前記感性語に対応する特徴情報が、前記肌領域の色の平均値を表す情報と色の分布特性を表す情報とを含み、
    　前記補正情報生成部は、選択された感性語について、前記操作者に色の平均値及び色の分布特性の少なくとも一方について補正を行うか否かを決定させる
    　請求項２又は３に記載の画像処理装置。
  5. 　前記操作者が、色の平均値の補正を行うことを決定した場合には、前記補正情報生成部は、前記操作者に、補正後の色の平均値を指定させる
    　請求項４に記載の画像処理装置。
  6. 　前記色の平均値を表す情報が、色空間において、前記色の平均値の範囲のうちの、前記感性語で表される肌質感が最も小さい点を示す情報と、前記感性語で表される肌質感が最も大きい点を示す情報とを含む
    　請求項４又は５に記載の画像処理装置。
  7. 　前記操作者が、色の分布特性の補正を行うことを決定した場合には、前記補正情報生成部は、前記操作者に、補正後の色の分布特性の、前記特徴情報記憶部に記憶されている色の分布特性との類似度を指定させる
    　請求項４から６のいずれか１項に記載の画像処理装置。
  8. 　前記色の分布特性を示す情報が、輝度の分布特性を表す少なくとも一つの指標を含む
    　請求項４から７のいずれか１項に記載の画像処理装置。
  9. 　複数の感性語の各々について、当該感性語に対応する特徴情報を、特徴情報記憶部に記憶し、
    　入力画像の肌領域の肌質感を表す特徴量を算出し、
    　算出された前記特徴量及び前記特徴情報記憶部に記憶されている前記特徴情報に基づき、さらに操作者からの指示に応じて、補正後の画像の肌領域が所望の肌質感を有するように補正をするための補正情報を生成し、
    　前記補正情報に基づいて、前記入力画像の肌領域の肌質感を補正する
    　画像処理方法。
  10. 　請求項９に記載の画像処理方法における処理をコンピュータに実行させるためのプログラム。
  11. 　請求項１０に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。
PCT/JP2019/023455 2019-06-13 2019-06-13 画像処理装置及び方法、並びにプログラム及び記録媒体 WO2020250376A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019558806A JP6667739B1 (ja) 2019-06-13 2019-06-13 画像処理装置及び方法、並びにプログラム及び記録媒体
PCT/JP2019/023455 WO2020250376A1 (ja) 2019-06-13 2019-06-13 画像処理装置及び方法、並びにプログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023455 WO2020250376A1 (ja) 2019-06-13 2019-06-13 画像処理装置及び方法、並びにプログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2020250376A1 true WO2020250376A1 (ja) 2020-12-17

Family

ID=70000609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023455 WO2020250376A1 (ja) 2019-06-13 2019-06-13 画像処理装置及び方法、並びにプログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP6667739B1 (ja)
WO (1) WO2020250376A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159207A (ja) * 2010-02-03 2011-08-18 Canon Inc 画像処理装置、およびプログラム
JP2011171807A (ja) * 2010-02-16 2011-09-01 Canon Inc 画像処理装置、およびプログラム
JP2014149678A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP2015032146A (ja) * 2013-08-02 2015-02-16 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515846B2 (ja) * 2004-07-26 2010-08-04 富士フイルム株式会社 肌色補正装置および方法並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159207A (ja) * 2010-02-03 2011-08-18 Canon Inc 画像処理装置、およびプログラム
JP2011171807A (ja) * 2010-02-16 2011-09-01 Canon Inc 画像処理装置、およびプログラム
JP2014149678A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP2015032146A (ja) * 2013-08-02 2015-02-16 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JPWO2020250376A1 (ja) 2021-09-13
JP6667739B1 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
JP6864449B2 (ja) イメージの明るさを調整する方法及び装置
US10607372B2 (en) Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
US8515172B2 (en) Segmentation of image data
US9876965B2 (en) Moving-image processing device, moving-image processing method, and information recording for determing interference
US11238569B2 (en) Image processing method and apparatus, image device, and storage medium
JP6349962B2 (ja) 画像処理装置およびプログラム
WO2022111001A1 (zh) 人脸图像的处理方法、装置、电子设备及存储介质
US20140085330A1 (en) Image processing device, image processing method, computer readable medium
US8184907B2 (en) Image processing method and image processing apparatus
JP5751865B2 (ja) 顔画像処理装置
CN106326880A (zh) 瞳孔中心点定位方法
JP2023511530A (ja) 演色
JP2013226286A (ja) ヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラム
JP2012174273A (ja) 画像処理装置及び画像処理方法
WO2020250376A1 (ja) 画像処理装置及び方法、並びにプログラム及び記録媒体
KR102089473B1 (ko) 안면 모델 편집 방법 및 장치
Lages et al. Enhanced geometric techniques for point marking in model-free augmented reality
US11657586B1 (en) Systems and methods for augmented reality viewing based on directly mapped point cloud overlays
JP4372494B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体
JP5115499B2 (ja) プレゼンテーション装置
WO2021250786A1 (ja) 判定プログラム、判定装置、および判定方法
US10186063B2 (en) Image processing apparatus, non-transitory computer readable medium, and image processing method for generating a composite image
JP7153280B2 (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション方法及びプログラム
WO2022176132A1 (ja) 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019558806

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932290

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19932290

Country of ref document: EP

Kind code of ref document: A1