WO2007074844A1 - 顔パーツの位置の検出方法及び検出システム - Google Patents

顔パーツの位置の検出方法及び検出システム Download PDF

Info

Publication number
WO2007074844A1
WO2007074844A1 PCT/JP2006/325972 JP2006325972W WO2007074844A1 WO 2007074844 A1 WO2007074844 A1 WO 2007074844A1 JP 2006325972 W JP2006325972 W JP 2006325972W WO 2007074844 A1 WO2007074844 A1 WO 2007074844A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
image
eye position
area
pixels
Prior art date
Application number
PCT/JP2006/325972
Other languages
English (en)
French (fr)
Inventor
Hiroshi Ikeda
Keiichi Moriya
Original Assignee
Kao Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006113893A external-priority patent/JP4530173B2/ja
Application filed by Kao Corporation filed Critical Kao Corporation
Priority to EP06843356.4A priority Critical patent/EP1970859B1/en
Priority to CN200680053540XA priority patent/CN101390128B/zh
Priority to US12/159,509 priority patent/US8131013B2/en
Publication of WO2007074844A1 publication Critical patent/WO2007074844A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a method for automatically detecting the position of facial parts such as eyes, mouth, and nose from a facial image.
  • the detection of the position of the eyes, mouth, nose and other face parts in the face image is based on the eye image, mouth, nose, other face parts of the subject's face image, and color images in the surrounding area. It is required when creating a makeup simulation image by overlaying.
  • eye position detection is performed to adjust the size and position of the image when a hairstyle simulation image is formed by overlaying a hairstyle model image on the face image of the subject.
  • eye position detection is also used in face image blindfold processing, face image frame processing, and creation of personal authentication images.
  • Non-Patent Document 1 a method of detecting a face by extracting a skin color region and further detecting an eye by pattern matching or the like has been used (Non-Patent Document 1, Patent Document 1).
  • Non-Patent Document 1 2005 5th LSI IP Design Award Winning Paper “Face Candidate Point Detection Method Enabling Fast and Reliable Face Detection” (Nikkei BP)
  • Patent Document 1 JP 2004-94917 A
  • an object of the present invention is to enable automatic and reliable detection of the positions of eyes, mouth and nose from a face image by a simple method.
  • the present inventors created a plurality of grayscale images with successively changing brightness from the face image, and faded out when observing images that were faded in on the high brightness side.
  • the first pixel that appears in the face area is that of the pupil area.
  • the pixels in the pupil area appear as a pair, and the frequency of appearance across the entire single-scale image of the pixel area that appears as a pair ⁇
  • the eye position can be specified based on the accumulation result, the eye position specifying method can be applied not only to the still image but also to the moving image, and the image power faded out is sequentially faded in.
  • the present invention creates a plurality of gray scale images with lightness successively changing from a face image
  • a method to detect the cluster area of pixels that gradually appear in the faded-out face area hereinafter referred to as the fade-in method!
  • the face image acquisition means is a camera capable of capturing a still image or a moving image.
  • the present invention performs a fade-in method on a face image, selects a clustered area of detected pixels that appears as a pair, and selects each eye position candidate. Location of eyes based on frequency of occurrence across all grayscale images of
  • Groups of pixels detected by the fade-in method that gradually stop appearing are grouped for each overlapping vertical position.
  • a circumscribed rectangle is formed for each grouped pixel cluster area
  • the circumscribed rectangle is detected for each pixel cluster area detected by the fade-in method and the growth of the gradually appearing pixels is stopped.
  • a circumscribed rectangle formed for each cluster area of the pixel is a candidate for the nose position within a predetermined area predicted from the positional relationship with the positions of both eyes,
  • Detection of the position of the face part that specifies the nose position as the nose position with the lower side of the circumscribed rectangle as the nose position candidate located above the upper side of the circumscribed rectangle specified as the mouth position Provide a method.
  • the present invention is an eye position detection system including a face image acquisition unit and a calculation unit, and the calculation unit includes:
  • the ability to create multiple grayscale images with successively varying brightness from the face image, the state power of the grayscale image fading out at high brightness, and the pixels that gradually appear in the faded-out facial area as it fades in to low brightness Function to detect the mass area of
  • An eye position detection system includes an arithmetic means equipped with a function for specifying the eye position based on the frequency of appearance of all eye position candidates over all grayscale images.
  • the means is a camera capable of capturing a still image or a moving image.
  • the present invention is a face part position detection system including a face image acquisition unit and a calculation unit, wherein the calculation unit includes:
  • the ability to create multiple grayscale images with successively varying brightness from the face image, the state power that the grayscale image fades out at high brightness, and the pixels that gradually appear in the faded-out face area as it fades in to low brightness Function to detect the mass area of
  • the means for acquiring a facial image is a camera capable of capturing a still image or a moving image.
  • a plurality of grayscale images with successively changing brightness are created from a face image, and the grayscale image fades out with high brightness.
  • detect a cluster area of pixels that gradually appear in the faded-out face area as eye position candidates and identify the eye position based on the frequency of appearance across all grayscale images of eye position candidates Therefore, regardless of the lighting environment, the skin color of the subject, the color of the pupil of the subject, the orientation of the face in the face image, etc., the position of the eyes can be detected with high reliability, and pattern matching is not required.
  • the position of the eye can be detected by the arithmetic processing.
  • various hairstyle images are converted into arbitrary facial images using the eye position as a reference.
  • the eye position is used as a reference, such as the creation of a hairstyle simulation image for fitting, or the creation of a makeup simulation image that fits a partial facial image after makeup using an eye position as a reference.
  • a simulation image is formed by fitting a plurality of pieces of image information and detecting the eye position using the method or system of the present invention, the detection accuracy of the eye position is high, so that naturalness is reduced.
  • a simulation image can be formed.
  • the method or system of the present invention can also be suitably used when performing image processing such as mosaicing and painting with the position of the eye as a reference, such as a blinding process for protecting personal information.
  • image processing such as mosaicing and painting with the position of the eye as a reference, such as a blinding process for protecting personal information.
  • these image processes can be performed at high speed, these image processes can be performed not only on still images but also on moving images.
  • the face part position detection method or detection system of the present invention Similar to the eye position detection method or detection system of the present invention, according to the face part position detection method or detection system of the present invention, first, a block of pixels obtained by a fade-in method from a face image. The region is detected as an eye position candidate, and the eye position is specified based on the frequency of appearance of the eye position candidate across all the single-scale images. Next, groups of pixel clusters obtained by the fade-in method, where the growth of pixels that appear gradually stops, are grouped, and a circumscribed rectangle is assumed for each grouped pixel cluster area, and each group is formed. The position of the mouth is specified based on the positional relationship between the circumscribed rectangle and the eyes and the width of the circumscribed rectangle.
  • a circumscribed rectangle is assumed for each pixel cluster area obtained by the fade-in method, and the growth of the gradually appearing pixels has stopped, and the positional relationship between the circumscribed rectangle formed for each pixel cluster area and the eyes
  • the position of the nose is identified from the positional relationship with the mouth and the width of the circumscribed rectangle. Therefore, the position of eyes, mouth, and nose can be detected reliably regardless of the lighting environment, the skin color of the subject, the color of the subject's pupil, the face orientation in the face image, and no pattern matching is required. Therefore, the position of eyes, mouth, and nose can be detected by high-speed calculation processing.
  • FIG. 1A is a flowchart of an eye position detection method.
  • FIG. 1B is a flowchart of a method for detecting an eye position in a moving image.
  • FIG. 1C is a flowchart of a method for detecting the position of a face part.
  • FIG. 2 is a block diagram of an eye position detection system.
  • FIG. 3 is an explanatory diagram of an eye position detection target region.
  • Fig. 4 is a grayscale image with the brightness changed sequentially.
  • FIG. 5 is a grayscale image of a grayscale image in which the brightness is sequentially changed.
  • FIG. 6 is an explanatory diagram of a pixel cluster area in a certain fade-in image.
  • FIG. 7 is an explanatory diagram showing a state in which eye position candidates are accumulated over all layers of a grayscale image.
  • FIG. 8 is an original image displaying the detected eye position.
  • FIG. 9A is a tilted face image.
  • FIG. 9B shows a face image with corrected inclination.
  • FIG. 10 is an explanatory diagram of detection target areas of a mouth position and a nose position.
  • FIG. 11 is an explanatory diagram of a circumscribed rectangle of a pixel cluster region and its grouping.
  • FIG. 12 is an explanatory diagram of a method of selecting a circumscribed rectangle as a position candidate of the mouth or nose. Explanation of symbols
  • Rectangle frame used as detection target area for mouth position and nose position
  • FIG. 1A is a flowchart showing an embodiment of the eye position detection method of the present invention.
  • FIG. 1B is a flowchart of an embodiment in which the eye position detection method of the present invention is performed with a moving image.
  • Fig. 2 is a flowchart showing an embodiment of a method for sequentially detecting the positions of eyes, mouth and nose, and Fig. 2 is a block diagram of a system for carrying out these methods.
  • the system 10 is powered by the imaging device 1 and the personal computer main body 2, and the personal computer main body 2 is connected with a display 3, an image scanner 4, a printer 5, and the like.
  • the imaging device 1 is provided as means for acquiring a face image of a subject, and a commercially available camera that can shoot a still image or a moving image such as a digital still camera, a digital video camera, or a web camera may be used. it can.
  • a moving image is to be detected as an eye position, a video capture is connected between the imaging device 1 and the personal computer body 2 as necessary.
  • the PC main unit 2 creates a plurality of grayscale images whose brightness has been changed sequentially (for example, one in which pixel values have changed by 2 to 3 gradations in a 256-level grayscale image hierarchy).
  • An image processing function is provided.
  • Such an image processing function of the gray scale coffee can be obtained, for example, by installing a commercially available image processing software such as a photoshop made by Adobe System Co. in the personal computer main body 2.
  • the personal computer main body 2 has a function to change the contrast with a change in brightness (for example, a function to increase the brightness ⁇ , a function to lower the contrast and increase the contrast in accordance with the decrease in brightness).
  • the grayscale image hierarchy is listed in order of increasing or decreasing brightness.
  • the ability to fade out with high brightness in the hierarchy of grayscale images Detects the cluster area of pixels that gradually appear in the faded-out face area as it fades in to low brightness
  • the personal computer main body 2 has a function for adjusting the size of the face image, a function for setting a detection target area of the eye position on the face image, a function for blurring the face image, the vertical direction of the cluster area of pixels to be detected, and A function that sets the horizontal size within a predetermined range in advance, the positional relationship between the eye position candidates, the width of the eye position candidate, etc. as the eye position conditions when specifying the position of the specific eye from the eye position candidates And a function for selecting an eye position condition satisfying the eye position from the eye position candidates and specifying it as the eye position.
  • the personal computer main body 2 has a function to select a frame to be transferred at a predetermined frame rate as needed.
  • the position of the eye is specified, the position is stored, and the area around the position is set as a detection target area of the eye position in the next frame.
  • the personal computer body 2 determines the appearance frequency of all eye position candidates across all grayscale images in addition to the above-described functions.
  • a face image as an eye position detection target is first acquired in the personal computer main body 2.
  • the face image may be obtained, for example, by taking an image of the subject's face with the imaging device 1 and reading the subject's face photograph using an image scanner 4 that can capture it. It may be obtained using a communication line such as the Internet.
  • the number of pixels of the face image is adjusted to a size suitable for the eye position detection process. More specifically, if the number of pixels in the face image is too large, the detection process will be overburdened, and if it is too small, the detection accuracy of the eye position will decrease, so the image size will be around 480 x 360 to 320 x 240. To change.
  • the face image is blurred as necessary.
  • the degree of blur is weak to medium.
  • a weighted blur filter of 1 to 5 is used for the pixel of interest and the surrounding 25 pixels.
  • the blur process is performed to output the average value of brightness. This squeezing process may be performed multiple times as necessary.
  • a rectangular frame 21 is set as the eye position detection target area for the grayscale face image 20.
  • the setting method of this rectangular frame 21 with respect to the face image 20, when 1Z8 of the length of the vertical side is A, the area of 3A length and 4A width is the center of that area. O force
  • the center of the face image 20 The center coordinates of the face image 20 may be 3.5A from the upper side of the face image 20 on the center line of the width of the face image 20.
  • the method of setting the rectangular frame 21 as the eye position detection target region in this way can be applied to any image in which the upper body is shown.
  • a plurality of gray scale images having lightness values that are successively changed are formed. More specifically, for example, in a 256-level grayscale image, Create a fade-in image with a pixel value of 0 and a faded-in image with a gradually reduced brightness from the 30th to the LOO level.
  • This 30 ⁇ Eye part always appears in the image of the L00 hierarchy. In this case, it is preferable to lower the contrast as the brightness is increased, and increase the contrast as the brightness is decreased, because the eye part appears more clearly in the fade-in image.
  • the brightness of the grayscale image is increased and completely faded out.
  • the first is usually the first.
  • pixel clusters are detected in the pupil, and then pixel clusters are detected in the nose and mouth. Further, since the cluster of pixels in the pupil region appears as a pair of left and right, the group of pixels of the pair of left and right is selected.
  • the force that appears as a pair of pixel clusters also appears in the mouth, eyebrows, forehead, and other regions. At this stage, these pixel clusters are also selected as eye position candidates.
  • the gray scale image with successively changed brightness can be inverted as shown in FIG. 5 in order to facilitate image processing. preferable.
  • the pitch is set within the range of 0.4A to 0.7A, preferably 0.5A to 0.7A, 0.5A to 1.OA, preferably 0.7A to 1.OA.
  • the size of the cluster area of the pixel at the eye position has a size within this range. The amount of processing can be reduced.
  • FIG. 6 shows a block area of pixels appearing in the face area in a fade-in image of a certain layer by a rectangle, and a pair of these areas connected by a straight line.
  • the pixel cluster area is surrounded by a circumscribed rectangle to facilitate the pairing of the pixel cluster areas.
  • the pixel cluster area is surrounded by a circumscribed rectangle. Is not always necessary.
  • the following (1) to (4) are set in advance as conditions for selecting as a candidate for the eye position from among the clustered pixel regions.
  • the lateral distance of the cluster area of a pair of left and right pixels is within a certain range.
  • the vertical distance between the left and right pixel cluster areas is within a certain range.
  • the left pixel cluster area is in the left half of the rectangular frame 21 of the face image.
  • the right pixel cluster area is in the right half of the rectangular frame 21 of the face image.
  • a pair of eye position candidates appearing for each fade-in image is accumulated over all layers of the grayscale image, the frequency of appearance is counted, and the number of force Create a ranking list in ascending order.
  • the facial image power that fades out When the brightness is gradually lowered, the eye position candidate that appears first and continues until the last stage is usually the maximum count (ranking first) . Therefore, in principle, the position of the eye position candidate with the maximum count is specified as the eye position.
  • the vertical distance between the first position candidate of the ranking and the second position candidate of the ranking is about the distance between the eyes and the eyebrows, and the position candidate power of the first position S ranking If it is above the second candidate position
  • (a) to (c) are intended to prevent the mouth position from being erroneously determined as the eye position while the first ranking may rarely become the mouth area.
  • (d) is for not misjudging eyebrows around the eye as the position of the eye.
  • the eye position detection method in the moving image using the system 10 as shown in FIG. 1B, first, the frame of the moving image transferred from the imaging device 1 is acquired as a face image. Detect the eye position in the frame.
  • the eye position detection method itself is the same as the detection of the eye position in a still image, forming a hierarchy of fade-in images in which the brightness is sequentially changed in a grayscale image, and detecting a cluster of pixels appearing in the fade-in image Selection of eye position candidates (a clustered region of pixels appearing in a pair of left and right), accumulation of eye position candidates across all hierarchies of grayscale images and counting their appearance frequency, specifying eye position by maximum count, Perform specific corrections based on the position of the eye position candidate and the distance between the eyes and the center of the eye.
  • the detection target area of the eye position is the entire image without being limited to a specific area.
  • the specified eye position is appropriate. For example, if a 100-layer fade-in image is created between pixel values 0 and 255, it is determined that it is not visible when the count value is below the maximum count power.
  • the number of layers of the fade-in image and the maximum count number for judging the suitability of the eyes may be determined to be proportional. Therefore, if the faded image created between pixel values 0 and 255 has 200 layers, it is judged that the maximum count is less than 10 when the maximum count is 10 or less.
  • a frame (hereinafter referred to as a frame N) transferred from the imaging device 1 is obtained, and only the vicinity of the registered eye position is set as an eye position detection target area in the same manner as described above.
  • the position of is detected. If it is determined that the position of the eye has been detected properly in this frame N, that position is registered, and in the next frame N + 1, the area around the most recently registered eye position is set as the detection target area.
  • the processing speed can be increased.
  • the horizontal direction is 1.5 to 3 times the distance between the eyes and the center of the eyes, preferably 1.8 to 2.2 times
  • the vertical direction is 0.5 to 2 times the distance between the eyes and the center of the eyes, preferably Is in the range of 0.8 to 1.2 times.
  • the eye position is detected using the entire frame N image as the detection target region. If it is determined that the eye position is properly detected, this is registered, and in the next frame N + 1, the eye position is detected using the most recently registered eye position as the detection target area. To do. On the other hand, if the position of the eyes is not detected properly even if the entire image is the detection target area in frame N, in this frame N, the next frame N + without further detecting the position of the eyes. Proceed to detect eye position at 1.
  • the reason why the position of the eye is not properly detected is that (the 0th eye does not exist in the image, (ii) the eye is closed even if the eye is present, (iii) Force that the image of the eye is blurred because the eye position moved at high speed In any case, if the force is not detected properly in one frame, the next frame Detect eye position.
  • the eye position is detected in addition to the frame transfer. In this case, the eye position is detected every predetermined number of frames.
  • the eye position may be specified by complementing the eye position in the frame where the eye position is detected. Do not display it on the screen! ,.
  • the eye position detection method of the present invention is accurate regardless of changes in the skin color, pupil color, face orientation, and lighting environment of the face image subject to be detected. With a simple calculation method, the eye position can be detected at a high processing speed. Therefore, it is possible to detect the eye position from the face image regardless of whether it is white or black.
  • the eye positions thus detected are various hairstyle images using the eye position as a reference.
  • a hairstyle simulation image that fits an arbitrary face image a makeup simulation image that fits a partial image of the face after makeup to an arbitrary face image using the eye position as a reference, a blindfolding process of the face image, It can be used in various scenes that require eye position detection, such as face image frame processing and personal authentication image formation.
  • the mouth position and the nose position are sequentially detected.
  • the straight line connecting the eyes of both eyes should be horizontal. It is preferable to correct the inclination of the face image by rotating the coordinates of the face image.
  • a rectangular frame as a detection target area of the mouth and nose in the face image.
  • a face image 20 assuming that the vertical size 1Z8 is A, both the vertical equilateral triangle with two vertices as the two vertices are A in the vertical direction and 0.5 A in the horizontal direction, respectively.
  • the detected pixel cluster area gradually appears in the set rectangular frame 21 '.
  • the pixel growth is stopped for each pixel whose vertical position overlaps. For example, as shown in FIG. 11, the clustered areas A and B of pixels are grouped into one group C.
  • the maximum area after grouping is 1. 1 times the distance between the eyes of the eyes in the horizontal direction, and 0 in the distance of the eyes of the eyes in the vertical direction. Do not exceed 6 times. As a result, unnecessary noise can be eliminated in the group power of the pixel cluster area for detecting the position of the mouth.
  • a circumscribed rectangle is formed for each grouped pixel cluster region, and among the circumscribed rectangles formed for each group, those having a specific relationship with the positions of both eyes, more specifically, in FIG. As shown, draw an inverted equilateral triangle T whose left and right vertices are the positions of the eyes of both eyes, and the diameter is 0.65 ⁇ : L 0 times
  • a circle 41 inscribed in a circumscribed rectangle 30 having the center of the circumscribed rectangle 30 of group C as the center of the circle is drawn and this circle 41 overlaps the circle 40 described above,
  • the circumscribed rectangle 30 corresponding to the overlapping circle 41 is set as the mouth position candidate.
  • the circumscribed rectangle having the maximum width is specified as the position of the mouth.
  • the horizontal width of the specified circumscribed rectangle is set as the horizontal width of the pixels constituting the mouth.
  • the eye position by the fade-in method is set as the next eye position candidate (the count ranking is the next rank). Re-detect mouth by specifying (eye position).
  • the position of the nose is detected.
  • the grayscale hierarchical image used in the detection of the eye position is preferably detected within the above-described rectangular frame 21 ′ set as shown in FIG.
  • a circumscribed rectangle 31, 32, 33, 34 is formed for each cluster area of pixels without grouping the pixel areas. Then, among the circumscribed rectangles 31, 32, 33, and 34 that have been formed, those that have a specific relationship with the positions of both eyes, more specifically, as shown in FIG.
  • the lower side is above the upper side of the circumscribed rectangle 30 that is specified as the position of the mouth, and the one with the largest width is the nose position. More specifically, the position and width of the bottom edge of the nose is determined by the lower side of the circumscribed rectangle identified as the position of the nose. Is identified.
  • the bisector The circumscribed rectangle is extended in the horizontal direction so that the circumscribed rectangle selected as the nose position is symmetric with respect to the center of the nose, and the position and width of the lower end of the nose are specified by the lower side of the elongated rectangle.
  • the present invention forms a hairstyle simulation image that fits various hairstyle images to an arbitrary face image using the eye position as a reference, and a facial part after makeup using the eye position as a reference Detection of eye positions is required in image processing of facial images of still images or moving images, such as formation of makeup simulation images that fit images to arbitrary facial images, blindfolding processing of facial images, and frame processing of facial images. This is useful in various situations.
  • the present invention is also useful in the formation of a makeup simulation image that requires detection of the eye position, mouth position, and nose position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　顔画像から目、口及び鼻の位置を、簡便な手法で信頼性高く自動的に検出できるようにする。 　顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方法（フェードイン法）を行い、検出された画素の固まり領域のうち、対となって現れたものの全グレースケール画像にわたる出現度数に基づいて目の位置を特定し、一方、フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長の停止したものの両目との位置関係等に基づいて口の位置と鼻の位置を特定する。

Description

明 細 書
顔パーツの位置の検出方法及び検出システム 技術分野
[0001] 本発明は、顔画像から目、口、鼻といった顔パーツの位置を自動的に検出する方 法に関する。
背景技術
[0002] 顔画像における目、口、鼻と!/、つた顔パーツの位置の検出は、被験者の顔画像の 目、口、鼻、その他の顔パーツの部分ないしそれらの周辺領域に色画像などを重ね てメイクアップシミュレーション画像を形成する場合に必要とされている。
[0003] この他、目の位置の検出は、被験者の顔画像に髪型のモデル画像を重ねて髪型 シミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために なされており、また、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像 の作成等にぉ ヽてもなされて 、る。
[0004] 従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検 出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特 許文献 1、特許文献 1)。
[0005] 非特許文献 1 : 2005年第 5回 LSI IPデザインァワード受賞論文「高速 ·高信頼な顔検 出を可能とする顔候補点検出法」（日経 BP社）
特許文献 1：特開 2004 - 94917
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明 環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。ま た、パターンマッチングの手法は、計算量が莫大となるという問題がある。
[0007] これに対し、本発明は、顔画像から目、口及び鼻の位置を、簡便な手法で信頼性 高く自動的に検出できるようにすることを目的とする。
課題を解決するための手段 [0008] 本発明者らは、顔画像から、明度が逐次変化した複数のグレースケール画像を作 成し、高明度側のフェードアウトした画像力 順次フェードインした画像を観察した場 合に、フェードアウトした顔領域に最初に現れる画素が瞳領域のものであること、この 場合、瞳領域の画素は対になって現れること、対をなして現れた画素領域の全ダレ 一スケール画像にわたる出現度数^^積すると、その集積結果に基づいて目の位置 を特定できること、この目の位置の特定方法は、静止画だけでなく動画にも適用でき ること、さらに、フェードアウトした画像力も順次フェードインした画像を観察した場合 に得られる画素の固まりのうち、目の位置と特定の関係にあるものを選択し、それら相 互の位置関係について条件を付加することにより、口の位置や鼻の位置も特定でき ることを見出した。
[0009] 即ち、本発明は、顔画像から、明度が逐次変化した複数のグレースケール画像を 作成し、
グレースケール画像が高明度でフェードアウトした状態力 低明度へフェードインす るのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方 法 (以下フェードイン法と!/、う）を行!、、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し 各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を 特定する目の位置の検出方法を提供し、この場合に、顔画像の取得手段が、静止画 像又は動画像が撮影可能なカメラである態様を提供する。
[0010] また、本発明は、顔画像にフェードイン法を行い、検出された画素の固まり領域のう ち、対となって現れたものを目の位置候補として選択し、各目の位置候補の全グレー スケール画像にわたる出現度数に基づいて目の位置を特定し、
フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長の停 止したものを、縦方向の位置が重なるものごとにグループィ匕し、
グループ化した画素の固まり領域ごとに外接矩形を形成し、
該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定 領域内にあるものを口の位置候補とし、 口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する 顔パーツの位置の検出方法を提供する。
[0011] カロえて、本発明は、上述の方法で口の位置を特定した後、フェードイン法で検出さ れた画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩 形を形成し、該画素の固まり領域ごとに形成した外接矩形のうち、両目の位置との位 置関係から予測される所定領域内にあるものを鼻の位置候補とし、
鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩 形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する顔パーツの 位置の検出方法を提供する。
[0012] さらに、本発明は、顔画像の取得手段と演算手段を備えた目の位置の検出システ ムであって、演算手段が、
顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、 グレースケール画像が高明度でフェードアウトした状態力 低明度へフェードインす るのに伴い、フ ードアウトした顔領域に漸次現れる画素の固まり領域を検出する機 能、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択す る機能、及び
各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を 特定する機能を備えた演算手段を備えた目の位置の検出システムを提供し、この場 合に、顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである態様を 提供する。
[0013] また、本発明は、顔画像の取得手段と演算手段を備えた、顔パーツの位置の検出 システムであって、演算手段が、
顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、 グレースケール画像が高明度でフェードアウトした状態力 低明度へフェードインす るのに伴い、フ ードアウトした顔領域に漸次現れる画素の固まり領域を検出する機 能、
検出した画素の固まり領域のうち、対となって現れたものを目の位置候補として選択 する機能、
各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を 特定する機能、
検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦 方向の位置が重なるものをグループ化する機能、
グループ化した画素の固まり領域ごとに外接矩形を形成する機能、
該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定 領域内にあるものを口の位置候補とする機能、
口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として選択する 機能、
検出した画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外 接矩形を形成する機能、
該画素の固まり領域ごとに形成した外接矩形のうち、両目との位置関係から予測され る所定領域内にあるものを鼻の位置候補とする機能、及び
鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩 形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能 を備えている検出システムを提供し、この場合に、顔画像の取得手段が、静止画像 又は動画像が撮影可能なカメラである態様を提供する。
発明の効果
[0014] 本発明の目の位置の検出方法あるいは検出システムによれば、顔画像から、明るさ が逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度 でフェードアウトした状態力 低明度へフェードインするのに伴い、フェードアウトした 顔領域に漸次現れる画素の固まり領域を目の位置候補として検出し、 目の位置候補 の全グレースケール画像にわたる出現度数に基づいて目の位置を特定するので、照 明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず 、 目の位置を信頼性高く検出することができ、さらにパターンマッチングが不要である ため、高速の演算処理により目の位置を検出することができる。
[0015] したがって、 目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像に フィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化 粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画 像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせ ることによりシミュレーション画像を形成する場合に、本発明の方法あるいはシステム を用いて目の位置を検出すると、目の位置の検出精度が高いことにより、自然さのあ るシミュレーション画像を形成することが可能となる。また、個人情報保護のための目 隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場 合にも、本発明の方法あるいはシステムを好適に用いることができる。さらに、これら の画像処理を高速で行えることから、これらの画像処理を静止画だけでなく動画にお いても行うことが可能となる。
[0016] 本発明の目の位置の検出方法あるいは検出システムと同様に、本発明の顔パーツ の位置の検出方法あるいは検出システムによれば、まず、顔画像からフェードイン法 で得られる画素の固まり領域を目の位置候補として検出し、目の位置候補の全ダレ 一スケール画像にわたる出現度数に基づいて目の位置を特定する。次に、フェード イン法で得られる画素の固まり領域であって漸次現れる画素の成長が停止したもの をグループ化し、グループ化した画素の固まり領域ごとに外接矩形を想定し、そのグ ループごとに形成した外接矩形と目との位置関係及び外接矩形の横幅から口の位 置を特定する。さらに、フェードイン法で得られる画素の固まり領域であって漸次現れ る画素の成長が停止したものごとの外接矩形も想定し、その画素の固まり領域ごとに 形成した外接矩形と目との位置関係、口との位置関係及び外接矩形の横幅から鼻 の位置を特定する。したがって、照明環境、被験者の肌色、被験者の瞳の色、顔画 像における顔の向き等にかかわらず、目、口、鼻の位置を信頼性高く検出することが でき、さらにパターンマッチングが不要であるため、高速の演算処理により目、口、鼻 の位置を検出することができる。
[0017] よって、化粧後の目、鼻、口といった顔パーツないしそれらの周辺領域の画像を被 験者の顔画像にフィッティングさせるメイクアップシミュレーション画像の形成等にお いて、自然さのあるシミュレーション画像を、演算装置を用いて自動的に簡便に形成 することが可能となる。 図面の簡単な説明
[図 1A]図 1Aは目の位置の検出方法の流れ図である。
[図 1B]図 1Bは動画像における目の位置の検出方法の流れ図である。
[図 1C]図 1Cは顔パーツの位置の検出方法の流れ図である。
[図 2]図 2は目の位置の検出システムのブロック図である。
[図 3]図 3は目の位置の検出対象領域の説明図である。
[図 4]図 4は明度を逐次変化させたグレースケール画像である。
[図 5]図 5は明度を逐次変化させたグレースケール画像の階調反転画像である。
[図 6]図 6はあるフェードイン画像における画素の固まり領域の説明図である。
[図 7]図 7は目の位置候補を、グレースケール画像の全階層にわたって集積した状態 の説明図である。
[図 8]図 8は検出した目の位置を表示した元画像である。
[図 9A]図 9Aは傾 、て 、る顔画像である。
[図 9B]図 9Bは傾きを補正した顔画像である。
[図 10]図 10は口の位置と鼻の位置の検出対象領域の説明図である。
[図 11]図 11は画素の固まり領域の外接矩形及びそのグループ化の説明図である。 圆 12]図 12は口又は鼻の位置候補とする外接矩形の選択方法の説明図である。 符号の説明
1 撮像装置
2 パソコン本体
3 ディスプレイ
4 イメージスキャナ
5 プリンタ
10 目の位置の検出システム
20 グレースケーノレ顔画像
21 目の位置の検出対象領域とする矩形枠
21， 口の位置、鼻の位置の検出対象領域とする矩形枠
30 画素の固まり領域の外接矩形をグループ化した外接矩形 31、 32、 33、 34 画素の固まり領域の外接矩形
40、 41、 42 円
発明を実施するための最良の形態
[0020] 以下、図面を参照しつつ本発明を詳細に説明する。
[0021] 図 1Aは、本発明の目の位置の検出方法の一実施例を示す流れ図、図 1Bは、本 発明の目の位置の検出方法を動画像で行う一実施例の流れ図、図 1Cは、 目、口、 鼻の位置を順次検出する方法の一実施例を示す流れ図であり、図 2は、これらの方 法を実施するシステムのブロック図である。
[0022] このシステム 10は、撮像装置 1及びパソコン本体 2から力 なっており、パソコン本 体 2には、ディスプレイ 3、イメージスキャナ 4、プリンタ 5等が接続されている。
[0023] 撮像装置 1は、被験者の顔画像の取得手段として設けられており、デジタルスチル カメラ、デジタルビデオカメラ、ウェブカメラ等の市販の静止画像又は動画像が撮影 可能なカメラを使用することができる。動画像を目の位置の検出対象とする場合には 、必要に応じて、撮像装置 1とパソコン本体 2の間にビデオキヤプチヤーを接続する。
[0024] パソコン本体 2は、明度が逐次変化した複数のグレースケール画像 (例えば、 256 階調のグレースケール画像の階層にお 、て、画素値が 2〜3階調ずつ変化したもの） を作成する画像処理機能を備えて ヽる。
[0025] グレースケール画像の作成手法としては、各画素において、（1)R、 G、 Bの各値の 最大値と最小値の平均を利用する方法、（2)R、 G、 Bの各値の平均を利用する方法、 (3)R、 G、 Bの各値に所定の重み付け係数 (NTSC等)を掛けた後、それらの平均をと る方法等がある力 本発明においては、（3)の手法において、例えば次式
Y (出力輝度） =0.298912 XR+0.568811 X G + 0.114478 X B
を利用し、階調を 2〜3階調ずつ変化させることが好ましい。このようなグレースケー ルイ匕の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のィメー ジ処理ソフトをパソコン本体 2に搭載することにより得ることができる。
[0026] また、パソコン本体 2は、明度の変化に伴ってコントラストを変化させる機能 (例えば 、明度を高くするにした力 ^、コントラストを下げ、また、明度を低くするにしたがいコント ラストをあげる機能）、グレースケール画像の階層を明度の低い又は高い順にリスト番 号を付けて管理する機能、グレースケール画像の階層において、明度が高明度でフ エードアウトした状態力 低明度へフェードインするのに伴い、フェードアウトした顔領 域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のう ち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補 の全階層のグレースケール画像にわたる出現度数をカウントし、その値に基づいて 目の位置を特定する機能などを有して 、る。
[0027] さらに、パソコン本体 2は、顔画像のサイズの調整機能、顔画像に目の位置の検出 対象領域を設定する機能、顔画像のぼかし機能、検出する画素の固まり領域の縦方 向及び横方向のサイズを予め所定範囲内に設定する機能、目の位置候補から特定 の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目 の位置候補の幅等を記憶する機能、目の位置候補から目の位置条件を満たすもの を選択し、目の位置として特定する機能等を有している。
[0028] この他、動画像を目の位置の検出対象とする場合、パソコン本体 2は、撮像装置 1 力 所定のフレームレートで転送されるフレームを必要に応じて選択する機能、ある フレームについて目の位置が特定された場合に、その位置を記憶し、その位置の周 辺を次フレームにおける目の位置の検出対象領域とする機能等を有している。
[0029] また、目の位置の検出の他、顔パーツの検出も行う場合には、このパソコン本体 2 は、上述した機能に加え、各目の位置候補の全グレースケール画像にわたる出現度 数に基づいて目の位置を特定する機能を有し、また、検出した画素の固まり領域で あって漸次現れる画素の成長が停止したもののうち、縦方向の位置が重なるものをグ ループ化する機能、グループ化した画素の固まり領域ごとに外接矩形を形成する機 能、このグループごとに形成した外接矩形のうち、両目と特定の位置関係にあるもの を口の位置候補とする機能、口の位置候補とした外接矩形のうち、横幅が最大のも のを口の位置として特定する機能を有し、さらに、検出した画素の固まり領域ごとに 外接矩形を形成する機能、この画素の固まり領域ごとに形成した外接矩形のうち、両 目と特定の位置関係にあるものを鼻の位置候補とする機能、鼻の位置候補とした外 接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあ り、横幅が最大のものを鼻の位置として特定する機能などを有する。 [0030] このシステム 10を用いた静止画像における目の位置の検出方法では、図 1Aの流 れ図のように、まず、目の位置の検出対象とする顔画像をパソコン本体 2に取得する 。顔画像は、例えば、撮像装置 1で対象者の顔画像を撮り、それをパソコン本体 2〖こ 取り込ませてもよぐイメージスキャナ 4を用いて対象者の顔写真を読み取ることによ つてもよぐインターネット等の通信回線を利用して取得してもよい。
[0031] 次に、必要に応じて、顔画像の画素数を目の位置の検出処理に適したサイズに調 整する。より具体的には、顔画像の画素数が多すぎると検出処理に過度の負担が掛 かり、少なすぎると目の位置の検出精度が低下するため、 480 X 360〜320 X 240 程度に画像サイズを変更する。
[0032] また、顔画像がシャープであると、後の画像処理で細か!/、エッジが多数現れ、目の 位置候補の検出のノイズとなるので、必要に応じて顔画像にぼかし処理を行う。この 場合、ぼ力しの程度は、弱〜中とすることが好ましぐ例えば、各画素について、注目 点の画素とその周囲の 25画素に対して 1〜5の重み付ぼかしフィルタを使用して輝 度の平均値を出力するぼかし処理を行う。このぼ力し処理は、必要に応じて複数回 行っても良い。
[0033] さらに、本発明の目の位置の検出方法においては、顔画像にカラー情報は不要で あるため、取得した画像がカラー画像の場合には、後の処理量を低減させるため、グ レースケール画像に変換する。
[0034] 次に、取得した顔画像において、目の位置の検出対象領域を予め設定しておくこと が好ましい。例えば、図 3のように、グレースケール顔画像 20に対し、目の位置の検 出対象領域として矩形枠 21を設定する。この矩形枠 21の設定方法としては、顔画像 20について、縦辺の長さの 1Z8を Aとした場合に、縦 3A、横 4Aの領域を、その領 域の中心 O力 顔画像 20の中心座標と重なるように形成すればよぐここで、顔画像 20の中心座標は、顔画像 20の横幅の中心線上で顔画像 20の上辺から 3. 5Aの位 置とすればよい。このように目の位置の検出対象領域として矩形枠 21を設定する方 法は、上半身が写っている任意の画像に対して適用することができる。
[0035] 次に、図 4に示すように、明度が逐次変化した複数のグレースケール画像を形成す る。より具体的には、例えば 256階調のグレースケール画像において、完全にフエ一 ドアウトした画素値 0の画像力も漸次明度を低下させたフェードイン画像を 30〜： LOO 階層程度作成する。この 30〜： L00階層の画像の中に目の部分が必ず現れる。この 場合、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストを あげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。
[0036] 図 4からわ力るように、グレースケール画像の明度をあげて完全にフェードアウトさ せた画像力 逐次明度を低下させてフェードイン画像の階層を形成していくと、通常 、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される 。また、瞳領域の画素の固まりは左右一対として現れるので、左右一対の画素の固ま りを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり 領域が対になって現れる力 この段階では、これらの画素の固まり領域も目の位置候 補として選択する。
[0037] なお、画素の固まり領域の検出においては、画像処理を簡便に行えるようにする点 から、逐次明度が変化したグレースケール画像の階調を、図 5に示すように反転させ ることが好ましい。
[0038] また、目の位置候補として検出する画素の固まりの条件として、前述のようにグレー スケール顔画像 20の縦辺の長さの 1Z8を Aとした場合に、画素の固まりの領域の大 きさを縦 0. 4A〜0. 7A、好ましくは 0. 5A〜0. 7A、横 0. 5A〜1. OA、好ましくは 0 . 7A〜1. OAの範囲内に設定しておく。通常、目の位置にある画素の固まり領域の 大きさは、この範囲内の大きさを有するので、このような大きさの条件を設定しておく ことにより、目の位置の検出に要する後の処理量を軽減することができる。
[0039] 図 6は、ある階層のフェードイン画像において、顔領域中に現れた画素の固まり領 域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。 なお、図 6では、画素の固まり領域の対をわ力りやすくするために画素の固まり領域 を外接矩形で囲っているが、目の位置の検出に際し、画素の固まり領域を外接矩形 で囲むことは必ずしも必要ではな 、。
[0040] 対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件と して、予め次の (1)〜(4)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること (2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
(3)左右一対の画素の固まり領域のうち、左側の画素の固まり領域が、顔画像の矩形 枠 21の左半分の領域にあること
(4)左右一対の画素の固まり領域のうち、右側の画素の固まり領域が、顔画像の矩形 枠 21の右半分の領域にあること
[0041] 次に、図 7に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、 グレースケール画像の全階層にわたって集積し、その出現度数をカウントし、この力 ゥント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした 顔画像力 段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続 ける瞳領域の目の位置候補が通常、最大カウント (ランキング第 1位)となる。そこで、 原則的には、この最大カウントの目の位置候補の位置を目の位置と特定する。
[0042] ただし、次の (a)〜(c)の条件を全て満たした場合、ある 、は (d)の条件を満たした場 合には、カウント数が 2番目に多力つた目の位置候補の位置を目の位置として特定 する。
(a)ランキング第 2位の目の位置候補が、ランキング第 1位の目の位置候補より上方に ある場合
(b)ランキング第 2位の目の位置候補の中心間距離が、ランキング第 1位の目の位置 候補の中心間距離より長い場合
(c)ランキング第 2位の目の位置候補の左右の瞳にあたる領域が、共にランキング第 1 位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第 1位の目の位置候補とランキング第 2位の目の位置候補の縦方向の 距離が、 目と眉の距離程度に離れ、ランキング第 1位の目の位置候補力 Sランキング第 2位の目の位置候補よりも上にある場合
[0043] このうち、（a)〜(c)は、ランキング第 1位がまれに口領域になることがあるのに対し、 口の位置を目の位置であると誤判定しないためのものであり、（d)は、 目の周りの眉等 を目の位置であると誤判定しな 、ためのものである。
[0044] 以上により、図 8に示すように、顔画像 (画像処理する前の元画像）において、 目の 位置 (より正確には瞳の位置）を正確に検出することが可能となる。 [0045] 一方、このシステム 10を用いた動画像における目の位置の検出方法では、図 1Bに 示すように、まず、撮像装置 1から転送された動画像のフレームを顔画像として取得 し、このフレームにおける目の位置を検出する。 目の位置の検出方法自体は、静止 画像における目の位置の検出と同様に、グレースケール画像において明度を逐次変 化させたフェードイン画像の階層の形成、フェードイン画像に現れる画素の固まりの 検出、目の位置候補 (左右一対になって現れた画素の固まり領域)の選択、グレース ケール画像の全階層にわたる目の位置候補の集積とその出現度数のカウント、最大 カウントによる目の位置の特定、目の位置候補の位置や目と目の中心間距離による 特定の修正等を行う。
[0046] ただし、撮像装置 1から転送されたイニシャルフレームにお 、ては、目の位置の検 出対象領域は、特定の領域に限定することなぐ画像全体とすることが好ましい。
[0047] 次に、特定された目の位置の適否を判断する。この判断方法としては、例えば、画 素値 0から 255の間で 100階層のフェードイン画像を作成した場合、最大カウント数 力 以下のときには目ではないと判断する。なお、この方法で目の位置の適否を判断 する場合、フェードイン画像の階層数と、目の適否を判断する最大カウント数とは比 例するように決めればよい。したがって、画素値 0から 255の間で作成するフェードィ ン画像を 200階層にした場合は最大カウント数が 10以下の場合に目でないと判断す る。
[0048] 目の位置の適否の判断により、目の位置が適正に検出されたと判断された場合に は、このフレームにおける目の位置として登録する。
[0049] そして、撮像装置 1からその後に転送されるフレーム (これをフレーム Nとする）を取 得し、登録した目の位置周辺のみを目の位置の検出対象領域として、上述と同様に 目の位置を検出する。このフレーム Nでも目の位置が適正に検出されたと判断された 場合にはその位置を登録し、さらに次のフレーム N+1では、直近で登録した目の位 置周辺を検出対象領域とする。このように目の位置の検出対象領域を限定すること により、処理速度を速めることができる。
[0050] ここで目の位置が適正に検出された場合に、次のフレームで目の位置の検出対象 領域とする目の位置周辺の設定は、例えば、目と目の中間点を中心とする矩形であ つて、横方向が目と目の中心間距離の 1. 5〜3倍、好ましくは 1. 8〜2. 2倍、縦方向 が目と目の中心間距離の 0. 5〜2倍、好ましくは 0. 8〜1. 2倍の範囲とする。
[0051] 一方、イニシャルフレームにおいて、特定された目の位置が不適であると判断され た場合には、このフレームでは目の位置をこれ以上検出することなぐ次のフレーム での目の位置の検出に進む。
[0052] また、前述のフレーム Nで検出された目の位置の適否の判断において、不適と判 断された場合には、このフレーム Nの画像全体を検出対象領域として目の位置を検 出し、それにより目の位置が適正に検出されたと判断された場合には、これを登録し 、次のフレーム N+1ではこの直近で登録された目の位置周辺を検出対象領域として 目の位置を検出する。これに対し、フレーム Nにおいて画像全体を検出対象領域とし ても目の位置が適正に検出されなかった場合には、このフレーム Nでは、目の位置を これ以上検出することなぐ次のフレーム N+1での目の位置の検出に進む。
[0053] なお、目の位置が適正に検出されない原因としては、（0目が画像中に存在しないこ と、 (ii)目は存在していても目が閉じられていたこと、 (iii)目の位置が高速で移動したた めに目の画像がぶれたこと等がある力 いずれの場合にも、あるフレームで目の位置 が適正に検出されな力つた場合には、次のフレームで目の位置を検出する。
[0054] また、画像のサイズやフレームレートにより、目の位置の検出がフレームの転送に追 V、つかな 、場合には、所定のフレーム数毎に目の位置の検出を行う。
[0055] 目の位置が適正に検出されな力つたフレームや、所定のフレーム数ごとに目の位 置の検出を行うために目の位置を検出していないフレームでは、画像の内容や目の 位置の検出目的に応じて、目の位置が検出されているフレームにおける目の位置を 補完することにより目の位置を特定してもよぐまた、目の位置が検出されていないフ レームはディスプレイに表示しな 、ようにしてもよ！、。
[0056] 本発明の目の位置の検出方法は、目の位置の検出対象とする顔画像の被写体の 肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よぐ簡便な演算方法で 、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わ ず、顔画像から目の位置を検出することができる。
[0057] こうして検出された目の位置は、目の位置を基準に用いて種々のヘアスタイル画像 を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を 基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シ ミュレーシヨン画像の形成、顔画像の目隠し処理、顔画像のフレーム処理、個人認証 用画像の形成など、目の位置の検出が必要とされる種々の場面で利用することがで きる。
[0058] 本発明において、目の位置の他に、口、鼻という顔パーツの位置を検出する場合、 図 1Cに示す流れ図のように、上述の方法で静止画像又は動画像で目の位置を検出 した後、口の位置と鼻の位置を順次検出する。この場合、顔画像が図 9Aに示すよう に傾いている場合には、口の位置と鼻の位置の検出に先立ち、図 9Bに示すように、 両目の瞳を結ぶ直線が水平になるように顔画像の座標を回転させ、顔画像の傾きを 補正することが好ましい。
[0059] また、顔画像中、口と鼻の検出対象領域とする矩形枠を予め設定しておくことが好 ましい。例えば、図 10に示すように、顔画像 20について、縦サイズの 1Z8を Aとした 場合に、両目を 2つの頂点とする逆正三角形から上下方向にそれぞれ A、左右方向 にそれぞれ 0. 5 Aだけ幅だしした矩形枠 21 'を設定する。
[0060] 口の位置の検出に際しては、目の位置の検出で使用したグレースケールの階層画 像において、好ましくは設定した矩形枠 21 '内で、検出された画素の固まり領域であ つて漸次現れる画素の成長が停止したものを縦方向の位置が重なるものごとにダル ープ化する。例えば、図 11に示すように、画素の固まり領域 A、 Bは一つのグループ Cにグループ化される。
[0061] なお、画素の固まり領域をグループィ匕するに際し、グループィ匕後の最大領域は、横 方向が、両目の瞳の距離の 1. 1倍、縦方向が両目の瞳の距離の 0. 6倍を超えない ようにする。これにより、不要なノイズを、口の位置を検出するための画素の固まり領 域のグループ力 排除することができる。
[0062] グループ化した画素の固まり領域ごとに外接矩形を形成し、当該グループごとに形 成した外接矩形のうち、両目の位置と特定の関係にあるもの、より具体的には、図 12 に示すように、両目の瞳の位置を左右の頂点とする逆正三角形 Tを描き、その逆正 三角形 Tの下頂点を中心とする、直径が該逆正三角形の一辺長さの 0. 65〜： L 0倍 の円 40を描き、一方、グループ Cの外接矩形 30の中心を円の中心とする外接矩形 3 0に内接する円 41を描き、この円 41が上述の円 40と重なりを有する場合に、その重 なりを有する円 41と対応する外接矩形 30を口の位置候補とする。
[0063] そして、口の位置候補とした外接矩形が複数存在する場合、横幅が最大である外 接矩形を口の位置として特定する。
[0064] こうして口の位置とする外接矩形 30を特定した後、その特定した外接矩形の横幅を 、口を構成する画素の横幅とする。
[0065] ここで、口の位置として選択した外接矩形の横幅が、両目の瞳を結ぶ直線の 2等分 線を (逆三角形の下頂点）を跨がない場合には、その 2等分線を中心として、口の位 置として選択した外接矩形が左右対称となるように、その外接矩形を横方向に伸張し 、その伸張した矩形で口の位置を特定する。
[0066] なお、以上の処理で口の位置とする外接矩形となるものが存在しなかった場合には 、フェードイン法による目の位置を次の目の位置候補 (カウントランキングが次の順位 の目の位置）に特定して口の検出をやり直す。
[0067] 口の位置を特定した後は、鼻の位置を検出する。鼻の位置の検出に際しては、目 の位置の検出で使用したグレースケールの階層画像にぉ 、て、好ましくは図 11に示 すように、設定した前述の矩形枠 21 '内において、検出された画素の固まり領域を格 別グループィ匕することなぐ各画素の固まり領域ごとに外接矩形 31、 32、 33、 34を 形成する。そして、形成した外接矩形 31、 32、 33、 34のうち、両目の位置と特定の 関係にあるもの、より具体的には、口の位置の検出の場合と同様に、図 12に示すよう に、両目の位置を左右の頂点とする逆正三角形 Tを描き、その逆正三角形 Tの下頂 点を中心とする、直径が該逆正三角形の一辺長さの 0. 5〜0. 7倍の円 42を描き、一 方、各外接矩形 31、 32、 33、 34の中心を円の中心とする各外接矩形 31、 32、 33、 34に内接する円を描き、その円が上述の円 42と重なりを有する場合に、その重なり を有する円と対応する外接矩形 32、 33を鼻の位置候補とする。
[0068] そして、鼻の位置候補とした外接矩形 32、 33のうち、その下辺が、口の位置として 特定した外接矩形 30の上辺よりも上方にあり、横幅が最大のものを鼻の位置として、 より詳細には、鼻の位置として特定した外接矩形の下辺により、鼻の下端の位置と幅 を特定する。
[0069] ここで、鼻の位置として特定した外接矩形の横幅が、両目の瞳を結ぶ直線の 2等分 線を (逆三角形の下頂点）を跨がない場合には、その 2等分線を中心として、鼻の位 置として選択した外接矩形が左右対称となるように、その外接矩形を横方向に伸張し 、その伸張した矩形の下辺で鼻の下端の位置と幅を特定する。
[0070] こうして鼻と口の位置を特定するにあたり、図 9Aに示したように、傾いている顔画像 を、図 9Bに示したように、傾きを補正した場合には、眼、鼻、口の位置を特定後、座 標を逆回転させ、それらの位置を当初の傾いている顔画像における位置に変換する 産業上の利用可能性
[0071] 本発明は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフ イツティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧 後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像 の形成、顔画像の目隠し処理、顔画像のフレーム処理など、静止画像又は動画像の 顔画像の画像処理において、目の位置の検出が必要とされる種々の場面で有用と なる。
[0072] また、本発明は、目の位置、口の位置、鼻の位置の検出が必要とされる化粧シミュ レーシヨン画像の形成等においても有用となる。

Claims

請求の範囲
[1] 顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、
グレースケール画像が高明度でフェードアウトした状態力 低明度へフェードインす るのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方 法 (以下フェードイン法と!/、う）を行!、、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し 各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を 特定する目の位置の検出方法。
[2] 目の位置候補相互の位置関係又は目の位置候補の横幅に基づ!、て目の位置を 特定する請求項 1記載の目の位置の検出方法。
[3] グレースケール画像の階調を反転させ、画素の固まり領域を検出する請求項 1又は
2記載の目の位置の検出方法。
[4] 顔画像が、静止画像又は動画像のフレームである請求項 1〜3のいずれかに記載 の目の位置の検出方法。
[5] 動画像の一つのフレームで目の位置が特定された場合に、その後のフレームにお
V、て直近で特定された目の位置の周辺領域を目の位置の検出対象領域とする請求 項 4記載の目の位置の検出方法。
[6] 顔画像にフェードイン法を行い、検出された画素の固まり領域のうち、対となって現 れたものを目の位置候補として選択し、各目の位置候補の全グレースケール画像に わたる出現度数に基づ 、て目の位置を特定し、
フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長の停 止したものを、縦方向の位置が重なるものごとにグループィ匕し、
グループ化した画素の固まり領域ごとに外接矩形を形成し、
該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定 領域内にあるものを口の位置候補とし、
口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する 顔パーツの位置の検出方法。
[7] 両目の瞳を左右の頂点とする逆正三角形を描き、その逆正三角形の下頂点を中心 とする、直径が該逆正三角形の一辺の長さの 0. 65〜： L 0倍の円を描き、その円と、 外接矩形の中心に位置する内接円とが重なる当該外接矩形を口の位置候補とする 請求項 6記載の顔パーツの位置の検出方法。
[8] 顔画像が、静止画像又は動画像のフレームである請求項 6又は 7記載の顔パーツ の位置の検出方法。
[9] 動画像の一つのフレームで目の位置が特定された場合に、その後のフレームにお
V、て直近で特定された目の位置の周辺領域を目の位置の検出対象領域とする請求 項 8記載の顔パーツの位置の検出方法。
[10] 請求項 6〜9の 、ずれかに記載の方法で口の位置を特定した後、フェードイン法で 検出された画素の固まり領域であって漸次現れる画素の成長が停止したものごとに 外接矩形を形成し、
該画素の固まり領域ごとに形成した外接矩形のうち、両目との位置関係から予測され る所定領域内にあるものを鼻の位置候補とし、
鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩 形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する顔パーツの 位置の検出方法。
[11] 両目の瞳を左右の頂点とする逆正三角形を描き、その逆正三角形の下頂点を中心 とする、直径が該逆正三角形の一辺の長さの 0. 5〜0. 7倍の円を描き、その円と、 画素の固まり領域ごとに形成した外接矩形の中心に位置する内接円とが重なる当該 外接矩形を鼻の位置候補とする請求項 10記載の顔パーツの位置の検出方法。
[12] 顔画像の取得手段と演算手段を備えた目の位置の検出システムであって、演算手 段が、
顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、 グレースケール画像が高明度でフェードアウトした状態力 低明度へフェードインす るのに伴い、フ ードアウトした顔領域に漸次現れる画素の固まり領域を検出する機 能、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択す る機能、及び
各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を 特定する機能を備えた演算手段を備えた目の位置の検出システム。
[13] 演算手段が、 目の位置候補相互の位置関係又は目の位置候補の横幅に基づ!、て 目の位置を特定する機能を有する請求項 12記載の目の位置の検出システム。
[14] 顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである請求項 12 又は 13記載の目の位置の検出システム。
[15] 顔画像の取得手段と演算手段を備えた顔パーツの位置の検出システムであって、 演算手段が、
顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、 グレースケール画像が高明度でフェードアウトした状態力 低明度へフェードインす るのに伴い、フ ードアウトした顔領域に漸次現れる画素の固まり領域を検出する機 能、
検出した画素の固まり領域のうち、対となって現れたものを目の位置候補として選択 する機能、
各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を 特定する機能、
検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦 方向の位置が重なるものをグループ化する機能、
グループ化した画素の固まり領域ごとに外接矩形を形成する機能、
該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定 領域内にあるものを口の位置候補とする機能、
口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する 機能、
検出した画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外 接矩形を形成する機能、
該画素の固まり領域ごとに形成した外接矩形のうち、両目との位置関係から予測され る所定領域内にあるものを鼻の位置候補とする機能、及び 鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩 形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能 を備えている顔パーツの位置の検出システム。
顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである請求項 15 記載の顔パーツの位置の検出システム。
PCT/JP2006/325972 2005-12-28 2006-12-26 顔パーツの位置の検出方法及び検出システム WO2007074844A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06843356.4A EP1970859B1 (en) 2005-12-28 2006-12-26 Detecting method and detecting system for positions of face parts
CN200680053540XA CN101390128B (zh) 2005-12-28 2006-12-26 脸部器官的位置的检测方法及检测系统
US12/159,509 US8131013B2 (en) 2005-12-28 2006-12-26 Method and detecting system for positions of facial parts

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-380436 2005-12-28
JP2005380436 2005-12-28
JP2006-113893 2006-04-17
JP2006113893A JP4530173B2 (ja) 2006-04-17 2006-04-17 顔パーツの位置の検出方法及び検出システム

Publications (1)

Publication Number Publication Date
WO2007074844A1 true WO2007074844A1 (ja) 2007-07-05

Family

ID=38218065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/325972 WO2007074844A1 (ja) 2005-12-28 2006-12-26 顔パーツの位置の検出方法及び検出システム

Country Status (5)

Country Link
US (1) US8131013B2 (ja)
EP (1) EP1970859B1 (ja)
CN (1) CN101390128B (ja)
TW (1) TWI378396B (ja)
WO (1) WO2007074844A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102310771A (zh) * 2011-05-26 2012-01-11 臧安迪 基于驾驶员面部识别的机动车安全控制方法及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
TW201106919A (en) * 2009-08-21 2011-03-01 Jian-Han Chen Method for measuring and identifying dark cycles under eyes
JP2011118834A (ja) * 2009-12-07 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8300927B2 (en) 2010-02-11 2012-10-30 Seiko Epson Corporation Mouth removal method for red-eye detection and correction
JP4862955B1 (ja) * 2010-10-29 2012-01-25 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
KR101972356B1 (ko) * 2010-12-21 2019-04-25 한국전자통신연구원 상반신 검출장치 및 검출방법
TWI466070B (zh) * 2012-09-14 2014-12-21 Utechzone Co Ltd 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
HK1181255A2 (en) * 2013-07-18 2013-11-01 Leung Spencer Yu Cheong Monitor system and method for smart device
JP2015088095A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9282237B2 (en) * 2014-07-17 2016-03-08 Schlage Lock Company Llc Multifocal iris recognition device
WO2016159255A1 (ja) * 2015-03-31 2016-10-06 国立大学法人静岡大学 口領域検出装置及び口領域検出方法
KR102324472B1 (ko) * 2019-07-01 2021-11-10 계명대학교 산학협력단 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01314385A (ja) * 1988-06-14 1989-12-19 Nec Corp 顔画像検出方法及び装置
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
JP2004094917A (ja) 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法
US7535469B2 (en) 2002-05-03 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method for creating three-dimensional caricature

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3355076B2 (ja) 1995-09-14 2002-12-09 三菱電機株式会社 顔画像処理装置
KR19990016896A (ko) 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
JP2003281539A (ja) 2002-03-25 2003-10-03 Oki Electric Ind Co Ltd 顔部品探索装置および顔部品探索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01314385A (ja) * 1988-06-14 1989-12-19 Nec Corp 顔画像検出方法及び装置
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
US7535469B2 (en) 2002-05-03 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method for creating three-dimensional caricature
JP2004094917A (ja) 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"The winning paper of the 5-th LSI IP design award", 2005, NIKKEI BUSINESS PUBLICATIONS, INC., article "Method for detecting facial feature points that allows high-speed and high-reliability face detection"
See also references of EP1970859A4
WU ET AL.: "Efficient face candidates selector for face detection", PATTERN RECOGNITION, vol. 36, 2003, pages 1175 - 1186, XP004402547, DOI: doi:10.1016/S0031-3203(02)00165-6

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102310771A (zh) * 2011-05-26 2012-01-11 臧安迪 基于驾驶员面部识别的机动车安全控制方法及系统

Also Published As

Publication number Publication date
US20100220925A1 (en) 2010-09-02
EP1970859B1 (en) 2014-03-05
CN101390128B (zh) 2013-06-12
EP1970859A1 (en) 2008-09-17
CN101390128A (zh) 2009-03-18
US8131013B2 (en) 2012-03-06
EP1970859A4 (en) 2010-10-06
TWI378396B (en) 2012-12-01
TW200809686A (en) 2008-02-16

Similar Documents

Publication Publication Date Title
WO2007074844A1 (ja) 顔パーツの位置の検出方法及び検出システム
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
AU2003204466B2 (en) Method and system for enhancing portrait images
US9053537B2 (en) Classifier for use in generating a diffuse image
JP2007047965A (ja) デジタル画像の対象物検出方法および装置並びにプログラム
WO2001026050A2 (en) Improved image segmentation processing by user-guided image processing techniques
CN110210360A (zh) 一种基于视频图像目标识别的跳绳计数方法
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
US8913829B2 (en) Automatic processing scale estimation for use in an image process
US20160180148A1 (en) Method and system for generating intrinsic images using a single reflectance technique
JP7469738B2 (ja) 学習済みの機械学習モデル、および、画像生成装置、機械学習モデルのトレーニング方法
JP4530173B2 (ja) 顔パーツの位置の検出方法及び検出システム
JP2009251634A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4775599B2 (ja) 目の位置の検出方法
EP2776979B1 (en) Post processing for improved generation of intrinsic images
JP4831344B2 (ja) 目の位置の検出方法
US11900564B2 (en) Storage medium storing program, image processing apparatus, and training method of machine learning model
JP4683236B2 (ja) 目の位置の検出方法
JP3905503B2 (ja) 顔画像合成装置および顔画像合成プログラム
JPH0993443A (ja) カラーモノクロ画像変換方法および被検査対象のエッジ位置検出方法
JP5093540B2 (ja) 目の位置の検出方法および検出システム
JP4831361B2 (ja) 目の位置の検出方法および検出システム
JP4445026B2 (ja) 画像処理方法および装置並びにプログラム
CN111080743B (zh) 一种头部肢体特征点连线的人物作画方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006843356

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12159509

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200680053540.X

Country of ref document: CN