WO2007046477A1 - 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム - Google Patents

顔中心位置検出装置、顔中心位置検出方法、及び、プログラム Download PDF

Info

Publication number
WO2007046477A1
WO2007046477A1 PCT/JP2006/320866 JP2006320866W WO2007046477A1 WO 2007046477 A1 WO2007046477 A1 WO 2007046477A1 JP 2006320866 W JP2006320866 W JP 2006320866W WO 2007046477 A1 WO2007046477 A1 WO 2007046477A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
center position
face image
contour
Prior art date
Application number
PCT/JP2006/320866
Other languages
English (en)
French (fr)
Inventor
Junya Kasugai
Takeshi Naito
Hiroshi Ishiguro
Shigeyasu Uozumi
Kenichi Ohue
Original Assignee
Aisin Seiki Kabushiki Kaisha
Toyota Jidosha Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Kabushiki Kaisha, Toyota Jidosha Kabushiki Kaisha filed Critical Aisin Seiki Kabushiki Kaisha
Priority to DE602006019758T priority Critical patent/DE602006019758D1/de
Priority to EP06812044A priority patent/EP1939582B1/en
Priority to CN2006800387944A priority patent/CN101310161B/zh
Priority to US12/090,987 priority patent/US7907752B2/en
Publication of WO2007046477A1 publication Critical patent/WO2007046477A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a face center position detection device, a face center position detection method, and a program capable of detecting the face center position of the face image of a person wearing glasses.
  • Japanese Laid-Open Patent Publication No. 2004-310396 discloses a technique for processing an image obtained by photographing a human face and detecting the position of the face with high accuracy without being affected by the movement or background of the person. It has been done.
  • Japanese Patent Laid-Open No. 2005-011097 captures an image obtained by photographing an area where a driver can exist, and detects a lateral edge image (both side edges of the face) based on the captured image power. Based on the detected lateral edge image, a plurality of face center candidate lines are set, and for each face center candidate line, a value representing the likelihood that the face center candidate line is the face center line. Therefore, a technique for improving the accuracy of determining the presence or absence of a face is disclosed.
  • a driver is basically driving with his face facing forward while driving a vehicle. However, at some point, the driver may be talking to a passenger in the next seat and turning his face sideways.
  • the driver's face and appearance are diverse and differ in various ways, such as facial contours, hairstyles, and wearing glasses. Therefore, for example, if a driver wearing glasses tries to detect the center position of a face from an image captured by the camera when the face is turned sideways, the detection may be erroneous. This is because if the driver wearing glasses faces his face in the horizontal direction, the image processing is performed including the glasses, and the center position of the face may not be detected accurately.
  • the present invention has been made in view of the above problems, and a face center position that enables a driver wearing spectacles to detect the center position of the face even when facing in the lateral direction.
  • An object of the present invention is to provide a position detection device, a face center position detection method, and a program. Means for solving the problem
  • the face center position detection device of the present invention includes a face image storage unit that stores a face image obtained by photographing a face, and a face stored in the face image storage unit.
  • a horizontal direction determining unit that determines whether the face of the face image stored in the face image storage unit is a horizontal force or not, and the spectacle wearing determining unit is configured such that glasses are mounted on the face of the face image.
  • the horizontal orientation determination unit determines that the face of the face image is horizontal
  • the facial image stored in the face image storage unit is a lower region of the face and the contour determination unit. Based on the image of the area between the calculated contour positions, the center position of the face is detected.
  • the glasses wearing determination unit determines whether or not the face image includes a vine image of the glasses !, and the face image includes the image of the vine of the glasses. If it is determined that the glasses are attached to the face of the face image, it is determined.
  • the lateral direction determination unit includes a unit that determines whether or not the image of a spectacle of a spectacle is included in the face image; And a means for discriminating that the face is sideways when it is determined that an image of a vine is included.
  • the center position detecting unit is an image of an area below the glasses and located between the contour positions in the left-right direction in the face image. The center position in the left-right direction of the face may be detected based on this image.
  • the center position detecting unit further includes a vertical center position detecting means for detecting a center position in the upward and downward direction of the face, and the upper and lower parts
  • the direction center position detecting means includes an eye area image storage means for storing an image of a standard eye area, and a composition for combining the eye area image stored in the eye area image storage means with the eye area of the face image. And means for detecting the center position of the face in the vertical direction based on the image synthesized by the synthesizing means.
  • the center position detection unit is based on an image of a lower region of the face and a region between the contour positions obtained by the contour determination unit among the face images stored in the face image storage unit. ! /, Detects the temporary face center position, further sets the face center search area based on the temporary face center position, and re-detects the face center position from within the face center search area. Configure it to do so.
  • the center position detection unit may set the face center search area so that the left end position coordinate and the right end position coordinate are symmetrical with respect to the temporary face center position.
  • the face center position detecting method of the present invention includes a face image storing step for storing a face image obtained by photographing a face, and processing the face image stored in the face image storing step.
  • a contour determining step for determining a contour position in the left-right direction of the face a spectacle wearing determining step for determining whether glasses are mounted on the face of the face image stored in the face image storing step, and the face It is determined that the face of the face image stored in the image storage step is in a horizontal direction determining step for determining whether or not the face is in the horizontal direction, and in the glasses wearing determination step, it is determined that glasses are attached to the face of the face image.
  • the face position stored in the face image storage means is a lower region of the face and the contour position obtained by the contour determination means.
  • the program of the present invention processes a face image storage procedure for storing a face image obtained by photographing a face in a computer, and the face image stored in the face image storage procedure,
  • a contour determination procedure for determining a lateral contour position of a face
  • a spectacle wearing determination procedure for determining whether glasses are mounted on the face of the face image stored in the face image storing procedure;
  • the face image storage means when it is determined that glasses are attached to the face of the face image in the orientation determination procedure and the glasses attachment determination procedure, and the face is determined to be in the landscape orientation in the landscape determination procedure.
  • a center position detection procedure for detecting the center position of the face based on the image of the lower face area of the face image stored between the contour positions determined by the contour determination means, , Execute.
  • the center position of the face can be accurately detected even when the driver wearing the spectacles turns his face in the lateral direction.
  • FIG. 1 is a block diagram of a face center position detection device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the computer shown in FIG.
  • FIG. 3A is a diagram showing an example of a vertical edge detection operator.
  • FIG. 3B is a diagram showing an example of a horizontal edge detection operator.
  • FIG. 3C is a diagram illustrating an example of a light and shade difference continuous in the vertical direction.
  • FIG. 3D is a diagram illustrating an example of a contrast difference that is continuous in the horizontal direction.
  • FIG. 3E is a diagram showing an example of data specifying a face image region.
  • FIG. 3F is a diagram showing an example of data for detecting a vine of glasses.
  • FIG. 4 is a flowchart for explaining the operation of the face center position detection device shown in FIG.
  • FIG. 5 is a flowchart for explaining a specific example of the preprocessing of FIG.
  • FIG. 6 is a flowchart for explaining a specific example of the face position determination process of FIG.
  • FIG. 7 is a flowchart for explaining a specific example of face both-ends detection processing in FIG.
  • FIG. 8 is a flowchart for explaining a specific example of the face vertical position detection process of FIG.
  • FIG. 9 is a flowchart for explaining a specific example of the face center position detection process of FIG.
  • FIG. 10A is a diagram schematically illustrating a binarized face image.
  • FIG. 10B is a diagram schematically illustrating an eye area of a binary image.
  • FIG. 10C is a diagram schematically illustrating a cut-out lower face region.
  • FIG. 11 is a flowchart for explaining a specific example of the eyeglass measure face center position calculation process of FIG. It is
  • FIG. 12 is a diagram for explaining processing for obtaining a lower face area A in a face image when the face turns to the right.
  • FIG. 13 is a diagram for explaining a process for obtaining a face center search region C in a face image when the face turns to the right.
  • FIG. 14 is a diagram for explaining processing for obtaining a lower face area A in a face image when the face is turned to the left.
  • FIG. 15 is a diagram for explaining processing for obtaining a face center search region C in a face image when the face is turned to the left.
  • the face center position detection apparatus of the present embodiment includes a camera 10 that captures a driver's face and generates a face image, an illumination light source 12 that illuminates the driver's face, and a driver.
  • the camera 10 is also configured with, for example, a CCD camera and the like, and acquires a gradation image of the driver's face.
  • the face image generated by the camera 10 includes the background of the driver's face alone.
  • the display device 16 is composed of an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), or the like, and displays a binary image generated from the face image captured by the camera 10.
  • the computer 14 processes the face image acquired by the camera 10 to detect the left and right end positions and the vertical position of the face, and based on the detected left and right end positions and the vertical position, the face in the lower face area is detected. This is an apparatus for obtaining the center position of the face after obtaining the temporary center position.
  • the computer 14 includes an AZD change 21, an image memory 22, a ROM 23, a CPU 24, a RAM 25, a display control device 27, and a light source control device 28.
  • AZD analog Z digital conversion 21 converts an analog image signal photographed by the camera 10 into a digital signal.
  • the image memory 22 stores image data generated by the camera 10 and digitized by AZD change.
  • the ROM 23 stores a program for controlling the operation of the CPU 24. In addition, the ROM 23 stores various fixed data for executing image processing to be described later.
  • the CPU 24 executes a program stored in the ROM 23 to process the face image acquired by the camera 10 to detect both end positions and top and bottom positions of the face, and to detect the detected end positions, Based on the vertical position, the temporary center position of the face in the lower face area is obtained, and then the center position of the face is obtained.
  • the RAM 25 functions as a work area for the CPU 24.
  • the display control device 27 controls the display device 16 under the control of the CPU 24.
  • the light source control device 28 controls turning on and off of the illumination light source 12.
  • the ROM 23 stores operators of vertical edge detection and horizontal edge detection Sobel filters as shown in FIGS. 3A and 3B.
  • a vertical boundary line in the image is referred to as a vertical edge
  • a horizontal boundary line is referred to as a horizontal edge.
  • the vertical edge detection Sobel filter and horizontal edge detection Sobel filter shown in Fig. 3A and Fig. 3B, respectively, are shown in Fig. 3C and Fig. 3D. It is an operator for extracting the boundary (edge) of the grayscale difference that continues in the direction.
  • the ROM 23 stores data for specifying an area in which an eye or eyebrow image is assumed to be present among the face images stored in the RAM 25, and an eye or eyebrow image. It is the area below the area that is supposed to exist (or the area where the image of glasses is present) Stores data specifying lower face area A.
  • the ROM 23 stores the vertical size of the spectacles vine in order to detect the spectacles vine.
  • the CPU 24 repeatedly executes a process composed of a pre-process (step S01), a face position determination (detection) process (step S02), and a face center position detection process (step S03).
  • the pre-processing (step S01) and the face position determination processing (step S02) constituting the processing shown in FIG. 4 are processing for obtaining the position (coordinates) of the face in the left and right direction and the vertical direction of the driver. .
  • the face center position detection process (step S03) is a process for detecting the center position of the driver's face.
  • the preprocessing includes a capture process (step S011), a coordinate conversion process (step SO12), and a Sobel filter process (step SO13). It is.
  • the capture process (step S011) is a process in which a face image of one frame captured by the camera 10 is captured via the AZD converter 21 and stored in the image memory 22.
  • the coordinate conversion process (step SO 12) is a process of thinning out pixels to the extent that it can be processed.
  • the Sobel filter processing processes the face image after coordinate conversion using the vertical edge detection Sobel filter (Fig. 3A) stored in the ROM 23, A process that emphasizes the vertical edges, and processes the face image after coordinate conversion using the Sobel filter for horizontal edge detection (Fig. 3B) to emphasize the horizontal edges in the face image. is there.
  • the face position determination process (step S02) in Fig. 4 is a process for detecting the left and right end positions and the upper and lower positions of the face using the preprocessed face image. It consists of processing (step S021) and face vertical position detection processing (step S022). [0039] Face both-ends detection processing (step S021) is processing for identifying lines constituting both ends of a face in a face image obtained by manipulating the face image by a vertical edge detection operator, and is a known arbitrary technique. Can be adopted.
  • a histogram creation process for detecting both ends of the face is performed (step S 0211). Subsequently, a predetermined number of histograms with high peak values are extracted, sorted (step S0212), and end points are extracted based on the histogram values (step S0213). If the top one or two are extremely large compared to others, that point is the end point.
  • step S0214 it is determined whether or not two end points (both ends) have been extracted. If two points have been extracted (step S0214; Yes), a process of determining the two extracted points as both ends (x coordinates) of the face is performed (step S0216). On the other hand, if two end points have not been extracted (step S0214; No), the end point is determined by extracting a combination having a plausible interval as the human face width (step S0215). Finally, processing for determining both ends (X coordinate) of the face is performed (step S0216).
  • the time derivative of the photographed image is calculated, and the pixel value of the pixel value time derivative image is projected in the vertical direction to obtain a histogram.
  • Create the total of the histogram of the edge extracted image and the histogram of the pixel value time differential image extract the one with the highest peak value of the histogram and have it as the human face width, determine the point, determine the face edge It may be possible to detect the position.
  • the face vertical position detection process in step S022 of FIG. 6 is performed by performing the same process as described above on the horizontal edge, so that the position of the eyebrows (upper end) and the position of the mouth (lower end) ),
  • the process includes a histogram creation process (step S0221), a lower eye candidate detection process (step S0222), and a face vertical position calculation process (step S0233).
  • the histogram creation process (step S0221) is a process for creating a histogram by projecting the value of each pixel after the Sobel filter processing using the horizontal edge detection Sobel filter in the horizontal direction.
  • the lower eye candidate detection process (step S0222) is based on the histogram value based on the eyes, eyebrows, mouth, etc. Is a process of selecting a candidate for a histogram value corresponding to.
  • the face vertical position calculation process is a process for detecting the upper and lower end positions (y coordinates) of the face (for example, the position of the eyebrow) from the selected candidates.
  • the upper face position (y coordinate) is set, for example, at a position 3 pixels above the detected eyebrow, and the lower end position is set at a position 3 pixels below the detected mouth (between mouth and chin). .
  • the CPU 24 stores the face end (left and right end) positions (X coordinate) and the face vertical position (y coordinate) obtained in steps S021 and S022 in the RAM 25 in this manner.
  • step S03 the face center position detection process (step S03) in FIG. 4 has the configuration shown in FIG. 9, for example.
  • the CPU 24 calculates the gradation of each pixel constituting the face image stored in the RAM 25 with an arbitrary threshold as a reference (step S1221).
  • the threshold value for example, an average value of all pixels forming the face image can be used.
  • a driver's binary image is generated as schematically illustrated in FIG. 10A.
  • the CPU 24 executes an eye region image cut-out process on the binary key image (step S1222).
  • the CPU 24 first stores area designation data (yl, y2 shown in FIG. 3E) that defines the area of the face image where the eye is expected to exist.
  • the black-and-white white edge means an edge having a predetermined width that changes from white to black, and further from black to white, at an edge that is a boundary between white and black.
  • the black and white white horizontal edge means the boundary extending in the horizontal direction.
  • the CPU 24 starts black-and-white white horizontal edge detection processing (step S1223), and according to the setting shown in FIG.
  • the eye detects black pixel rows with a width of 2-4 pixels.
  • the method of detecting the black and white white horizontal edge is arbitrary. For example, if the brightness of the pixel (x, y) is determined while sequentially updating the coordinate value y and the brightness changes from white to black, the number of consecutive black When the black changes to white, it is determined whether or not the power of black is 1 to 3, and if the number of continuous is 1 to 3, the pixel is maintained. For example, a method of converting those pixels to white can be adopted.
  • the CPU 24 performs a process of determining the presence or absence of a spectacle vine (step S1224).
  • the PU 24 determines that a spectacle vine has been detected when a black region of 1 to 3 pixels in the vertical direction is obtained in the image of the eye region after processing.
  • step S 1224 If no spectacle vine is detected in step S 1224 (step S 1224; No),
  • the center position (center of gravity) of the face is obtained using the face image (step S1226).
  • the center measurement method itself is arbitrary, for example, the following formula force can also determine the coordinates of the center (center of gravity) position of the face.
  • X coordinate of face center ⁇ xi / n xi: x coordinate value of i-th black pixel
  • Face center y coordinate ⁇ yi / n yi: value of the y coordinate of the i-th black pixel
  • n is the total number of black pixels
  • center position may be obtained only from images of main parts of the face (eyebrows, eyes, nose, mouth).
  • step S 1224 if it is determined that there is a spectacle vine (step S 1224; Yes), the driver wearing the spectacles is facing sideways, so the image is scanned before determining the face center position.
  • the face center position can be obtained accurately (step S1225). This is to eliminate the adverse effect on the average value of each pixel constituting the horizontal edge used when determining the face center position when the face image including the glasses is processed as it is.
  • This spectacle countermeasure face center position calculation process (step S 1225) has, for example, the configuration shown in FIG.
  • the CPU 24 obtains the lower face area A shown in FIG. 3E (step S 2001).
  • a specific method for obtaining the lower face area A is arbitrary, but for example, the face end position (X coordinate) and the face vertical position (y coordinate) calculated in the initial process are used.
  • This face end position (X coordinate) corresponds to the coordinates a and b of the face end position, as shown in the driver's face figure in FIG. 12, and the face vertical position (y coordinate) is shown in FIG.
  • the CPU 24 In order to calculate the lower face area A, the CPU 24 first obtains the center coordinate d of the coordinates c and e. And ask The area included in the range between the coordinates d and e and the area between the coordinates a and b is the lower face area A, and is cut out as shown in FIG. 10C.
  • the CPU 24 next calculates a temporary face center position B on the X axis using the cut binary image of the lower face area A (step S2002).
  • the center measurement method itself is arbitrary, but for example, the following force can also determine the coordinates of the center (center of gravity) position in the X-axis direction of the face.
  • X coordinate of face center ⁇ xi / n xi: x coordinate value of i-th black pixel
  • n is the total number of black pixels in the lower face area
  • the CPU 24 obtains a face center search area C for finally obtaining a more accurate face center position.
  • a more accurate face center position can be obtained.
  • the CPU 24 determines whether the driver's face is facing the right direction and facing the left direction (step S 2003).
  • the temporary face center position B on the X axis is from the center (a + b) Z2 Judge by whether or not it is large.
  • the face is facing the right direction, so the coordinates of the left edge position of the face a and the right edge position of the face A coordinate ⁇ , a coordinate ⁇ of the upper end position of the face, and a coordinate ⁇ of the lower end position of the face are obtained (step S2005).
  • the face center search area C is an area surrounded by a thick frame in FIG.
  • step S 2003 if it is determined that B> (a + b) Z2 (step S 2003; Yes), the face is facing left as shown in FIG.
  • the coordinate a of the face, the coordinate ⁇ of the right edge position of the face, the coordinate y of the upper edge position of the face, and the coordinate ⁇ of the lower edge position of the face are obtained (step S2004).
  • a a + (Ba)-(bB)
  • ⁇ b
  • ⁇ c
  • ⁇ e
  • the face a and the right end position coordinate ⁇ and the right end position coordinate ⁇ are symmetrical with respect to the temporary face center position B obtained in step S2002.
  • the central search area C is obtained.
  • the CPU 24 obtains the center position (center of gravity position) of the face in the vertical direction within the obtained face center search area C (step S2006).
  • the center measurement method itself is arbitrary. For example, the following force can also determine the coordinates of the center (center of gravity) position of the face.
  • X coordinate of the center of the face ⁇ xi / n xi: x of the i-th black pixel Coordinate value
  • Face center y coordinate ⁇ yi / n yi: y coordinate value of the i-th black pixel
  • i: l to n n is the total number of black pixels in the face center search area C
  • the face center position is obtained as described above, and the spectacle countermeasure face center position calculation process (step S1225) in FIG. 11 is completed. Subsequently, the face center position detection process (step S03) in FIG. 9 is completed. The That is, by this process, the center position of the face is obtained, and the process of FIG. 4 ends.
  • the CPU 24 repeatedly executes the process of FIG. 4 and continues to obtain the center position of the driver's face. Further, the obtained center position of the face is stored in the RAM 25, and can then be used for desired processing.
  • the face center position detection device can detect the face center position more accurately even when the driver wearing the glasses turns his face in the lateral direction.
  • the eye area is fixed at a specific position in the image, but the position of the eye area may be appropriately set according to the size and position of the face image.
  • a horizontal edge Sobel filter is applied, the positions of the eyes and eyebrows of the face are discriminated, and an area of a predetermined size including the area may be set as the eye region.
  • the tone image power of the eyes and eyebrows (or eyes), and the nose and mouth is also obtained for the center (center of gravity) position of the face.
  • Parts is optional.
  • the center may be obtained by covering ears, cheeks, hair, and the like.
  • the present invention has shown an embodiment in which the presence / absence of a vine of glasses is detected in order to detect the center position of the face, but the present invention is not limited to this, and a vine of sunglasses may be used. You may make it detect the presence or absence of another accessory.
  • the center position of the face in the vertical direction is obtained from the average value of each pixel constituting the vertical edge regardless of the presence or absence of glasses on the image. However, if the image has glasses, the image may be corrected and the more accurate vertical center position of the face may be obtained.
  • the CPU 24 determines that glasses have been detected when 1 to 3 pixels of black area are obtained in the vertical direction in the image of the eye area.
  • the image of the standard eye area stored in the image memory 22 or the ROM 23 and prepared in advance is combined with the image from which the original binary image force eye area is removed. Then, a face image for measuring the center position is generated. You can also determine the position of the glasses and adjust the position of the eye to be synthesized.
  • the center position of the face (face position, barycentric position) is obtained.
  • the central measurement method itself is arbitrary.
  • the system configuration described with reference to FIGS. 1 and 2 is also an example, and can be arbitrarily changed.
  • the camera 10 is an infrared camera that captures images with near infrared rays, it is possible to acquire images of each part of the face relatively accurately without being affected by race, skin, or hair color.
  • the spectacle countermeasure process may be performed when an image of a spectacle vine is obtained more than a predetermined number of times.
  • the black and white white edge is for expressing a difference in gradation
  • the hue is not limited to white or black as a color, and any hue may be used.
  • the present invention is applied to the case where a driver's photograph is taken to detect a temple of glasses.
  • the present invention is not limited to this, and humans, animals, dolls, It can be widely applied to the process of determining whether a robot or the like is wearing glasses or accessories.
  • the present invention is not limited to processing while acquiring an image with a camera. It can be used to determine the presence or absence of eyeglass vines, the position of the center of the face, the orientation of the face, etc. for each of the one or more face images taken in.
  • a computer program for causing a computer to execute the above-described processing may be stored in the ROM via an arbitrary recording medium or a network!
  • the image memory 22 constitutes a face image storage means.
  • the ROM 23 and the CPU 24 constitute a contour discriminating unit, a spectacle wearing discriminating unit, a lateral direction discriminating unit, a center position detecting unit, a vertical center position detecting unit and a combining unit.
  • the image memory 22 or the ROM 23 constitutes an eye area image storage means.
  • the center position of the face in the face image can be detected even when the driver of the vehicle is wearing glasses and not facing the front.
  • the center position of the face in the face image for example, it can be used to calculate the orientation of the face to identify the driver and to read facial expressions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　人物画像に基づいて、その人物が眼鏡を着用し、横方向を向いている場合においても、正確に顔中心位置を検出する。カメラ（１０）でドライバーの顔を撮影して得られた顔画像を画像メモリ（２２）に記憶する。ＣＰＵ（２４）は、画像メモリ（２２）に記憶された顔画像に基づいて、顔の両側位置と上下位置を判別する。さらに、ＣＰＵ（２４）は、ドライバーが眼鏡を着用し、横方向を向いているか否かを判別し、眼鏡を着用し、横方向を向いていると判別した場合に、顔下部領域の顔画像を用いて、顔中心位置を検出する。これにより、眼鏡を着用したドライバーが、横方向を向いている場合でも、正確に顔中心位置を検出することが可能となる。

Description

顔中心位置検出装置、顔中心位置検出方法、及び、プログラム 技術分野
[0001] 本発明は、眼鏡をかけた人の顔画像力も顔の中心位置を検出することが可能な顔 中心位置検出装置、顔中心位置検出方法、及び、プログラムに関する。
背景技術
[0002] 顔画像に基づ!/、て人を識別したり、表情を読み取ったりするためには、顔の位置や 顔の中心位置、向きなどを検出することが重要となる。
[0003] 例えば、特開 2004— 310396号公報〖こは、人の顔を撮影した画像を処理し、人の 動きや背景に影響されること無く高精度に顔の位置を検出する手法が開示されてい る。
[0004] また、特開 2005— 011097号公報には、ドライバーが存在可能な領域を撮影して 得られた画像を取り込み、取り込んだ画像力ゝら横エッジ画像 (顔の両側端)を検出し、 検出した横エッジ画像に基づいて、複数の顔中心候補線を設定すると共に各顔中 心候補線各々に対して、該顔中心候補線が顔の中心線である確力 しさを表す値に 基づ 、て、顔の有無の判定精度を向上する技術が開示されて 、る。
発明の開示
発明が解決しょうとする課題
[0005] ドライバ一は、車両の運転中、基本的には顔を前方に向けて運転している。しかし、 あるタイミングでは、ドライバ一は、隣の席に座る同乗者と会話中で、顔を横に向けて いることもある。また、ドライバーの顔や容姿は、多種多様であり、顔の輪郭線、髪型、 眼鏡等の着用、等といった様々な点で異なる。そのため、例えば、眼鏡を着用したド ライバーが、横方向に顔を向けていたときにカメラが捉えた画像から、顔の中心位置 を検出しょうとすると、検出を誤ってしまうこともある。なぜならば、眼鏡を着用したドラ ィバーが横方向に顔を向けていた場合、眼鏡の部分を含めて画像処理することにな り、顔の中心位置を正確に検出できない場合があるからである。
この顔の中心位置の検出に誤りが生ずると、人を識別したり、表情を読み取るとい つた以後の処理を正確に行うことができな!/、。
[0006] 本発明は上記の問題点に鑑みてなされたものであり、眼鏡を着用したドライバーが 、横方向を向いている場合でも、顔の中心位置を検出することを可能とする顔中心位 置検出装置、顔中心位置検出方法、及び、プログラムを提供することを目的とする。 課題を解決するための手段
[0007] 上記目的を達成するため、この発明の顔中心位置検出装置は、顔を撮影して得ら れた顔画像を記憶する顔画像記憶部と、前記顔画像記憶手段に記憶された顔画像 を処理して、顔の左右方向の輪郭位置を求める輪郭判別部と、前記顔画像記憶部 に記憶された前記顔画像の顔に眼鏡が装着されている力否かを判別する眼鏡装着 判別部と、前記顔画像記憶部に記憶された前記顔画像の顔が横向き力否かを判別 する横向き判別部と、前記眼鏡装着判別部が前記顔画像の顔に眼鏡が装着されて V、ると判別し、前記横向き判別部が前記顔画像の顔が横向きであると判別した場合 に、前記顔画像記憶部に記憶されている顔画像のうち、顔の下部領域で且つ前記 輪郭判別部によって求めた輪郭位置の間の領域の画像に基づいて、顔の中心位置 を検出する中心位置検出部と、を備える、ことを特徴とする。
[0008] 好ましくは、前記眼鏡装着判別部は、前記顔画像中に眼鏡のツルの画像が含まれ て!、る力否かを判別し、前記顔画像中に眼鏡のツルの画像が含まれて 、ると判別さ れた場合に、前記顔画像の顔に眼鏡が装着されていると判別する。
[0009] また、前記顔中心位置検出装置において、前記横向き判別部は、前記顔画像中に 眼鏡のツルの画像が含まれて 、る力否かを判別する手段と、該手段によって顔画像 中にツルの画像が含まれて 、ると判別された場合に、前記顔が横向きであると判別 する手段と、を備えるようにしてもよ 、。
[0010] さらに、前記顔中心位置検出装置において、前記中心位置検出部は、前記顔画像 のうち、眼鏡より下部の領域の画像であって且つ前記左右方向の輪郭位置の間に位 置する領域の画像に基づいて、顔の左右方向の中心位置を検出するようにしてもよ い。
[0011] また、前記顔中心位置検出装置において、前記中心位置検出部は、顔の上下方 向の中心位置を検出する上下方向中心位置検出手段、をさらに備え、前記上下方 向中心位置検出手段は、標準的な眼領域の画像を記憶する眼領域画像記憶手段と 、前記顔画像の眼領域に、前記眼領域画像記憶手段に記憶された眼領域の画像を 合成する合成手段と、前記合成手段で合成された画像に基づいて、上下方向の顔 の中心位置を検出する手段と、を備えるようにしてもょ 、。
[0012] なお、前記中心位置検出部は、前記顔画像記憶部に記憶されている顔画像のうち 、顔の下部領域で且つ前記輪郭判別部によって求めた輪郭位置の間の領域の画像 に基づ!/、て仮の顔中心位置を検出し、さらに該仮の顔中心位置に基づ!/、て顔中心 検索領域を設定し、該顔中心検索領域内から顔の中心位置を再度検出するように構 成してちょい。
[0013] さらに、前記中心位置検出部は、前記仮の顔中心位置を中心に、左端位置の座標 と右端位置の座標とが左右対称になるように前記顔中心検索領域を設定してもよい
[0014] また、この発明の顔中心位置検出方法は、顔を撮影して得られた顔画像を記憶す る顔画像記憶ステップと、前記顔画像記憶ステップで記憶された顔画像を処理して、 顔の左右方向の輪郭位置を求める輪郭判別ステップと、前記顔画像記憶ステップで 記憶された前記顔画像の顔に眼鏡が装着されているか否かを判別する眼鏡装着判 別ステップと、前記顔画像記憶ステップで記憶された前記顔画像の顔が横向き力否 かを判別する横向き判別ステップと、前記眼鏡装着判別ステップで前記顔画像の顔 に眼鏡が装着されて 、ると判別し、前記横向き判別ステップで前記顔画像の顔が横 向きであると判別した場合に、前記顔画像記憶手段に記憶されている顔画像のうち、 顔の下部領域で且つ前記輪郭判別手段によって求めた輪郭位置の間の領域の画 像に基づいて、顔の中心位置を検出する中心位置検出ステップと、を備える、ことを 特徴とする。
[0015] また、この発明のプログラムは、コンピュータに、顔を撮影して得られた顔画像を記 憶する顔画像記憶手順と、前記顔画像記憶手順で記憶された顔画像を処理して、顔 の左右方向の輪郭位置を求める輪郭判別手順と、前記顔画像記憶手順で記憶され た前記顔画像の顔に眼鏡が装着されているか否かを判別する眼鏡装着判別手順と 、前記顔画像記憶手順で記憶された前記顔画像の顔が横向き力否かを判別する横 向き判別手順と、前記眼鏡装着判別手順で前記顔画像の顔に眼鏡が装着されて 、 ると判別し、前記横向き判別手順で前記顔が横向きであると判別した場合に、前記 顔画像記憶手段に記憶されて ヽる顔画像のうち、顔の下部領域で且つ前記輪郭判 別手段によって求めた輪郭位置の間の領域の画像に基づいて、顔の中心位置を検 出する中心位置検出手順と、を実行させる。
発明の効果
[0016] 本発明によれば、眼鏡を着用したドライバーが、横方向に顔を向けたときでも、顔の 中心位置を正確に検出することができる。
図面の簡単な説明
[0017] [図 1]本発明の実施形態に係る顔中心位置検出装置のブロック図である。
[図 2]図 1に示すコンピュータの構成を示すブロック図である。
[図 3A]縦エッジ検出用オペレータの例を示す図である。
[図 3B]横エッジ検出用オペレータの例を示す図である。
[図 3C]縦方向に連続する濃淡差の例を表す図である。
[図 3D]横方向に連続する濃淡差の例を表す図である。
[図 3E]顔画像の領域を特定するデータの例を示す図である。
[図 3F]眼鏡のツルを検出するためのデータの例を示す図である。
[図 4]図 1に示す顔中心位置検出装置の動作を説明するためのフローチャートである
[図 5]図 4の前処理の具体例を説明するためのフローチャートである。
[図 6]図 4の顔位置判別処理の具体例を説明するためのフローチャートである。
[図 7]図 6の顔両端検出処理の具体例を説明するためのフローチャートである。
[図 8]図 6の顔上下位置検出処理の具体例を説明するためのフローチャートである。
[図 9]図 4の顔中心位置検出処理の具体例を説明するためのフローチャートである。
[図 10A]二値化した顔画像を模式的に例示する図である。
[図 10B]二値ィ匕画像の眼領域を模式的に例示する図である。
[図 10C]切り出した顔下部領域を模式的に例示する図である。
[図 11]図 9の眼鏡対策顔中心位置算出処理の具体例を説明するためのフローチヤ ートである。
[図 12]顔が右を向いたときの顔画像における顔下部領域 Aを求める処理を説明する ための図である。
[図 13]顔が右を向いたときの顔画像における顔中心検索領域 Cを求める処理を説明 するための図である。
[図 14]顔が左を向いたときの顔画像における顔下部領域 Aを求める処理を説明する ための図である。
[図 15]顔が左を向いたときの顔画像における顔中心検索領域 Cを求める処理を説明 するための図である。
符号の説明
[0018] 10 カメラ
22 画像メモリ (顔画像記憶手段）
23 ROM (輪郭判別手段、眼鏡装着判別手段、横向き判別手段、中心位置検出 手段）
24 CPU (輪郭判別手段、眼鏡装着判別手段、横向き判別手段、中心位置検出 手段）
発明を実施するための最良の形態
[0019] 以下、本発明の実施形態に係る顔中心位置検出装置について説明する。
[0020] 本実施形態の顔中心位置検出装置は、図 1に示すように、ドライバーの顔を撮影し て顔画像を生成するカメラ 10と、ドライバーの顔を照明する照明光源 12と、ドライバ 一の顔中心位置を検出するコンピュータ 14と、コンピュータ 14に接続された表示装 置 16とを備える。
[0021] カメラ 10は例えば CCDカメラ等力も構成され、ドライバーの顔の階調画像を取得す る。カメラ 10によって生成される顔画像は、ドライバーの顔だけでなぐその背景など も含まれている。
[0022] 表示装置 16は、 LCD (Liquid Crystal Display)又は CRT(Cathode Ray Tube)など から構成され、カメラ 10で撮影された顔画像カゝら生成された二値ィ匕画像などを表示 する。 [0023] コンピュータ 14は、カメラ 10により取得された顔画像を処理して顔の左右両端位置 、上下位置を検出し、この検出した左右両端位置、上下位置に基づいて、顔下部領 域における顔の仮の中心位置を求めてから、顔の中心位置を求める装置である。コ ンピュータ 14は、図 2に示すように、 AZD変^^ 21と、画像メモリ 22と、 ROM23と 、 CPU24と、 RAM25と、表示制御装置 27と、光源制御装置 28と、を備える。
[0024] AZD (アナログ Zディジタル)変翻 21は、カメラ 10で撮影されたアナログ画像信 号をディジタル信号に変換する。
画像メモリ 22は、カメラ 10により生成され、 AZD変 でディジタルィ匕された画 像データを記憶する。
[0025] ROM23は、 CPU 24の動作を制御するためのプログラムを記憶する。また、 ROM 23は、後述する画像処理を実行するための様々な固定データを記憶する。
[0026] CPU24は、 ROM23に格納されているプログラムを実行することにより、カメラ 10に より取得された顔画像を処理して顔の両端位置、上下位置を検出し、この検出した両 端位置、上下位置に基づいて、顔下部領域における顔の仮の中心位置を求めてか ら、顔の中心位置を求める。
[0027] RAM25は、 CPU24のワークエリアとして機能する。
表示制御装置 27は、 CPU24の制御下に、表示装置 16を制御する。
光源制御装置 28は、照明光源 12の点灯，消灯を制御する。
[0028] 次に、 ROM23に格納される固定データの例を図 3Aないし図 3Fを参照して説明 する。まず、 ROM23は、図 3A、図 3Bに示すような、縦エッジ検出用と横エッジ検出 用ソーベルフィルタのオペレータを格納する。本発明では、画像中の垂直方向に連 なる境界線を縦エッジ、水平方向に連なる境界線を横エッジという。図 3A、図 3Bに 示す、縦エッジ検出用ソーベルフィルタと横エッジ検出用のソーベルフィルタとは、そ れぞれ、図 3C、図 3Dに示すような縦方向に連続する濃淡差、横方向に連続する濃 淡差の境界（エッジ）を抽出するためのオペレータである。
[0029] また、 ROM23は、図 3Eに示すように、 RAM25に格納される顔画像のうち、目や 眉の画像が存在すると想定される領域を特定するデータ、及び、目や眉の画像が存 在すると想定される領域 (もしくは眼鏡の画像が存在する領域)より下部の領域である 顔下部領域 Aを特定するデータが格納されて ヽる。
また、 ROM23は、図 3Fに示すように、眼鏡のツルを検出するために、眼鏡のツル の縦のサイズを格納する。
[0030] 次に、上記構成を有する顔中心位置検出装置の動作を説明する。
電源が投入されると、コンピュータ 14内の CPU24は、図 4に示す処理を繰り返して 実行する。
[0031] 即ち、 CPU24は、前処理 (ステップ S01)と顔位置判別 (検出）処理 (ステップ S02) 、顔中心位置検出処理 (ステップ S03)とから構成される処理を繰り返して実行する。
[0032] 図 4に示す処理を構成する前処理 (ステップ S01)と顔位置判別処理 (ステップ S02 )とは、ドライバーの左右方向及び上下方向の顔の位置 (座標）を求めるための処理 である。
[0033] 顔中心位置検出処理 (ステップ S03)は、ドライバーの顔の中心位置を検出するた めの処理である。
[0034] 前処理 (ステップ S01)は、図 5に示すように、キヤプチャ処理 (ステップ S011)と、座 標変換処理 (ステップ SO 12)と、ソーベルフィルタ処理 (ステップ SO 13)とから構成さ れる。
[0035] キヤプチャ処理 (ステップ S011)は、カメラ 10の撮影したドライバーの 1フレーム分 の顔画像を AZD変換器 21を介して取り込み、画像メモリ 22に格納する処理である
[0036] 座標変換処理 (ステップ SO 12)は、処理可能な程度に画素を間引く処理である。
[0037] ソーベルフィルタ処理 (ステップ SO 13)は、 ROM23に格納されている縦エッジ検 出用ソーベルフィルタ（図 3A)を用いて座標変換後の顔画像を処理して、顔画像内 の縦エッジを強調する処理を行い、また、横エッジ検出用ソーベルフィルタ（図 3B)を 用いて座標変換後の顔画像を処理して、顔画像内の横エッジを強調する処理を行う 処理である。
[0038] 図 4の顔位置判別処理 (ステップ S02)は、前処理済みの顔画像を用いて顔の左右 両端位置と上下位置を検出する処理であり、図 6に示すように、顔両端検出処理 (ス テツプ S021)と顔上下位置検出処理 (ステップ S022)とから構成される。 [0039] 顔両端検出処理 (ステップ S021)は、顔画像を縦エッジ検出用のオペレータで操 作した顔画像について、顔の両端を構成するラインを特定する処理であり、既知の任 意の手法を採用することができる。
[0040] 例えば、図 7に示すように、顔両端検出用のヒストグラム作成処理を行う（ステップ S 0211)。続いて、このヒストグラムのピーク値の高いものを所定数抽出して、これをソ ートし (ステップ S0212)、ヒストグラム値に基づぐ端点の抽出を行う（ステップ S0213 ) o例えば、ヒストグラム値の上位 1又は 2つが他と比較して極端に値が大きい場合に は、その点を端点とする。
[0041] 次に、端点が 2つ（両端)抽出された力否かを判別する (ステップ S0214)。 2つ抽出 されていれば (ステップ S0214 ; Yes)、抽出した 2点を顔の両端 (x座標）として決定 する処理を行う（ステップ S0216)。一方、端点が 2つ抽出できていなければ (ステツ プ S0214 ;No)、 2点の距離力 人の顔幅としてもっともらしい間隔を有する組み合わ せを抽出することにより、端点を決定し (ステップ S0215)、最終的に、顔面の両端 (X 座標）を決定する処理を行う (ステップ S0216)。
[0042] また、特開 2004— 310396号公報に開示されているように、撮影画像の時間微分 を算出し、さらに、この画素値時間微分画像の画素値を縦方向に投影してヒストグラ ムを作成し、エッジ部抽出画像のヒストグラムと画素値時間微分画像のヒストグラムと を合計して、ヒストグラムのピーク値の高いものを抽出すると共に人の顔幅としてもつと もらし 、点を決定し、顔端位置を検出するようにしてもょ ヽ。
[0043] 次に、図 6のステップ S022の顔上下位置検出処理は、上述と同様の処理を横エツ ジにつ 、て行って、顔のほぼ眉の位置（上端）と口の位置（下端)を検出する処理で あり、例えば、図 8に示すように、ヒストグラム作成処理 (ステップ S0221)と、眼下候補 検出処理 (ステップ S0222)と、顔上下位置算出処理 (ステップ S0233)と、から構成 される。
[0044] ヒストグラム作成処理 (ステップ S0221)は、横エッジ検出用ソーベルフィルタを用い たソーベルフィルタ処理後の各画素の値を横方向に投影してヒストグラムを作成する 処理である。
[0045] 眼下候補検出処理 (ステップ S0222)は、ヒストグラム値に基づいて、 目 ·眉、 口など に対応するヒストグラム値の候補を選択する処理である。
顔上下位置算出処理 (ステップ S0223)は、選択した候補から、顔の上下端位置 (y 座標）（例えば、目 '眉の位置）を検出する処理である。なお、顔上端位置 (y座標）は 、例えば、検出した眉から 3画素分上の位置とし、下端位置は検出した口から 3画素 分下の位置（口と顎の間)などに設定される。
[0046] CPU24は、このようにしてステップ S021と S022で求めた、顔両端（左右側端)位 置 (X座標）と、顔の上下位置 (y座標）を RAM25に記憶する。
[0047] 次に、図 4の顔中心位置検出処理 (ステップ S03)は、例えば、図 9に示す構成を有 する。
[0048] まず、 CPU24は、任意の閾値を基準として、 RAM25に格納されている顔画像を 構成する各画素の階調をニ値ィ匕する (ステップ S1221)。閾値としては、例えば、顔 画像を形成する全画素の平均値を使用できる。これにより、例えば、図 10Aに模式 的に例示するようなドライバーのニ値ィ匕した顔画像が生成される。
[0049] 続ヽて、 CPU24は、二値ィ匕画像に、眼領域画像切り出し処理を実行する (ステップ S1222)。
この眼領域画像切り出し処理において、 CPU24は、まず、顔画像のうち、目の存 在が予定されている領域を定義する領域指定データ（図 3Eに示す yl, y2)を ROM
23から読み出す。そして、領域指定データに対応する二値化画像の眼領域を図 10
Bに示すように切り出す。
[0050] 続いて、切り出した眼領域画像について、白黒白横エッジを検出する。
ここで、白黒白エッジとは、単に白と黒の境界となるエッジではなぐ白から黒へ、さ らに黒から白へと変化し、所定の幅を有するエッジのことである。このうち、白黒白横 エッジとは、横方向にのびる境界の意味である。
[0051] CPU24は、白黒白横エッジ検出処理を開始し (ステップ S1223)、図 3Fに示す設 定に従って、眼領域画像中で、眼鏡のツルのサイズに従って縦方向に 1〜3画素（通 常の目は、 2〜4画素）の幅の黒い画素列を検出する。
[0052] 白黒白横エッジを検出する手法自体は任意である。例えば、座標値 yを順次更新し つつ、画素 (x、 y)の輝度を判別し、輝度が白から黒に変化すると、黒の連続する数 をカウントし、黒が白に変わった時点で黒の連続数が 1〜3である力否かを判別し、連 続数が 1〜3であれば、その画素を維持し、それ以外であれば、それらの画素を白に 変換するという手法を採用できる。
[0053] 次に、 CPU24は、眼鏡のツルの有無を判別する処理を行う（ステップ S1224)。 C
PU24は、処理後の眼領域の画像に、縦方向に 1〜3画素の黒領域が得られている 場合には、眼鏡のツルが検出されたと判別する。
[0054] ステップ S 1224で眼鏡のツルが検出されなかった場合 (ステップ S 1224 ; No)には
、顔画像を用いて、顔の中心位置 (重心位置）を求める (ステップ S1226)。中心の測 定手法自体は任意であるが、例えば、次式力も顔の中心 (重心)位置の座標を求め ることがでさる。
顔の中心の X座標 =∑xi/n xi: i番目の黒画素の x座標の値
顔の中心の y座標 =∑yi/n yi: i番目の黒画素の y座標の値
i: l〜n nは黒画素の総数
[0055] なお、顔の主要パーツの（眉、目、鼻、口）の画像のみから中心位置を求めてもよい
[0056] 一方、眼鏡のツルがあると判別した場合 (ステップ S 1224 ; Yes)、眼鏡を着用したド ライバーが横方向を向いている状態であるため、顔中心位置を求める前に画像をカロ ェして、正確に顔中心位置を求められるようにする (ステップ S1225)。これは、眼鏡 の含まれた顔画像をそのまま処理すると、顔中心位置を求める際に用いる横エッジを 構成する各画素の平均値に悪影響を及ぼすことを除くためである。
[0057] この眼鏡対策顔中心位置算出処理 (ステップ S 1225)は、例えば、図 11に示す構 成を有する。
[0058] まず、 CPU24は、図 3Eで示した顔下部領域 Aを求める（ステップ S 2001)。具体的 な顔下部領域 Aを求める方法は任意であるが、例えば、初期処理で算出した顔両端 位置 (X座標)、顔上下位置 (y座標)を利用する。この顔両端位置 (X座標）は、図 12 のドライバーの顔の図に示すと、顔の両端位置の座標 a、 bに対応し、顔上下位置 (y 座標）は、図 12に示すと、顔の上下位置の座標 c、 eに対応する。 CPU24は、顔下部 領域 Aを算出するために、まず、座標 cと座標 eの中心座標 dを求める。そして、求め た座標 dと座標 eとの間の範囲と、座標 aと座標 bとの間の範囲に含まれる領域を顔下 部領域 Aとし、図 10Cに示すように切り出す。
[0059] 図 11のフローチャートに戻って、 CPU24は、次に、切り出した顔下部領域 Aの二 値ィ匕画像を用いて、 X軸の仮の顔中心位置 Bを算出する (ステップ S2002)。中心の 測定手法自体は任意であるが、例えば、次式力も顔の X軸方向の中心 (重心)位置の 座標を求めることができる。
顔の中心の X座標 =∑xi/n xi : i番目の黒画素の x座標の値
i: l〜n nは顔下部領域 A内の黒画素の総数
[0060] 続いて、 CPU24は、最終的により正確な顔の中心位置を求めるための顔中心検 索領域 Cを求める。この顔中心検索領域 C内で顔の中心位置を求めることで、より正 確な顔の中心位置を求めることができる。
そのために、まず、 CPU24は、ドライバーの顔が右方向を向いている力、左方向を 向!ヽて 、るかを判別する (ステップ S 2003)。ドライバーの顔が右方向を向 ヽて 、るか 、左方向を向いているかを判別する方法として、例えば、 X軸の仮の顔中心位置 Bが 左右両端位置の中心（a + b)Z2より大きいか否かで判別する。ここで、 B> (a + b) Z2ではないと判別した場合 (ステップ S2003 ;No)、顔は右方向を向いているので、 それに合わせて顔の左端位置の座標 a、顔の右端位置の座標 β、顔の上端位置の 座標 Ύ、顔の下端位置の座標 δ、を求める（ステップ S2005)。具体的には、 a =a、 β =b - (b-B) (B-a)、 γ =c、 δ =e、として、顔中心検索領域 Cは、図 13の太 枠に囲まれた領域になる。
[0061] 一方、 B> (a+b) Z2であると判別した場合 (ステップ S 2003 ; Yes)、図 14に示す ように顔は左方向を向いているので、それに合わせて顔の左端位置の座標 a、顔の 右端位置の座標 β、顔の上端位置の座標 y、顔の下端位置の座標 δ、を求める (ス テツプ S2004)。具体的には、 a =a+ (B-a) - (b-B) , β = b、 γ =c、 δ =e、と して、顔中心検索領域 Cは、図 15の太枠に囲まれた領域になる。
[0062] 以上のステップ S2003〜S2005での処理〖こより、ステップ S2002で求めた仮の顔 中心位置 Bを中心に、左端位置の座標 aと右端位置の座標 βが左右対称になるよう に、顔中心検索領域 Cを求めたことになる。 [0063] 顔中心検索領域 Cを求めた後、 CPU24は、求めた顔中心検索領域 C内で、上下 方向の顔の中心位置（重心位置）を求める (ステップ S2006)。中心の測定手法自体 は任意であるが、例えば、次式力も顔の中心 (重心)位置の座標を求めることができる 顔の中心の X座標 =∑xi/n xi : i番目の黒画素の x座標の値
顔の中心の y座標 =∑yi/n yi:i番目の黒画素の y座標の値
i: l〜n nは顔中心検索領域 C内の黒画素の総数
[0064] 以上で顔の中心位置が求められ、図 11の眼鏡対策顔中心位置算出処理 (ステツ プ S1225)が終了し、続いて、図 9の顔中心位置検出処理 (ステップ S03)が終了す る。即ち、この処理により、顔の中心位置が求められ、図 4の処理が終了する。
[0065] 以後、 CPU24は、図 4の処理を繰り返し実行し、ドライバーの顔の中心位置を求め 続ける。また、求めた顔の中心位置は、 RAM25に記憶され、その後、所望の処理に 禾 IJ用することがでさる。
以上の処理により、本実施形態に係る顔中心位置検出装置は、眼鏡を着用したド ライバーが、横方向に顔を向けたときでも、顔の中心位置をより正確に検出すること ができる。
[0066] なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能であ る。
[0067] 例えば、上記実施の形態では、眼領域を画像の特定の位置に固定したが、眼領域 を顔の画像のサイズや位置に応じて、眼領域の位置を適宜設定しても良い。この場 合、例えば、横エッジソーベルフィルタを適用し、顔の目や眉の位置を判別し、その エリアを含む所定サイズのエリアを眼領域とすればよい。
[0068] また、上記実施の形態では、目と眉（又は目）と、鼻、口の階調画像力も顔の中心（ 重心)位置を求めたが、中心位置の判別に使用する顔の部分 (パーツ)は任意である 。例えば、耳や、ほお、頭髪などをカ卩えて、中心を求めても良い。
[0069] 上記実施の形態では、この発明を顔の中心位置を検出するために、眼鏡のツルの 有無を検出する実施形態を示したが、これに限定されず、サングラスのツルでもよい し、他のアクセサリ等の有無を検出するようにしてもよい。 [0070] また、上記実施の形態では、上下方向の顔の中心位置を、画像上での眼鏡の有無 に無関係に、縦エッジを構成する各画素の平均値から求めていた。し力しながら、画 像に眼鏡が有る場合に、画像を修正してから、より正確な上下方向の顔の中心位置 を求めるようにしてもよい。
[0071] 具体的には、例えば、 CPU24は、眼領域の画像に、縦方向に 1〜3画素の黒領域 力 つ得られた場合には、眼鏡が検出されたと判別する。
[0072] 眼鏡が有ると判別した場合、画像メモリ 22あるいは ROM23に記憶され、予め用意 されて 、る標準的な眼領域の画像を、元の二値画像力 眼領域を除去した画像と合 成して、中心位置測定用の顔画像を生成する。なお、眼鏡の位置を判別して、合成 する目の位置を調整してもよ 、。
[0073] 続いて、合成した顔画像を用いて、顔の中心位置 (顔の位置、重心位置）を求める 。中心の測定手法自体は任意である。
[0074] 図 1、図 2を参照して説明したシステム構成も一例であり、任意に変更可能である。
例えば、カメラ 10を近赤外線等で画像をとらえる赤外線カメラを使用すれば、人種や 肌や髪の色に影響されず比較的正確に顔の各パーツの画像を取得することが可能 となる。
[0075] また、上述のフローチャートも同様の機能が実現できるならば、任意に変更可能で ある。
例えば、所定回数以上に眼鏡のツルの画像が得られたときに、眼鏡対策処理を行 うようにしてもよい。
[0076] また、本発明において、白黒白エッジは階調の差異を表現するためのものであり、 色としての白や黒に限定されるものではなぐ色相はなんでもよい。カラー画像に関し ては、各画素の色相を考慮して眼鏡のツルの有無を判別してもよ!/、。
[0077] 上記各実施の形態においては、ドライバーを撮影して眼鏡のツルを検出する場合 にこの発明を適用したが、この発明はこれに限定されず、任意の場面で人間、動物、 人形、ロボット等が眼鏡やアクセサリを身につけているか否かを判別する処理に広く 適用可能である。
[0078] 本発明は、カメラで画像を取得しながら処理する場合に限定されず、例えば、他所 で撮影した 1又は複数の顔画像のそれぞれについて、眼鏡のツルの有無、顔の中心 の位置、顔の向きなどを判別する為に使用可能である。
[0079] また、コンピュータに上述の処理を実行させるためのコンピュータプログラムを、任 意の記録媒体やネットワークを介して ROMに格納するようにしてもよ!、。
[0080] 本実施の形態にぉ ヽては、画像メモリ 22が顔画像記憶手段を構成する。また、 RO M23、 CPU24が輪郭判別手段、眼鏡装着判別手段、横向き判別手段、中心位置 検出手段、上下方向中心位置検出手段および合成手段を構成する。また、画像メモ リ 22あるいは ROM23が眼領域画像記憶手段を構成する。
[0081] 今回開示された実施の形態はすべての点で例示であって制限的なものではないと 考えられるべきである。本発明の範囲は上記の説明ではなくて特許請求の範囲によ つて示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含ま れることが意図される。
[0082] 本出願は、 2005年 10月 20日に出願された、 日本国特許出願 2005— 305189号 に基づく。本明細書中に日本国特許出願 2005— 305189号の明細書、特許請求 の範囲、図面全体を参照として取り込むものとする。
産業上の利用可能性
[0083] 本発明によれば、例えば、車両の運転者が眼鏡を着用し正面を向いていない場合 でも、顔画像における顔の中心位置を検出することができる。顔画像における顔の中 心位置を用いて、例えば、顔の向きを算定して運転者を識別したり、表情を読み取つ たりすることに利用できる。

Claims

請求の範囲
[1] 顔を撮影して得られた画像を記憶する顔画像記憶部と、
前記顔画像記憶部に記憶された画像を処理して、顔画像の左右方向の輪郭位置 を求める輪郭判別部と、
前記顔画像記憶部に記憶された前記画像の顔に眼鏡が装着されている力否かを 判別する眼鏡装着判別部と、
前記顔画像記憶部に記憶された前記顔画像の顔が横向き力否かを判別する横向 き判別部と、
前記眼鏡装着判別部が前記顔画像の顔に眼鏡が装着されて!、ると判別し、前記 横向き判別部が前記顔画像の顔が横向きであると判別した場合に、前記顔画像記 憶手段に記憶されている顔画像のうち、顔の下部領域で且つ前記輪郭判別部によつ て求めた輪郭位置の間の領域の画像に基づいて、顔の中心位置を検出する中心位 置検出部と、
を備えることを特徴とする顔中心位置検出装置。
[2] 前記眼鏡装着判別部は、前記顔画像中に眼鏡のツルの画像が含まれて 、るか否 かを判別し、前記顔画像中に眼鏡のツルの画像が含まれて ヽると判別された場合に 、前記顔画像の顔に眼鏡が装着されていると判別することを特徴とする請求項 1に記 載の顔中心位置検出装置。
[3] 前記横向き判別部は、前記顔画像中に眼鏡のツルの画像が含まれて 、るか否かを 判別する手段と、該手段によって顔画像中に眼鏡のツルの画像が含まれて 、ると判 別された場合に、前記顔が横向きであると判別する手段と、
を備えることを特徴とする請求項 1又は 2に記載の顔中心位置検出装置。
[4] 前記中心位置検出部は、前記顔画像のうち、眼鏡より下部の領域の画像であって 且つ前記左右方向の輪郭位置の間に位置する領域の画像に基づいて、顔の左右 方向の中心位置を検出する、
ことを特徴とする請求項 1乃至 3のいずれか 1項に記載の顔中心位置検出装置。
[5] 前記中心位置検出部は、顔の上下方向の中心位置を検出する上下方向中心位置 検出手段、をさらに備え、 前記上下方向中心位置検出手段は、
標準的な眼領域の画像を記憶する眼領域画像記憶手段と、
前記顔画像の眼領域に、前記眼領域画像記憶手段に記憶された眼領域の画像を 合成する合成手段と、
前記合成手段で合成された画像に基づ！/ヽて、上下方向の顔の中心位置を検出す る手段と、を備える、
ことを特徴とする請求項 1乃至 4のいずれか 1項に記載の顔中心位置検出装置。
[6] 前記中心位置検出部は、前記顔画像記憶部に記憶されている顔画像のうち、顔の 下部領域で且つ前記輪郭判別部によって求めた輪郭位置の間の領域の画像に基 づ 、て仮の顔中心位置を検出し、さらに該仮の顔中心位置に基づ!/、て顔中心検索 領域を設定し、該顔中心検索領域内から顔の中心位置を再度検出することを特徴と する請求項 1乃至 5のいずれ力 1項に記載の顔中心位置検出装置。
[7] 前記中心位置検出部は、前記仮の顔中心位置を中心に、左端位置の座標と右端 位置の座標とが左右対称になるように前記顔中心検索領域を設定することを特徴と する請求項 6に記載の顔中心位置検出装置。
[8] 顔を撮影して得られた顔画像を記憶する顔画像記憶ステップと、
前記顔画像記憶ステップで記憶された顔画像を処理して、顔の左右方向の輪郭位 置を求める輪郭判別ステップと、
前記顔画像記憶ステップで記憶された前記顔画像の顔に眼鏡が装着されているか 否かを判別する眼鏡装着判別ステップと、
前記顔画像記憶ステップで記憶された前記顔画像の顔が横向きカゝ否かを判別する 横向き判別ステップと、
前記眼鏡装着判別ステップで前記顔画像の顔に眼鏡が装着されていると判別し、 前記横向き判別ステップで前記顔画像の顔が横向きであると判別した場合に、前記 顔画像記憶手段に記憶されて ヽる顔画像のうち、顔の下部領域で且つ前記輪郭判 別手段によって求めた輪郭位置の間の領域の画像に基づいて、顔の中心位置を検 出する中心位置検出ステップと、
を備えることを特徴とする顔中心位置検出方法。 コンピュータに、
顔を撮影して得られた顔画像を記憶する顔画像記憶手順と、
前記顔画像記憶手順で記憶された顔画像を処理して、顔の左右方向の輪郭位置 を求める輪郭判別手順と、
前記顔画像記憶手順で記憶された前記顔画像の顔に眼鏡が装着されている力否 かを判別する眼鏡装着判別手順と、
前記顔画像記憶手順で記憶された前記顔画像の顔が横向き力否かを判別する横 向き判別手順と、
前記眼鏡装着判別手順で前記顔画像の顔に眼鏡が装着されて!、ると判別し、前 記横向き判別手順で前記顔画像の顔が横向きであると判別した場合に、前記顔画 像記憶手段に記憶されて 、る顔画像のうち、顔の下部領域で且つ前記輪郭判別手 段によって求めた輪郭位置の間の領域の画像に基づいて、顔の中心位置を検出す る中心位置検出手順と、
を実行させるプログラム。
PCT/JP2006/320866 2005-10-20 2006-10-19 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム WO2007046477A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE602006019758T DE602006019758D1 (de) 2005-10-20 2006-10-19 Gesichtsmitten-positionsdetektionseinrichtung, gesichtsmitten-positionsdetektionsverfahren und programm
EP06812044A EP1939582B1 (en) 2005-10-20 2006-10-19 Face center position detecting device, face center position detecting method, and program
CN2006800387944A CN101310161B (zh) 2005-10-20 2006-10-19 面部中心位置检测装置和面部中心位置检测方法
US12/090,987 US7907752B2 (en) 2005-10-20 2006-10-19 Face center position detecting device, face center position detecting method, and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005305189A JP4445454B2 (ja) 2005-10-20 2005-10-20 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP2005-305189 2005-10-20

Publications (1)

Publication Number Publication Date
WO2007046477A1 true WO2007046477A1 (ja) 2007-04-26

Family

ID=37962570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/320866 WO2007046477A1 (ja) 2005-10-20 2006-10-19 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム

Country Status (6)

Country Link
US (1) US7907752B2 (ja)
EP (1) EP1939582B1 (ja)
JP (1) JP4445454B2 (ja)
CN (1) CN101310161B (ja)
DE (1) DE602006019758D1 (ja)
WO (1) WO2007046477A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017130407A1 (ja) * 2016-01-29 2018-11-15 パイオニア株式会社 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
JP2019159346A (ja) * 2018-03-07 2019-09-19 オムロン株式会社 撮像装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092199A (ja) * 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP5187139B2 (ja) * 2008-10-30 2013-04-24 セイコーエプソン株式会社 画像処理装置およびプログラム
US8305433B2 (en) * 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
JP4794678B1 (ja) * 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム
CN102333176A (zh) * 2010-07-14 2012-01-25 鸿富锦精密工业（深圳）有限公司 拍照装置及其拍照方法
US9547808B2 (en) * 2013-07-17 2017-01-17 Emotient, Inc. Head-pose invariant recognition of facial attributes
US9104907B2 (en) * 2013-07-17 2015-08-11 Emotient, Inc. Head-pose invariant recognition of facial expressions
DE102013224962A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum Erstellen eines Bildes einer Szene
CN105894544A (zh) * 2015-12-14 2016-08-24 乐视云计算有限公司 一种检测图像中圆心位置的方法及装置
JP6809262B2 (ja) * 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
KR102630368B1 (ko) * 2018-10-25 2024-01-29 현대모비스 주식회사 운전자 감시 카메라의 보정장치 및 그 방법
DE112021002222T5 (de) * 2021-01-26 2023-02-23 Boe Technology Group Co., Ltd. Steuerungsverfahren, elektronische Vorrichtung und Speichermedium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04216403A (ja) * 1990-12-14 1992-08-06 Nissan Motor Co Ltd 眼位置検出装置
JPH07296299A (ja) * 1994-04-20 1995-11-10 Nissan Motor Co Ltd 画像処理装置およびそれを用いた居眠り警報装置
JPH08249454A (ja) * 1995-03-07 1996-09-27 Nissan Motor Co Ltd 車両運転者のわき見検出装置
US5859921A (en) 1995-05-10 1999-01-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for processing an image of a face
JPH1139469A (ja) * 1997-07-24 1999-02-12 Mitsubishi Electric Corp 顔画像処理装置
JP2004234367A (ja) * 2003-01-30 2004-08-19 Fujitsu Ltd 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP2004265431A (ja) * 2004-04-05 2004-09-24 Konica Minolta Holdings Inc 顔抽出方法
JP2004310396A (ja) 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc 画像処理装置
JP2005011097A (ja) 2003-06-19 2005-01-13 Toyota Central Res & Dev Lab Inc 顔有無判定装置及び顔有無判定プログラム
JP2005305189A (ja) 2005-07-15 2005-11-04 Sanyo Product Co Ltd 遊技機
JP2006209442A (ja) * 2005-01-27 2006-08-10 Nissan Motor Co Ltd 眼位置検出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
WO1996038808A1 (en) * 1995-06-02 1996-12-05 Siemens Corporate Research, Inc. An eye localization filter
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04216403A (ja) * 1990-12-14 1992-08-06 Nissan Motor Co Ltd 眼位置検出装置
JPH07296299A (ja) * 1994-04-20 1995-11-10 Nissan Motor Co Ltd 画像処理装置およびそれを用いた居眠り警報装置
JPH08249454A (ja) * 1995-03-07 1996-09-27 Nissan Motor Co Ltd 車両運転者のわき見検出装置
US5859921A (en) 1995-05-10 1999-01-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for processing an image of a face
JPH1139469A (ja) * 1997-07-24 1999-02-12 Mitsubishi Electric Corp 顔画像処理装置
JP2004234367A (ja) * 2003-01-30 2004-08-19 Fujitsu Ltd 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP2004310396A (ja) 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc 画像処理装置
JP2005011097A (ja) 2003-06-19 2005-01-13 Toyota Central Res & Dev Lab Inc 顔有無判定装置及び顔有無判定プログラム
JP2004265431A (ja) * 2004-04-05 2004-09-24 Konica Minolta Holdings Inc 顔抽出方法
JP2006209442A (ja) * 2005-01-27 2006-08-10 Nissan Motor Co Ltd 眼位置検出装置
JP2005305189A (ja) 2005-07-15 2005-11-04 Sanyo Product Co Ltd 遊技機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1939582A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017130407A1 (ja) * 2016-01-29 2018-11-15 パイオニア株式会社 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
JP2019159346A (ja) * 2018-03-07 2019-09-19 オムロン株式会社 撮像装置

Also Published As

Publication number Publication date
DE602006019758D1 (de) 2011-03-03
US7907752B2 (en) 2011-03-15
JP4445454B2 (ja) 2010-04-07
US20090279786A1 (en) 2009-11-12
JP2007114029A (ja) 2007-05-10
CN101310161B (zh) 2011-01-12
EP1939582A1 (en) 2008-07-02
CN101310161A (zh) 2008-11-19
EP1939582A4 (en) 2009-11-11
EP1939582B1 (en) 2011-01-19

Similar Documents

Publication Publication Date Title
JP4445454B2 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
CN106909875B (zh) 人脸脸型分类方法和系统
JP4307496B2 (ja) 顔部位検出装置及びプログラム
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
JP4825473B2 (ja) 顔向き判別装置
JP4130820B2 (ja) 顔中心位置検出装置及び方法並びにプログラム
JP4912206B2 (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP4238542B2 (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
JP6550642B2 (ja) 皺検出装置および皺検出方法
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP3926507B2 (ja) 目位置及び顔位置検出装置
JP2000082147A (ja) ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ
JP2007272435A (ja) 顔特徴抽出装置及び顔特徴抽出方法
JP6855872B2 (ja) 顔認識装置
KR101641500B1 (ko) 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법
WO2005055143A1 (ja) 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
JPH08287216A (ja) 顔面内部位認識方法
JP3970573B2 (ja) 顔画像認識装置および方法
JP2009086824A (ja) 顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラム
CN111767756A (zh) 自动检测脸部瑕疵的方法
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
JP2004038531A (ja) 物体の位置検出方法および物体の位置検出装置
JP4696571B2 (ja) 眼位置検出装置
CN107911609B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP4185184B1 (en) Method for determining a coronal position of an eye relative to the head

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680038794.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 12090987

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006812044

Country of ref document: EP