WO2016159255A1 - 口領域検出装置及び口領域検出方法 - Google Patents

口領域検出装置及び口領域検出方法 Download PDF

Info

Publication number
WO2016159255A1
WO2016159255A1 PCT/JP2016/060713 JP2016060713W WO2016159255A1 WO 2016159255 A1 WO2016159255 A1 WO 2016159255A1 JP 2016060713 W JP2016060713 W JP 2016060713W WO 2016159255 A1 WO2016159255 A1 WO 2016159255A1
Authority
WO
WIPO (PCT)
Prior art keywords
mouth
image
pupil
region
face
Prior art date
Application number
PCT/JP2016/060713
Other languages
English (en)
French (fr)
Inventor
嘉伸 海老澤
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to JP2017510200A priority Critical patent/JP6652263B2/ja
Publication of WO2016159255A1 publication Critical patent/WO2016159255A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to a mouth area detecting device and a mouth area detecting method for detecting a mouth area from a human face image.
  • Patent Document 1 There is a device described in Patent Document 1 below as a diagnostic device using the above properties.
  • the moving image of the face of an attendant or the like acquired by the camera is displayed in real time on the monitor screen, and when the moving image is shown to the infant, the infant is looking at the moving image of the face.
  • This technique is adopted. In this method, it is essential to detect where the mouth is located in the moving image of the face.
  • the mouth region located at a predetermined distance is calculated from the pupil coordinates using the coordinates of the two pupils detected in the color image representing the face and the inclination of the straight line connecting them. is doing.
  • Non-Patent Document 2 described below describes a technique for recognizing lip movement by detecting a face area from an input image acquired by a camera and detecting the position of the mouth from the face area. Specifically, in order to recognize the lip movement, the center of gravity of the lip region in the image is obtained, and the recognition range is determined corresponding to the size of the face detected using the center of gravity.
  • the size of the face in the face image changes as the distance from the camera to the face changes, and the shape and size of the face varies from person to person. There are individual differences in position. For this reason, there is a limit to accurately determining the mouth region in the face image. Also, in the method of finding the center of gravity of the lip area from the image and detecting the position of the mouth based on the center of gravity, since the lips are intense during speech, the mouth position is stably cut out and accurately detected There is a limit.
  • the present invention has been made in view of the above problems, and mouth area detection capable of accurately detecting an image of a mouth area in a face image acquired under different shooting conditions for various subjects.
  • An object is to provide a device and a mouth area detection method.
  • an mouth area detection device includes an image acquisition unit that acquires a face image by imaging a face of the subject, and a right pupil of the subject based on the face image. Based on the position of the right pupil and the position of the left pupil, and the position and size of the mouth region, which is the region including the subject's mouth, based on the position of the right pupil and the position of the left pupil And a mouth image generating unit that generates a normalized mouth image having a predetermined number of pixels including the mouth of the subject using a face image in a range corresponding to the mouth region.
  • the image acquisition unit acquires a face image by capturing an image of the subject's face
  • the pupil position calculation unit performs the target based on the face image.
  • Calculating the position of the right pupil and the position of the left pupil of the person, and the area calculation unit is an area including the mouth of the subject based on the position of the right pupil and the position of the left pupil
  • a face image is acquired by imaging the face of the subject, and the position of the right pupil and the position of the left pupil are calculated from the face image.
  • the position and size of the mouth area of the subject are calculated based on these positions, and a normalized mouth image is generated from the face image corresponding to the calculated mouth area.
  • FIG. 1 It is a schematic block diagram which shows the whole structure of the autism infant diagnostic apparatus which concerns on 1st Embodiment of this invention. It is a top view which shows arrangement
  • the device for assisting diagnosis of autism photographs the face of an attendant (subject) such as a mother and displays a face image on a display (a subject to be viewed by a subject).
  • an attendant such as a mother
  • displays a face image on a display a subject to be viewed by a subject.
  • this is a device for diagnosing infant autism by detecting a gazing point of an infant (subject).
  • FIG. 1 shows a schematic configuration of an autistic infant diagnostic apparatus 1 according to the present embodiment.
  • an autistic infant diagnosis apparatus 1 includes a gaze point detection unit 2 that can measure a gaze point of an infant A in real time, and a color camera (image acquisition unit) that captures an image of the face of a mother M. 3, a pupil position detection unit 4 for measuring the spatial coordinates of the pupil of the mother M in real time, a display 5 for displaying the face of the mother M, a light source light emitting circuit 6, and a data analysis unit 7.
  • the configuration of the gazing point detection unit 2 the configuration of the three-dimensional viewpoint measurement device described in the patent publication US Pat. No. 7,533,989 by the present inventor can be adopted.
  • the gaze point detection unit 2 includes a gaze point detection optical system 2a and a gaze point detection calculation unit 2b.
  • the pupil position detection unit 4 the pupil detection device and the pupil detection method described in International Publication WO 2007/023798 by the present inventor can be adopted.
  • the deviation of the infant's gaze point from the mother's eye position on the display 5 can be immediately and easily quantified. Even when a face image of a person photographed in advance is used as a display target, not necessarily a mother who is accompanied by a medical examination, the position of the eye on the face image can be accurately detected when the face image is captured.
  • FIG. 2 shows the arrangement of the optical system of the color camera 3 and the pupil position detection unit 4.
  • the color camera 3 acquires a face image as a color image by imaging the face of the mother M.
  • the color camera 3 and the pupil position detecting optical system 8 for measuring the pupil coordinates constituting the pupil position detecting unit 4 are arranged so as to face the mother M as shown in FIG.
  • the pupil position detecting optical system 8 has two configurations in which a camera (pupil detecting camera) 9 having sensitivity to infrared light and a near infrared light source 10 are combined.
  • a pupil position calculation unit 11 (see FIG. 1) is also included as the pupil position detection unit 4, and the pupil position calculation unit 11 outputs an image (face image) output from the stereo-calibrated pupil position detection optical system 8.
  • the three-dimensional coordinates (positions) of the right pupil and the left pupil of the mother M are calculated. Further, the color camera 3 for photographing the face of the mother M is arranged at a position sandwiched between two sets of pupil position detection optical systems 8.
  • the color camera 3 and the two pupil detection cameras 9 are initially set such that the positional relationship between them is such that almost the same range of the face of the mother M appears on the obtained images.
  • the pupil detection camera 9 and the color camera 3 function as an image acquisition unit that acquires a face image in the present embodiment.
  • the pupil detection camera 9 and the color camera 3 are each pre-calibrated.
  • camera calibration three degrees of freedom representing the position of the camera, three degrees of freedom representing the direction of the camera, the number of pixels of the camera, an aperture ratio value (lens F value), distortion, and the like are simultaneously measured.
  • camera calibration there is a relationship of (Equation 1) between the coordinates (X W , Y W , Z W ) in the world coordinate system and the coordinates (X C , Y C , Z C ) in the camera coordinate system of each camera. Is assumed to be Elements of the rotation matrix R and the translation vector T shown in (Expression 2) are determined for each camera.
  • the coordinates (position) of the pupil in the camera coordinate system of the color camera 3 are calculated by substituting the three-dimensional coordinates into an expression corresponding to (Expression 1) relating to the color camera 3.
  • the pupil position calculation unit 11 further converts the coordinates into coordinates in the image (converts from the real unit system to the pixel unit system of the image) to determine the pupil position in the color image of the mother M.
  • a camera calibration method may be used in which the camera coordinate system of the color camera 3 is replaced with the above-described world coordinate system and a camera calibration value of another pupil detection camera 9 in the camera coordinate system is obtained.
  • the three-dimensional coordinates of the pupil obtained by the two pupil detection cameras 9 are obtained as coordinates in the camera coordinate system of the color camera 3.
  • the pupil position of the mother M is determined by converting it into coordinates in the color image of the color camera 3.
  • the pupil position calculation unit 11 calculates the coordinates (positions) of the right pupil and the left pupil in the color image by repeating the above-described processing.
  • the data analysis unit 7 receives the infant's gaze point coordinates from the gaze point detection unit 2 and converts the gaze point coordinates into coordinates in the color image taken by the color camera 3. Further, the data analysis unit 7 obtains the coordinates of the right pupil and the left pupil of the mother from the pupil position detection unit 4, and uses the gaze point coordinates, the right pupil position, the left pupil position, and the color image. Various calculations are then performed, and the calculation results are displayed on the external data display 12. The calculation here is, for example, calculating the distance between the gazing point coordinates and the position of the pupil, calculating the relationship between the gazing point coordinates and the mouth area using a color image, or on the mother M's color image.
  • the data analysis unit 7 generates a normalized mouth image including a mother's mouth having a prescribed number of vertical and horizontal pixels from the color image, and uses the normalized mouth image to determine the timing of mouth movement or the center of the mouth. Analyze the position.
  • the pupil position calculation unit 11, the gazing point detection calculation unit 2 b, and the data analysis unit 7 are image processing devices such as a personal computer having a calculation circuit and memory for calculating image data. It may be realized in a distributed manner, or may be realized by being distributed on a plurality of image processing apparatuses.
  • the pupil position calculation unit 11 targets the position and size of the mouth area, which is an area including the mouth of the mother M on the face image, for the face images of the mother M taken by the two pupil detection cameras 9. It also functions as a region calculation unit for calculation. Specifically, the pupil position calculation unit 11 calculates the position of the right pupil of the mother M and the position of the left pupil of the mother M on the face image, and based on these positions, the pupil region window indicates the boundary of the mouth region. Calculate position and size.
  • FIG. 3 is a diagram showing an image of the mouth area window on the face image calculated by the pupil position calculation unit 11. As shown in the figure, the pupil position calculation unit 11 calculates the distance W P between positions P 2 position P 1 and the left pupil of the right pupil was detected on the face image G 1.
  • the pupil position calculation unit 11 starts from the midpoint position P M corresponding to the distance when the distance between the mother M and the pupil detection camera 9 increases.
  • the mouth area window WD 1 in which the distance D PM and the vertical and horizontal sizes are adjusted is set.
  • the pupil position calculation unit 11 is configured such that a straight line connecting the right pupil position P 1 and the left pupil position P 2 with the angle of ⁇ is a horizontal line L as the mother M's face is tilted.
  • the mouth area window WD 1 also by an angle ⁇ set to be inclined from the horizontal line L H.
  • ⁇ set to be inclined from the horizontal line L H.
  • pupil position calculation section 11 you need not be set always to the center of the mouth area window WD 1 coincides with the center position of the mouth.
  • the center of the mouth area window WD 1 is set to coincide with the center position of the mouth, when the movement of the mouth is small, even if the size of the mouth area window WD 1 is relatively small, the mouth is the mouth area window WD 1. (FIG. 5A).
  • the pupil position calculation unit 11 it is preferable that the center of the mouth area window WD 1 is set so as to shift down from the center of the mouth.
  • the pupil position calculation unit 11 for each obtained face image obtained from two pupil detection camera 9, and calculates the center position M C and the position range of the mouth area window WD 1 of the mouth. Furthermore, the pupil position calculation unit 11, as in the calculation of the coordinates of the pupil as described above, using the result of camera calibration, the center position of the lips resulting from each of the two face images M C and mouth area window WD The position range of 1 is converted into coordinates in the color image of the color camera 3. The pupil position calculation unit 11 passes the coordinates of the center position M C of the converted mouth, and a position range of the converted mouth area window WD 1 to the data analysis unit 7.
  • the data analysis unit 7 refers to the position range of the mouth region window WD 1 on the color image delivered from the pupil position calculation unit 11 to extract a color image in a range corresponding to the mouth region window WD 1 . Then, the data analysis unit 7 converts the extracted color image into an image and generates a normalized mouth image including the mouth of the mother M. That is, the data analysis unit 7 functions as a mouth image generation unit in the present embodiment. Then, the data analysis unit 7 performs image analysis on a plurality of normalized mouth images continuously generated in time series for face images continuously acquired in time series, thereby moving the mouth movement of the mother M Calculate the timing. Furthermore, the data analyzing unit 7, by utilizing the timing, and the center position M C of mouth in the color image to generate a diagnostic result autism.
  • the data analysis unit 7 the target color image within the mouth area window WD 1, translation processing, enlargement processing, reduction processing, and by performing affine transformations including rotation processing, the aspect A normalized mouth image having a predetermined number of pixels is generated.
  • the data analysis unit 7 also executes image interpolation processing such as bilinear interpolation as necessary in order to obtain an image having a predetermined number of pixels.
  • the data analysis unit 7 generates an absolute value difference image by performing image difference and absolute value calculation between the preceding and succeeding frames for a plurality of frames of normalized mouth images obtained in time series, By binarizing the difference image, it is possible to extract a portion where the lips have moved between frames.
  • the data analysis unit 7 obtains the absolute value of the difference image obtained in time series, performs binarization after performing an addition average for a predetermined number of times (for example, 120 times), and 2 obtained as a result. If the center of gravity of the digitized image is obtained, the accurate center of the mouth can be detected.
  • the center of gravity may be obtained from an image obtained from a pupil detection camera and converted into a color image, or may be used directly in a color image. May be. Further, the first method may be used first, and then the latter method may be used.
  • the pupil position calculation unit 11, time series by using a face image of a plurality of frames acquired by the pupil detection camera 9 may correct the position of the mouth area window WD 1 of the face image. That is, the pupil position calculation unit 11 targets the face image G 1 within the range of the mouth area window WD 1 set on the face image G 1 of a plurality of frames, in the same way as the processing of the data analysis unit 7, Generate an image. Furthermore, the pupil position calculation unit 11, similarly to the above processing of the data analyzing section 7, calculates the center position of the mouth on the face image G 1, to its position as the center position M C coordinates of the mouth.
  • the pupil position calculation unit 11 by calculating the distance D PM of the center position M C position P M and mouth midpoint is calculated back to the equation (3) using the distance D PM, the constant a 1 is corrected. Thereafter, the pupil position calculation unit 11, in the process of the face image G 1 subsequent frames, by calculating the position of the mouth area window WD 1 utilizing a 1 after the above correction, correct the position To do. In the processing of such targeting the face image G 1 of a plurality of frames, the pupil position calculator 11 may set slightly larger size of the mouth area window WD 1 to be set first.
  • the face image of the mother M by the color camera 3 and the pupil detection camera 9 is acquired continuously in time.
  • measurement of the gazing point of the infant A by the gazing point detection unit 2 and measurement of coordinates in the three-dimensional space of the right pupil and the left pupil of the mother M by the pupil position detection unit 4 are started.
  • the pupil position calculation unit 11 constituting the pupil position detection unit 4 determines the center position M C of the mouth on the color image acquired by the color camera 3 and the position range of the mouth region window WD 1 on the color image.
  • the data analyzing section 7, normalized Kakuchi image is generated using a range color image corresponding to the position range of the mouth area window WD 1. Such generation of the normalized mouth image is continuously repeated according to the continuous acquisition of the face image by the color camera 3 and the pupil detection camera 9.
  • a face image is acquired by imaging the face of the mother M, and the position of the right pupil and the position of the left pupil are obtained from the face image. Is calculated, the position and size of the mouth area of the mother M in the face image are calculated based on these positions, and a normalized mouth image is generated from the face image corresponding to the calculated mouth area.
  • a normalized image it is possible to stably execute an analysis process for autism diagnosis on the image.
  • a normalized mouth image By analyzing the normalized mouth image, the timing of the movement of the mouth of the mother M can be understood, so the tendency of the reaction to the mouth movement of the infant A (the tendency of the gaze direction with respect to the mouth movement) can be analyzed, and the diagnosis of autism Accuracy can also be improved.
  • the mother M talks to the infant A and makes it easy, not only the mouth of the mother M moves by vocalization, but also the mother's face moves back and forth and up and down. According to the apparatus 1, an image of the mother's mouth region can be accurately captured in real time.
  • the pupil position calculation unit 11 corrects the position of the mouth region using the position of the mouth specified using a plurality of normalized mouth images generated corresponding to the plurality of face images. Thereby, even if the mother M is changed variously, the image of the mouth region can be obtained more accurately.
  • the pupil position calculation unit 11 calculates the position of the right pupil and the position of the left pupil of the mother M on the face image captured by the pupil detection camera 9, and the position of the mouth region on the face image.
  • the data analysis unit 7 generates a normalized mouth image by performing image conversion on the color image in the mouth region. Thereby, since the calculation of the mouth area is performed on the face image, the calculation is simplified and the image of the mouth area can be obtained stably.
  • the pupil position calculation unit 11 calculates the distance between the right pupil and the left pupil on the face image, and based on the distance, the position of the mouth region and the mouth region based on the right pupil and the left pupil. Calculate the size.
  • the mouth region in the face image can be accurately cut out according to the distance.
  • the mouth area in the face image can be accurately cut out according to the size of the face even when the mother M is changed in size.
  • an image of the mouth area can be accurately cut out even if the inclination of the face relative to the mother's image acquisition unit changes.
  • the pupil position calculation unit 11 calculates the position and size of the mouth region window on the face image acquired by the pupil detection camera 9 as follows.
  • the value of the parameter a 1 differs depending on the subject. It is necessary to set a larger size.
  • the position of the mouth area window for generating a normalized mouth image that surely includes the mouth is set corresponding to subjects with various face shapes. Is difficult. It is also difficult to set the position of the mouth window corresponding to the face direction when the direction of the subject's face changes.
  • the position of the mouth window is difficult to set with respect to the rotation of the face in the vertical and horizontal directions as well as the right and left tilt of the face. If the mouth window cannot be set at the correct position, the background of the face and the nostrils are often included in the mouth window, which may lead to erroneous detection or complicated image processing must be performed. Therefore, in the present embodiment, the position of the right nostril and the position of the left nostril on the face image are further calculated, and the position and size of the mouth region window are calculated using these positions.
  • FIG. 6 is a diagram showing an image of the mouth area window on the face image calculated by the pupil position calculation unit 11.
  • the pupil position calculation unit 11 includes a right nostril position N 1 and a left nostril position on the face image G 1 in addition to the right pupil position P 1 and the left pupil position P 2 . calculating the position N 2. Further, the pupil position calculation unit 11 adds the right nostril position N 1 and the right nostril position P 1 on the face image G 1 in addition to the midpoint position P M between the right pupil position P 1 and the left pupil position P 2. It calculates the position N M of the midpoint between the position N 2 of the left nostril, and calculates the distance D PN between the position N M position P M and the midpoint of the midpoint.
  • the pupil position calculation unit 11 on a straight line passing through the straight line in a vertical position P M connecting the position P 2 position P 1 and the left pupil of the right pupil is calculated from the position P M by the following equation (6) distance D PM as calculates the position M C of a point away to the position M C and the position of the center of the mouth (a 1 is preset constant).
  • the pupil position calculation unit 11 detects the nostril position from the face image as a document “Face Pose Estimation Based on 3D Detection of Pupils and Nostrils”, Proceedings of the VECIMS 2005-2005. IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems, pp. 92-97 (2005) ”is used.
  • D PM a 1 ⁇ D PN (Formula 6)
  • the pupil position calculation unit 11 the reference position of the center position M C of the calculated mouth, following distance W P between vertical and horizontal sizes of the left and right pupils, and the distance D PN between the midpoint based on ( A rectangular mouth region window WD 2 having the size calculated by Equation 7) and Equation 8 below is set.
  • the pupil position calculation unit 11 further calculates the position of the left nostril of the right nostril mother M on the face image G 1, the right pupil and the left and the pupil, the right The positional relationship between the nostril and the left nostril is calculated, and the position of the mouth region and the size of the mouth region are calculated from the positional relationship.
  • the mouth region in the face image can be accurately cut out by calculating the mouth region using the four-point positional relationship.
  • the pupil position calculation unit 11 calculates the position and size of the mouth region window on the face image acquired by the pupil detection camera 9 as follows.
  • the head of the mother M was facing the front with respect to the pupil detection camera 9.
  • the camera when the camera is installed so as to face an oblique direction with respect to the front of the head of the mother M (for example, when the camera is installed so as to look up from a direction inclined by 30 degrees with respect to the front direction).
  • the mouth area window can be appropriately set according to the mouth range.
  • FIG. 7 is a diagram showing an image of the mouth area window on the face image calculated by the pupil position calculation unit 11.
  • the pupil detection camera 9 when the pupil detection camera 9 is installed so as to look up from an oblique direction with respect to the front direction, even if the mother M faces the horizontal direction on the face image, the position P of the two pupils P 1, the slope appears in straight line connecting the P 2.
  • a straight line connecting the pupillary center point and nostrils midpoint between N M not necessarily in vertical and straight line connecting the position P 1, P 2 of the pupil on the facial image, a straight line connecting the pupillary center point and nostrils midpoint between N M.
  • the pupil position calculation unit 11 on the face image G 1, the position P 1 of the right pupil, the position P 2 of the left pupil, and from the position N M of the midpoint between the nostrils, the position of the face about their center of gravity calculated as F C, a position directly below the position F C of the face center, from the top line P 1, P 2 below the center of mouth positions of distance D'PM which is calculated by equation (9) calculating the position M C (a 1 is preset constant, D'PN is vertical distance between the line segment P 1 P 2 and line segment N 1 N 2).
  • D ′ PM a 1 ⁇ D ′ PN (Formula 9)
  • the pupil position calculation unit 11 the reference position of the center position M C of the calculated mouth, horizontal distance W'P between vertical and horizontal sizes of the left and right pupils, and the vertical distance D'PN
  • the mouth area window WD 3 of the parallelogram ABCD having the size calculated by the following (formula 10) and the following (formula 11) is set.
  • the parallelogram ABCD is set so that the sides AD and BC are parallel to the line segment P 1 P 2 and the sides AB and CD are in the vertical direction.
  • the pupil position calculation unit 11 calculates the vertical size V'MU from the center position M C of mouth to the upper limit, and a vertical size V'MB from the center position M C of the mouth to the lower limit separately To do.
  • a rectangular normalized mouth image is generated by performing extraction and performing affine transformation including enlargement / reduction processing and skew (shear) processing on the extracted color image.
  • the mouth area window can be appropriately set to include the mouth range of mother M.
  • the pupil position calculation unit 11 determines the position and size of the mouth region window in the three-dimensional space using the face images acquired by the two pupil detection cameras 9 as follows. calculate.
  • the case where the head of the mother M is tilted with respect to the pupil detection camera 9 is also supported.
  • the mouth area window is displayed corresponding to the tilt of the head with respect to the camera. It was not set.
  • the camera when the camera is installed so as to face an oblique direction with respect to the front of the head of the mother M (for example, when the camera is installed so as to look up from a direction inclined by 30 degrees with respect to the front direction).
  • the mouth area window can be set appropriately in accordance with the inclination of the head.
  • FIG. 8 is a diagram showing an image of the mouth region window calculated in the three-dimensional space by the pupil position calculating unit 11 as viewed from the lateral direction of the face
  • FIG. 9 is calculated in the three-dimensional space by the pupil position calculating unit 11. It is a figure which shows the image which looked at the made mouth area
  • the pupil position calculation unit 11 uses the face images obtained by the two pupil detection cameras 9 to calculate the coordinates of the right pupil and the left pupil in the three-dimensional space in the world coordinate system, Similarly, three-dimensional coordinates in the three-dimensional space in the world coordinate system of the right nostril and the left nostril are calculated.
  • the face coordinate system X F -Y F -Z F the origin and location N M of the midpoint between the left and right nostrils, matching straight line (axis) N 1 N 2 for the X F axis connecting the left and right nostrils and thus, it is set so as to perpendicular to the line segment P 1 P 2 connecting the Y F street lateral position N M of the middle point shaft pupil.
  • a face coordinate system X F -Y F -Z F since the mouth area is fixed, the coordinates of the mouth area do not change even if the head rotates or moves.
  • the pupil position calculation unit 11 calculates the position of the mouth area window WD 4 with reference to the face coordinate system X F -Y F -Z F. Specifically, a plane passing through the origin inclined by an angle ⁇ with respect to the X F Y F plane is assumed, and the mouth region window WD 4 is placed at a predetermined position on the plane separated from the plane by the distance D gap behind the face. Set the position of.
  • the pupil position calculation unit 11 the position of the mouth area window WD 4, from the origin of the face coordinate system X F -Y F -Z F Distance Vgap apart down the face, the mouth area window WD 4
  • the sizes H M , V MU , and V MB in the vertical and horizontal directions are set so as to be the values calculated in (Expression 7) and (Expression 8).
  • the pupil position calculation unit 11 makes the line segment P 1 P 2 connecting the pupils, the line segment N 1 N 2 connecting the nostrils, and the side AD and the side BC of the mouth region window WD 4 parallel to each other. Set to.
  • eyeball rotation line-of-sight movement
  • the pupil positions P 1 and P 2 move vertically and horizontally.
  • the pupil position calculation unit 11 converts the coordinates of the mouth area window WD 4 in the face coordinate system X F -Y F -Z F into coordinates on the color image via the world coordinate system.
  • the data analysis unit 7 selects a color image corresponding to the position range based on the position range of the mouth area window WD 4 converted from the coordinates in the three-dimensional space to the coordinates on the color image.
  • To generate a normalized mouth image That is, the data analysis unit 7 acquires the coordinates of the four vertices A, B, C, and D of the mouth area window WD 4 converted to the coordinates on the color coordinates, and within the rectangular area surrounded by these vertices.
  • a normalized mouth image is generated by converting the image.
  • the data analysis unit 7 may generate a normalized mouth image as follows. As shown in FIG. 10, the data analysis unit 7 divides the rectangular area of the mouth area window WD 4 in the three-dimensional space into (m ⁇ 1) equal parts between the sides AD and (n ⁇ 1) parts between the sides AB. ) By dividing into equal parts (m and n are predetermined integers), coordinates in m ⁇ n three-dimensional space divided by a two-dimensional grid are calculated. Further, the data analysis unit 7 sequentially converts m ⁇ n coordinates in the three-dimensional space divided by the grid into coordinates on the color image, and calculates the pixel value of the color image at the position corresponding to the converted coordinates.
  • the data analysis unit 7 performs an interpolation process such as bilinear interpolation as necessary to obtain a position corresponding to the coordinate. Is obtained.
  • the normalized mouth image is generated using the face image G 1 of the black and white image acquired by the pupil detection camera 9. Good.
  • region window is set appropriately according to the inclination of a head. be able to.
  • the line segment P 1 P connecting the Y F axis from the midpoint position N M between the nostrils to the pupils. by setting to match the perpendicular line beat the points P P on the 2, face coordinate system X F -Y F -Z F for face pose even moving line of sight is stably set.
  • the center between the nostrils is fixed with respect to the head, whereas the two pupils are considered to move up, down, left and right while maintaining the parallelism of the lines connecting them. Therefore, no matter how the head rotates or moves, the mouth region is accurately set using the face coordinate system X F -Y F -Z F with the nostril center as the origin.
  • the pupil position calculation unit 11 calculates the position and size of the mouth region window formed by the curved surface in the three-dimensional space using the face images acquired by the two pupil detection cameras 9.
  • FIG. 11A is a view of the mouth region window calculated in the three-dimensional space by the pupil position calculation unit 11 according to the present embodiment as viewed from the lateral direction of the face
  • FIG. It is the figure which looked at the mouth area
  • the pupil position calculation unit 11 calculates a mouth area window having a cylindrical side shape instead of calculating a rectangular mouth area window as in the fourth embodiment.
  • the pupil position calculation unit 11, Y F Z on a predetermined radius R 1 of the cylindrical curved surface having a central axis along the only oblique line angle ⁇ along the F plane relative Y F axis, the mouth area The position of the window WD 5 is set.
  • the pupil position calculation unit 11, a position range of the mouth area window WD 5, away from the nostrils midpoint between N M below the face by a distance V gap, the predetermined size in the vertical direction of the face (center axis direction) V M is set to a range corresponding to a predetermined central angle ⁇ 1 in the horizontal direction of the face on the side of the cylinder.
  • the data analysis unit 7 divides the range on the cylindrical surface of the mouth region window WD 5 in the three-dimensional space into (m ⁇ 1) equal parts along the horizontal direction and (n ⁇ 1) equal parts up and down. (M and n are predetermined integers), the coordinates in m ⁇ n three-dimensional space divided by a two-dimensional grid are calculated. At this time, when the mouth area window WD 5 is divided along the horizontal direction, the central angles can be divided at equal angles. Then, similarly to the fourth embodiment, the data analyzer 7 generates a regular Kakuchi image G 2 using the pixel values of the color image.
  • a normalized mouth image can be generated with higher accuracy than in the case of using a flat mouth region window.
  • the mouth area window is stuck on the side surface of the cylinder, the mouth area can be accurately determined in accordance with the actual face shape.
  • the apparatus having the configuration of the first to fifth embodiments is applied to a recognition apparatus that recognizes lip reading, that is, conversation content by detecting mouth movements.
  • the configuration of the recognition device according to the present embodiment is different from the configuration of the autistic infant diagnosis device 1 according to the first to fifth embodiments in the following points.
  • the recognition apparatus of the present embodiment includes a color camera 3 that captures the recognition target person S and a pupil position detection unit 4 that detects spatial coordinates of the pupil of the recognition target person S in the configuration illustrated in FIG.
  • the light source light emission circuit 6 and the data analysis unit 7 are provided.
  • the data analysis unit 7 detects the movement of the lip of the recognition target person S using image differences of a plurality of time-series normalized mouth images obtained by the methods of the first to fifth embodiments described above.
  • the data analysis unit 7 binarizes the difference image obtained by the image difference by binarizing the absolute value of the difference value with an appropriate threshold set in advance by the P tile method or the like. Generate a digitized image. Then, the data analysis unit 7 detects an edge in the acquired binarized image, thereby obtaining a boundary line (upper lip edge) below the upper lip and a boundary line (lower lip edge) above the lower lip. To detect. Further, the data analysis unit 7 measures the distance between the edge of the upper lip and the edge of the lower lip, and detects the degree of opening of the mouth as a numerical value. At this time, the data analysis unit 7 digitizes the distance between the edges at a plurality of locations along the lateral direction of the mouth in the normalized image.
  • FIGS. 12A and 12B show an example of a normalized mouth image that is an object of edge measurement by the data analysis unit 7.
  • the recognition target person S pronounces “A” and “I”
  • the mouth spreads sideways
  • the recognition target person When S pronounces “o” it becomes a small rounded state.
  • Data analysis unit 7 five of the predefined transverse coordinates the distance of the edge E L of the detected upper lip edge E U and the lower lip in the binarized image (FIGS. 12 (a) and 12 (b ) To recognize the shape of the opening of the mouth.
  • the data analysis unit 7 repeats recognition of the mouth shape for a plurality of binarized images sequentially obtained with respect to the time-series normalized image, thereby changing the time-series change of the shape of the mouth opening. recognize.
  • the data analysis unit 7 can recognize the conversation contents of the recognition target person S.
  • the data analysis unit 7 performs a recognition process on the normalized image, so that the face of the recognition target person S rotates in the image obtained by the color camera 3 as shown in FIG. Even in such a case, the two edges E of the mouth are based on the normalized mouth image cut out based on the pupil positions P 1 and P 2 of the recognition target person S detected on the image. U, the direction and position measure the distance between E L can be appropriately determined.
  • the sixth embodiment it is possible to recognize the shape of the opening of the recognition target person S in time series. For example, it is possible to accurately distinguish and recognize a state where the mouth is pronounced small when it is pronounced “o” and a state where the mouth is widened when it is pronounced “a” or “i”. It is also possible to recognize a state where the mouth is first sharpened and then the mouth is opened when the word “wa” is pronounced. As a result, even when the lips move by speaking, the movement of the lip of the recognition target person S can be accurately detected by using the normalized mouth image in which the mouth position is stably cut out.
  • the boundary line below the upper lip (upper lip edge) and the boundary line above the lower lip (lower lip edge) may not necessarily be detected.
  • the lower lip there is a case where an approximately middle position between the lower boundary line of the lower lip and the upper boundary line is detected. Even in that case, not only the movement of the lower lip can be detected, but also the above-described shape can be detected.
  • a normalized mouth image having the same position and size is always obtained. Therefore, from a color image in particular, an efficient image processing or a color-considered image processing is performed while narrowing the image processing range. And the edges of the lips can be easily detected.
  • the present invention is not limited to the embodiment described above.
  • the two pupil position detection optical systems 8 are used to detect the three-dimensional coordinates in the three-dimensional space of the pupil or nostril.
  • the optical system includes one camera.
  • the system may detect the three-dimensional coordinates of the pupil or nostril.
  • the configuration described in Japanese Patent No. 4431799 by the present inventor can be adopted.
  • two pupil position detection optical systems 8 are arranged apart from each other on the left and right sides, and these detection results are integrated so that the face posture of the mother M or the recognition target person S can be normalized. It is possible to generate a conversion image. As a result, it is possible to cope with large left and right rotations of the face of the mother M or the recognition subject S.
  • the normalized image is not accurate around the corner of the mouth. .
  • accuracy can be improved by setting a curved mouth area window as in the fifth embodiment.
  • a normalized mouth image of a black and white image can be obtained with only one optical system. Further, by using one pupil position detecting optical system and one color camera, it is possible to obtain a normalized mouth image of a color image. If a camera capable of obtaining a color image and a black and white image for each divided pixel is used as one camera, a normalized mouth image of the color image can be obtained with one camera. By obtaining a normalized mouth image of a color image in this way, mouth movement can be detected more accurately.
  • the data analysis unit 7 is a face image G 1 within the position range of the mouth region window WD 1 set by the pupil position calculation unit 11. May be used to generate a normalized mouth image from a black and white image.
  • a planar or cylindrical side window is calculated as the mouth area window.
  • the window is not limited to such a shape, and various curved surfaces, planes, or You may calculate the window comprised by those combination.
  • the image acquisition unit continuously acquires a plurality of face images
  • the region calculation unit uses a plurality of normalized mouth images generated corresponding to the plurality of face images
  • the position of the subject's mouth in the plurality of normalized mouth images may be specified, and the position of the mouth region may be corrected using the specified mouth position.
  • an image of the mouth region can be obtained more accurately even when the subject is changed variously.
  • the pupil position calculation unit calculates the position of the right pupil and the left pupil of the subject on the face image
  • the region calculation unit calculates the position and size of the mouth region on the face image
  • the mouth image generation unit may generate a normalized mouth image by converting the face image in the mouth region. In this case, since the calculation of the mouth area is performed on the face image, the calculation is simplified and the image of the mouth area can be stably obtained.
  • the area calculation unit calculates the distance between the right pupil and the left pupil on the face image, and calculates the position of the mouth area and the size of the mouth area based on the right pupil and the left pupil from the distance. It may be calculated.
  • the mouth region in the face image can be accurately cut out according to the distance.
  • the mouth area in the face image can be accurately cut out according to the size of the face even if the subject is replaced with a different subject.
  • the pupil position calculation unit further calculates the position of the right nostril and the left nostril of the subject on the face image
  • the region calculation unit calculates the right pupil and the left pupil, the right nostril and The positional relationship with the left nostril may be calculated, and the position of the mouth region and the size of the mouth region may be calculated from the positional relationship.
  • the mouth region in the face image can be accurately cut out by calculating the mouth region using the four-point positional relationship.
  • the pupil position calculation unit calculates the position of the right pupil and the left pupil of the subject in the three-dimensional space
  • the region calculation unit calculates the position and size of the mouth region in the three-dimensional space.
  • the mouth image generation unit may generate a normalized mouth image by using a face image corresponding to the mouth region. In this case, even if the posture of the subject with respect to the image acquisition unit changes, the mouth region in the face image can be cut out more accurately by calculating the mouth region in the three-dimensional space.
  • the pupil position calculation unit further calculates the position of the right nostril and the left nostril of the subject in the three-dimensional space, and the region calculation unit calculates the right pupil, the left pupil, and the right nostril.
  • the reference coordinate system may be determined from the positional relationship of the left nostril, and the position of the mouth region may be calculated based on the reference coordinate system. In this case, even if the attitude of the subject with respect to the image acquisition unit changes, the mouth area in the face image can be more accurately cut out by calculating the mouth area using the four-dimensional three-dimensional positional relationship. .
  • the region calculation unit uses the axis connecting the right nostril and the left nostril as the first coordinate axis, passes through the midpoint between the right nostril and the left nostril, and connects the right pupil and the left pupil. It is also possible to determine a coordinate system in which the perpendicular to is the second coordinate axis. In this way, the face posture of the subject can be identified stably even when the eyes move due to the subject's gaze change, and as a result, the mouth region in the face image can be accurately cut out regardless of the gaze change. Can do.
  • the mouth image generation unit may generate a normalized mouth image by performing projective transformation on a face image corresponding to the mouth region. In this way, a normalized mouth image can be generated from the face image even if the face posture of the subject changes with respect to the image acquisition unit.
  • the mouth image generation unit converts the plurality of positions obtained by dividing the mouth region into a plurality of coordinates on the face image, and assigns pixel values of the face image at each of the converted plurality of coordinates to thereby normalize the mouth image May be generated. In this way, a normalized mouth image can be generated from the face image even if the face posture of the subject changes with respect to the image acquisition unit.
  • the area calculation unit may calculate the position and size of the mouth area having a cylindrical side shape. In this way, it is possible to generate a mouth image that matches the face shape of the subject.
  • the mouth area detection method of the above embodiment further includes a step for autism diagnosis that calculates a relationship between a gazing point of a subject other than the subject and the mouth area by using a normalized mouth image. Also good.
  • it may further include a step for reading the lip, which recognizes the mouth shape of the subject based on the distance between the upper lip and the lower lip of the subject by using the normalized mouth image.
  • One aspect of the present invention uses a mouth area detection device and a mouth area detection method for use, and accurately detects an image of a mouth area in face images acquired under different shooting conditions for various subjects. is there.
  • M mother (subject), S ... recognized person, N 1, N 2 ... positions of the left and right nostrils, P 1, P 2 ... positions of the left and right pupils, WD 1, WD 2, WD 3, WD 4, WD 5 ... Mouth region window, 1... Autistic infant diagnosis apparatus, 3... Color camera (image acquisition unit), 7... Data analysis unit (mouth image generation unit), 9. 11. Pupil position calculation unit (region calculation unit).

Abstract

　様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することを課題とする。自閉症乳幼児診断装置１は、母親Ｍの顔を撮像することで顔画像を取得するカラーカメラ３及び瞳孔検出用カメラ９と、顔画像を基に母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、右の瞳孔の位置及び左の瞳孔の位置を基に、母親Ｍの口を含む領域である口領域の位置及びサイズを算出する瞳孔位置算出部１１と、口領域に相当する範囲の顔画像を用いて、母親Ｍの口を含む既定の画素数の正規化口画像を生成するデータ解析部７と、を備える。

Description

口領域検出装置及び口領域検出方法
　本発明は、人の顔画像から口の領域を検出する口領域検出装置及び口領域検出方法に関する。
　近年、自閉症診断装置等において注視点検出技術が利用されてきている。一般に、健常乳幼児が人間と対面したときは相手の眼を見る傾向があるのに対して、自閉症乳幼児は口などの動く部分を見る傾向にある。また、健常乳幼児は、口を見ることがあってもすぐに視線が目に戻る傾向にあるが、自閉症乳幼児は、口を見続ける傾向にある。
　上記の性質を利用した診断装置としては、下記特許文献１記載の装置がある。この装置では、カメラで取得した付添者等の顔の動画像をリアルタイムでモニタ画面に映しながら、その動画像を乳幼児に見せたときに乳幼児が顔の動画像中のどこを見ているかを計測する手法が採用されている。この手法では、顔の動画像中のどこに口が位置しているかを検出することが不可欠である。下記非特許文献１に記載の装置では、顔を写したカラー画像中で検出した２つの瞳孔の座標とそれらを結ぶ直線の傾きを用いて、瞳孔座標から所定の距離に位置する口領域を算出している。
　一方、下記非特許文献２には、カメラで取得した入力画像から顔領域を検出し、この顔領域から口の位置を検出することにより口唇動作を認識する技術が記載されている。詳細には、口唇動作を認識するために、画像中の唇領域の重心を求め、その重心を用いて検出された顔の大きさに対応して認識範囲を決定する。
特開２０１１－２０６５４２号公報
T.Maeda, K.Fukumoto, Y.Ebisawa，「顔動画像上の注視点に基づく乳幼児自閉症診断補助装置の提案」，　ライフエンジニアリング部門シンポジウム2013，　2C1-2，　pp.299-304，2013年9月12日-14日 高橋真人　他，「口領域の形状特徴と低解像度画像を特徴量とした口唇動作認識」，日本機械学会ロボティクス・メカトロニクス講演会２０１０講演論文集，１Ａ２－Ｇ０２，２０１０年６月
　しかしながら、上述した従来の装置では、顔画像中における顔のサイズはカメラから顔までの距離が変化すれば変化するし、そもそも顔の形状及び大きさは個人差があり、２つの瞳孔に対する口の位置も個人差がある。そのため、正確に顔画像中の口の領域を決定することには限界がある。また、画像中から唇領域の重心を求め、その重心を基に口の位置を検出する方法では、唇は発声中には動作が激しいために口の位置を安定して切り出して正確に検出することは限界がある。
　本発明は、上記課題に鑑みて為されたものであり、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することが可能な口領域検出装置及び口領域検出方法を提供することを目的とする。
　上記課題を解決するため、本発明の一形態にかかる口領域検出装置は、対象者の顔を撮像することで顔画像を取得する画像取得部と、顔画像を基に対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、右の瞳孔の位置及び左の瞳孔の位置を基に、対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、口領域に相当する範囲の顔画像を用いて、対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、を備える。
　或いは、本発明の他の形態にかかる口領域検出方法は、画像取得部が、対象者の顔を撮像することで顔画像を取得するステップと、瞳孔位置算出部が、顔画像を基に対象者の右の瞳孔の位置と左の瞳孔の位置とを算出するステップと、領域算出部が、右の瞳孔の位置及び左の瞳孔の位置を基に、対象者の口を含む領域である口領域の位置及びサイズを算出するステップと、口画像生成部が、口領域に相当する範囲の顔画像を用いて、対象者の口を含む既定の画素数の正規化口画像を生成するステップと、を備える。
　上記形態の口領域検出装置或いは口領域検出方法によれば、対象者の顔を撮像することで顔画像が取得され、その顔画像から右の瞳孔の位置と左の瞳孔の位置とが算出され、それらの位置を基に対象者の口領域の位置及びサイズが算出され、算出された口領域に相当する顔画像から正規化口画像が生成される。これにより、顔画像を撮像する画像取得部と対象者の顔との距離が変化したり、対象者が様々入れ替わった場合であっても、正確に口領域の画像を得ることができる。なおかつ、正規化された画像を生成することで、その画像に対する処理も安定して実行させることができる。
　本発明の一形態によれば、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することができる。
本発明の第１実施形態に係る自閉症乳幼児診断装置の全体構成を示す概略構成図である。 図１のカラーカメラ及び瞳孔位置検出光学系の配置を示す平面図である。 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 本発明の第２実施形態に係る瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 本発明の第３実施形態に係る瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。 本発明の第４実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見たイメージを示す図である。 本発明の第４実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の正面方向から見たイメージを示す図である。 本発明の第４実施形態に係るデータ解析部７によって口領域ウィンドウを基に生成される正規化口画像のイメージを示す図である。 本発明の第５実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウのイメージを示す図である。 本発明の第６実施形態に係るデータ解析部７による処理対象の正規化口画像のイメージを示す図である。
　以下、図面を参照しつつ本発明に係る口領域検出装置及び口領域検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
　［第１実施形態］
　口領域検出装置の第１実施形態にかかる自閉症診断支援用装置は、母親等の付添者（対象者）の顔を撮影して顔画像をディスプレイ（被験者が相対して見る対象）に表示しながら乳幼児（被験者）の注視点検出を行うことにより乳幼児の自閉症を診断する装置である。
　図１には、本実施形態にかかる自閉症乳幼児診断装置１の概略構成を示している。同図に示すように、自閉症乳幼児診断装置１は、乳幼児Ａの注視点を実時間で計測できる注視点検出部２と、母親Ｍの顔の画像を撮影するカラーカメラ（画像取得部）３と、母親Ｍの瞳孔の空間座標を実時間計測するための瞳孔位置検出部４と、母親Ｍの顔を映す表示用ディスプレイ５と、光源発光回路６と、データ解析部７とを備える。注視点検出部２の構成としては、本願発明者による特許公報US 7,533,989に記載の三次元視点計測装置の構成を採用できる。具体的には、注視点検出部２は、注視点検出光学系２ａと注視点検出演算部２ｂとによって構成される。また、瞳孔位置検出部４としては、本願発明者による国際公開公報WO 2007/023798に記載の瞳孔検出装置及び瞳孔検出方法を採用できる。
　このような構成によって、表示用ディスプレイ５上の母親の目の位置からの乳幼児の注視点のずれが即座に容易に定量化できる。また、表示の対象として、必ずしも検診に同伴している母親ではなく予め撮影した人の顔画像を用いる場合においても、顔画像の撮影時に顔画像上における目の位置が正確に検出できる。
　図２には、カラーカメラ３及び瞳孔位置検出部４の光学系の配置を示している。カラーカメラ３は、母親Ｍの顔を撮像することで顔画像をカラー画像として取得する。このカラーカメラ３と、瞳孔位置検出部４を構成する瞳孔座標計測用の瞳孔位置検出用光学系８とは、同図に示すように母親Ｍと相対するように配置されている。この瞳孔位置検出用光学系８は、赤外線光に感度を持つカメラ（瞳孔検出用カメラ）９と近赤外光源１０とを組み合わせた構成を２組有する。また、瞳孔位置検出部４として瞳孔位置算出部１１（図１参照）も含まれており、瞳孔位置算出部１１は、ステレオ較正された瞳孔位置検出用光学系８からの出力画像（顔画像）を基に、母親Ｍの右の瞳孔及び左の瞳孔のそれぞれの３次元座標（位置）を算出する。また、母親Ｍの顔を撮影するためのカラーカメラ３は、２組の瞳孔位置検出用光学系８によって挟まれた位置に配置される。
　なお、カラーカメラ３、及び２つの瞳孔検出用カメラ９は、それらの位置関係が、それぞれが得た画像上に母親Ｍの顔のほぼ同じ範囲が映るように、最初に設定される。これらの瞳孔検出用カメラ９とカラーカメラ３とは、本実施形態における顔画像を取得する画像取得部として機能する。
　瞳孔検出用カメラ９及びカラーカメラ３は、それぞれ予めカメラ較正が行われている。カメラ較正では、カメラの位置を表す３自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズF値）、ひずみなどが同時に計測される。カメラ較正においては、世界座標系における座標（XW,YW,ZW）と各カメラのカメラ座標系における座標（XC,YC,ZC）との間には（式１）の関係があると仮定され、
Figure JPOXMLDOC01-appb-M000001
  
（式２）で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。
Figure JPOXMLDOC01-appb-M000002
  
　瞳孔位置算出部１１は、カメラ較正の結果を利用して、２台の瞳孔検出用カメラ９を含む瞳孔位置検出用光学系８で瞳孔の世界座標系における３次元座標（位置）を算出した後に、３次元座標をカラーカメラ３に関する（式１）に相当する式に代入することで、カラーカメラ３のカメラ座標系における瞳孔の座標（位置）を算出する。瞳孔位置算出部１１は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことで母親Ｍのカラー画像中の瞳孔位置を定める。もしくは、カラーカメラ３のカメラ座標系を上述の世界座標系に置き換えて、そのカメラ座標系における他の瞳孔検出用カメラ９のカメラ較正値を求めるカメラ較正法を用いてもよい。その場合、２台の瞳孔検出用カメラ９によって求まる瞳孔の３次元座標は、カラーカメラ３のカメラ座標系における座標として求まる。それをカラーカメラ３のカラー画像中の座標に変換することで母親Ｍの瞳孔位置が定められる。このとき、瞳孔位置算出部１１は、上述した処理を繰り返すことによりカラー画像中における右の瞳孔及び左の瞳孔の座標（位置）を算出する。
　また、データ解析部７は、注視点検出部２から乳幼児の注視点座標の入力を受け、その注視点座標をカラーカメラ３によって撮影されたカラー画像中の座標に変換する。さらに、データ解析部７は、瞳孔位置検出部４から母親の右の瞳孔及び左の瞳孔の座標を得て、注視点座標と右の瞳孔の位置と左の瞳孔の位置とカラー画像とを利用して各種演算を行って、演算結果を外部のデータ表示ディスプレイ１２に表示させる。ここでの演算は、例えば、注視点座標と瞳孔の位置とから両者の距離を演算したり、注視点座標と口領域との関係をカラー画像を用いて演算したり、母親Ｍのカラー画像上に注視点軌跡を表示させたり、２次元瞳孔座標系上に注視点の２次元分布を表示させることが考えられる。そのため、データ解析部７は、カラー画像中から規定の縦横の画素数の母親の口を含む正規化口画像を生成し、その正規化口画像を利用して口の動きのタイミング又は口の中心位置を解析する。
　上記の瞳孔位置算出部１１、注視点検出演算部２ｂ、及びデータ解析部７は、画像データを演算処理する演算回路及びメモリを内蔵するパーソナルコンピュータ等の画像処理装置であり、１つの画像処理装置内で実現されてもよいし、複数の画像処理装置上に分散されて実現されてもよい。
　次に、瞳孔位置算出部１１及びデータ解析部７における正規化口画像の生成に係る機能について詳細に説明する。
　瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９のそれぞれで撮影された母親Ｍの顔画像を対象に、顔画像上の母親Ｍの口を含む領域である口領域の位置及びサイズを算出する領域算出部としても機能する。詳細には、瞳孔位置算出部１１は、顔画像上で母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、それらの位置を基に口領域の境界を示す口領域ウィンドウの位置及びサイズを算出する。
　図３は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、瞳孔位置算出部１１は、顔画像Ｇ１上で検出した右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２の間の距離ＷＰを算出する。また、瞳孔位置算出部１１は、顔画像Ｇ１上の右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２の間の中点の位置ＰＭを算出し、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２を結ぶ直線に垂直な位置ＰＭを通る直線上において、位置ＰＭから下記（式３）で計算される距離ＤＰＭほど離れた点の位置ＭＣを算出し、その位置ＭＣを口元の中心の位置とする（ａ１は予め設定された定数）。
ＤＰＭ＝ａ１×ＷＰ　　　…（式３）
　さらに、瞳孔位置算出部１１は、算出した口元の中心位置ＭＣを基準とした位置において、縦横のサイズが距離ＷＰを基に下記（式４）及び下記（式５）で計算されたサイズを有する長方形の口領域ウィンドウＷＤ１を設定する。すなわち、瞳孔位置算出部１１は、口領域ウィンドウＷＤ１の水平方向のサイズＨＭを下記（式４）；
ＨＭ＝ａ２×ＷＰ　　　…（式４）
により算出し（ａ２は予め設定された定数）、口領域ウィンドウＷＤ１の垂直方向のサイズＶＭを下記（式５）；
ＶＭ＝ａ３×ＷＰ　　　…（式５）
により算出する（ａ３は予め設定された定数）。
　従って、瞳孔位置算出部１１は、図４（ａ）に示すように、母親Ｍと瞳孔検出用カメラ９との距離が離れた際には、その距離に対応して中点の位置ＰＭからの距離ＤＰＭ及び縦横のサイズが調整された口領域ウィンドウＷＤ１を設定する。これにより、母親Ｍと瞳孔検出用カメラ９との距離が変わっても口を正確に含む口領域ウィンドウＷＤ１を設定することが可能である。また、瞳孔位置算出部１１は、図４（ｂ）に示すように、母親Ｍの顔の向きが傾いて右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２を結ぶ直線が角度θだけ水平線ＬＨから傾いた場合には、口領域ウィンドウＷＤ１も角度θだけ水平線ＬＨから傾くように設定する。これにより、母親Ｍの顔の向きが瞳孔検出用カメラ９の光軸に垂直な面に沿って傾いても、口を正確に含む口領域ウィンドウＷＤ１を設定することが可能である。なお、瞳孔位置算出部１１は、必ずしも口領域ウィンドウＷＤ１の中心が口元の中心位置に一致するように設定する必要は無い。口領域ウィンドウＷＤ１の中心が口元の中心位置に一致するように設定された場合、口の動きが小さいときは比較的口領域ウィンドウＷＤ１のサイズが小さくても口がその口領域ウィンドウＷＤ１内に収まる（図５（ａ））。これに対して、同様の場合に、口の動きが大きいときは下唇が大きく上下するので、口領域ウィンドウＷＤ１のサイズを大きくしないと口がその口領域ウィンドウＷＤ１内に収まらない（図５（ｂ））。そこで、瞳孔位置算出部１１は、口領域ウィンドウＷＤ１の中心が口元の中心位置から下にずれるように設定することが好ましい。
　そして、瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９から得られた顔画像それぞれについて、口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲を算出する。さらに、瞳孔位置算出部１１は、上述した瞳孔の座標の算出と同様にして、カメラ較正の結果を利用して、２つの顔画像それぞれから得られた口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲を、カラーカメラ３のカラー画像中の座標に変換する。そして、瞳孔位置算出部１１は、変換した口元の中心位置ＭＣの座標と、変換した口領域ウィンドウＷＤ１の位置範囲とをデータ解析部７に引き渡す。
　データ解析部７は、瞳孔位置算出部１１から引き渡されたカラー画像上の口領域ウィンドウＷＤ１の位置範囲を参照することにより、口領域ウィンドウＷＤ１に相当する範囲のカラー画像を抽出する。そして、データ解析部７は、抽出したカラー画像を画像変換して母親Ｍの口を含む正規化口画像を生成する。すなわち、データ解析部７は、本実施形態における口画像生成部として機能する。そして、データ解析部７は、時系列で連続的に取得された顔画像を対象に時系列で連続的に生成された複数の正規化口画像を画像解析することにより、母親Ｍの口の動きのタイミングを計算する。さらに、データ解析部７は、そのタイミング、及びカラー画像中の口元の中心位置ＭＣを利用することにより、自閉症の診断結果を生成する。
　具体的には、データ解析部７は、口領域ウィンドウＷＤ１の範囲内のカラー画像を対象に、平行移動処理、拡大処理、縮小処理、及び回転処理を含むアフィン変換を施すことにより、縦横が既定の画素数の正規化口画像を生成する。その際、データ解析部７は、既定の画素数の画像を得るために、必要に応じて、バイリニア補間等の画像補間処理も併せて実行する。さらに、データ解析部７は、時系列で得られた複数フレームの正規化口画像を対象にして、前後のフレーム間で画像差分および絶対値演算を実行することで絶対値差分画像を生成し、その差分画像を２値化を行うことによりフレーム間で唇が動いた部分を抽出することができる。また、データ解析部７は、時系列で得られた差分画像の絶対値を求め、所定回数分（例えば１２０回分）の加算平均等を行った後に２値化を行い、その結果得られた２値化画像の重心を求めれば正確な口元の中心を検出することができる。なお、上述の口領域の重心を求める場合は、瞳孔検出カメラから得られた画像において重心を求め、それをカラー画像中に変換しても用いてもよいし、カラー画像において直接、重心を求めてもよい。さらに、最初は、前者の方法で求め、その後、後者の方法を利用するなどしてもよい。
　ここで、瞳孔位置算出部１１は、時系列で瞳孔検出用カメラ９によって取得された複数フレームの顔画像を利用して、顔画像上の口領域ウィンドウＷＤ１の位置を補正してもよい。すなわち、瞳孔位置算出部１１は、複数フレームの顔画像Ｇ１上で設定した口領域ウィンドウＷＤ１の範囲内の顔画像Ｇ１を対象に、データ解析部７の処理と同様にして正規化口画像を生成する。さらに、瞳孔位置算出部１１は、データ解析部７の上記処理と同様にして、顔画像Ｇ１上の口元の中心位置を算出し、その位置を口元の中心位置ＭＣの座標とする。そして、瞳孔位置算出部１１は、中点の位置ＰＭと口元の中心位置ＭＣとの距離ＤＰＭを算出し、距離ＤＰＭを用いて上記（式３）を逆算することにより、定数ａ１を補正する。その後、瞳孔位置算出部１１は、後続するフレームの顔画像Ｇ１の処理においては、上記の補正後のａ１を利用して口領域ウィンドウＷＤ１の位置を算出することにより、その位置を補正する。このような複数フレームの顔画像Ｇ１を対象とした処理においては、瞳孔位置算出部１１は、最初に設定する口領域ウィンドウＷＤ１のサイズを大きめに設定してもよい。
　また、データ解析部７は、瞳孔位置算出部１１が顔画像Ｇ１上で口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲を算出する代わりに、カラー画像上の座標に変換された左右の瞳孔の位置を用いて、カラー画像上で口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲の両方を算出してもよい。また、データ解析部７は、カラー画像上の座標に変換された左右の瞳孔の位置及び口元の中心位置ＭＣを用いて、カラー画像上で口領域ウィンドウＷＤ１の位置範囲のみを算出してもよい。
　次に、上述した自閉症乳幼児診断装置１における瞳孔位置算出部１１及びデータ解析部７を利用した口領域検出方法の手順について説明する。
　まず、自閉症乳幼児診断装置１による診断処理が開始されると、時間的に連続してカラーカメラ３及び瞳孔検出用カメラ９による母親Ｍの顔画像が取得される。それに合わせて、注視点検出部２による乳幼児Ａの注視点の計測と、瞳孔位置検出部４による母親Ｍの右瞳孔と左瞳孔の３次元空間内での座標の計測が開始される。その後、瞳孔位置検出部４を構成する瞳孔位置算出部１１により、カラーカメラ３によって取得されるカラー画像上での口元の中心位置ＭＣ、及びカラー画像上で口領域ウィンドウＷＤ１の位置範囲が算出される。さら、データ解析部７によって、口領域ウィンドウＷＤ１の位置範囲に相当する範囲のカラー画像を用いて正規化口画像が生成される。このような正規化口画像の生成は、カラーカメラ３及び瞳孔検出用カメラ９による顔画像の連続的な取得に応じて、連続して繰り返される。
　以上説明した自閉症乳幼児診断装置１による口領域検出方法によれば、母親Ｍの顔を撮像することで顔画像が取得され、その顔画像から右の瞳孔の位置と左の瞳孔の位置とが算出され、それらの位置を基に顔画像における母親Ｍの口領域の位置及びサイズが算出され、算出された口領域に相当する顔画像から正規化口画像が生成される。これにより、顔画像を撮像する画像取得部と母親Ｍの顔との距離が変化したり、母親Ｍが様々入れ替わった場合であっても、正確に母親Ｍの口を含む口領域の画像を得ることができる。なおかつ、正規化された画像を生成することで、その画像に対する自閉症診断のための解析処理も安定して実行させることができる。特に、カラー画像から正規化口画像を生成することで、口の動きの検出等の解析処理の検出精度を向上させることができる。正規化口画像を解析することで母親Ｍの口が動いたタイミングが分かるので、乳幼児Ａの口の動きに対する反応の傾向（口の動きに対する視線方向の傾向）が分析でき、自閉症診断の精度も向上させることができる。一般に、母親Ｍが乳幼児Ａに話しかけたりあやすときには、母親Ｍの口が発声により動くだけでなく、母親の顔が前後及び上下に動いたりするが、そのような状況下でも、自閉症乳幼児診断装置１によれば母親の口領域の画像を実時間で正確に捉えることができる。
　ここで、瞳孔位置算出部１１は、複数の顔画像に対応して生成された複数の正規化口画像を用いて特定された口の位置を用いて口領域の位置を補正する。これにより、母親Ｍが様々入れ替わった場合であっても、より正確に口領域の画像を得ることができる。
　また、瞳孔位置算出部１１は、瞳孔検出用カメラ９によって撮像された顔画像上の母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、その顔画像上の口領域の位置及びサイズを算出し、データ解析部７は、口領域内のカラー画像を画像変換することにより正規化口画像を生成する。これにより、顔画像上で口領域の計算が行われるので、計算が簡素化され、安定して口領域の画像を得ることができる。
　また、瞳孔位置算出部１１は、顔画像上の右の瞳孔と左の瞳孔との距離を算出し、当該距離から、右の瞳孔及び左の瞳孔を基準とした口領域の位置及び口領域のサイズを算出する。この場合には、画像取得部と母親Ｍの顔との距離が変化した場合に顔画像中の口領域をその距離に応じて正確に切り出すことができる。加えて、顔の大きさが異なる母親Ｍに入れ替わっても顔画像中の口領域をその顔の大きさに応じて正確に切り出すことができる。さらには、母親の画像取得部に対する顔の傾きが変わっても正確に口領域の画像を切り出すことができる。
　［第２実施形態］
　次に、本発明の第２実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。
　すなわち、第２実施形態にかかる瞳孔位置算出部１１は、以下のようにして、瞳孔検出用カメラ９によって取得された顔画像上で口領域ウィンドウの位置及びサイズを算出する。上述した第１実施形態では、口元の中心位置が不明な初期のタイミングでは、対象者によってパラメータａ１の値が異なるため、口を確実に含む正規化口画像を生成するためには口領域ウィンドウのサイズを大きめに設定する必要がある。また、口の下唇付近の動きが大きくなりがちなので、口を確実に含む正規化口画像を生成するための口領域ウィンドウの位置を、様々な顔形状の対象者に対応して設定するのは難しい。また、対象者の顔の方向が変わった場合にその顔の方向に対応して口ウィンドウの位置を設定することも難しい。特に、顔の左右の傾きだけでなく顔の縦方向及び横方向の回転に対して口ウィンドウの位置を設定することも難しい。正しい位置に口ウィンドウを設定できない場合、特に顔の背景や鼻孔を口ウィンドウ内に含むことが多くなり、誤検出につながりやすくなるか、複雑な画像処理をしなければならなくなる。そこで、本実施形態では、顔画像上で右の鼻孔の位置と左の鼻孔の位置をさらに算出して、それらの位置を利用して口領域ウィンドウの位置及びサイズを算出する。
　図６は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、瞳孔位置算出部１１は、顔画像Ｇ１上で、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２に加えて、右の鼻孔の位置Ｎ１及び左の鼻孔の位置Ｎ２を算出する。また、瞳孔位置算出部１１は、顔画像Ｇ１上において、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２の間の中点の位置ＰＭに加えて、右の鼻孔の位置Ｎ１及び左の鼻孔の位置Ｎ２の間の中点の位置ＮＭを算出し、中点の位置ＰＭと中点の位置ＮＭとの間の距離ＤＰＮを算出する。そして、瞳孔位置算出部１１は、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２を結ぶ直線に垂直な位置ＰＭを通る直線上において、位置ＰＭから下記（式６）で計算される距離ＤＰＭほど離れた点の位置ＭＣを算出し、その位置ＭＣを口元の中心の位置とする（ａ１は予め設定された定数）。この際、瞳孔位置算出部１１は、顔画像から鼻孔位置を検出する手法としては、本願発明者らによる文献「“Face Pose Estimation Based on 3D Detection of Pupils and Nostrils”， Proceedings of the VECIMS 2005 - 2005 IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems,pp.92-97（2005）」に記載の手法を用いる。
ＤＰＭ＝ａ１×ＤＰＮ　　　…（式６）
　さらに、瞳孔位置算出部１１は、算出した口元の中心位置ＭＣを基準とした位置において、縦横のサイズが左右の瞳孔間の距離ＷＰ、及び中点間の距離ＤＰＮを基に下記（式７）及び下記（式８）で計算されたサイズを有する長方形の口領域ウィンドウＷＤ２を設定する。すなわち、瞳孔位置算出部１１は、口領域ウィンドウＷＤ２の水平方向のサイズＨＭを下記（式７）；
ＨＭ＝ａ２×ＷＰ　　　…（式７）
により算出し（ａ２は予め設定された定数）、口領域ウィンドウＷＤ２の垂直方向のサイズＶＭＵ，ＶＭＢを下記（式８）；
ＶＭＵ＝ａ３×ＤＰＮ，　ＶＭＢ＝ａ４×ＤＰＮ　　　…（式８）
により算出する（ａ３，ａ４は予め設定された定数）。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ２の基準位置である口元の中心位置ＭＣから上限までのサイズＶＭＵと、口元の中心位置ＭＣから下限までのサイズＶＭＢとを別に算出する。このように、サイズＨＭを瞳孔間距離と比例関係にあるとすることで、母親Ｍの頭部の横方向の回転を許容でき、サイズＶＭＵ，ＶＭＢを中点間の距離ＤＰＮと比例関係にあるとすることで、母親Ｍの頭部の縦方向の回転を許容できるようになる。
　本実施形態によれば、瞳孔位置算出部１１が顔画像Ｇ１上の母親Ｍの右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、右の瞳孔及び左の瞳孔と、右の鼻孔及び左の鼻孔との位置関係を算出し、当該位置関係から、口領域の位置及び口領域のサイズを算出する。この場合には、母親Ｍの画像取得部に対する姿勢が変わっても、４点の位置関係を用いて口領域を算出することで、顔画像中の口領域を正確に切り出すことができる。特に、母親Ｍの頭部の左右の傾きだけでなく縦方向及び横方向の回転に対しても対応して正規化口画像を生成することができる。
　［第３実施形態］
　次に、本発明の第３実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。
　すなわち、第３実施形態にかかる瞳孔位置算出部１１は、以下のようにして、瞳孔検出用カメラ９によって取得された顔画像上で口領域ウィンドウの位置及びサイズを算出する。上述した第１実施形態及び第２実施形態では、母親Ｍの頭部が瞳孔検出用カメラ９に対して正面を向いているのが前提であった。本実施形態では、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）において、口領域ウィンドウを口の範囲に応じて適切に設定することができる。
　図７は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、正面方向に対して斜め方向から見上げるように瞳孔検出用カメラ９を設置した場合、顔画像上では母親Ｍが水平方向を向いていたとしても２個の瞳孔の位置Ｐ１，Ｐ２を結ぶ直線に傾きが現れる。同時に、顔画像上では瞳孔の位置Ｐ１，Ｐ２を結ぶ直線と、瞳孔間中点と鼻孔間中点ＮＭとを結ぶ直線とは必ずしも垂直にはならない。そこで、瞳孔位置算出部１１は、顔画像Ｇ１上において、右瞳孔の位置Ｐ１、左瞳孔の位置Ｐ２、及び鼻孔間の中点の位置ＮＭから、それらの重心を顔中心の位置ＦＣとして算出し、その顔中心の位置ＦＣから真下の位置であって、線分Ｐ１，Ｐ２上から下記（式９）で計算される距離Ｄ´ＰＭの位置を口元の中心の位置ＭＣと算出する（ａ１は予め設定された定数、Ｄ´ＰＮは、線分Ｐ１Ｐ２と線分Ｎ１Ｎ２との垂直方向の距離）。
Ｄ´ＰＭ＝ａ１×Ｄ´ＰＮ　　　…（式９）
　さらに、瞳孔位置算出部１１は、算出した口元の中心位置ＭＣを基準とした位置において、縦横のサイズが左右の瞳孔間の水平方向の距離Ｗ´Ｐ、及び垂直方向の距離Ｄ´ＰＮを基に下記（式１０）及び下記（式１１）で計算されたサイズを有する平行四辺形ＡＢＣＤの口領域ウィンドウＷＤ３を設定する。ここで、平行四辺形ＡＢＣＤは、辺ＡＤ，ＢＣが線分Ｐ１Ｐ２と平行になり、辺ＡＢ，ＣＤが垂直方向となるように設定される。具体的には、瞳孔位置算出部１１は、口領域ウィンドウＷＤ３の口元の中心位置ＭＣから辺ＡＢ及び辺ＣＤまでの水平方向のサイズＨ´Ｍ／２を下記（式１０）；
ＨＭ＝ａ２×Ｗ´Ｐ　　　…（式１０）
により算出し（ａ２は予め設定された定数、Ｗ´Ｐは、左右の瞳孔間の水平方向の距離）、口領域ウィンドウＷＤ３の口元の中心位置ＭＣからの垂直方向のサイズＶ´ＭＵ，Ｖ´ＭＢを下記（式１１）；
Ｖ´ＭＵ＝ａ３×Ｄ´ＰＮ，　Ｖ´ＭＢ＝ａ４×Ｄ´ＰＮ　　　…（式１１）
により算出する（ａ３，ａ４は予め設定された定数）。このとき、瞳孔位置算出部１１は、口元の中心位置ＭＣから上限までの垂直方向のサイズＶ´ＭＵと、口元の中心位置ＭＣから下限までの垂直方向のサイズＶ´ＭＢとを別に算出する。
　これに対して、データ解析部７は、カラー画像上の口領域ウィンドウＷＤ３の位置範囲を基に正規化口画像を生成する際には、口領域ウィンドウＷＤ３に相当する範囲のカラー画像を抽出して、抽出したカラー画像を対象に拡大・縮小処理、及びスキュー（せん断）処理を含むアフィン変換を施すことにより、長方形の正規化口画像を生成する。
　このような第３実施形態によれば、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合であっても（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）、口領域ウィンドウを母親Ｍの口の範囲を含むように適切に設定することができる。
　［第４実施形態］
　次に、本発明の第４実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。
　すなわち、第４実施形態にかかる瞳孔位置算出部１１は、以下のようにして、２つの瞳孔検出用カメラ９によって取得された顔画像を用いて３次元空間内で口領域ウィンドウの位置及びサイズを算出する。上述した第３実施形態では、母親Ｍの頭部が瞳孔検出用カメラ９に対して斜めを向いている場合にも対応していたが、頭部のカメラに対する傾きに対応して口領域ウィンドウを設定していなかった。本実施形態では、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）において、頭部の傾きに対応して口領域ウィンドウを適切に設定することができる。
　図８は、瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見たイメージを示す図、図９は、瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔のほぼ正面方向から見たイメージを示す図である。瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９によって得られた顔画像を利用して、右の瞳孔および左の瞳孔の世界座標系における３次元空間内での座標を算出するとともに、同様にして、右の鼻孔および左の鼻孔の世界座標系における３次元空間内での３次元座標を算出する。そして、これらの図に示すように、世界座標系の座標を３次元空間内での顔座標系（基準座標系）ＸＦ－ＹＦ－ＺＦの座標に変換することにより、顔座標系ＸＦ－ＹＦ－ＺＦにおける右の瞳孔の位置Ｐ１、左の瞳孔の位置Ｐ２、右の鼻孔の位置Ｎ１、および左の鼻孔の位置Ｎ２を算出する。この顔座標系ＸＦ－ＹＦ－ＺＦは、その原点を左右の鼻孔間の中点の位置ＮＭとし、ＸＦ軸を左右の鼻孔を結ぶ直線（軸）Ｎ１Ｎ２に一致するようにし、ＹＦ軸を中点の位置ＮＭを通り左右の瞳孔間を結ぶ線分Ｐ１Ｐ２に垂直とするように設定される。このような顔座標系ＸＦ－ＹＦ－ＺＦにおいては、口の領域が固定されているため、頭部が回転または移動しても口領域の座標は変化しない。
　そこで、瞳孔位置算出部１１は、顔座標系ＸＦ－ＹＦ－ＺＦを基準にして口領域ウィンドウＷＤ４の位置を算出する。具体的には、ＸＦＹＦ平面に対して角度δだけ傾斜した原点を通る平面を想定し、その平面から顔の後方に距離Ｄｇａｐだけ離れた平面上の所定位置に口領域ウィンドウＷＤ４の位置を設定する。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ４の位置を、顔座標系ＸＦ－ＹＦ－ＺＦ上の原点から距離Ｖｇａｐだけ顔の下方向に離れ、口領域ウィンドウＷＤ４の縦横方向のサイズＨＭ，ＶＭＵ，ＶＭＢが上記（式７）及び上記（式８）で算出した値になるように設定する。また、瞳孔位置算出部１１は、瞳孔間を結ぶ線分Ｐ１Ｐ２と、鼻孔間を結ぶ線分Ｎ１Ｎ２と、口領域ウィンドウＷＤ４の辺ＡＤ及び辺ＢＣとは平行になるように設定する。ただし、眼球回転（視線移動）が発生すると瞳孔位置Ｐ１，Ｐ２は上下左右に移動する。さらに、瞳孔位置算出部１１は、口領域ウィンドウＷＤ４の顔座標系ＸＦ－ＹＦ－ＺＦでの座標を、世界座標系を経由してカラー画像上での座標に変換する。
　これに対して、データ解析部７は、３次元空間内の座標からカラー画像上の座標に変換された口領域ウィンドウＷＤ４の位置範囲を基に、その位置範囲に相当する箇所のカラー画像を用いて正規化口画像を生成する。すなわち、データ解析部７は、カラー座標上の座標に変換された口領域ウィンドウＷＤ４の４つの頂点Ａ，Ｂ，Ｃ，Ｄの座標を取得し、それらの頂点に囲まれた四角形領域内の画像を画像変換することにより正規化口画像を生成する。その際には、カラー座標上の座標に変換された口領域ウィンドウＷＤ４は形状が歪んでいるので、所定の縦横の画素サイズの長方形の正規化口画像を生成するために射影変換を実行する。射影変換の手法は、文献「“認識で欠かせない！実用画像補正テクニック”、Ｉｎｔｅｒｆａｃｅ　２０１４年１月号、ｐ１５３－１５７」に記載の手法が採用される。
　また、データ解析部７は、次のようにして正規化口画像を生成してもよい。図１０に示すように、データ解析部７は、３次元空間内での口領域ウィンドウＷＤ４の長方形の範囲を、辺ＡＤ間を（ｍ－１）等分、辺ＡＢ間を（ｎ－１）等分（ｍ、ｎは所定の整数）するように区切ることにより、２次元状のグリッドで分けられたｍ×ｎ個の３次元空間内での座標を算出する。さらに、データ解析部７は、グリッドで区切られた３次元空間内のｍ×ｎ個の座標を順次カラー画像上の座標に変換し、変換された座標に相当する位置のカラー画像の画素値を求め、それらの画素値を順次ｍ×ｎの２次元配列の画像データに割り当てることで正規化口画像Ｇ２を生成する。このとき、データ解析部７は、変換したカラー画像上の座標は必ずしもカラー画像の画素の位置に一致しないため、必要に応じて、バイリニア補間などの補間処理を行うことによりその座標に相当する位置の画素値を求める。
　なお、ここでは、左右の瞳孔と左右の鼻孔の３次元座標を検出して、瞳孔検出用カメラ９で取得された白黒画像の顔画像Ｇ１を利用して正規化口画像を生成してもよい。
　このような第４実施形態によれば、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合において、頭部の傾きに対応して口領域ウィンドウを適切に設定することができる。また、顔座標系ＸＦ－ＹＦ－ＺＦで口領域ウィンドウＷＤ４の位置範囲を設定する際に、ＹＦ軸を鼻孔間の中点位置ＮＭから瞳孔間を結ぶ線分Ｐ１Ｐ２上の点ＰＰに下した垂線と一致するように設定することにより、視線が動いても顔姿勢に対する顔座標系ＸＦ－ＹＦ－ＺＦが安定して設定される。これは、鼻孔間の中心は頭部に対して固定されているのに対し、２つの瞳孔はそれらを結ぶ線の平行性は保ちながら上下左右に移動すると考えられるためである。そのため、頭部がどのように回転あるいは移動しても、鼻孔中心を原点とした顔座標系ＸＦ－ＹＦ－ＺＦを用いて口領域が正確に設定される。
　［第５実施形態］
　次に、本発明の第５実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第４実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。
　すなわち、第５実施形態にかかる瞳孔位置算出部１１は、２つの瞳孔検出用カメラ９によって取得された顔画像を用いて３次元空間内で曲面によって形成される口領域ウィンドウの位置及びサイズを算出する。図１１（ａ）は、本実施形態にかかる瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見た図であり、図１１（ｂ）は、本実施形態にかかる瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の上方向から見た図である。これらの図に示すように、瞳孔位置算出部１１は、第４実施形態のように長方形の口領域ウィンドウを算出する代わりに、円柱の側面形状を有する口領域ウィンドウを算出する。
　詳細には、瞳孔位置算出部１１は、ＹＦ軸に対してＹＦＺＦ平面に沿って角度δだけ傾斜した線に沿った中心軸を有する所定半径Ｒ１の円柱曲面上に、口領域ウィンドウＷＤ５の位置を設定する。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ５の位置範囲を、鼻孔間中点ＮＭから顔の下方に距離Ｖｇａｐだけ離れ、顔の上下方向（中心軸方向）に所定のサイズＶＭを有し、円柱側面の顔の水平方向の所定の中心角θ１に対応する範囲に設定する。
　また、データ解析部７は、３次元空間内での口領域ウィンドウＷＤ５の円柱面上の範囲を、横方向に沿って（ｍ－１）等分、上下方向に（ｎ－１）等分（ｍ、ｎは所定の整数）するように区切ることにより、２次元状のグリッドで分けられたｍ×ｎ個の３次元空間内での座標を算出する。このとき、口領域ウィンドウＷＤ５を横方向に沿って区切る際には、中心角を等角度で区切ることができる。その後、第４実施形態と同様にして、データ解析部７は、カラー画像の画素値を用いて正規化口画像Ｇ２を生成する。
　このような構成の第５実施形態によれば、平面の口領域ウィンドウを用いる場合に比べて、より高精度に正規化口画像を生成することができる。つまり、口領域ウィンドウを円柱側面上に張り付いていると仮定することで、実際の顔形状により一致して口の領域を正確に定めることができる。
　［第６実施形態］
　次に、本発明の第６実施形態にかかる装置の構成について説明する。本実施形態では、第１～第５実施形態の構成の装置を口の動きを検出することにより読唇、すなわち会話内容の認識を実行する認識装置に応用する。本実施形態にかかる認識装置の構成は、第１～第５実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。
　すなわち、本実施形態の認識装置は、図１に示す構成のうち、認識対象者Ｓを撮影するカラーカメラ３と、認識対象者Ｓの瞳孔の空間座標を検出するための瞳孔位置検出部４と、光源発光回路６と、データ解析部７とを備える。データ解析部７は、上述した第１～第５実施形態の手法によって得られた複数の時系列の正規化口画像の画像差分を用いて、認識対象者Ｓの唇の動きを検出する。
　詳細には、データ解析部７は、画像差分により得られた差分画像を対象に、差分値の絶対値をＰタイル法等により予め設定された適切な閾値で二値化することにより、二値化画像を生成する。そして、データ解析部７は、取得した二値化画像中のエッジを検出することにより、上唇の下の境界ライン（上唇のエッジ）と、下唇の上の境界ライン（下唇のエッジ）を検出する。さらに、データ解析部７は、上唇のエッジと下唇のエッジとの距離を計測することにより、口の開き具合を数値化して検出する。このとき、データ解析部７は、正規化画像における口の横方向に沿った複数個所でエッジ間の距離を数値化する。例えば、図１２（ａ）及び図１２（ｂ）には、データ解析部７によるエッジ計測の対象となる正規化口画像の一例を示している。図１２（ａ）に示すように、認識対象者Ｓが「あ」、「い」を発音した際には口が横に広がった状態となり、図１２（ｂ）に示すように、認識対象者Ｓが「お」を発音した際には小さく丸まった状態となる。データ解析部７は、検出した上唇のエッジＥＵ及び下唇のエッジＥＬの距離を二値化画像において予め規定された横方向座標の５か所（図１２（ａ）及び図１２（ｂ）の矢印の箇所）で算出することにより、口の開き方の形状を認識する。そして、データ解析部７は、時系列の正規化画像に対して順次得られた複数の二値化画像に対して口形状の認識を繰り返すことにより、口の開き方の形状の時系列変化を認識する。その結果、データ解析部７は、認識対象者Ｓの会話内容を認識することができる。ここで、データ解析部７は、正規化画像を対象に認識処理を実行することで、図１２（ｃ）に示すように、カラーカメラ３で得られた画像において認識対象者Ｓの顔が回転していたような場合であっても、画像上で検出された認識対象者Ｓの瞳孔の位置Ｐ１，Ｐ２を基準に切り出された正規化口画像を基に、口の２つのエッジＥＵ、ＥＬ間の距離を測る方向及び位置を適切に定めることができる。
　このような第６実施形態によれば、認識対象者Ｓの口の開き方の形状を時系列に認識することができる。例えば、「お」と発音したときの口が小さく丸まった状態と、「あ」、「い」と発音したときの口が横に広がった状態を正確に区別して認識することができる。また、「わ」と発音したときに最初に口を尖らせてその後に口を開く状態も認識することができる。その結果、発声により唇が動作する場合においても、口の位置が安定して切り出された正規化口画像を用いることにより、正確に認識対象者Ｓの唇の動きを検出することができる。ただし、認識対象者Ｓの照明状態が悪ければ、必ずしも、上唇の下の境界ライン（上唇のエッジ）と、下唇の上の境界ライン（下唇のエッジ）は検出できない場合も考えられる。例えば、下唇に関しては、下唇の下の境界ラインと上の境界ラインのほぼ中間位置などが検出される場合である。その場合でも、下唇の動きが検出できるだけでなく、前述のような形状もおよそ検出できる。さらに、本手法によれば、いつも同じ位置およびサイズの正規化口画像が得られるので、特にカラー画像からは、画像処理範囲を狭めながら、効率的な画像処理、または、色を考慮した画像処理が容易であり、唇のエッジが容易に検出できる。
　本発明は、上述した実施形態に限定されるものではない。
　上記第１～第６実施形態においては、２台の瞳孔位置検出用光学系８を用いて瞳孔或いは鼻孔の３次元空間内の３次元座標を検出していたが、１台のカメラを含む光学系で瞳孔或いは鼻孔の３次元座標を検出してもよい。このような構成としては、本発明者による特許第４４３１７４９号に記載の構成を採用できる。この構成の場合は、２台の瞳孔位置検出用光学系８を左右に離して配置して、これらの検出結果を統合することにより、母親Ｍあるいは認識対象者Ｓの顔姿勢の広い範囲で正規化口画像を生成することができる。その結果、母親Ｍあるいは認識対象者Ｓの顔の左右の大きな回転にも対応できる。母親Ｍあるいは認識対象者Ｓの顔の正面から大きく外れた方向から顔画像を撮影しその顔画像から正規化された口画像を生成すると、口角のあたりにおいては正規化された画像が正確ではない。しかし、その場合でも、第５実施形態のように曲面の口領域ウィンドウを設定することで精度を改善できる。
　このように瞳孔位置検出用光学系を１台とした場合には、１つの光学系のみで白黒画像の正規化口画像を得ることができる。また、１台の瞳孔位置検出用光学系と１台のカラーカメラを用いることで、カラー画像の正規化口画像を得ることもできる。また、１台のカメラとして分割された画素ごとにカラー画像と白黒画像を得ることができるカメラを用いれば、１台のカメラでカラー画像の正規化口画像を得ることができる。このようにカラー画像の正規化口画像を得ることで、より正確に口の動きを検出できる。
　第１実施形態に係るデータ解析部７は、カラー画像を用いて正規化口画像を生成する代わりに、瞳孔位置算出部１１によって設定された口領域ウィンドウＷＤ１の位置範囲内の顔画像Ｇ１を用いて、白黒画像から正規化口画像を生成してもよい。
　また、上記第４および第５実施形態においては、口領域ウィンドウとして平面状又は円柱の側面形状のウィンドウを算出していたが、このような形状には限定されず、様々な曲面、平面、あるいはそれらの組み合わせで構成されるウィンドウを算出してもよい。
　ここで、上記実施形態において、画像取得部は、複数の顔画像を連続して取得し、領域算出部は、複数の顔画像に対応して生成された複数の正規化口画像を用いて、複数の正規化口画像における対象者の口の位置を特定し、特定した口の位置を用いて口領域の位置を補正することとしてもよい。この場合、対象者が様々入れ替わった場合であっても、より正確に口領域の画像を得ることができる。
　また、瞳孔位置算出部は、顔画像上の対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、領域算出部は、顔画像上の口領域の位置及びサイズを算出し、口画像生成部は、口領域内の顔画像を画像変換することにより正規化口画像を生成することとしてもよい。この場合には、顔画像上で口領域の計算が行われるので、計算が簡素化され、安定して口領域の画像を得ることができる。
　また、領域算出部は、顔画像上の右の瞳孔と左の瞳孔との距離を算出し、当該距離から、右の瞳孔及び左の瞳孔を基準とした口領域の位置及び口領域のサイズを算出することとしてもよい。この場合には、画像取得部と対象者の顔との距離が変化した場合に顔画像中の口領域をその距離に応じて正確に切り出すことができる。加えて、顔の大きさが異なる対象者に入れ替わっても顔画像中の口領域をその顔の大きさに応じて正確に切り出すことができる。
　また、瞳孔位置算出部は、顔画像上の対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、領域算出部は、右の瞳孔及び左の瞳孔と、右の鼻孔及び左の鼻孔との位置関係を算出し、当該位置関係から、口領域の位置及び口領域のサイズを算出することとしてもよい。この場合には、対象者の画像取得部に対する姿勢が変わっても、４点の位置関係を用いて口領域を算出することで、顔画像中の口領域を正確に切り出すことができる。
　また、瞳孔位置算出部は、３次元空間内での対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、領域算出部は、３次元空間内での口領域の位置及びサイズを算出し、口画像生成部は、口領域に相当する箇所の顔画像を用いることにより正規化口画像を生成することとしてもよい。この場合、対象者の画像取得部に対する姿勢が変わっても、３次元空間内で口領域を算出することで、顔画像中の口領域をより正確に切り出すことができる。
　また、瞳孔位置算出部は、３次元空間内での対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、領域算出部は、右の瞳孔、左の瞳孔、右の鼻孔、及び左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして口領域の位置を算出することとしてもよい。この場合は、対象者の画像取得部に対する姿勢が変わっても、４点の３次元の位置関係を用いて口領域を算出することで、顔画像中の口領域をより正確に切り出すことができる。
　さらに、領域算出部は、右の鼻孔と左の鼻孔とを結ぶ軸を第１の座標軸とし、右の鼻孔と左の鼻孔との中点を通り、右の瞳孔と左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定することでもよい。こうすれば、対象者の視線変化により目が動いた場合であっても安定して対象者の顔姿勢が特定でき、その結果、視線変化にかかわらず顔画像中の口領域を正確に切り出すことができる。
　また、口画像生成部は、口領域に相当する箇所の顔画像を射影変換することにより正規化口画像を生成することでもよい。こうすれば、画像取得部に対する対象者の顔姿勢が変化しても、顔画像から正規化された口画像を生成することができる。
　また、口画像生成部は、口領域をグリッド分けした複数の位置を顔画像上の複数の座標に変換し、変換した複数の座標のそれぞれにおける顔画像の画素値を割り当てることにより正規化口画像を生成することでもよい。こうすれば、画像取得部に対する対象者の顔姿勢が変化しても、顔画像から正規化された口画像を生成することができる。
　さらに、領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出することでもよい。こうすれば、対象者の顔形状により一致した口画像を生成することができる。
　また、上記形態の口領域検出方法は、正規化口画像を利用することによって対象者以外の被験者の注視点と口領域との関係を演算する自閉症診断のためのステップをさらに備えていてもよい。また、正規化口画像を利用することによって対象者の上唇と下唇との間の距離を基に対象者の口形状の認識を行う読唇のためのステップをさらに備えていてもよい。
　本発明の一側面は、口領域検出装置及び口領域検出方法を使用用途とし、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出するものである。
　Ｍ…母親（対象者）、Ｓ…認識対象者、Ｎ１，Ｎ２…左右の鼻孔の位置、Ｐ１，Ｐ２…左右の瞳孔の位置、ＷＤ１，ＷＤ２，ＷＤ３，ＷＤ４，ＷＤ５…口領域ウィンドウ、１…自閉症乳幼児診断装置、３…カラーカメラ（画像取得部）、７…データ解析部（口画像生成部）、９…瞳孔検出用カメラ（画像取得部）、１１…瞳孔位置算出部（領域算出部）。

Claims (14)

  1. 　対象者の顔を撮像することで顔画像を取得する画像取得部と、
    　前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、
    　前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、
    　前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、
    を備える口領域検出装置。
  2. 　前記画像取得部は、複数の前記顔画像を連続して取得し、
    　前記領域算出部は、前記複数の顔画像に対応して生成された複数の正規化口画像を用いて、前記複数の正規化口画像における前記対象者の口の位置を特定し、特定した前記口の位置を用いて前記口領域の位置を補正する、
    請求項１記載の口領域検出装置。
  3. 　前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、
    　前記領域算出部は、前記顔画像上の前記口領域の位置及びサイズを算出し、
    　前記口画像生成部は、前記口領域内の前記顔画像を画像変換することにより前記正規化口画像を生成する、
    請求項１又は２記載の口領域検出装置。
  4. 　前記領域算出部は、前記顔画像上の前記右の瞳孔と前記左の瞳孔との距離を算出し、当該距離から、前記右の瞳孔及び前記左の瞳孔を基準とした前記口領域の位置及び前記口領域のサイズを算出する、
    請求項３記載の口領域検出装置。
  5. 　前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、
    　前記領域算出部は、前記右の瞳孔及び前記左の瞳孔と、前記右の鼻孔及び前記左の鼻孔との位置関係を算出し、当該位置関係から、前記口領域の位置及び前記口領域のサイズを算出する、
    請求項３記載の口領域検出装置。
  6. 　前記瞳孔位置算出部は、３次元空間内での前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、
    　前記領域算出部は、３次元空間内での前記口領域の位置及びサイズを算出し、
    　前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を用いることにより前記正規化口画像を生成する、
    請求項１又は２記載の口領域検出装置。
  7. 　前記瞳孔位置算出部は、３次元空間内での前記対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、
    　前記領域算出部は、前記右の瞳孔、前記左の瞳孔、前記右の鼻孔、及び前記左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして前記口領域の位置を算出する、
    請求項６記載の口領域検出装置。
  8. 　前記領域算出部は、前記右の鼻孔と前記左の鼻孔とを結ぶ軸を第１の座標軸とし、前記右の鼻孔と前記左の鼻孔との中点を通り、前記右の瞳孔と前記左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定する、
    請求項７に記載の口領域検出装置。
  9. 　前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を射影変換することにより前記正規化口画像を生成する、
    請求項６～８のいずれか１項に記載の口領域検出装置。
  10. 　前記口画像生成部は、前記口領域をグリッド分けした複数の位置を前記顔画像上の複数の座標に変換し、変換した前記複数の座標のそれぞれにおける前記顔画像の画素値を割り当てることにより前記正規化口画像を生成する、
    請求項６～８のいずれか１項に記載の口領域検出装置。
  11. 　前記領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出する、
    請求項６～１０のいずれか１項に記載の口領域検出装置。
  12. 　画像取得部が、対象者の顔を撮像することで顔画像を取得するステップと、
    　瞳孔位置算出部が、前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出するステップと、
    　領域算出部が、前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出するステップと、
    　口画像生成部が、前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成するステップと、
    を備える口領域検出方法。
  13. 　前記正規化口画像を利用することによって前記対象者以外の被験者の注視点と前記口領域との関係を演算する自閉症診断のためのステップをさらに備える、
    請求項１２記載の口領域検出方法。
  14. 　前記正規化口画像を利用することによって前記対象者の上唇と下唇との間の距離を基に前記対象者の口形状の認識を行う読唇のためのステップをさらに備える、
    請求項１２記載の口領域検出方法。
PCT/JP2016/060713 2015-03-31 2016-03-31 口領域検出装置及び口領域検出方法 WO2016159255A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017510200A JP6652263B2 (ja) 2015-03-31 2016-03-31 口領域検出装置及び口領域検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015073089 2015-03-31
JP2015-073089 2015-03-31

Publications (1)

Publication Number Publication Date
WO2016159255A1 true WO2016159255A1 (ja) 2016-10-06

Family

ID=57005949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060713 WO2016159255A1 (ja) 2015-03-31 2016-03-31 口領域検出装置及び口領域検出方法

Country Status (2)

Country Link
JP (1) JP6652263B2 (ja)
WO (1) WO2016159255A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126290B1 (ja) * 2016-10-17 2017-05-10 ヴィスコ・テクノロジーズ株式会社 外観検査装置
JP6456461B1 (ja) * 2017-11-17 2019-01-23 株式会社アルム 鼻弁狭窄診断装置、および鼻弁狭窄診断システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111296946A (zh) * 2020-04-07 2020-06-19 中国人民解放军陆军军医大学第一附属医院 烈性传染病鼻咽拭子采集防护口罩

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040232A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理装置及びその方法、撮像装置、プログラム
US20100220925A1 (en) * 2005-12-28 2010-09-02 Kao Corporation Detecting method and detecting system for positions of face parts
US20110242486A1 (en) * 2010-03-30 2011-10-06 Yoshinobu Ebisawa Autism diagnosis support apparatus
WO2012169251A1 (ja) * 2011-06-07 2012-12-13 オムロン株式会社 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040232A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理装置及びその方法、撮像装置、プログラム
US20100220925A1 (en) * 2005-12-28 2010-09-02 Kao Corporation Detecting method and detecting system for positions of face parts
US20110242486A1 (en) * 2010-03-30 2011-10-06 Yoshinobu Ebisawa Autism diagnosis support apparatus
WO2012169251A1 (ja) * 2011-06-07 2012-12-13 オムロン株式会社 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ATSUSHI SAYO: "A Study on Multimodal Biometrics Authentication Method Using Features in Utterance", IEICE TECHNICAL REPORT, vol. 111, no. 467, 2012, pages 287 - 292 *
JOHNES, WARREN: "Attention to eyes is present but in decline in 2-6-month-old infants later diagnosed with autism", NATURE, vol. 504, 2013, pages 427 - 431, XP055315392 *
TAKESHI SAITO: "Lip Reading Based on Trajectory Feature", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J99-D, no. 4, 2007, pages 1105 - 1114 *
YUHEI NAKASHIMA: "Image processing of learner's face for an utterance traing system", IEICE TECHNICAL REPORT, vol. 104, no. 494, 2004, pages 73 - 78 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126290B1 (ja) * 2016-10-17 2017-05-10 ヴィスコ・テクノロジーズ株式会社 外観検査装置
JP2018066586A (ja) * 2016-10-17 2018-04-26 ヴィスコ・テクノロジーズ株式会社 外観検査装置
JP6456461B1 (ja) * 2017-11-17 2019-01-23 株式会社アルム 鼻弁狭窄診断装置、および鼻弁狭窄診断システム

Also Published As

Publication number Publication date
JPWO2016159255A1 (ja) 2018-02-01
JP6652263B2 (ja) 2020-02-19

Similar Documents

Publication Publication Date Title
US20200229737A1 (en) System and method for patient positionging
US11042994B2 (en) Systems and methods for gaze tracking from arbitrary viewpoints
JP5858433B2 (ja) 注視点検出方法及び注視点検出装置
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
WO2018030515A1 (ja) 視線検出装置
JP6014931B2 (ja) 視線計測方法
CN110913751B (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
JP7030317B2 (ja) 瞳孔検出装置及び瞳孔検出方法
JP6631951B2 (ja) 視線検出装置及び視線検出方法
CN102670168A (zh) 眼科设备及其控制方法
JP2019000136A (ja) 視線計測装置及びプログラム
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
CN111488775B (zh) 注视度判断装置及方法
WO2016159255A1 (ja) 口領域検出装置及び口領域検出方法
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP5429885B2 (ja) 特徴点追跡方法及び特徴点追跡装置
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP6785723B2 (ja) 視線計測装置
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法
JP2006285531A (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム
JP2016024616A (ja) 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム
JP5004099B2 (ja) カーソル移動制御方法及びカーソル移動制御装置
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16773135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017510200

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16773135

Country of ref document: EP

Kind code of ref document: A1