WO2011055224A1 - Dispositif et procede de detection et suivi des contours interieur et exterieur des levres - Google Patents

Dispositif et procede de detection et suivi des contours interieur et exterieur des levres Download PDF

Info

Publication number
WO2011055224A1
WO2011055224A1 PCT/IB2010/002826 IB2010002826W WO2011055224A1 WO 2011055224 A1 WO2011055224 A1 WO 2011055224A1 IB 2010002826 W IB2010002826 W IB 2010002826W WO 2011055224 A1 WO2011055224 A1 WO 2011055224A1
Authority
WO
WIPO (PCT)
Prior art keywords
mouth
lips
contour
inner contour
image
Prior art date
Application number
PCT/IB2010/002826
Other languages
English (en)
Inventor
Sébastien STILLITTANO
Alice Caplier
Pierre-Yves Coulon
Original Assignee
Vesalis
Institut Polytechnique De Grenoble
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vesalis, Institut Polytechnique De Grenoble filed Critical Vesalis
Publication of WO2011055224A1 publication Critical patent/WO2011055224A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the invention relates to the segmentation of the lips for static images and video sequences, and in particular the detection of the inner contour of a human mouth.
  • the mouth is a highly deformable facial component. Following the opening of the mouth (closed, open), the contours of the lips vary a lot. The segmentation method must take into account all possible deformations.
  • the appearance around the mouth can be modified by the presence of mustaches or a beard.
  • the mouth can be partially or completely obscured by whiskers or by an object.
  • Illumination variations may affect detection by changing the appearance around and on the lips. Part of the lower lip may be overexposed or brighter if the light comes from above. Skin just below the mouth can also be darker in the direction of light.
  • the segmentation of the internal labial contour is a difficult task because of the non-linearity of the problem.
  • the appearance of the internal contour and the appearance of the inside of the mouth may vary abruptly depending on whether the mouth is open or closed, and according to the visibility of the teeth, gums, tongue or oral cavity.
  • the invention provides different technical means.
  • a first object of the invention is to provide a method of detecting the inner contour of the lips may take into account the cases where the mouth is open and those where the mouth is closed.
  • Another object of the invention is to provide a device for detecting the inner contour of the lips may take into account the same two cases.
  • the invention firstly provides a method for detecting the inner contour of the lips of a human mouth from a digital image, comprising the steps of:
  • the parametric models are deformable models that evolve towards the contours of the object of interest using a calculation of energy minimization and using knowledge a priori on the overall shape of the object. to extract.
  • the main advantages of parametric models are the geometric constraints that impose an assortment of permissible forms for the result of the segmentation. This makes it possible to avoid too loose deformations and the contour obtained after convergence is consistent with the predefined model.
  • the parametric outer contour model comprises at least four cubic curves, ie two on each side of the mouth, defining the upper ( ⁇ 1, ⁇ 2) and lower ( ⁇ 3, ⁇ 4) contours from commissures of the lips.
  • constraints on the derivatives of the cubic curves reduce the number of parameters to be estimated during the optimization phase of the model.
  • This model has the advantage of providing a precise description of the outer contour of the lips, without being too complex (knowing for each cube the two end points and a derivative value, there remains only one parameter to be determined).
  • this model is flexible enough to represent very varied forms of mouth. Among other things, no symmetry of the model is imposed.
  • the two key points of the inner contour of the lips are preferably the median points of the upper (P8) and lower (P10) inner contours.
  • the optimization of the internal parametric model is obtained by determining gradients (G1, G2, G3, G4) likely to accentuate the contours of the lips.
  • the open mouth detection test comprises a step of comparing the relative positions of the lower and upper snakes to check whether the upper snake stops above the lower snake, and if the region defined between 2 snakes is bigger than a predefined threshold.
  • the threshold is 10 pixels.
  • a jumping snake is primarily used to find key points to initialize the different parametric models of the lips. Four different jumping snakes are preferably taken into account:
  • the mouth if the mouth is closed, it detects an internal key point defined according to a closed mouth:
  • At least one parametric curve defining the internal contour is determined
  • the internal parametric model is optimized according to the criteria inherent to a closed mouth.
  • the method for detecting the inner contour of the lips of a human mouth from a digital image comprises dynamic tracking steps consisting of:
  • the invention also provides a device for detecting the inner contour of the lips of a human mouth from a digital image, comprising:
  • an outer contour extraction module for extracting the outer contour of the lips from an image of a face or a mouth
  • an inner contour extraction module for extracting the inner contour of the lips from an image of a face or a mouth
  • an open mouth condition test module capable of performing a test to determine conditions under which the mouth is open
  • each of the outer and inner contour extraction modules comprising:
  • a key point detection module capable of detecting at least two key points of the inner contour of the lips
  • a module for generating parametric curves capable of determining parametric curves for defining the contour between said key points
  • an optimization module that can optimize parametric models according to given criteria.
  • the device further comprises a module for obtaining images, for obtaining at least a first image of the lips for which the detection of the contour is provided.
  • FIGS. 1A, 1B, 1C, 1D and 1E show images of different cases of open mouths in order to illustrate the difficulties of non-linearity inherent in the numerous possible cases;
  • FIGS. 2A, 2B and 2C present the key elements of the parametric models used
  • FIG. 4A schematically shows the actual shape of the lips and the gradients used for each element of the outline
  • FIG. 4B shows schematically the diamond shape of the lips and the filters applied to the different areas
  • FIG. 5 is a functional flowchart showing the key steps of the segmentation process with possible follow-up steps
  • Figure 6 illustrates a bounding box
  • Figure 7A is an image of a mouth to be treated
  • Figure 7B shows candidate pixel tests at commissures
  • FIG. 8 is a functional flow diagram showing the main steps of the contour detection method according to the invention.
  • Figure 10A is a masked image of the teeth
  • FIGS. 11A and 11B show the adjustments of the upper inner snakes in the presence of the gums
  • Figures 12A, 12B and 12C illustrate the detection of internal commissures
  • 13A, 13B and 13C show the verification of the open mouth hypothesis
  • FIGS. 15A, 15B, and 15C show the deformation of the external model of the preceding image (t-1) to the current image (t), with the result of the image previous in 15A, the deformation of ⁇ 1 in 15B, and the outer model deformed in 15C;
  • 16A and 16B show the adjustment of the external commissures, with the candidate test at 16A and the commissures adjusted at 16B;
  • FIGS. 17A, 17B and 17C show the adjustment of the external key points, with the outside model deformed at 17A, the initial upper snake at 17B and the convergence of the snake with registration of the points P 2 and P 4 at 17C;
  • FIG. 18 illustrates a reset of tracking during a sequence, with images without reinitialization (top images) and with reset (bottom images);
  • FIGS. 19A and 19B illustrate the optimization of the external model, with variation of the slopes at the level of the external commissures at 19A and the final external cubic at 19B;
  • FIGS. 20A and 20B illustrate the optimization of the open mouth internal model with slope variation at the external commissures at 20A and the final interior cubic at 20B;
  • FIG. 21 is a schematic representation of the lip contour detection device according to the invention with the main modules involved in the implementation;
  • FIG. 22 is a schematic representation of the lip contour detection device according to the invention during its implementation illustrating the obtaining of multiple parametric data from the digital image data mouth to be processed.
  • the inner contour of the lips can take different aspects and be defined as being the border between the upper lip and the lower lip ( Figure 1A), the lip and the lips. teeth (Figure 1B), the lip and gums (Figure 1C), the lip and tongue (Figure 1D) and the lip and oral cavity (Figure 1E). All these configurations make the inner contour may have different properties and the segmentation method must be able to find the right contour in each case. Segmentation tools
  • the parametric models are deformable models that evolve towards the contours of the object of interest using a minimization calculation of energy and using knowledge a priori on the overall shape of the object. to extract. Energy is composed of an internal term and an external term.
  • the use of parametric models requires the definition of the model (choice of parameterized curves) according to the shape of the object of interest.
  • the choice of the model is a compromise between the desired freedom of deformation and the algorithmic complexity.
  • the parametric model-based algorithms for labial analysis require the definition of three steps: the choice of the model for the description of contours, the initialization and the optimization of the model taking into account appropriate information and calculated from the 'picture.
  • the detection method preferably uses a parametric model for the outer contour of the lips, shown in Figure 2A, and two parametric models for the inner contour (open mouth shown in Figure 2B and closed mouth shown in Figure 2C )
  • the parametric model used for the outer contour (FIG. 2A) is composed of a broken line and four cubic lines connected by six key points Pi to Pe- Pi and P 5 are the outer corners of the mouth, also called commissures of the lips.
  • P2, P3 and P4 define Cupid's bow, which is the "V" shape visible in the middle of the upper contour of the mouth.
  • P 6 is the low point of the outer contour lying on the vertical line passing through P 3 .
  • the upper outer contour is defined by the curves ⁇ , ⁇ 2 , and the broken line [P2P3P4], while the lower outer contour is defined by the curves ⁇ 3 and ⁇ 4 .
  • This model has the advantage of providing a precise description of the outer contour of the lips, without being too complex (knowing for each cube the two end points and a derivative value, there remains only one parameter to be determined).
  • this model is flexible enough to represent very varied forms of mouth. Among other things, no symmetry of the model is imposed.
  • the inner contour (Figure 2B) is defined by 4 cubic connected by 4 key points.
  • Pg and P10 are the midpoints of the upper and lower inner contour located on the vertical through P3.
  • P3 being the midpoint of Cupid's bow, the vertical passing through P3 actually represents the middle of the mouth.
  • P 7 and Pg are the internal commissures of the mouth. The choice to differentiate the commissures is due to the fact that in case of protrusion-like labial movements, the internal and external commissures differ. This also allows for finer segmentation when the mouth is slightly open.
  • the upper internal contour is defined by the 2 cubic> 3 ⁇ 4 and ⁇ 3 ⁇ 4.
  • the lower internal contour is defined by the 2 cubic jv and ⁇ 8 .
  • This model allows a precise and flexible representation of the inner contour of the lips when the mouth is open.
  • Each cubic being defined by 2 points and a derivative value, there remains only one parameter per cubic to be estimated.
  • the model of the inner contour (Figure 2C) is composed of 2 cubic connected by 1 single key point Pu.
  • Pu is the midpoint of the inner contour.
  • the internal commissures are the same as the external commissures and PSFPS) - The choice made allows a simple transition from the open mouth / closed mouth model in case of segmentation of a video sequence.
  • the active contours introduced by Kass et al. in the document: M. Kass, A. Witkin and D. Terzopoulos, Snakes: Active Contour Models, International Journal of Computer Vision, vol. 1 (4), pp. 321-331, 1987., are commonly called "snake” because of their way of waving like a snake during their deformation.
  • Snakes are composed of a series of moving dots placed on a 2D curve. Depending on the application, the curve may or may not be closed, with fixed or non-fixed ends.
  • the active contours evolve iteratively from an initial position to their final position, being attracted by the local minimum closest to the energy functional.
  • the minimization method is controlled by constraints and is controlled by the salient data of the image.
  • Active contours are widely used for contour detection applications because of their ability to integrate the two extraction and chaining steps in a single operation.
  • Snakes can be used for open contours as well as for closed contours or contours with fixed ends. Active contours are fast and simple to implement in 2D.
  • the active contour used for the labial segmentation is the jumping snake, namely an active contour that converges in a succession of phases of jump and growth. It is defined by an assortment of points that form a line broken.
  • Figures 3A and 3B illustrate the principle of the algorithm for the upper outer contour of the lips. It is first initialized by a seed S 0 . Then, during the growth phase, points are added on both sides of the snake. Each point is found by maximizing average flows of gradients through the segments formed by the current candidate point and the previous point. When the snake reaches a predetermined number of points (2N + 1), the growth stops. Finally, the seed jumps to a new position S 1 closer to the desired contour. The growth and jumping process is repeated until the seed jump amplitude is less than one pixel. At the final iteration, the snake is positioned on the upper outer contour of the lips.
  • the initialization (the position of the seed) can be relatively far from the desired outline and the choice of jumping parameters snake is easy and intuitive.
  • the main parameters are the horizontal distance ⁇ between each snake point and N which gives the snake point number (2N + 1).
  • the choice of ⁇ and N is a compromise between speed and accuracy. Other parameters allow you to force the jumping snake to move up or down.
  • a jumping snake is primarily used to find key points to initialize the different parametric models of the lips. Four different jumping snakes are taken into account:
  • Gradients are advantageously constructed to accentuate the contour of the lips. These gradients are used on the one hand for convergence different jumping snakes and secondly, for optimizing parametric models.
  • R and G are the red and green components of the RGB space.
  • G 1 V [-H l - ⁇ R - G + B (Eq.2)
  • V is the gradient operator and x is the element-by-element multiplication operator.
  • H-i and H2 are the pseudo-hues.
  • L is the luminance and u is a color component derived from the CIELuv color space.
  • R, G and B are the color components of the RGB space.
  • Cr is a color component from the YCbCr space.
  • the gradient G1 for the upper outer contour To accentuate the upper outer contour, we use the hybrid gradient, noted Gi, calculated with Equation 1.
  • the gradient Gi is used for the upper outer contour because the pseudo-shade H 1 increases the contrast between the upper lip and the skin above the mouth.
  • the + sign of Equation 1 is that the Hi values are lower for the skin than for the upper lip (below).
  • the light comes from above.
  • the upper border of the mouth is a zone of high luminance, while the top of the upper lip is darker (hence the sign - in front of the luminance in equation 1).
  • the gradient G ⁇ also uses the pseudo-hue H1, but also the components of the RGB space (see Eq.2).
  • Hi is used for its ability to bring out the lips with respect to the skin.
  • the + sign of equation 2 in front of Hi comes from the fact that the values of Hi are stronger for the lower lip than for the skin underneath.
  • the sum R-G + B is a combination that accentuates the lips, hence the same sign - in front of this sum.
  • the gradient construction is complex. Indeed, the outer contour is always a border between lips and skin.
  • the upper outer contour separates the skin, located between the nose and the mouth, and the upper lip.
  • the lower outer contour separates the skin, located under the mouth, and the lower lip.
  • the border is between the lips and one of the following 4 possibilities: teeth, gums, tongue or oral cavity.
  • teeth it is necessary that the outline is pronounced for all the possible cases, because during a conversation, the variation of appearance of the inside of the mouth is non-linear and we can have brutal transitions between these configurations.
  • interior gradients are the combination of several different components appropriate in one of the possible cases.
  • the gradient G3 (see Eq.3 and FIG.4A) is based on the fact that:
  • the component R may be lower for the pixels of the upper lip than for the inside of the mouth (hence the sign + of equation 3),
  • the component u is larger for the pixels of the upper lip than for the pixels "tooth" below. Indeed u is close to 0 for the teeth (hence the sign - in front of the component u),
  • the luminance L has, generally, larger values for the pixels of the upper lip than for the inside of the mouth (hence the sign -). In general, the inside of the mouth is dark, except in case of presence of teeth (but this is filled by the contribution of the component
  • the gradient G 4 (see Eq.4 and FIG.4A) is based on the fact that:
  • the u component is larger for "lip” pixels than for "tooth” pixels (indeed u is close to 0 for teeth).
  • the luminance L has, generally, larger values for "lip" pixels than for the inside of the mouth.
  • the gradient G5 is used for a particular case which is the presence of the gums and it helps to accentuate the border between the lip and the gums. G5 was constructed considering that the values of the color components Cr, resulting from the space YCbCr, and R are lower for the upper lip than for the gums below (hence the + signs).
  • the horizontal component of the gradients is used in the context of the segmentation of the lips, insofar as it is the predominant component, given the particular shape of the mouth (the contours are essentially horizontal).
  • 2D filters make it possible to calculate a diagonal component, since the inner and outer contours of the lips can be likened to two diamonds, as shown in FIG. 4B).
  • the 3 filters used are the following filters F1, F ⁇ and F3:
  • FIG. 5 presents, successively, the main steps of the method according to the invention, in static mode and in dynamic mode.
  • Static mode can be applied to a static image or to the first image of a video sequence.
  • the static algorithm is composed of 3 phases (100, 110, and 120).
  • the face is detected (step 100), then a box flanking the mouth is determined to generate a region of interest and reduce the cost of calculation (step 110).
  • the inner and outer contours of the lips are extracted from the image (step 120).
  • the tracking mode is for the tracking of labial contours in video sequences and the dynamic algorithm applied to subsequent images.
  • the dynamic algorithm is composed of 4 phases (200, 210, 220 and 230).
  • step 200 several key points (step 200) are followed. Then, depending on the result of tracking key points, it may be necessary to reset the tracking of the lip contours in the sequence (step 210). Finally, either the static algorithm (steps 100, 110, 120) is used again in the event of a reset, or the bounding box of the mouth (step 220) and the labial contours (step 230) are followed.
  • the static approach consists of 3 phases and is applied either for static images or for the first image of a sequence.
  • the first step of a segmentation is the search for an area of interest to reduce the area of search contours. In addition, this reduces the computational costs associated with image processing (calculation of color spaces, gradients ). In the context of the detection of the contours of the lips, one must first locate the face and then focus on the mouth.
  • the face detection (Step 100) is preferably performed using the C3F algorithm.
  • This approach based on convolutional neural networks also gives the position of the centers of the eyes, the center of the nose and the center of the mouth. AT From these points, it is easy to find a box framing the mouth (Step 1 10) because it does not need to be very precise, but it must contain the entire mouth. Indeed, the box is used for the rest of the process, to limit the search for outlines and to define the position of the 2 germs for jumping upper outdoor snake and jumping outside lower snake. However, these germs are subject to few constraints for their positioning; they should be closer to the mouth than the nose or chin.
  • jumping snakes and parametric models are combined.
  • jumping snakes are used in the initialization stage (detection of the position of the external and internal key points), whereas the parametric models have been built to model the lip contour (the optimization of the models allows to extract the contours of the lips).
  • the extraction method of the outer contour is an improvement of an algorithm developed by Eveno and presented in the document N. Eveno, A. Caplier, P.Y. Coulon, Automatic and Accurate Lip Tracking, in IEEE Trans. Circuits and Systems for Video Technology, Vol. 14, No. 5, pp. 706-715, 2004.
  • obtaining the outer contour is performed automatically, while in the Eveno approach a seed must be placed manually above the mouth.
  • a second snake is added, for a more robust detection of the point Pe-
  • the external parametric model is composed of 6 key points at e-
  • the points P ⁇ , P3, P * and P & can be located directly by converging 2 jumping snakes.
  • the external commissures of the lips (Pi and P5) are more difficult to detect locally; they will be determined at the same time as the calculation of the curves of the model.
  • An upper outside snake jumping is used for the high outside points P2, P3 and P4, while a lower outside snake jumping is used to find P &.
  • the jumping snake algorithm is initialized by a single point (the seed).
  • the enclosing box of the mouth found previously (Step 110) allows to initialize these 2 snakes.
  • the 2 germs are chosen as the middle points of the upper and lower sides of the bounding box.
  • commissures are particularly delicate insofar as they are not seen as 2 points but rather as a dark area located at each end of the mouth.
  • Both upper and lower outer jumping snakes provide additional points.
  • the points of snakes are reliable in the middle of the mouth, where the contours are the most marked and where gradients are stronger. While getting closer to the ends of the mouth, the points of the snakes may not be exactly on the contours if they are not marked enough. Thus, it is possible to use only the points close to the key points P ⁇ , P4 and P 6 and thus far from the commissures.
  • the cubic curves can be directly calculated with now four equations or using the least squares method using three additional points. Both of these methods provide approximate results for cubic and commissure detection (at cubic intersections), since points far away from the commissures are used. Also, by varying, even slightly, the position of one of the points, these methods provide very different results.
  • the cubic pair ( ⁇ and Y4) to the left of the mouth is calculated in using the information mentioned above.
  • a criterion for maximizing the average gradient flow makes it possible to determine the best torque for each side of the mouth and to find P 1 and P 5 .
  • the determination of the positions of the commissures and the optimization of the model can therefore be performed in one and the same operation.
  • Lmin the line of luminance minima
  • dn is the vector orthogonal to the contour and ds is the curvilinear abscissa.
  • the segmentation of the inner contour is based on an approach similar to the segmentation of the outer contour: internal key points are detected following the convergence of a snake jumping to position the inner parametric model and the optimization of the model is carried out using an outline criterion. However, it must be determined which internal model (among the "open mouth” or the "closed mouth”) is appropriate for the processed image.
  • the extraction method of the inner contour in the case of the open mouth follows steps similar to those relating to the outer contour.
  • Two jumping snakes give the position of the two internal key points Pa and Pio, the inner parametric model is initialized and adjusted using an edge criterion.
  • the finalization of the extraction is determined by the verification of the "open mouth" hypothesis. If the mouth is actually closed, the case closed mouth is treated.
  • Pe The position of the key point Pe is found by converging a higher inner snake and that of Pw by converging a lower inner snake. Indeed, Pe and Pw (shown in Figure 9) are respectively the midpoints of the upper and lower internal contours. Both germs must respect the following constraints:
  • germ initialization areas are relatively large and it is not essential to have a high placement accuracy, as long as these constraints are met.
  • the abscissae of the inner germs are assigned to the value of the abscissa of Pe- With respect to the ordinates, the gradients G3 and G4 respectively accentuate the upper and lower inner contours.
  • the two inner seeds are positioned in the following manner:
  • the seeds meet the initialization conditions and are well on the lips.
  • the snakes do not stabilize on the good inner contours, but on other parasitic contours, either because another inner contour was also accentuated by the gradients G3 and G4, either because the outline is not marked enough.
  • the teeth are not bright enough (eg with teeth appearing more yellow than white) so that the u component plays its role in the combination of gradients and the snake is not stopped by the inner contour.
  • a pixel (x, y ) is defined as a "tooth" pixel if:
  • Convergence errors can also occur in the presence of the gums. Indeed, when the color and the texture of the gums are close to those of the lips, the upper interior snake stops on the border separating the gums and the teeth.
  • a second jumping snake is used for the high contour.
  • the seed of this second snake is chosen as being the key point Pe found thanks to the convergence of the first snake (point which is therefore below the true contour).
  • the gradient used for the external energy of the snake is the gradient G5 (see Eq.5).
  • the inner contour is a dark line separating the upper and lower lips. If this dark line is not strong enough, the snakes are not stopped by the inner contour and the upper snake will stop below the lower snake (Fig. 13A). It is then deduced that the mouth is closed.
  • Fig 13B If the mouth is closed and the dark line is more pronounced, the 2 snakes stop on this line and the distance between the snakes is very small (Fig 13B). If the area of the region defined between the 2 snakes is below a certain threshold, it is deduced that the mouth was closed.
  • the threshold was chosen experimentally and set at 10 pixels. Other values can also be used. - If the mouth is open, the upper snake stops above the lower snake, and the region defined between the 2 snakes is larger than the 10-pixel threshold (Fig 13C).
  • the inner contour consists of lip pixels and can be seen as a dark line connecting the two commissures Pi and P5 of the mouth.
  • the luminance minima line L m / n is used.
  • the line connects the darkest pixels of the inside of the mouth and is initialized on the pixel of the segment [ ⁇ ] having the lowest luminance.
  • L min is, in general, already a good representation of the inner contour.
  • the commissures Pi and P 5 were chosen on this line.
  • the most suitable key point Pu is the initial point of L min (the darkest pixel of the segment [ ⁇ ]) -
  • the approach for monitoring uses temporal information to take into account the sequence of images of the sequence.
  • a tracking module improves the performance of the segmentation in terms of speed and robustness. Indeed, compared to a static algorithm that would process a new image of the sequence without prior knowledge, the tracking method uses temporal information defined from the previous images. The treatment of a new image takes into account information on the location of the mouth or the shape of the mouth (thickness of the lips, appearance of the curves of the models in the old images ). This data allows for faster, but also more robust segmentation, as the previous results can be used for statically incorrect cases, provided that the detection in the previous image is accurate.
  • the dynamic segmentation method consists of 4 phases (FIG. 5: steps 200, 210, 220 and 230); the last step being either a reinitialization (use of the static algorithm) or the tracking of the labial contours.
  • the position of the key points is determined by tracking these points frame by frame. Point detection is therefore faster and more robust than for the static method. Tracking points should be as accurate as possible as they will allow Initialize the position of the parametric models in the current image. The result of the segmentation of the lips is therefore closely related to the position of the key points.
  • the points Pi, P 2 , P 3 , ⁇ , P 5 , Pe, Pa and P 10 are followed using a technique which is a variant of the Lucas-Kanade algorithm, presented in the BD document. Lucas, T. Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, in Proc. IJCAI'81, pp. 674-679, Vancouver, 1981.
  • the positions of the internal commissures P 7 and P 9 are preferably calculated directly for any new image of the sequence, as these are two difficult points to follow. Indeed, the neighborhood of the internal commissures can change significantly from one image to another because: a) the internal commissures move quickly when the mouth opens or closes,
  • Lucas-Kanade tracking algorithm can not perform well to follow P 7 and P 9 .
  • the "closed mouth” case is a case leading to a segmentation of the inner contour.
  • the internal key point Pu is determined in the same way as for the static algorithm.
  • Lucas-Kanade algorithm provides a good estimate of the position of the points.
  • the error accumulates from image to image and the tracking becomes unreliable after several images.
  • Lucas-Kanade algorithm allows us to provide a good estimate of the position of key points Pi, P ⁇ , P3, P4, P5, P6, P10 Pa and an image to the next , but the points need to be readjusted at each frame to avoid the accumulation of tracking errors during the sequence.
  • the following notations are adopted:
  • Pi '(t) is the estimate of the point P, obtained by the Lucas-Kanade method in the current image at time t.
  • Pi (t) is the recalibrated position of the point P, in the current image at time t. Because of the specific properties of the regions surrounding these key points, different adjustment methods are possible depending on the point to be reset.
  • the positions of the external commissures obtained by the tracking method may no longer be on the line of luminance minima L m / n , as previously indicated.
  • the first step is to place each of the two estimates on the nearest pixel belonging to Z. mn . Then, it is possible to compute a deformed model of the external contour, starting from the segmentation carried out on the previous image (at time t-1) and estimates of the external key points (Pi '(t), Pî ⁇ t), P / ffJ, Ps (t) and P 6 '(t)).
  • Each point of the cubic at time t-1 is moved at time t, using a weighted average of the displacements of the two extreme points of the cubic.
  • This deformed model provides a good overview of the outer contour at time f ( Figure 15B).
  • the method used to adjust the estimates of the external commissures is to compute the outer deformed model for several candidate pixels Pi (t) and Ps (t) and to determine the best candidate with the technique of maximizing the average gradient flux, through the deformed cubic obtained.
  • the external commissures are on L m / "( Figure 16A).
  • a certain number of points are tested, for example seven points belonging to L m / n : the estimated position (which was initially placed on L m / n ), three points on the left and three points on the left. right.
  • the recalibrated positions Pi (t) and P s (t) are preferably respectively determined by the two best pairs of cubic (yi '(t), y ft)) and (2' (t), ft)) ( Figure 16B). ).
  • the best pairs of cubic can be designated with a maximization of average gradient flows, in the same way as for static segmentation.
  • the gradient G1 is used for the fluxes through yi '(t) and through ⁇ 2 ⁇
  • the gradient G ⁇ is used for the fluxes through y3' (t) and through 15C).
  • the Lucas-Kanade algorithm gives the estimates P2YO, PJft), PSft) and Pe'it) which are either precise (the points are on the outer contours of the lips) or close to the contours.
  • snakes in their standard version. Standard active contours are curves that evolve, iteratively, from an initial position to stick to the desired contour. The convergence of the snake is done by minimizing a functional of energy composed of a term of external energy, linked to the image (to attract the curve towards the outlines), and of a term of internal energy, which imposes shape constraints of the curve during deformation).
  • the cubic curves are sampled to give the initial points composing the two snakes.
  • no internal energy is used for the convergence of snakes.
  • the initial curves being very close to the contours, the convergence of the snakes is realized in a few iterations and the curves do not finally have to be governed by constraints of form.
  • External energies are based on Gi gradient for upper snake and G2 for lower snake.
  • the recalibrated points P ⁇ (t), Peft), P t) and Pe (t) are the four points of the upper and lower final snakes closest to the estimates P 2 '( t), P 3 '(t) > Ptf) and P 6 ' (t).
  • equation 8 makes it possible to determine, for each pixel of the mouth, whether the pixel is a "tooth" pixel. At this segmentation level, the final result of the outer contour of the mouth is not yet defined, but, again, the deformed outer model presented above can be used.
  • the average thickness of the upper and lower lips is known. By laying down as a basis that these thicknesses do not vary too abruptly from one image to another (the thickness of the lips decreases when the mouth stretches), it is possible to adjust the estimates Pe '(t) and Pio '(t) according to their value obtained with the previous images.
  • the thickness of the highest lip, denoted Thaut corresponds to the distance between the points P3 and Ps
  • the thickness of the lowest lip denoted low, corresponds to the distance between the points Pw and Pe-
  • the average thickness of the upper lip denoted Thaut (tp)
  • Tb the average thickness of the lower lip
  • T hau t (t) and T low (t) obtained using points P3H) and ⁇ ( ⁇ , and estimates Pa '(t) and Pw' (t)
  • the ordinates of the internal key points are adjusted as follows:
  • the ordinate of Pg '(t) is equal to the ordinate of P3 (t) plus the value of the average thickness T ha ut (t p ),
  • This method of registration is useful especially when the mouth opens too quickly and the Lucas-Kanade algorithm failed to follow the internal key points.
  • contour tracking is affected, as shown in Figure 18.
  • the challenge then is to determine when the trace needs to be reset.
  • the positions of 8 key points are known.
  • Pu (t) is calculated when the mouth is closed and the internal commissures (P? (T) and Pg (t)) are detected at the same time as the calculation of the internal cubicles.
  • This step corresponds to step 210 of the global scheme of process.
  • the threshold may vary depending on the case. Preferably, it takes into account the size of the mouth and the rate of acquisition of the images. For example, for images acquired at 50 frames / second where mouths have an average size of 50x20 pixels, the threshold is set to 10 pixels. If the condition is not broken, the tracking algorithm continues and proceeds to steps 220 and 230, which are tracking the box around the mouth and extracting the contours of the lips. In case of reinitialization, the static approach is applied (steps 100, 1, 10 and 120) on the current image of the sequence that caused the problem, and this image is seen as the first image of a new sequence.
  • Step 220 corresponds to the tracking of the box around the mouth, using a Kalman filter.
  • the Kalman filter (R. E. Kalman, A New Approach to Linear Filtering and Prediction Problems, Transaction of the ASME - Journal of Basic Engineering, Vol 82, pp 35-45, 1960) allows to regulate the trajectory of a model.
  • the Kalman filter is a recursive estimator, that is, the current state is defined from the previous state and current measurements. The previous state is used to predict the current state and the observation is used to refine the prediction.
  • the block matching algorithm For the prediction of the box around the mouth, the block matching algorithm is used.
  • the reference block is extracted from the previous image from the coordinates of the bounding box. It is compared to several blocks of the same size in the current image. The search is carried out in a window that corresponds to the position of the reference block enlarged by ⁇ 5 pixels horizontally and vertically.
  • the Mean Square Error which is the interpixel squared difference.
  • the predicted position of the box is assigned to the block giving the lowest error.
  • the Kalman filter uses an observation.
  • This observed box surrounds all the key points of at least 5 pixels.
  • the Kalman filter provides a regularized tracking of the box around the mouth for images of the sequence.
  • the box makes it possible to determine the region of interest for the extraction of the contours. For example, for the tracking of the outer contours, several cubic are calculated and the best ones are determined to obtain the final contour. If one of the cubic exceeds the limits of the box, it will not be taken into account.
  • the tracking algorithm uses the same parametric models composed of several cubic curves to represent the contours of the lips. Both exterior and interior models are initialized using key points followed by the Lucas-Kanade method.
  • Cubicles are initialized with the position of their two extreme key points, the null derivative stress at the center of the mouth and the slope of the cube of the previous image at the level of the external commissures (denoted Pi (t- 1)).
  • the best cubic ones are those that maximize the average gradient flow G t (for Yf (t) and y 2 (t)) or G 2 (for y 3 (t) and y 4 (t)).
  • the slope values of these final cubic pieces pi (t) are used to initialize the search in the image next.
  • the Lucas-Kanade algorithm only provided the position of the two internal key points Pe (t) and Pw (t).
  • Candidate cubicles are tested by varying the value of the slopes around the initial value pi (t-1). For the inner case, about twenty slopes are tested around Pi (t-1) (twice more than for the outer case), the inter-image deformations of the inner border of the mouth are more important than for the external border .
  • the best cubic ones are those that maximize the average gradient flow G 3 (for 5 (t) and ⁇ 6 (t)) or G 4 (for ⁇ 7 (t) and ⁇ 8 (t)).
  • the slope values of these final cubic p, (t) will be used to initialize the search in the next image.
  • the "open mouth" case is necessarily treated at first.
  • the value of the slope at the left outer commissure of yg (t-1) will be used to both initialize the search of cubicles ⁇ 5 (t) and y 8 (t).
  • the value of the slope at the right outer commissure of yio (t-1) will be used to both initialize the search for cubic units ye (t) and y 7 (t).
  • FIG. 21 shows an example of an embodiment of a device 1 for detecting the inner contour of the lips of a human mouth from a digital image according to the invention.
  • an outer contour extraction module 10 designed to extract, from a digital image, an outside contour of the mouth.
  • the outer contour extraction module 10 comprises a key point detection module 11, provided with calculation means such as a microprocessor 12 and a working memory 13, a parametric curve generation module 14 provided with calculation means such as a microprocessor 15 and a working memory 16, and an optimization module 17, provided with calculation means such as a microprocessor 18 and a working memory 19.
  • the calculation means 12, 15 and 18, as the working memories 13, 16 and 19 can be centralized for all the modules or the entire detection device, or be arranged externally, with connection to different modules.
  • the key point detection module 11 is advantageously arranged so as to be able to use an encompassing box of the mouth as described above, in connection with FIGS. 6 and 7.
  • the parametric curve generation module 14 is arranged to use an energy minimization approach.
  • the parametric models described above have cubic curves for connecting key points of the contours concerned.
  • the optimization module 17 is arranged to determine the best pairs of cubic curves, as previously described.
  • the inner contour extraction module 20 comprises a key point detection module 21, provided with calculation means such as a microprocessor 22 and a working memory 23, a parametric curve generation module 24, provided with calculation means such as a microprocessor 25 and a working memory 26, and an optimization module 27, provided with calculation means such as a microprocessor 28 and a working memory 29.
  • the calculation means 22 , 25 and 28, as the working memories 23, 26 and 29 can be centralized for all the modules or the entire detection device, or be arranged externally, with connection to the different modules.
  • the key point detection module 21, the parametric curve generation module 24 and the optimization module 27 are advantageously arranged in a manner similar to the corresponding modules 11, 14 and 17.
  • the corresponding elements of FIG. inner contour extraction module 10 and inner contour extraction module 20 are combined into a single module provided for performing all the corresponding operations.
  • An open mouth condition test module 30 makes it possible to check whether the initial hypothesis, namely that the mouth is open, is checked or not.
  • the module detects the shapes and / or positions and other geometric features of the relevant snakes, to perform the test as described previously in this document.
  • Figure 22 schematically illustrates the main functions of the device 1 for detecting the inner contour of the lips of a human mouth from a digital image according to the invention.
  • the digital image data 50 is provided to the contour detection device 1, which generates the points 51 of the mouth contour, the parametric curves 52 of the mouth contour, and the required gradients 53. These various parameters are advantageously stored in memories, in order to be used at the appropriate time.
  • the digital image data 50 may include face images from which the mouth area will be extracted, or images already targeted to represent only the area of the mouth.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Dispositif de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique, comportant : un module d'extraction de contour extérieur permettant d'extraire le contour extérieur des lèvres à partir d'une image d'un visage ou d'une bouche; un module d'extraction de contour intérieur permettant d'extraire le contour intérieur des lèvres à partir d'une image d'un visage ou d'une bouche; un module de test de condition de bouche ouverte, susceptible d'effectuer un test afin de déterminer des conditions selon lesquelles la bouche est ouverte; chacun des modules d'extraction de contour extérieur et intérieur comprenant : un module de détection de points clés, susceptible de détecter au moins deux points clés du contour interne des lèvres; un module de génération de courbes paramétriques, susceptible de déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés; un module d'optimisation, susceptible d'optimiser des modèles paramétriques en fonction de critères donnés.

Description

DISPOSITIF ET PROCEDE DE DETECTION ET SUIVI DES CONTOURS INTERIEUR ET EXTERIEUR DES LEVRES
DOMAINE TECHNIQUE DE L'INVENTION
[0001] L'invention concerne la segmentation des lèvres pour des images statiques et des séquences vidéo, et en particulier la détection du contour intérieur d'une bouche humaine.
ETAT DE LA TECHNIQUE ANTERIEURE
[0002] L'extraction des contours des lèvres reste une tâche ardue et différentes approches ont été proposées dans la littérature lors des vingt dernières années sans résoudre complètement le problème. La difficulté de la segmentation s'explique par plusieurs raisons :
[0003] La bouche est une composante faciale hautement déformable. Suivant l'ouverture de la bouche (fermée, ouverte), les contours des lèvres varient beaucoup. La méthode de segmentation doit prendre en compte l'ensemble des déformations possibles.
[0004] L'apparence autour de la bouche peut être modifiée par la présence de moustaches ou d'une barbe.
[0005] La bouche peut être partiellement ou complètement occultée par des moustaches ou par un objet.
[0006] Les variations d'illumination peuvent affecter la détection en modifiant l'apparence autour et sur les lèvres. Une partie de la lèvre inférieure peut être surexposée ou plus brillante si la lumière vient de dessus. La peau située juste en dessous de la bouche peut être également plus ou moins sombre suivant la direction de la lumière.
[0007] La segmentation du contour labial interne est une tâche difficile à cause de la non linéarité du problème. L'aspect du contour interne et l'apparence de l'intérieur de la bouche peuvent varier brutalement suivant que la bouche est ouverte ou fermée, et suivant la visibilité des dents, des gencives, de la langue ou de la cavité orale.
EXPOSE DE L'INVENTION
[0008] Pour éviter de se retrouver dans un tel contexte, et notamment pour améliorer la segmentation du contour des lèvres d'une bouche à partir d'une image numérique, l'invention prévoit différents moyens techniques.
[0009]Tout d'abord, un premier objet de l'invention consiste à prévoir un procédé de détection du contour intérieur des lèvres susceptible de prendre en compte les cas où la bouche est ouverte et ceux où la bouche est fermée.
[0010] Un autre objet de l'invention consiste à prévoir un dispositif de détection du contour intérieur des lèvres susceptible de prendre en compte ces deux mêmes cas.
[0011] Pour ce faire, l'invention prévoit tout d'abord un procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique, comportant les étapes consistant à :
- obtenir une première image des lèvres pour lesquelles la détection du contour est prévue ;
- extraire le contour extérieur des lèvres à l'aide d'un modèle paramétrique de contour extérieur ;
- détecter au moins deux points clés du contour interne des lèvres;
- déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés ;
- optimiser le modèle paramétrique interne en fonction des critères inhérents à une bouche ouverte ;
- effectuer un test afin de déterminer si la bouche est ouverte.
[0012] Les modèles paramétriques sont des modèles déformables qui évoluent vers les contours de l'objet d'intérêt à l'aide d'un calcul de minimisation d'énergie et en utilisant des connaissances à priori sur la forme globale de l'objet à extraire. Les principaux avantages des modèles paramétriques sont les contraintes géométriques qui imposent un assortiment de formes admissibles pour le résultat de la segmentation. Ceci permet d'éviter des déformations trop libres et le contour obtenu après convergence est cohérent avec le modèle prédéfini.
[0013] Selon un mode de réalisation avantageux, le modèle paramétrique de contour extérieur comporte au moins quatre courbes cubiques, soit deux de chaque côté de la bouche, définissant les contours supérieurs (γ1 , γ2) et inférieurs (γ3, γ4) à partir des commissures des lèvres.
[0014] En outre, les contraintes sur les dérivées des courbes cubiques permettent de réduire le nombre de paramètres à estimer lors de la phase d'optimisation du modèle.
[0015] Ce modèle a l'avantage de fournir une description précise du contour extérieur des lèvres, sans être trop complexe (connaissant pour chaque cubique les deux points d'extrémité et une valeur de dérivée, il ne reste plus qu'un seul paramètre à déterminer). De plus, ce modèle est assez flexible pour représenter des formes très variées de bouche. Entre autre, aucune symétrie du modèle n'est imposée.
[0016] Les deux points clés du contour interne des lèvres sont de préférence les points médiants des contours intérieurs supérieurs (P8) et inférieur (P10).
[0017] Selon un autre mode de réalisation avantageux, l'optimisation du modèle paramétrique interne est obtenue par détermination de gradients (G1 , G2, G3, G4) susceptibles d'accentuer les contours des lèvres.
[0018] Selon une variante avantageuse, le test de détection de bouche ouverte comprend une étape de comparaison des positions relatives des snakes inférieurs et supérieurs pour vérifier si le snake supérieur s'arrête au dessus du snake inférieur, et si la région définie entre les 2 snakes est plus grande qu'un seuil prédéfini. Dans un exemple de réalisation, le seuil est de 10 pixels. [0019] Un jumping snake sert avant tout à trouver des points clefs pour initialiser les différents modèles paramétriques des lèvres. Quatre différents jumping snakes sont de préférence pris en compte :
• un snake extérieur supérieur pour le contour extérieur supérieur des lèvres,
• un snake extérieur inférieur pour le contour extérieur inférieur des lèvres,
• un snake intérieur supérieur pour le contour intérieur supérieur des lèvres,
• un snake intérieur inférieur pour le contour intérieur inférieur des lèvres.
[0020] Selon une autre variante de réalisation, si la bouche est fermée, on détecte un point clé interne défini en fonction d'une bouche fermée :
- on détermine au moins une courbe paramétrique permettant de définir le contour interne;
- on optimise le modèle paramétrique interne en fonction des critères inhérents à une bouche fermée.
[0021] Selon encore un autre mode de réalisation, le procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique, comporte des étapes de suivi dynamique consistant à :
- obtenir une première image des lèvres pour lesquelles le suivi est prévu à un temps donné (t);
- détecter les points clés du contour externe des lèvres;
- détecter les points clés du contour interne des lèvres ;
- déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés;
- obtenir une autre image des lèvres à un intervalle de temps t+1 ;
- comparer les positions des points clés externes suivis de l'image à t+1 aux positions correspondantes de ces points clés pour l'image précédente (t);
- effectuer un test de réinitialisation ;
- si les résultats du test de réinitialisation sont positifs, effectuer une étape de réinitialisation. [0022] Dans une variante, si les résultats du test de réinitialisation sont négatifs, on poursuit le suivi avec l'obtention d'une autre image à l'intervalle de temps suivant et répéter les étapes de comparaison jusqu'à ce que la période de suivi soit terminée.
[0023] L'invention prévoit également un dispositif de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique, comportant :
- un module d'extraction de contour extérieur permettant d'extraire le contour extérieur des lèvres à partir d'une image d'un visage ou d'une bouche ;
- un module d'extraction de contour intérieur permettant d'extraire le contour intérieur des lèvres à partir d'une image d'un visage ou d'une bouche ;
- un module de test de condition de bouche ouverte, susceptible d'effectuer un test afin de déterminer des conditions selon lesquelles la bouche est ouverte ;
- chacun des modules d'extraction de contour extérieur et intérieur comprenant :
- un module de détection de points clés, susceptible de détecter au moins deux points clés du contour interne des lèvres ;
- un module de génération de courbes paramétriques, susceptible de déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés ;
- un module d'optimisation, susceptible d'optimiser des modèles paramétriques en fonction de critères donnés.
[0024] Dans une variante avantageuse, le dispositif comprend par ailleurs un module d'obtention d'images, permettant d'obtenir au moins une première image des lèvres pour lesquelles la détection du contour est prévue.
DESCRIPTION DES FIGURES
[0025] Tous les détails de réalisation sont donnés dans la description qui suit, complétée par les figures 1 à 22, présentées uniquement à des fins d'exemples non limitatifs, dans lesquelles des références identiques indiquent des éléments similaires, et dans lesquelles : - les Figures 1A, 1B, 1C, 1 D et 1 E présentent des images de différents cas de bouches ouvertes afin d'illustrer les difficultés de non linéarité inhérents aux nombreux cas possibles ;
- les Figures 2A, 2B et 2C présentent les éléments clés des modèles paramétriques utilisés ;
- les Figures 3A et 3B illustrent le principe du jumping snake ;
- la Figure 4A montre schématiquement la forme réelle des lèvres et les gradients utilisés pour chaque élément du contour ;
- la Figure 4B montre schématiquement la forme en losange des lèvres et les filtres appliqués sur les différentes zones ;
- la Figure 5 est un organigramme fonctionnel montrant les étapes clés du procédé de segmentation avec les étapes éventuelles de suivi ;
- la Figure 6 illustre une boîte englobante ;
- la Figure 7A est une image d'une bouche à traiter ;
- la Figure 7B montre des tests de pixels candidats aux commissures ;
- la Figure 7C montre la détection des points clés Pi et P5 ;
- la Figure 8 est un organigramme fonctionnel présentant les principales étapes du procédé de détection du contour selon l'invention ;
- la Figure 9 montre la détection des points clés P8 et P 0 ;
- la Figure 10A est une image avec masque des dents ;
- la Figure 10B montre le snake correspondant ;
- la Figure 10C montre l'ajustement des points du snake en présence des dents ;
- les Figures 11A et 11 B montrent les ajustements des snakes intérieurs supérieurs en présence des gencives ;
- les Figures 12A, 12B et 12C illustrent la détection des commissures internes ;
- les Figures 13A, 13B et 13C montrent la vérification de l'hypothèse bouche ouverte ;
- les Figures 14A, 14B et 14C montrent la segmentation du contour intérieur avec la bouche fermée ;
- les Figures 15A, 15B, et 15C présentent la déformation du modèle extérieur de l'image précédente (t-1 ) à l'image courante (t), avec le résultat de l'image précédente en 15A, la déformation de γ1 en 15B, et le modèle extérieur déformé en 15C ;
- les Figures 16A et 16B montrent l'ajustement des commissures externes, avec le test des candidats en 16A et les commissures ajustées en 16B ;
- les Figures 17A, 17B et 17C montrent l'ajustement des points clés externes, avec le modèle extérieur déformé en 17A, le snake supérieur initial en 17B et la convergence du snake avec recalage des points P2 et P4 en 17C ;
- la Figure 18 illustre une réinitialisation du suivi au cours d'une séquence, avec des images sans réinitialisation (images du haut) et avec réinitialisation (images du bas) ;
- les Figures 19A et 19B illustrent l'optimisation du modèle extérieur, avec variation des pentes au niveau des commissures extérieures en 19A et les cubiques extérieures finales en 19B ;
- les Figures 20A et 20B illustrent l'optimisation du modèle intérieur bouche ouverte avec variation des pentes au niveau des commissures extérieures en 20A et les cubiques intérieures finales en 20B ;
- la Figure 21 est une représentation schématique du dispositif de détection de contour des lèvres selon l'invention avec les principaux modules intervenant lors de la mise en œuvre ;
- la Figure 22 est une représentation schématique du dispositif de détection de contour des lèvres selon l'invention lors de sa mise en œuvre illustrant l'obtention des multiples données paramétriques à partir des données d'images numériques de bouche à traiter.
DESCRIPTION DETAILLEE DE L'INVENTION
[0026] Tel que montré à la Figure 1 , lorsque la bouche est ouverte, le contour intérieur des lèvres peut prendre différents aspects et être défini comme étant la frontière entre la lèvre supérieure et la lèvre inférieure (Figure 1A), la lèvre et les dents (Figure 1 B), la lèvre et les gencives (Figure 1C), la lèvre et la langue (Figure 1D) et la lèvre et la cavité orale (Figure 1E). Toutes ces configurations font que le contour intérieur peut avoir des propriétés différentes et la méthode de segmentation doit pouvoir trouver le bon contour dans chaque cas de figure. Les outils de segmentation
[0027] Pour un procédé de segmentation et de suivi des contours extérieur et intérieur des lèvres qui soit à la fois précis et rapide, les modèles déformables et une approche basée contour sont considérés. Le procédé englobe une approche mixte, qui utilise à la fois les modèles paramétriques et les contours actifs.
Les modèles paramétriques
[0028] Les modèles paramétriques sont des modèles déformables qui évoluent vers les contours de l'objet d'intérêt à l'aide d'un calcul de minimisation d'énergie et en utilisant des connaissances à priori sur la forme globale de l'objet à extraire. L'énergie est composée d'un terme interne et d'un terme externe. L'utilisation des modèles paramétriques requiert la définition du modèle (choix des courbes paramétrées) en fonction de la forme de l'objet d'intérêt. Le choix du modèle est un compromis entre la liberté de déformation souhaitée et la complexité algorithmique. Les algorithmes basés sur les modèles paramétriques pour l'analyse labiale nécessitent la définition de trois étapes: le choix du modèle pour la description des contours, l'initialisation et l'optimisation du modèle prenant en compte des informations appropriées et calculées à partir de l'image.
Les modèles paramétriques des lèvres
[0029] Le procédé de détection utilise de préférence un modèle paramétrique pour le contour extérieur des lèvres, montré à la Figure 2A, et deux modèles paramétriques pour le contour intérieur (bouche ouverte montré à la Figurer 2B et bouche fermée montré à la Figure 2C)
Modèle paramétrique pour le contour extérieur
[0030] Le modèle paramétrique utilisé pour le contour extérieur (Figure 2A) est composé d'une ligne brisée et de 4 cubiques reliées par 6 points clefs Pi à Pe- Pi et P5 sont les coins extérieurs de la bouche, appelés également commissures des lèvres. P2, P3 et P4 définissent l'arc de Cupidon, qui est la forme en « V » visible au milieu du contour supérieur de la bouche. P6 est le point bas du contour extérieur se trouvant sur la verticale passant par P3.
[0031] En plus des 2 segments [P2P3] et [P3P4], 4 courbes cubiques complètent le modèle extérieur :
• γι entre Pi et P2 pour le contour extérieur supérieur gauche,
• 72 entre P4 et P5 pour le contour extérieur supérieur droit,
• Y3 entre Pe et P5 pour le contour extérieur inférieur droit,
• y4 entre P-i et Pe pour le contour extérieur inférieur gauche.
[0032]Ainsi, le contour extérieur supérieur est défini par les courbes γι, γ2, et par la ligne brisée [P2P3P4], alors que le contour extérieur inférieur est défini par les courbes γ3 et γ4.
[0033] En prenant en considération la forme particulière du contour extérieur, on obtient les contraintes suivantes :
• une dérivée nulle pour la cubique γι au point P2,
• une dérivée nulle pour la cubique γ∑ au point P4,
• une dérivée nulle pour les cubiques }¾ et γ4 au point Pe-
[0034] En outre, ces contraintes sur les dérivées des courbes cubiques permettent de réduire le nombre de paramètres à estimer lors de la phase d'optimisation du modèle.
[0035] Ce modèle a l'avantage de fournir une description précise du contour extérieur des lèvres, sans être trop complexe (connaissant pour chaque cubique les deux points d'extrémité et une valeur de dérivée, il ne reste plus qu'un seul paramètre à déterminer). De plus, ce modèle est assez flexible pour représenter des formes très variées de bouche. Entre autre, aucune symétrie du modèle n'est imposée.
Modèles paramétriques pour le contour intérieur
Cas bouche ouverte [0036] Lorsque la bouche est ouverte, le contour intérieur (Figure 2B) est défini par 4 cubiques reliées par 4 points clefs. Pg et P10 sont les points milieu du contour intérieur supérieur et inférieur situés sur la verticale passant par P3. P3 étant le point milieu de l'arc de Cupidon, la verticale passant par P3 représente effectivement le milieu de la bouche. P7 et Pg sont les commissures internes de la bouche. Le choix de différencier les commissures est du au fait qu'en cas de mouvements labiaux de type protrusion, les commissures internes et externes diffèrent. Cela permet également une segmentation plus fine lorsque la bouche est légèrement ouverte.
[0037] Le modèle du contour intérieur pour une bouche ouverte est complété par 4 cubiques :
• Y5 entre Pr et Pe pour le contour intérieur supérieur gauche,
• γβ entre Pa et Pg pour le contour intérieur supérieur droit,
• γγ entre P10 et Pg pour le contour intérieur inférieur droit,
• Y8 entre P7 et Pw pour le contour intérieur inférieur gauche.
[0038] Le contour interne supérieur est défini par les 2 cubiques >¾ et }¾. Le contour interne inférieur est défini par les 2 cubiques jv et γ8. Par ailleurs, on pose les hypothèses supplémentaires suivantes :
• une dérivée nulle pour les cubiques )¾ et γβ au point Pe,
• une dérivée nulle pour les cubiques γ7 et }¾ au point Pw.
[0039] Ce modèle permet une représentation précise et flexible du contour intérieur des lèvres quand la bouche est ouverte. Chaque cubique étant défini par 2 points et une valeur de dérivée, il reste un seul paramètre par cubique à estimer.
Cas bouche fermée
[0040] Lorsque la bouche est fermée, le modèle du contour intérieur (Figure 2C) est composé de 2 cubiques reliées par 1 seul point clef Pu. Pu est le point milieu du contour intérieur. Pour une bouche fermée, on considère que les commissures internes sont les mêmes que les commissures externes
Figure imgf000012_0001
et PSFPS)- Le choix effectué permet une transition simple du modèle bouche ouverte/bouche fermée en cas de segmentation d'une séquence vidéo.
[0041] Le modèle du contour intérieur pour une bouche fermée est complété par 2 cubiques :
• Y9 entre Pi et Pu pour le contour intérieur gauche,
• γ10 entre Pu et P5 pour le contour intérieur droit.
[0042] Comme base supplémentaires, on considère une dérivée nulle pour les cubiques yg et y au point Pu.
Les contours actifs
[0043] Les contours actifs, introduits par Kass et al. dans le document : M. Kass, A. Witkin and D. Terzopoulos, Snakes: Active Contour Models, International Journal of Computer Vision, vol. 1 (4), pp. 321-331 , 1987., sont communément appelés « snake » à cause de leur manière d'onduler comme un serpent durant leur déformation. Les snakes sont composés d'une série de points mobiles placés sur une courbe 2D. Selon l'application, la courbe peut être fermée ou non, avec des extrémités fixes ou non. Les contours actifs évoluent de manière itérative d'une position initiale jusqu'à leur position finale, en étant attirés par le minimum local le plus proche de la fonctionnelle d'énergie. La méthode de minimisation est commandée par des contraintes et elle est contrôlée par les données saillantes de l'image. Les contours actifs sont largement utilisés pour des applications de détection de contours, du fait de leur capacité à intégrer les deux étapes d'extraction et de chaînage en une seule opération. Les snakes peuvent être utilisés aussi bien pour des contours ouverts que pour des contours fermés ou des contours avec des extrémités fixes. Les contours actifs sont rapides et simples à implémenter en 2D.
LE JUMPING SNAKE
[0044] Le contour actif utilisé pour la segmentation labiale est le jumping snake, à savoir un contour actif qui converge en une succession de phases de saut et de croissance. Il est défini par un assortiment de points qui forment une ligne brisée. Les Figures 3A et 3B illustrent le principe de l'algorithme pour le contour extérieur supérieur des lèvres. Il est tout d'abord initialisé par un germe S0. Ensuite, lors de la phase de croissance, des points sont ajoutés de part et d'autre du snake. Chaque point est trouvé en maximisant des flux moyens de gradients à travers les segments formés par le point candidat courant et le point précédent. Lorsque le snake atteint un nombre prédéterminé de points (2N+1), la croissance s'arrête. Finalement, le germe saute sur une nouvelle position S1 plus proche du contour recherché. Le processus de croissances et de sauts est répété jusqu'à ce que l'amplitude du saut du germe soit inférieure à un pixel. A l'itération finale, le snake est positionné sur le contour extérieur supérieur des lèvres.
[0045] Contrairement aux contours actifs classiques, l'initialisation (la position du germe) peut être relativement loin du contour recherché et le choix des paramètres du jumping snake est facile et intuitif. Les paramètres principaux sont la distance horizontale Δ entre chaque point du snake et N qui donne le nombre de point du snake (2N+1). Le choix de Δ et N est un compromis entre vitesse et précision. D'autres paramètres permettent de forcer le jumping snake à se diriger vers le haut ou vers le bas.
[0046] Un jumping snake sert avant tout à trouver des points clefs pour initialiser les différents modèles paramétriques des lèvres. Quatre différents jumping snakes sont pris en compte :
• un snake extérieur supérieur pour le contour extérieur supérieur des lèvres,
• un snake extérieur inférieur pour le contour extérieur inférieur des lèvres,
• un snake intérieur supérieur pour le contour intérieur supérieur des lèvres,
• un snake intérieur inférieur pour le contour intérieur inférieur des lèvres. Les espaces couleurs et gradients utilisés
[0047] Des gradients sont avantageusement construits pour accentuer le contour des lèvres. Ces gradients sont utilisés d'une part pour la convergence de différents jumping snakes et d'autre part, pour l'optimisation des modèles paramétriques.
LES ESPACES COULEURS
[0048] Pour le calcul des gradients, différents espaces couleurs peuvent être utilisés, tels que : RGB, YCbCr, CIELuv. Deux autres composantes appelées pseudo-teintes, respectivement Hi et H2 sont utilisées. Les pseudo-teintes permettent d'augmenter le contraste entre les lèvres et la peau et elles sont calculées de la manière suivante :
Figure imgf000015_0001
Où R et G sont les composantes rouge et verte de l'espace RGB.
LES GRADIENTS
[0049] Par la suite, cinq gradients permettent d'accentuer les contours des lèvres. Ces gradients sont définis par les équations suivantes :
G, = V [//, -Z] (Eq. l)
G1 = V [-Hl -{R - G + B (Eq.2)
G3 = V [R -u - H2 -L] (Eq.3)
G4 = V [uxL] (Eq. 4)
G5 = V [Cr + /?] (Eq. 5)
Où V est l'opérateur gradient et x est l'opérateur de multiplication élément par élément. H-i et H2 sont les pseudo-teintes. L est la luminance et u est une composante couleur issue de l'espace couleur CIELuv. R, G et B sont les composantes couleurs de l'espace RGB. Cr est une composante couleur issue de l'espace YCbCr.
Les gradients G1 et G2 pour le contour extérieur des lèvres
Le gradient G1 pour le contour extérieur supérieur [0050] Pour accentuer le contour extérieur supérieur, nous utilisons le gradient hybride, noté Gi, calculé avec l'équation 1. Le gradient Gi est utilisé pour le contour extérieur supérieur car la pseudo-teinte H1 augmente le contraste entre la lèvre supérieure et la peau située au dessus de la bouche. Le signe + de l'équation 1 vient du fait que les valeurs de Hi sont plus faibles pour la peau que pour la lèvre supérieure (située en dessous). De plus, généralement, la lumière vient d'en haut. Ainsi, la frontière supérieure de la bouche est une zone de forte luminance, alors que le haut de la lèvre supérieure est plus sombre (d'où le signe - devant la luminance dans l'équation 1 ).
Le gradient G2 pour le contour extérieur inférieur
[0051]Le gradient G∑ utilise également la pseudo-teinte H1, mais aussi les composantes de l'espace RGB (cf. Eq. 2).
[0052] De la même façon, Hi est utilisée pour sa capacité à faire ressortir les lèvres par rapport à la peau. Le signe + de l'équation 2 devant Hi vient du fait que les valeurs de Hi sont plus fortes pour la lèvre inférieure que pour la peau qui se trouve en dessous. La somme R-G+B est une combinaison qui permet d'accentuer les lèvres, d'où le même signe - devant cette somme.
Les gradients G3 et G4 pour le contour intérieur des lèvres :
[0053] Pour le contour intérieur, la construction de gradient est complexe. En effet, le contour extérieur est toujours une frontière entre des lèvres et de la peau. Le contour extérieur supérieur sépare la peau, située entre le nez et la bouche, et la lèvre supérieure. Le contour extérieur inférieur sépare la peau, située sous la bouche, et la lèvre inférieure.
[0054] En revanche, pour le contour intérieur, la frontière se situe entre des lèvres et une des 4 possibilités suivantes: dents, gencives, langue ou cavité orale. De plus, il faut que le contour soit prononcé pour tous les cas possibles, car durant une conversation, la variation d'apparence de l'intérieur de la bouche est non linéaire et nous pouvons avoir des transitions brutales entre ces configurations. Après expérimentation sur plusieurs centaines d'images, il a été constaté qu'il est pratiquement impossible de trouver une composante d'un espace couleur permettant d'obtenir un gradient efficace pour toutes ces configurations. Ainsi, des gradients intérieurs sont la combinaison de plusieurs composantes différentes appropriées dans un des cas possibles.
Le gradient G3 pour le contour intérieur supérieur
[0055] Le gradient G3 (cf. Eq. 3 et Figure 4A) est basé sur le fait que :
• la composante R peut être plus faible pour les pixels de la lèvre supérieure que pour l'intérieur de la bouche (d'où le signe + de l'équation 3),
• les valeurs de la pseudo-teinte H2 sont plus fortes pour les pixels de la lèvre supérieure que pour l'intérieur de la bouche (d'où le signe -),
• la composante u est plus grande pour les pixels de la lèvre supérieure que pour des pixels « dent » situés en dessous. En effet u est proche de 0 pour les dents (d'où le signe - devant la composante u),
• la luminance L a, généralement, des valeurs plus grandes pour les pixels de la lèvre supérieure que pour l'intérieur de la bouche (d'où le signe -). En général, l'intérieur de la bouche est sombre, excepté en cas de présence de dents (mais cela est comblé par l'apport de la composante
Le gradient G4pour le contour intérieur inférieur
[0056] Le gradient G4 (cf. Eq. 4 et Figure 4A) est basé sur le fait que :
• la composante u est plus grande pour des pixels « lèvre » que pour des pixels « dent » (en effet u est proche de 0 pour les dents).
• la luminance L a, généralement, des valeurs plus grandes pour des pixels « lèvre » que pour l'intérieur de la bouche.
Le gradient G5 :
[0057] Le gradient G5 est utilisé pour un cas particulier qui est la présence des gencives et il permet d'accentuer la frontière entre la lèvre et les gencives. G5 a été construit en considérant que les valeurs des composantes couleurs Cr, issue de l'espace YCbCr, et R sont plus faibles pour la lèvre supérieure que pour les gencives situées en dessous (d'où les signes +).
FILTRES UTILISES POUR LE CALCUL DES GRADIENTS
[0058] Dans des modes de réalisation connus, seule la composante horizontale des gradients est utilisée dans le contexte de la segmentation des lèvres, dans la mesure où c'est la composante prédominante, compte tenu de la forme particulière de la bouche (les contours sont essentiellement horizontaux).
[0059] Selon le procédé, en plus des composantes horizontales, des filtres 2D permettent de calculer une composante diagonale, du fait que les contours intérieur et extérieur des lèvres peuvent être assimilés à 2 losanges, tel que montré à la Figure 4B).
Les 3 filtres utilisés sont les filtres F1, F∑ et F3 suivants :
-2 -1 0 -1 -2 -1
-1 0 1 F, = 0 0 0
0 1 2 1 2 1
(Eq.6)
0 -1 -2
1 0 -1
2 1 0
[0060] Ces filtres (et leurs opposés) permettent d'intensifier la composante diagonale des gradients G-i, G2, G3 et G4 suivant le côté de la bouche que l'on traite.
Segmentation et suivi du contour des lèvres
[0061] La figure 5 présente, de façon successive, les principales étapes du procédé selon l'invention, en mode statique et en mode dynamique. On y voit un exemple de processus global de segmentation et de suivi des contours des lèvres. Le mode statique peut être appliqué à une image statique ou à la première image d'une séquence vidéo. L'algorithme statique est composé de 3 phases (100, 110, et 120). Tout d'abord, le visage est détecté (étape 100), ensuite une boîte encadrant la bouche est déterminée pour générer une région d'intérêt et réduire le coût de calcul (étape 110). Finalement, les contours intérieur et extérieur des lèvres sont extraits de l'image (étape 120). Le mode suivi concerne le suivi des contours labiaux dans des séquences vidéo et l'algorithme dynamique appliqué aux images suivantes. L'algorithme dynamique est composé de 4 phases (200, 210, 220 et 230). Premièrement, plusieurs points clefs (étape 200) sont suivis. Ensuite, suivant le résultat du suivi de points clefs, il peut être nécessaire de faire une réinitialisation du suivi des contours des lèvres dans la séquence (étape 210). Finalement, soit on utilise de nouveau l'algorithme statique (étapes 100, 110, 120) en cas de réinitialisation, soit la boîte englobante de la bouche (étape 220) et les contours labiaux (étape 230) sont suivis.
Segmentation statique
[0062] L'approche statique est constituée de 3 phases et est appliquée soit pour des images statiques, soit pour la première image d'une séquence.
INITIALISATION DE L'ALGORITHME STATIQUE (Figure 5 : étapes 100 et 110)
[0063] La première étape d'une segmentation est la recherche d'une zone d'intérêt pour réduire la zone de recherche des contours. De plus, cela permet de diminuer les coûts de calcul liés au traitement d'image (calcul des espaces couleurs, des gradients...). Dans le contexte de la détection des contours des lèvres, il faut tout d'abord localiser le visage et ensuite se focaliser sur la bouche.
[0064] Dans le mode de réalisation illustré, la détection du visage (Etape 100) est de préférence réalisée à l'aide de l'algorithme C3F. Cette approche basée sur des réseaux de neurones convolutionnels permet également de donner la position des centres des yeux, du centre du nez et du centre de la bouche. A partir de ces points, il est facile de trouver une boîte encadrant la bouche (Etape 1 10) car celle-ci n'a pas besoin d'être très précise, mais elle doit contenir entièrement la bouche. En effet, la boîte sert pour la suite du procédé, à limiter la recherche des contours et à définir la position des 2 germes pour le jumping snake extérieur supérieur et le jumping snake extérieur inférieur. Or, ces germes ne sont soumis qu'à peu de contraintes pour leur positionnement; ils doivent être situés plus proche de la bouche que du nez ou du menton.
DETECTION DES CONTOURS EXTERIEUR ET INTERIEUR (Figure 5: étape 120)
[0065]Pour la segmentation du contour extérieur et la segmentation du contour intérieur, les jumping snakes et les modèles paramétriques sont combinés. Dans les deux cas, les jumping snakes sont utilisés dans l'étape d'initialisation (détection de la position des points clefs externes et internes), alors que les modèles paramétriques ont été construits pour modéliser le contour labial (l'optimisation des modèles permet d'extraire les contours des lèvres).
Détection du contour extérieur
[0066] La méthode d'extraction du contour extérieur est une amélioration d'un algorithme développé par Eveno et présentée dans le document N. Eveno, A. Caplier, P.Y. Coulon, Automatic and Accurate Lip Tracking, in IEEE Trans. on Circuits and Systems for Video Technology, vol. 14, no 5, pp. 706-715, 2004. En effet, d'une part, l'obtention du contour extérieur est réalisée de manière automatique, alors que dans l'approche Eveno un germe doit être placé manuellement au dessus de la bouche. D'autre part, un deuxième snake est ajouté, pour une détection plus robuste du point Pe-
[0067] Le modèle paramétrique extérieur est composé de 6 points clefs
Figure imgf000020_0001
à e- Les points P∑, P3, P* et P& peuvent être localisés directement en faisant converger 2 jumping snakes. Les commissures extérieures des lèvres (Pi et P5) sont plus difficiles à détecter localement; elles seront déterminées en même temps que le calcul des courbes du modèle. [0068] Un jumping snake extérieur supérieur est utilisé pour les points extérieurs hauts P2, P3 et P4, alors qu'un jumping snake extérieur inférieur sert à trouver P&. Tel que mentionné précédemment, l'algorithme jumping snake est initialisé par un seul point (le germe). La boîte englobante de la bouche trouvée précédemment (Etape 110) permet d'initialiser ces 2 snakes. Les 2 germes sont choisis comme étant les points milieux des côtés haut et bas de la boîte englobante.
• Pour le snake supérieur : les paramètres sont réglés de façon à ce que le snake se propage en dessous du germe supérieur et le gradient G1 (cf. Eq. 1) est utilisé pour sa convergence.
• Pour le snake inférieur : les paramètres sont réglés de façon à ce que le snake se propage en dessus du germe inférieur et le gradient G∑ (cf. Eq. 2) est utilisé pour sa convergence.
[0069] Une fois que les 2 snakes ont convergé, des points sont obtenus sur les contours extérieurs supérieur et inférieur, tel que montré à la Figure 6. Le snake supérieur donne la position des 3 points de l'arc Cupidon. P∑ et P4 sont les points les plus hauts du snake respectivement à gauche et à droite de la verticale passant par les 2 germes. P3 est le point du snake le plus bas situé entre P2 et P4. Alors que le point P6 est le point du snake inférieur le plus proche de la verticale passant par P3.
[0070] Nous avons à ce stade la position de 4 points du modèle extérieur et les 2 segments [P2P3] et [P3P4]. Il reste à trouver les commissures (Pf et P5) et à calculer les 4 cubiques γι, γ2, γ3 et γ4.
[0071] La détection des commissures est particulièrement délicate dans la mesure où elles ne sont pas vues comme 2 points mais plutôt comme une zone sombre située à chacune des extrémités de la bouche.
[0072] Lorsque cette commissure est vue de plus loin, il suffit de prolonger les frontières hautes et basses des lèvres pour trouver la commissure à l'intersection de ces 2 contours. En conséquence, le positionnement des commissures peut être directement lié aux allures des courbes représentant les contours des lèvres. Selon une approche avantageuse, il est possible de déterminer Pj et P5, et calculer les 4 cubiques du modèle extérieur, en une seule et même opération.
[0073] Il suffit de quatre équations pour déterminer complètement la courbe polynomiale de degré trois. Dans la description du modèle paramétrique extérieur, il a été mentionné que les quatre cubiques yi, γ∑, yz et )¾ relient les 6 points clefs externes P,=Î à 6 et que pour le procédé prévu, les dérivées des cubiques s'annulent en P∑, P4 et P6. En conséquence, pour chaque cubique, il est obtenu un des deux points d'extrémité (les positions de P2, P4 et P6 ont été trouvées à l'aide du jumping snake supérieur) et une contrainte d'annulation de dérivée, ce qui donne deux équations. En théorie, il suffit donc de connaître encore deux points appartenant à chaque cubique pour trouver la courbe.
[0074] Les deux jumping snakes extérieurs supérieur et inférieur fournissent des points supplémentaires. Les points des snakes sont fiables au milieu de la bouche, là où les contours sont les plus marqués et où les gradients sont donc plus forts. Alors qu'en se rapprochant des extrémités de la bouche, les points des snakes peuvent ne plus être exactement sur les contours si ceux-ci ne sont pas assez marqués. Ainsi, il n'est possible d'utiliser que les points proches des points clefs P∑, P4 et P6 et donc loin des commissures.
[0075] En utilisant deux points supplémentaires, les courbes cubiques peuvent être directement calculées avec maintenant quatre équations ou en utilisant la méthode des moindres carrés en utilisant trois points supplémentaires. Ces deux méthodes fournissent des résultats approximatifs pour les cubiques et la détection des commissures (aux intersections des cubiques), car on utilise des points trop éloignés des commissures. Aussi, en faisant varier, même légèrement, la position d'un des points, ces méthodes fournissent des résultats très différents.
[0076] Pour améliorer la détection, il est utile d'obtenir un point plus proche des commissures pour chacune des quatre cubiques. Pour cela, on suppose que les deux commissures Pi et P5) sont connues. En utilisant la position des points clefs P∑, P4 et Pe, les contraintes sur les dérivées, les points supplémentaires fournis par les snakes et la position des commissures, les cubiques sont calculées rapidement; la méthode des moindres carrés devenant une simple régression linéaire.
[0077] Le processus d'optimisation du modèle extérieur et de la détection des commissures est donc le suivant (voir Figures 7A, 7B et 7C):
- Plusieurs pixels candidats sont testés pour trouver les points j et P5
- Pour chacun des pixels candidats Pi (resp. P5), le couple de cubiques (γι et Y4) à gauche de la bouche (resp. le couple de cubique (γ∑ et )¾) à droite de la bouche) est calculé en utilisant les informations citées précédemment.
- Un critère de maximisation du flux moyen de gradient permet de déterminer le meilleur couple pour chaque côté de la bouche et de trouver P1 et P5.
[0078] La détermination des positions des commissures et l'optimisation du modèle peuvent donc être réalisées en une seule et même opération.
[0079] Pour limiter les ressources de calcul, il est souhaitable de pouvoir tester uniquement quelques pixels candidats; une recherche dans toute la boîte englobante de la bouche serait fastidieuse. En posant que les commissures se trouvent dans des zones sombres proches des lèvres, on peut ne tester que les pixels les plus sombres de la boîte englobante.
[0080] On établi ce que nous appelons ici la ligne des minima de luminance, notée Lmin, qui est un chaînage des pixels les plus sombres passant par la bouche. A partir d'un point initial, des points sont ajoutés à gauche et à droite en ne testant que les trois pixels les plus proches et en choisissant le pixel ayant la luminance la plus faible. Pour que Lmin passe par la bouche et les deux commissures, le point initial est choisi comme étant le pixel le plus sombre du segment [P3P6].
[0081] En se limitant à cette ligne et en utilisant les bornes de la boîte, il est possible de ne tester plus que quelques dizaines de pixels (suivant la précision du résultat de la boîte englobante de la bouche). [0082]Après obtention des pixels candidats, les couples de cubiques {(γι, et (Υ2 et }¾)) sont calculés. Le critère contour permet de déterminer les meilleurs.
Le flux Φ à travers la cubique y, est :
Figure imgf000024_0001
où dn est le vecteur orthogonal au contour et ds est l'abscisse curviligne.
• Pour les cubiques γι et γ∑, le gradient Gj est utilisé
• Pour les cubiques >¾et γ , le gradient G∑ est utilisé
[0083] Pour chaque pixel candidat P1 (resp. P5), la somme Φ1+Φ4 (resp. Φ2+Φ3) est calculée et la somme la plus grande détermine les deuxcubiques du modèle et la position de la commissure. La figure 7 décrit le processus d'optimisation du modèle extérieur.
Détection du contour intérieur
[0084] La segmentation du contour intérieur, présentée à la Figure 8, est basée sur une approche similaire à la segmentation du contour extérieur : des points clefs internes sont détectés suite à la convergence d'un jumping snake pour positionner le modèle paramétrique intérieur et l'optimisation du modèle est réalisée à l'aide d'un critère contour. Il faut cependant déterminer quel modèle intérieur (parmi celui « bouche ouverte » ou celui « bouche fermée) est approprié pour l'image traitée.
Détection de l'état de la bouche
[0085]Avant de commencer l'extraction du contour intérieur, il est supposé que la bouche est ouverte et la segmentation est effectuée en utilisant le modèle paramétrique intérieur pour le cas d'une bouche ouverte (Figure 8 : étapes 500, 510, 520, 530 et 540). A la fin du processus, cette hypothèse est vérifiée (étape 550) et deux cas se distinguent : - La bouche est bien ouverte (Figure 8 : étape 600) : la segmentation du contour intérieur est alors terminée ;
- La bouche est fermée (Figure 8 : étape 700) : la segmentation est alors recommencée en utilisant le modèle paramétrique intérieur pour le cas d'une bouche fermée.
Segmentation du contour intérieur : cas bouche ouverte
Initialisation et détection de points clefs
[0086] La méthode d'extraction du contour intérieur dans le cas de la bouche ouverte suit des étapes similaires à celles relatives au le contour extérieur. Deux jumping snakes donnent la position des deux points clefs internes Pa et Pio, le modèle paramétrique intérieur est initialisé et ajusté à l'aide d'un critère contour. La finalisation de l'extraction est déterminée par la vérification de l'hypothèse « bouche ouverte ». Si la bouche est en fait fermée, le cas bouche fermée est traité.
[0087] La position du point clef Pe est trouvée en faisant converger un snake intérieur supérieur et celle de Pw en faisant converger un snake intérieur inférieur. En effet, Pe et Pw (montrés à la Figure 9) sont respectivement les points milieux des contours internes supérieur et inférieur. Les deux germes doivent respecter les contraintes suivantes :
• Le germe intérieur haut est au dessus du contour intérieur supérieur et plus proche de celui-ci que du contour extérieur supérieur;
• Le germe intérieur bas est au dessous du contour intérieur inférieur et plus proche de celui-ci que du contour extérieur inférieur.
[0088]Ainsi les zones d'initialisation des germes sont relativement grandes et il n'est pas indispensable d'avoir une grande précision de placement, tant que ces contraintes sont satisfaites.
[0089] Connaissant la position du point P3, qui se trouve au milieu de l'arc de Cupidon (et donc au milieu de la bouche lorsque le visage est vu de face), les abscisses des germes intérieurs sont affectées à la valeur de l'abscisse de Pe- En ce qui concerne les ordonnées, les gradients G3 et G4 accentuent respectivement les contours intérieurs haut et bas.
[0090] Deux points intermédiaires, notés P'a et ΡΊο (car ceux-ci peuvent être vus comme une estimation des positions de Pe et Pi0), sont positionnés sur le segment [ΡβΡβ]- L'ordonnée de P'a (resp. P'w) est choisie au niveau du maximum du gradient G3 (resp. G4) entre les points P3 et Pe. Afin d'éviter une mauvaise affectation à cause du bruit, une accumulation des gradients est réalisée sur 10 colonnes autour de P3 et les valeurs cumulées maximales sont de préférence retenues. De plus, seule la composante horizontale des gradients est utilisée, car au milieu de la bouche, les contours sont principalement horizontaux.
[0091] Normalement, ces points sont déjà de bonnes estimations de Pa et P10, et ils se trouvent sur les contours intérieurs. Toutefois, les gradients G3 et G4 ont été construits pour accentuer le contour intérieur dans tous les cas possibles (frontière Lèvre/Dent, Lèvre/Gencive, Lèvre/Langue et Lèvre/Cavité orale). Par conséquent, d'autres contours à l'intérieur de la bouche peuvent être également accentués, comme par exemple, la frontière Dent/Cavité orale. Il se peut que le point P'8 ou P'w ne soit pas tout à fait sur le contour des lèvres. Les points P'a et P'w ne sont donc pas suffisamment fiables pour être choisis directement comme points clefs internes.
[0092] Les deux germes intérieurs sont positionnés de la manière suivante :
• Le germe intérieur haut est placé au ¾ du segment [ V'e],
• Le germe intérieur bas est placé au ¾ du segment [ΡβΡΊο]-
[0093] De cette façon, les germes respectent les conditions d'initialisation et se trouvent bien sur les lèvres.
[0094] Maintenant que les deux germes sont définis, il est possible de faire converger les snakes intérieurs supérieur et inférieur.
• Pour le snake supérieur : les paramètres sont réglés de façon à ce que le snake se propage en dessous du germe haut et le gradient G3 est utilisé pour sa convergence. • Pour le snake inférieur : les paramètres sont réglés de façon à ce que le snake se propage en dessus du germe bas et le gradient G4 est utilisé pour sa convergence.
[0095] La convergence des snakes donne des points sur les contours intérieurs supérieur et inférieur. Pg est le point du snake supérieur le plus proche de la verticale passant par P3 et Pw est le point du snake inférieur le plus proche de cette même verticale. Les abscisses des points Pe et P10 sont modifiées pour être égales à l'abscisse de P3, pour que ces deux points se retrouvent sur la même verticale. Il est à noter que les positions des commissures internes Ργ et Pg seront trouvées en même temps que l'optimisation du modèle paramétrique intérieur, comme cela a été fait pour les commissures Pi et P5.
Ajustement des snakes
[0096] Dans certains cas, il est possible que les snakes ne se stabilisent pas sur les bons contours intérieurs, mais sur d'autres contours parasites, soit parce qu'un autre contour intérieur a été également accentué par les gradients G3 et G4, soit parce que le contour n'est pas assez marqué.
Ces mauvaises convergences arrivent essentiellement dans deux cas : à cause de l'accentuation de la frontière Dent/Cavité orale ou en présence des gencives (Figures 11A et 11 B).
[0097] Lorsque les dents sont visibles (Figures 10A, 10B et 10C), il arrive que le snake intérieur supérieur ou inférieur se bloque sur le contour situé entre les dents et la cavité orale pour deux raisons :
• ce contour est accentué par le gradient G3oi/4 et il se trouve trop proche du germe,
• les dents ne sont pas assez brillantes (exemple avec des dents apparaissant plus jaunes que blanches) pour que la composante u joue son rôle dans la combinaison des gradients et le snake n'est pas arrêté par le contour intérieur.
[0098] Pour ajuster les points des snakes, le masque des pixels dents à l'intérieur de la bouche est établi, tel que montré en 10A. [0099] Les valeurs des composantes y et a des espaces Luv et Lab sont proches de 0 pour les pixels dents et plus élevées pour le reste des pixels de la bouche. En calculant les valeurs moyennes μ et les écart-types σ des composantes u et a des pixels de la bouche (sont pris en compte uniquement les pixels se trouvant dans la région définie par le contour extérieur des lèvres), un pixel (x, y) est défini comme un pixel « dent » si :
α(χ,γ)≤μα - σα ou u(x,y)≤ μ„ - σ„ (Eq.8)
Où a(x, y) et u(x, y) sont les valeurs des composantes u et a du pixel (x, y). (μ3, oa) et (μυ, συ) sont les valeurs moyennes et les écart types calculés pour les pixels de la bouche (Figure 10B).
[00100] A partir de ce masque, les points des snakes sont ajustés de la manière suivante (Figure 10C) :
• Si des pixels dents se trouvent au dessus du snake supérieur, les points du snake sont remontés jusqu'à qu'il n'y ait plus de pixels dents au dessus.
• Si des pixels dents se trouvent au dessous du snake inférieur, les points du snake sont abaissés jusqu'à qu'il n'y ait plus de pixels dents au dessous.
[00101] Des erreurs de convergence peuvent aussi arriver en présence des gencives. En effet, lorsque la couleur et la texture des gencives sont proches de celles des lèvres, le snake intérieur supérieur s'arrête sur la frontière séparant les gencives et les dents. Pour ajuster le snake dans ce cas, un second jumping snake est utilisé pour le contour haut. Le germe de ce second snake est choisi comme étant le point clef Pe trouvé grâce à la convergence du premier snake (point qui se trouve donc en dessous du vrai contour). Ainsi, les paramètres du second snake sont réglés de façon à ce que le snake se propage en dessus du germe. Le gradient utilisé pour l'énergie externe du snake est le gradient G5 (cf. Eq. 5).
[00102] A la fin de la convergence, si le germe final du second snake (Figure 11 B) est au dessous du point clef P3 du contour extérieur supérieur, l'ajustement est validé, sinon le résultat du premier snake (Figure 11 A) est conservé. En effet, dans le cas où il n'y a pas de gencives visibles, le second snake s'arrête au dessus de la bouche.
Ajustement du modèle paramétrique intérieur « bouche ouverte » (Figure 8 : étape 540)
[00103] Avec les différents ajustements des snakes, les deux points clefs Pa et Pio situés sur les contours intérieurs et plusieurs points utiles pour l'optimisation du modèle « bouche ouverte » sont obtenus. Il reste donc à trouver les commissures internes Ργ et Pg, et à ajuster le modèle.
[00104] Comme pour la détection des commissures Pi et P5 du contour extérieur, ces 2 étapes sont avantageusement réalisées en une seule et même opération.
[00105] Dans un premier temps, il est posé que les commissures internes sont les mêmes que les commissures externes (P7 = et Pg = P5). Cette supposition est souvent vérifiée, notamment lorsque la bouche est grand ouverte. A partir de là, des estimations des 4 courbes cubiques du modèle (notées : γ'5, γ'β, y et γ'8) sont établies (Figure 12A). Elles sont ici désignées par le terme « estimations » car elles sont obtenues en utilisant les commissures externes et non avec les bonnes commissures internes P7 et Pg.
Les points extrêmes de ces 4 cubiques sont connus, à savoir :
P, et Pe pour γ'5
Pa et P5 pour γ'6
Figure imgf000029_0001
[00106] De plus, il est posé comme contraintes une dérivée nulle en Pa et
Ainsi pour chaque cubique, trois équations sont disponibles. En utilisant, les points des snakes proches de Pa et Pw, une cubique est rapidement calculée pour chacun des 4 cas en utilisant la méthode des moindres carrés. [00107] La stratégie choisie pour trouver la commissure P7 (la même stratégie est adoptée pour détecter Pg) est à présent détaillée. A partir des estimations s et γ'8, plusieurs couples de cubiques sont calculés en faisant varier les pentes des estimations entre Pi and P% (γ5) en haut, et entre Pi and Pw (γβ) en bas (Figure 12B). Les pentes sont celles situées au niveau des points Pi et P5. Dix valeurs de pente autour de la valeur estimée sont testées pour chaque cubique. Le couple de cubiques qui maximise le flux moyen de gradient G3 (pour γ5) ou G4 (pour γ8) est gardé. La commissure P7 est finalement choisie comme étant l'intersection de ces deux cubiques. P9 est trouvé de la même manière avec les cubiques }¾ et γγ (Figure 12C).
Vérification de l'hypothèse « bouche ouverte » (Figure 8 : étape 550)
[00108] Ayant obtenu le contour intérieur, il reste à vérifier a posteriori la validité de l'hypothèse « bouche ouverte » prise au début de la segmentation du contour intérieur. Si l'hypothèse est vérifiée, la recherche du contour intérieur des lèvres est terminée, sinon il faut passer au cas « bouche fermée » décrit dans la partie suivante.
[00109] La décision est prise à l'aide d'un critère géométrique sur la forme du contour intérieur trouvé. Après la convergence des snakes intérieurs, trois cas de figures sont obtenus :
- Si la bouche est en fait fermée, le contour intérieur est une ligne sombre séparant les lèvres supérieure et inférieure. Si cette ligne sombre n'est pas assez marquée, les snakes ne sont pas stoppés par le contour intérieur et le snake supérieur s'arrêtera en dessous du snake inférieur (Fig. 13A). Il est alors déduit que la bouche est fermée.
- Si la bouche est fermée et que la ligne sombre est plus marquée, les 2 snakes s'arrêtent sur cette ligne et la distance entre les snakes est très faible (Fig. 13B). Si la surface de la région définie entre les 2 snakes est inférieure à un certain seuil, il est déduit que la bouche était fermée. Le seuil a été choisi expérimentalement et fixé à 10 pixels. D'autres valeurs peuvent aussi être utilisées. - Si la bouche est ouverte, le snake supérieur s'arrête au dessus du snake inférieur, et la région définie entre les 2 snakes est plus grande que le seuil de 10 pixels (Fig. 13C ).
Segmentation du contour intérieur : cas d'une bouche fermée
Détection du point clef Pu (Figure 8 : étape 700)
[00110] Lorsque la bouche est fermée, le contour intérieur est constitué de pixels lèvres et il peut être vu comme une ligne sombre reliant les deux commissures Pi et P5 de la bouche. Pour initialiser la recherche du contour, la ligne des minima de luminance Lm/n est utilisée. Comme déjà mentionné, la ligne relie les pixels les plus sombres de l'intérieur de la bouche et elle est initialisée sur le pixel du segment [ΡβΡβ] ayant la luminance la plus faible. En conséquence, comme le montre la Figure 14A, Lmin est, en général, déjà une bonne représentation du contour intérieur. De plus, lors de l'extraction du contour extérieur, les commissures Pi et P5 ont été choisies sur cette ligne.
[00111] Ainsi, le point clef Pu le plus adapté est le point initial de Lmin (le pixel le plus sombre du segment [ΡβΡβ])-
Ajustement du modèle paramétrique intérieur « bouche fermée » (Figure 8 : étapes 710 et 720)
[00112] Dans le cas d'une bouche fermée, les commissures internes sont supposées être les mêmes que les commissures externes (P7 = Pi, et Pg = P5). Aussi, en échantillonnant Lmin, nous obtenons plusieurs points sur le contour intérieur. Pour chacune des deux cubiques yg et yw, il y a donc les deux points extrêmes et une condition d'annulation de leur dérivée en Pg. En utilisant les points issus de l'échantillonnage de
Figure imgf000031_0001
proches de Pg, les cubiques sont calculées, par exemple en utilisant la méthode des moindres carrés (Figure 14C). Dans le cas où la ligne des minima de luminance ne serait pas exactement sur le contour intérieur, la segmentation n'est pas toujours assez précise. Une dernière étape avantageuse d'optimisation consiste à faire varier les pentes des cubiques au niveau des commissures (Figure 14B). On teste un certain nombre de pentes autour des valeurs initiales, par exemple une dizaine de pentes, pour chaque cubique et les courbes maximisant le flux moyen du gradient intensité (le contour intérieur étant une ligne sombre) sont choisies comme cubiques finales du modèle.
Segmentation dynamique
[00113] L'approche pour le suivi utilise des informations temporelles afin de prendre en compte l'enchaînement des images de la séquence. Un module de suivi permet d'améliorer les performances de la segmentation en termes de vitesse et de robustesse. En effet, par rapport à un algorithme statique qui traiterait une nouvelle image de la séquence sans connaissances à priori, le procédé de suivi utilise des informations temporelles définies à partir des images précédentes. Le traitement d'une nouvelle image tient compte ainsi des informations sur l'emplacement de la bouche ou sur la forme de la bouche (épaisseur des lèvres, allure des courbes des modèles dans les anciennes images...). Ces données permettent une segmentation plus rapide, mais aussi plus robuste, car les résultats précédents peuvent servir aux cas mal résolus en statique, à condition que la détection dans l'image précédente soit exacte. Le procédé de segmentation dynamique est constitué de 4 phases (Figure 5 : étapes 200, 210, 220 et 230); la dernière étape étant soit une réinitialisation (utilisation de l'algorithme statique), soit le suivi des contours labiaux.
Suivi des points clefs des modèles paramétriques (Figure 5 : étape 200)
[00114] Les modèles paramétriques utilisés pour modéliser les contours extérieur et intérieur des lèvres sont positionnés à partir des différents points clefs externes et internes P,=Î à n- Ces points sont trouvés sur la première image, de préférence en utilisant une approche telle que celle définie pour le mode statique, en faisant converger différents jumping snakes. Pour les images suivantes de la séquence, la position des points clefs est déterminée en effectuant un suivi de ces points image par image. La détection des points est, de ce fait, plus rapide et plus robuste que pour la méthode statique. Le suivi des points doit être le plus précis possible dans la mesure où ils vont permettre d'initialiser la position des modèles paramétriques dans l'image courante. Le résultat de la segmentation des lèvres est donc étroitement lié à la position des points clefs.
[00115] Les points Pi, P2, P3, ΡΛ, P5, Pe, Pa et P10 sont suivis à l'aide d'une technique qui est une variante de l'algorithme de Lucas-Kanade, présenté dans le document de B.D. Lucas, T. Kanade, An Itérative Image Registration Technique with an Application to Stereo Vision, in Proc. IJCAI'81 , pp. 674-679, Vancouver, 1981. Les positions des commissures internes P7 et P9 sont de préférence calculées directement pour toute nouvelle image de la séquence, car ce sont deux points difficiles à suivre. En effet, le voisinage des commissures internes peut changer significativement d'une image à l'autre car : a) les commissures internes se déplacent rapidement quand la bouche s'ouvre ou se ferme,
b) l'intérieur de la bouche change brutalement d'apparence lorsque les dents, la langue, les gencives ou la cavité orale, apparaissent ou disparaissent.
[00116] De ce fait, l'algorithme de suivi de Lucas-Kanade ne peut pas être performant pour suivre P7 et P9.
[00117] Enfin, comme préalablement mentionné, le cas « bouche fermée » est un cas conduisant à une segmentation du contour intérieur. Lorsque la bouche est détectée fermée, le point clef interne Pu est déterminé de la même manière que pour l'algorithme statique.
Ajustement du suivi des points clefs externes et internes
[00118] D'une image à la suivante, l'algorithme de Lucas-Kanade fournit une bonne estimation de la position des points. Cependant l'erreur s'accumule d'image en image et le suivi devient peu fiable après plusieurs images.
[00119] La dégradation du suivi concerne, en particulier, les commissures externes et les points Pe, Pw et P6 : • Pour Pi et Ρ5, l'accumulation d'erreur s'explique par le fait que les commissures ne peuvent être vues comme de véritables points, mais plutôt comme une région où les contours extérieurs des lèvres se rejoignent.
• Pour Pa et P10, l'erreur de suivi arrive souvent lorsque la bouche s'ouvre.
• Pour le point bas P6, la difficulté vient du fait que ce point se situe sur un contour qui est généralement horizontal. Dans ce cas, l'estimation du mouvement horizontal est peu fiable. On remarque que l'erreur du suivi concerne principalement la position horizontale de Pe.
[00120] En conclusion, l'algorithme de Lucas-Kanade permet de nous fournir une bonne estimation de la position des points clefs Pi, P∑, P3, P4, P5, P6, Pa et P10 d'une image à la suivante, mais les points ont besoin d'être réajustés à chaque image pour éviter l'accumulation des erreurs de suivi au cours de la séquence. Pour la suite de ce document, les notations suivantes sont adoptées :
• Pi'(t) est l'estimation du point P, obtenue par la méthode de Lucas- Kanade dans l'image courante à l'instant t.
• Pi(t) est la position recalée du point P, dans l'image courante à l'instant t. Du fait des propriétés spécifiques des régions entourant ces points clefs, différentes méthodes d'ajustement sont possibles en fonction du point à recaler.
Ajustement des commissures externes Pi et P5
[00121] Les positions des commissures externes obtenues par la méthode de suivi (Pi'(t) et Ps'(t)) peuvent ne plus être sur la ligne des minima de luminance Lm/n, comme cela a été préalablement indiqué. La première étape à réaliser est de replacer chacune des deux estimations sur le plus proche pixel appartenant à Z.m n. Ensuite, il est possible de calculer un modèle déformé du contour extérieur, à partir de la segmentation réalisée sur l'image précédente (à l'instant t-1) et des estimations des points clefs externes (Pi'(t), Pî{t), P/ffJ, Ps (t) et P6'(t)). [00122] Le résultat de la segmentation du contour extérieur des lèvres est disponible dans l'image précédente avec les quatre cubiques notées yi(t-1), y∑(t-1), 3(t-1) et 4(t-1) (Figure 15A . Les cubiques yi=1 à t-1) sont déformées pour coïncider avec les estimations des points clefs externes (Pi'(t), P
Ps'(t) et Pe'(t)) et pour obtenir des estimations des cubiques, notées
Figure imgf000035_0001
dans l'image courante à l'instant t. Chaque point de la cubique à l'instant t-1 est déplacé à l'instant t, en utilisant une moyenne pondérée des déplacements des deux points extrêmes de la cubique.
[00123] Ce modèle déformé fournit un bon aperçu du contour extérieur à l'instant f(Figure 15B). La méthode utilisée pour ajuster les estimations des commissures externes (Pi'(t) et Ps'(t)) consiste à calculer le modèle extérieur déformé pour plusieurs pixels candidats Pi(t) et Ps(t) et à déterminer le meilleur candidat avec la technique de maximisation des flux moyens de gradient, à travers les cubiques déformées obtenues. Nous supposons toujours que les commissures extérieures se trouvent sur Lm/„ (Figure 16A). Pour chacune des commissures, un certain nombre de points sont testés, par exemple sept points appartenant à Lm/n : la position estimée (qui a été initialement replacée sur Lm/n), trois points sur la gauche et trois points sur la droite. Pour chaque candidat, le modèle déformé est établi. Les positions recalées Pi(t) et Ps(t) sont de préférence déterminées respectivement par les deux meilleurs couples de cubiques (yi'(t), y ft)) et ( 2'(t), ft)) (Figure 16B). Les meilleurs couples de cubiques peuvent être désignés avec une maximisation des flux moyens de gradient, de la même manière que pour la segmentation statique. Le gradient G1 est utilisé pour les flux à travers yi'(t) et à travers γ2γί , et le gradient G∑ est utilisé pour les flux à travers y3'(t) et à travers
Figure imgf000035_0002
15C).
Ajustement des points clefs externes P2, P3, * et P6
[00124] L'algorithme de Lucas-Kanade donne les estimations P2YO, PJft), PSft) et Pe'it) qui sont soit précises (les points sont sur les contours extérieurs des lèvres), soit proches des contours. Pour recaler ces trois points clefs, nous utilisons les snakes dans leur version standard. Les contours actifs standards sont des courbes qui évoluent, d'une manière itérative, d'une position initiale jusqu'à se coller sur le contour recherché. La convergence du snake se fait en minimisant une fonctionnelle d'énergie composée d'un terme d'énergie externe, lié à l'image (pour attirer la courbe vers les contours), et d'un terme d'énergie interne, qui impose des contraintes de forme de la courbe pendant la déformation).
[00125] L'étape d'initialisation est capitale et les courbes initiales doivent être proches des contours recherchés pour obtenir un bon résultat de segmentation. Or, le modèle déformé, présenté préalablement, est proche des contours extérieurs des lèvres, spécialement avec les commissures externes qui sont désormais recalées (Figure 17A). Deux snakes classiques sont utilisé à partir du modèle déformé :
• un snake supérieur est initialisé avec les deux cubiques yi '(t) et y t) du modèle déformé (Figure 17B),
• un snake inférieur est initialisé avec les deux cubiques 3 (f) et '(t).
[00126] Les courbes cubiques sont échantillonnées pour donner les points initiaux composant les deux snakes. Pour la convergence des snakes, aucune énergie interne n'est utilisée. Les courbes initiales étant très proches des contours, la convergence des snakes est réalisée en quelques itérations et les courbes n'ont finalement pas besoin d'être régies par des contraintes de forme. Les énergies externes sont basées sur le gradient Gi pour le snake supérieur et G2 pour le snake inférieur.
A la fin de la convergence (Figure 17C), les points recalés P∑(t), Peft), P t) et Pe(t) sont les quatre points des snakes finaux supérieur et inférieur les plus proches des estimations P2'(t), P3'(t)> Ptf) et P6'(t).
Ajustement des points clefs internes Pa et P10
[00127] Les deux points clefs internes Pe et Pw sont des points difficiles à suivre précisément car ils sont sur les frontières de l'intérieur de la bouche. De ce fait, l'environnement de ces deux points change fréquemment d'une image à l'autre, car la bouche alterne continuellement entre l'état ouvert et fermé, et l'apparence de l'intérieur de la bouche varie non-linéairement pendant une conversation (apparition et disparition continues des dents, langue, gencives ou cavité orale). Pour leur ajustement, deux étapes consécutives sont prévues : a) ajustement par rapport au masque des dents,
b) ajustement en fonction de l'épaisseur des lèvres.
[00128] Plusieurs techniques de segmentation des dents peuvent être utilisées. Celle en relation avec Γ équation (8) est préconisée. Une fois le contour extérieur connu, l'équation 8 permet de déterminer, pour chaque pixel de la bouche, si le pixel est un pixel « dent ». A ce niveau de la segmentation, le résultat final du contour extérieur de la bouche n'est pas encore défini, mais, une nouvelle fois, le modèle extérieur déformé présenté précédemment peut être utilisé.
A partir du masque des dents, l'estimation Ps'(t) est déplacée vers le haut, s'il y a des pixels « dent » au dessus et dans la même colonne que Pe'(t)- Et l'estimation Pw'(t) est déplacée vers le bas, s'il y a des pixels « dent » au dessous et dans la même colonne que Pio'(t)- Les points étant sur le contour intérieur, il ne doit y avoir que des pixels « lèvre » au dessus (resp. en dessous) de PB (resp. P10).
[00129] A partir des résultats de la segmentation des contours des lèvres obtenus sur les images précédentes de la séquence, l'épaisseur moyenne des lèvres supérieure et inférieure est connue. En posant comme base que ces épaisseurs ne varient pas trop brutalement d'une image à l'autre (l'épaisseur des lèvres diminue lorsque la bouche s'étire), il est possible d'ajuster les estimations Pe'(t) et Pio'(t) en fonction de leur valeur obtenue avec les images précédentes. L'épaisseur de la lèvre la plus haute, notée Thaut, correspond à la distance entre les points P3 et Ps, et l'épaisseur de la lèvre la plus basse, notée bas, correspond à la distance entre les points Pw et Pe-
[00130] On calcule l'épaisseur moyenne de la lèvre supérieure, notée Thaut(tp), et l'épaisseur moyenne de la lèvre inférieure, notée Tbas(tP), à partir des cinq images précédentes. Si les valeurs des épaisseurs des lèvres de l'image courante Thaut(t) et Tbas(t) obtenues à l'aide des points P3H) et Ρβ(ή, et des estimations Pa'(t) et Pw'(t), ne respectent pas les conditions de l'équation 9, les ordonnées des points clefs internes sont ajustées de la manière suivante :
7-^( < o.75 «rta(g or i.25xr (/p) < rfc=i,(
TL( < 0.75xrto(i ) or 1.25xrto¾) < T^(t) (bq' }
• l'ordonnée de Pg'(t) est égale à l'ordonnée de P3(t) plus la valeur de l'épaisseur moyenne Thaut(tp),
• l'ordonnée de Pio'(t) est égale à l'ordonnée de moins la valeur de l'épaisseur moyenne Tbas(tp).
[00131] Cette méthode de recalage est utile notamment lorsque la bouche s'ouvre trop vite et que l'algorithme de Lucas-Kanade n'a pas réussi à suivre les points clefs internes.
Test pour la réinitialisation du suivi (Figure 5 : étape 210)
[00132] Lors du suivi des contours des lèvres dans une séquence d'images, il peut arriver que la segmentation échoue pour plusieurs raisons parmi lesquelles :
• un point des modèles paramétriques extérieur ou intérieur a été mal suivi,
• un contour n'est pas assez marqué pour que sa détection soit précise,
• le mouvement de la bouche a été trop rapide d'une image à l'autre,
• la bouche a été partiellement occultée.
Si un des cas précédents survient, le suivi des contours en est affecté, tel que montré à la Figure 18. Afin d'éviter que les résultats divergent, il est nécessaire de réinitialiser l'extraction des contours de la séquence. La difficulté consiste alors à déterminer quand le suivi a besoin d'être réinitialisé.
[00133] A ce stade de l'algorithme de suivi des contours de la bouche, les positions de 8 points clefs sont connues. Pu(t) est calculé lorsque la bouche est fermée et les commissures internes (P?(t) et Pg(t)) sont détectées en même temps que le calcul des cubiques internes. En particulier les six points clefs externes P,=i à e(t) sont connus dans l'image courante; on utilise leur position pour en déduire si le suivi des contours en cours est acceptable ou s'il a besoin d'être réinitialisé. Cette étape correspond à l'étape 210 du schéma global du procédé. Les positions des six points clefs externes P,=i à e(t) de l'image courante sont comparées avec leur position dans l'image précédente PM à e(t- 1). Si la distance entre un des points courants et sa position précédente dépasse un certain seuil, il est déduit que la segmentation doit être réinitialisée.
[00134] Le seuil peut varier selon les cas. De préférence, il prend en compte la taille de la bouche et la cadence d'acquisition des images. Par exemple, pour des images acquises à 50 images/seconde où les bouches ont en moyenne une taille de 50x20 pixels, le seuil est établi à 10 pixels. Si la condition n'est pas enfreinte, l'algorithme de suivi continue et il passe aux étapes 220 et 230, qui sont le suivi de la boîte autour de la bouche et l'extraction des contours des lèvres. En cas de réinitialisation, l'approche statique est appliquée (les étapes 100, 1 10 et 120) sur l'image courante de la séquence qui a posée problème, et cette image est vue comme la première image d'une nouvelle séquence.
Suivi de la boîte englobante de la bouche (Figure 5 : étape 220)
[00135] Dans le cas où il n'est pas requis de réinitialiser le suivi des contours, l'algorithme de suivi continue. L'étape 220 correspond au suivi de la boîte autour de la bouche, à l'aide d'un filtre de Kalman. Le filtre de Kalman (R.E. Kalman, A New Approach to Linear Filtering and Prédiction Problems, Transaction of the ASME - Journal of Basic Engineering, vol. 82, pp. 35-45, 1960) permet de régulariser la trajectoire d'un modèle. Le filtre de Kalman est un estimateur récursif, c'est-à-dire que l'état courant est défini à partir de l'état précédent et des mesures courantes. L'état précédent est utilisé pour prédire l'état courant et l'observation est utilisée pour affiner la prédiction.
Prédiction
[00136] Pour la prédiction de la boîte autour de la bouche, l'algorithme de block matching est utilisé. Le bloc de référence est extrait de l'image précédente à partir des coordonnées de la boîte englobante. Il est comparé à plusieurs blocs de même taille dans l'image courante. La recherche est réalisée dans une fenêtre qui correspond à la position du bloc de référence agrandi de ±5 pixels horizontalement et verticalement. Pour comparer la similarité des deux blocs, on utilise l'Erreur Quadratique Moyenne, qui est la différence interpixel au carré. La position prédite de la boîte est affectée au bloc donnant l'erreur la plus faible.
Mise à jour
[00137] Pour la mise à jour de l'état prédit, le filtre de Kalman utilise une observation. Les positions des points clefs externes P,=Î à e(t) sont utilisées pour calculer une mesure de la boîte courante. Cette boîte observée entoure tous les points clefs d'au moins 5 pixels. Le filtre de Kalman permet d'obtenir un suivi régularisé de la boîte autour de la bouche pour les images de la séquence. La boîte permet de déterminer la région d'intérêt pour l'extraction des contours. Par exemple, pour le suivi des contours extérieurs, plusieurs cubiques sont calculées et les meilleures sont déterminées pour obtenir le contour final. Si une des cubiques dépasse les limites de la boîte, celle-ci ne sera pas prise en compte.
Extraction des contours des lèvres (Etape 230)
[00138] L'algorithme de suivi utilise les mêmes modèles paramétriques composés de plusieurs courbes cubiques pour représenter les contours des lèvres. Les deux modèles extérieur et intérieur sont initialisés à l'aide des points clefs suivis par la méthode de Lucas-Kanade.
Extraction du contour extérieur
[00139] Les positions des six points clefs externes P,=Î à e(t) du modèle paramétrique extérieur sont connues. Pour rappel, le modèle est composé de quatre courbes cubiques γ,= i à t) et d'une ligne brisée [P2(fJ P3(t) P t)]. La ligne brisée est obtenue directement en reliant les trois points
Figure imgf000040_0001
2 à 4(t), il reste donc à déterminer les quatre courbes cubiques. [00140] Une cubique est décrite entièrement si les 4 paramètres qui la régissent sont connus. Pour chacune des cubiques du contour extérieur, la position des deux points extrêmes est connue et le modèle impose une dérivée nulle aux points P2(t), Peft) et P t). En conséquence, il y a trois équations par cubique et il ne reste plus qu'un seul paramètre à déterminer.
[00141] Avec l'algorithme de suivi, il n'y a pas de points supplémentaires sur les contours extérieurs, comme ceux fournis par les deux jumping snakes extérieurs pour la méthode statique. Il n'est donc pas possible d'utiliser d'autres points pour trouver une dernière équation, mais il est possible de se servir des paramètres des courbes cubiques, obtenus lors de la segmentation de l'image précédente, Yi= i à 4(t-1).
[00142] En posant que la bouche se déforme suffisamment lentement et que la cadence d'acquisition est suffisamment élevée, il est considéré que les paramètres des cubiques varient également lentement d'une image à l'autre. En particulier, les valeurs des pentes des cubiques, au niveau des commissures extérieures Pt et P5, sont proches d'une image à la suivante.
[00143] L'optimisation du modèle extérieur et le calcul des cubiques sont réalisés de la manière suivante, tel qu'illustré aux Figures 19A et 19B :
a) Les cubiques sont initialisées avec la position de leurs deux points clefs extrêmes, la contrainte de dérivée nulle au niveau du centre de la bouche et la pente de la cubique de l'image précédente au niveau des commissures extérieures (notée Pi(t-1)).
b) Des cubiques candidates sont testées en faisant varier la valeur des pentes autour de la valeur initiale Pi(t-1). Une dizaine de pentes testées autour de p,(t- 1) suffisent à donner de bons résultats, dans la mesure où les déformations inter-images de la frontière extérieure de la bouche sont petites.
c) Les meilleures cubiques sont celles qui maximisent le flux moyen du gradient Gt (pour Yf (t) et y2 (t)) ou G2 (pour y3 (t) et y4 (t)). Les valeurs des pentes de ces cubiques finales pi(t) sont utilisées pour initialiser la recherche dans l'image suivante. Finalement, les quatre meilleures cubiques γ,= j à 4(t) et la ligne brisée définissent les contours extérieurs des lèvres.
[00144] Les différentes cubiques testées doivent se trouver à l'intérieur de la boîte englobante de la bouche pour être prises en compte. Ceci permet de rendre l'algorithme plus robuste vis-à-vis des erreurs de segmentation, lorsque les contours sont peu marqués. Dans le cas d'un contour peu marqué, une cubique candidate ,(t), ne se trouvant pas sur la frontière des lèvres, pourrait être choisie. Or, dans l'image suivante, la recherche s'effectuera à partir de la valeur de la pente de Yi(t-1), et ainsi de suite, d'image en image. Si la cubique s'éloigne trop de la bouche, aucun des candidats ne se retrouve effectivement sur le contour recherché et la segmentation devient irrécupérable. Le fait de limiter les cubiques à l'intérieur du cadre de la bouche permet de remédier à ce genre d'erreur.
Extraction du contour intérieur
[00145] Dans le cas du contour intérieur, l'algorithme de Lucas-Kanade a seulement fourni la position des deux points clefs internes Pe(t) et Pw(t). Pour mémoire, le contour intérieur est modélisé par deux modèles paramétriques : un modèle composé de quatre cubiques γ,·= 5 à e(t) si la bouche est ouverte et un modèle composé de deux cubiques γ,= 9 ό io(t) si la bouche est fermée.
Pour l'extraction du contour intérieur, il faut donc déterminer l'état de la bouche pour choisir le modèle correspondant et déterminer la position des commissures intérieures.
Détection de l'état de la bouche
[00146] De la même manière que pour l'approche statique, dans un premier temps, on donne comme base que la bouche est ouverte et en fonction du résultat de la segmentation du contour intérieur, soit cette hypothèse est validée, soit le cas de la bouche fermée est considéré pour la suite. Optimisation du modèle intérieur « bouche ouverte »
[00147] Pour ce modèle, il faut déterminer la position des commissures intérieures P7(t) et P9(t). De la même façon que pour la méthode statique, les commissures sont trouvées en même temps que les courbes cubiques. Aussi, comme vu précédemment avec l'optimisation du modèle extérieur, les pentes des cubiques trouvées dans l'image précédente sont utilisées.
[00148] L'optimisation du modèle intérieur « bouche ouverte » et le calcul des cubiques sont réalisés de la manière suivante, tel que montré aux Figures 20A et 20B :
a) On pose tout d'abord que les commissures intérieures sont égales aux commissures extérieures (P7ft) = Pi(t), et P9(t) = Ps(t)). Les cubiques sont initialisées avec la position de leurs deux points clefs extrêmes (on utilise donc les commissures extérieures), la contrainte de dérivée nulle au niveau du centre de la bouche et la pente précédente au niveau des commissures extérieures (P,(t-1).
b) Des cubiques candidates sont testées en faisant varier la valeur des pentes autour de la valeur initiale pi(t-1). Pour le cas intérieur, une vingtaine de pentes sont testées autour de Pi(t-1) (deux fois plus que pour le cas extérieur), les déformations inter-images de la frontière intérieure de la bouche sont plus importantes que pour la frontière extérieure.
c) Les meilleures cubiques sont celles qui maximisent le flux moyen du gradient G3 (pour 5(t) et γ6 (t)) ou G4 (pour γ7 (t) et γ8 (t)). Les valeurs des pentes de ces cubiques finales p,(t) seront utilisées pour initialiser la recherche dans l'image suivante. Finalement, les commissures intérieures sont positionnées aux intersections des couples de cubiques
Figure imgf000043_0001
et (Yi=e(t), γ,=7(Υ ), et les quatre meilleures cubiques définissent les contours extérieurs des lèvres.
[00149] Il faut enfin vérifier que la bouche était bien ouverte. Le critère de vérification est plus simple que pour la méthode statique, dans la mesure où les points clefs recalés Pe(t) et Pio(t) fournissent un renseignement fiable sur l'état d'ouverture de la bouche. Si la bouche est fermée, les deux points sont très proches, sinon ils sont d'autant plus éloignés l'un de l'autre, que la bouche est ouverte. Si la surface, définie par les contours intérieurs supérieur et inférieur, est plus faible qu'un certain seuil (fixé par exemple à 10 pixels comme précédemment), il est déduit que la bouche était en réalité fermée et il est alors requis de passer à l'optimisation du modèle intérieur « bouche fermé ». Sinon la segmentation du contour pour l'image courante est terminée.
Optimisation du modèle intérieur « bouche fermée »
[00150] Si la bouche est détectée fermée dans l'image courante, exactement la même technique que pour une image statique est appliquée. Pour rappel, le point clef Pu(t) est obtenu à l'aide de la ligne des minima de luminance et il se trouve sur la même colonne que Peft). Les commissures internes sont égales aux commissures externes (Pz(fJ = Pi(t), et Pg(t) = Ps(t)). Deux cubiques initiales g(t) et yw(t), sont calculées à l'aide de la méthode des moindres carrés et on fait varier la valeur des pentes au niveau des commissures extérieures pour obtenir plusieurs courbes candidates. Les deux meilleures courbes correspondent aux deux maxima des flux moyens du gradient de la luminance. Le modèle paramétrique intérieur est ainsi ajusté et les contours intérieurs sont extraits dans l'image courante.
[00151] Pour l'image suivante, le cas « bouche ouverte » est obligatoirement traité dans un premier temps. La valeur de la pente au niveau de la commissure extérieure gauche de yg(t-1) sera utilisée pour, à la fois, initialiser la recherche des cubiques γ5 (t) et y8(t). De même, La valeur de la pente au niveau de la commissure extérieure droite de yio(t-1) sera utilisée pour, à la fois, initialiser la recherche des cubiques ye(t) et y7(t).
Dispositif de détection du contour [00152] La figure 21 présente un exemple d'un mode de réalisation d'un dispositif 1 de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon l'invention. On retrouve d'une part un module d'extraction de contour extérieur 10, prévu pour extraire, à partir d'une image numérique, un contour extérieur de la bouche. Le module d'extraction de contour extérieur 10 comporte un module de détection de points clés 11 , pourvu de moyens de calculs tel qu'un microprocesseur 12 et d'une mémoire de travail 13, un module de génération de courbes paramétriques 14, pourvu de moyens de calculs tel qu'un microprocesseur 15 et d'une mémoire de travail 16, et d'un module d'optimisation 17, pourvu de moyens de calculs tel qu'un microprocesseur 18 et d'une mémoire de travail 19. Selon diverses variantes de réalisation, les moyens de calculs 12, 15 et 18, tout comme les mémoires de travail 13, 16 et 19 peuvent être centralisés pour tous les modules ou tout le dispositif de détection, ou encore être agencés de façon externe, avec connexion aux différents modules.
[00153] Le module de détection de points clés 11 est avantageusement agencé de façon à pouvoir utiliser une boîte englobante de la bouche tel que décrit précédemment, en relation avec les figures 6 et 7.
[00154] Le module de génération de courbes paramétriques 14 est agencé de façon à utiliser une approche de minimisation d'énergie. Les modèles paramétriques décrits précédemment comportent des courbes cubiques permettant de relier des points clés des contours concernés.
[00155] Le module d'optimisation 17 est agencé de façon à déterminer les meilleurs couples de courbes cubiques, tel que préalablement décrit.
[00156] De façon similaire au module d'extraction de contour extérieur 10, le module d'extraction de contour intérieur 20 comporte un module de détection de points clés 21, pourvu de moyens de calculs tel qu'un microprocesseur 22 et d'une mémoire de travail 23, un module de génération de courbes paramétriques 24, pourvu de moyens de calculs tel qu'un microprocesseur 25 et d'une mémoire de travail 26, et d'un module d'optimisation 27, pourvu de moyens de calculs tel qu'un microprocesseur 28 et d'une mémoire de travail 29. Selon diverses variantes de réalisation, les moyens de calculs 22, 25 et 28, tout comme les mémoires de travail 23, 26 et 29 peuvent être centralisés pour tous les modules ou tout le dispositif de détection, ou encore être agencés de façon externe, avec connexion aux différents modules.
[00157] Le module de détection de points clés 21 , le module de génération de courbes paramétriques 24 et le module d'optimisation 27 sont avantageusement agencés de façon similaire aux modules correspondants 11 , 14 et 17. Dans une variante, les éléments correspondants du module d'extraction de contour intérieur 10 et du module d'extraction de contour intérieur 20 sont combinés en un seul module prévu pour effectuer toutes les opérations correspondantes.
[00158] Un module de test de condition bouche ouverte 30 permet de vérifier si l'hypothèse de départ, à savoir que la bouche est ouverte, est vérifiée ou non. Le module détecte les formes et/ou positions et autres particularités géométriques des snakes pertinents, pour effectuer le test tel que décrit précédemment dans le présent document.
[00159] La figure 22 illustre de façon schématique les principales fonctions du dispositif 1 de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon l'invention. Les données 50 d'images numériques sont fournies au dispositif 1 de détection du contour, qui génère les points 51 du contour de la bouche, les courbes paramétriques 52 du contour de la bouche, et les gradients 53 requis. Ces divers paramètres sont avantageusement stockés dans des mémoires, afin de pouvoir être utilisés au moment opportun. Les données 50 d'images numériques peuvent comprendre des images de visages à partir desquelles la zone de la bouche sera extraite, ou des images déjà ciblées en fonction de représenter uniquement la zone de la bouche.

Claims

REVENDICATIONS
1. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique, comportant les étapes consistant à :
- obtenir une première image des lèvres pour lesquelles la détection du contour est prévue (500) ;
- extraire le contour extérieur des lèvres à l'aide d'un modèle paramétrique de contour extérieur (510) ;
- détecter au moins deux points clés du contour interne des lèvres (520) ;
- déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés (530) ;
- optimiser le modèle paramétrique interne en fonction des critères inhérents à une bouche ouverte (540);
- effectuer un test afin de déterminer si la bouche est ouverte (550).
2. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon la revendication 1 dans lequel le modèle paramétrique de contour extérieur comporte au moins quatre courbes cubiques, soit deux de chaque côté de la bouche, définissant les contours supérieurs (γ1 , γ2) et inférieurs (γ3, γ4) à partir des commissures des lèvres.
3. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon l'une des revendications 1 ou 2, dans lequel les deux points clés du contour interne des lèvres sont les points médiants des contours intérieurs supérieurs (P8) et inférieur (P10).
4. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon les revendication précédentes, dans lequel l'optimisation du modèle paramétrique interne est obtenue par détermination de gradients (G1 , G2, G3, G4) susceptibles d'accentuer les contours des lèvres.
5. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon les revendication précédentes, dans lequel le test de détection de bouche ouverte comprend une étape de comparaison des positions relatives des snakes inférieurs et supérieurs pour vérifier si le snake supérieur s'arrête au dessus du snake inférieur, et si la région définie entre les deux snakes est plus grande qu'un seuil prédéfini.
6. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon les revendication précédentes, dans lequel :
- si la bouche est fermée, détecter un point clé interne défini en fonction d'une bouche fermée (700) ;
- déterminer au moins une courbe paramétrique permettant de définir le contour interne (710);
- optimiser le modèle paramétrique interne en fonction des critères inhérents à une bouche fermée (720).
7. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon l'une des revendications précédentes, comportant des étapes de suivi dynamique consistant à :
- obtenir une première image des lèvres pour lesquelles le suivi est prévu à un temps donné (t) ;
- détecter les points clés du contour externe des lèvres ;
- détecter les points clés du contour interne des lèvres ;
- déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés ;
- obtenir une autre image des lèvres à un intervalle de temps t+1 ;
- comparer les positions des points clés externes suivis de l'image à t+1 aux positions correspondantes de ces points clés pour l'image précédente (t) ;
- effectuer un test de réinitialisation ;
- si les résultats du test de réinitialisation sont positifs, effectuer une étape de réinitialisation.
8. Procédé de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon la revendication 7, dans lequel si les résultats du test de réinitialisation sont négatifs, poursuivre le suivi avec l'obtention d'une autre image à l'intervalle de temps suivant et répéter les étapes de comparaison jusqu'à ce que la période de suivi soit terminée.
9. Dispositif de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique, comportant :
- un module d'extraction de contour extérieur (10) permettant d'extraire le contour extérieur des lèvres à partir d'une image d'un visage ou d'une bouche ;
- un module d'extraction de contour intérieur (20) permettant d'extraire le contour intérieur des lèvres à partir d'une image d'un visage ou d'une bouche ;
- un module de test (30) de condition de bouche ouverte, susceptible d'effectuer un test afin de déterminer des conditions selon lesquelles la bouche est ouverte ;
- chacun des modules d'extraction de contour extérieur et intérieur comprenant :
- un module de détection de points clés (11 , 21), susceptible de détecter au moins deux points clés du contour interne des lèvres ;
- un module de génération de courbes paramétriques (14, 24), susceptible de déterminer des courbes paramétriques permettant de définir le contour entre lesdits points clés ;
- un module d'optimisation, susceptible d'optimiser des modèles paramétriques en fonction de critères donnés.
10. Dispositif de détection du contour intérieur des lèvres d'une bouche humaine à partir d'une image numérique selon la revendication 9, comprenant par ailleurs un module d'obtention d'images, permettant d'obtenir au moins une première image des lèvres pour lesquelles la détection du contour est prévue.
PCT/IB2010/002826 2009-11-06 2010-11-05 Dispositif et procede de detection et suivi des contours interieur et exterieur des levres WO2011055224A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR09/05351 2009-11-06
FR0905351 2009-11-06

Publications (1)

Publication Number Publication Date
WO2011055224A1 true WO2011055224A1 (fr) 2011-05-12

Family

ID=43558199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2010/002826 WO2011055224A1 (fr) 2009-11-06 2010-11-05 Dispositif et procede de detection et suivi des contours interieur et exterieur des levres

Country Status (1)

Country Link
WO (1) WO2011055224A1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751454A (zh) * 2015-03-11 2015-07-01 百度在线网络技术（北京）有限公司 一种用于确定图像中的人物轮廓的方法和装置
CN111199534A (zh) * 2018-11-16 2020-05-26 Fei公司 图像中特征计量的参数估计
CN114998841A (zh) * 2022-08-01 2022-09-02 易凯医疗建筑设计(深圳)有限公司 核酸采样的样本识别方法、装置、设备及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
B.D. LUCAS; T. KANADE: "Iterative Image Registration Technique with an Application to Stereo Vision", PROC. IJCAI'81, 1981, pages 674 - 679
CAPLIER A ET AL: "Accurate and Quasi-Automatic Lip Tracking", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 14, no. 5, 1 May 2004 (2004-05-01), IEEE SERVICE CENTER, PISCATAWAY, NJ, US, pages 706 - 715, XP011112294, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2004.826754 *
KASS; M. KASS, A. WITKIN; D. TERZOPOULOS, SNAKES ET AL.: "Active Contour Models", INTEMATIONAL JOUMAL OF COMPUTER VISION, vol. 1, no. 4, 1987, pages 321 - 331
N. EVENO; A. CAPLIER; P.Y. COULON: "Automatic and Accurate Lip Tracking", IEEE TRANS. ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 14, no. 5, 2004, pages 706 - 715
R.E. KALMAN: "A New Approach to Linear Filtering and Prediction Problems, Transaction of the ASME", JOUMAL OF BASIC ENGINEERING, vol. 82, 1960, pages 35 - 45
S. STILLITTANO, A. CAPLIER: "Inner lip segmentation by combining active contours and parametric models", VISAPP 2008 - INTERNATIONAL CONFERENCE ON COMPUTER VISION THEORY AND APPLICATIONS, 22 January 2008 (2008-01-22) - 25 January 2008 (2008-01-25), pages 297 - 304, XP002625885 *
SÉBASTIEN STILLITTANO: "SEGMENTATION ET SUIVI DES CONTOURS EXTERNE ET INTERNE DES LEVRES POUR DES APPLICATIONS DE MAQUILLAGE VIRTUEL ET DE LABIOPHONIE", PHD THESIS INPG FRANCE, 26 May 2009 (2009-05-26), pages 1 - 214, XP002625826, Retrieved from the Internet <URL:http://tel.archives-ouvertes.fr/docs/00/45/29/29/PDF/These_Stillittano.pdf> [retrieved on 20110402] *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751454A (zh) * 2015-03-11 2015-07-01 百度在线网络技术（北京）有限公司 一种用于确定图像中的人物轮廓的方法和装置
CN104751454B (zh) * 2015-03-11 2018-05-11 百度在线网络技术（北京）有限公司 一种用于确定图像中的人物轮廓的方法和装置
CN111199534A (zh) * 2018-11-16 2020-05-26 Fei公司 图像中特征计量的参数估计
CN114998841A (zh) * 2022-08-01 2022-09-02 易凯医疗建筑设计(深圳)有限公司 核酸采样的样本识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
EP3138079B1 (fr) Procédé de suivi de forme dans une scène observée par un capteur asynchrone de lumière
EP0720125B1 (fr) Dispositif de formation d&#39;image et procédé pour effectuer des corrections de distorsions optiques géométriques dans une image
EP0627693B1 (fr) Dispositif de segmentation d&#39;images composées de textures
EP0668570B1 (fr) Procédé de traitement d&#39;images pour déterminer localement le centre et la demi-largeur d&#39;objets contrastant sur un fond et arrangement pour mettre en oeuvre ce procédé
EP1431907B1 (fr) Evaluation de la netteté d&#39;une image d&#39;iris d&#39;oeil
FR3067242B1 (fr) Procede d&#39;evaluation d&#39;une gouttiere orthodontique
EP3707676A1 (fr) Procédé d&#39;estimation de pose d&#39;une caméra dans le référentiel d&#39;une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d&#39;ordinateur associé
EP2930659B1 (fr) Procédé de détection de points d&#39;intérêt dans une image numérique
FR2827461A1 (fr) Selection intelligente d&#39;une particularite et commande de l&#39;avancee sur gros plan et du recul sur panoramique par panoramique
EP1986126A1 (fr) Procédé et dispositif de localisation d&#39;un iris humain dans une image
WO2018109372A1 (fr) Procédé de traitement d&#39;image numérique
EP3614306A1 (fr) Procédé de localisation et d&#39;identification de visage et de détermination de pose, à partir d&#39;une vue tridimensionnelle
WO2011055224A1 (fr) Dispositif et procede de detection et suivi des contours interieur et exterieur des levres
FR3088755A1 (fr) Procede de defloutage d’une image
Swami et al. Candy: Conditional adversarial networks based end-to-end system for single image haze removal
EP3928291A1 (fr) Procede de correction d&#39;un contour
EP4162448A1 (fr) Procédé et dispositif de reconstruction tridimensionnelle d&#39;un visage avec partie dentée à partir d&#39;une seule image
EP3387619B1 (fr) Detection et suivi de rails dans un flux video
EP0961227A1 (fr) Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d&#39;un couple d&#39;images issues de prises de vues différentes
WO2012079996A1 (fr) Procede de comparaison d&#39;images d&#39;iris par selection intelligente de zones texturees
CN109472808B (zh) 一种获取视频中运动目标的检测方法
CA2888869C (fr) Procede de segmentation de doigts
EP3088271B1 (fr) Procede de detection de position de garde-corps de nacelles de telesiege par analyse d&#39;image
EP4150574B1 (fr) Procédé de traitement d&#39;images
FR2980292A1 (fr) Procede et systeme d&#39;acquisition et de traitement d&#39;images pour la detection du mouvement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10788129

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10788129

Country of ref document: EP

Kind code of ref document: A1