WO1999046737A1 - Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes - Google Patents

Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes Download PDF

Info

Publication number
WO1999046737A1
WO1999046737A1 PCT/EP1999/001600 EP9901600W WO9946737A1 WO 1999046737 A1 WO1999046737 A1 WO 1999046737A1 EP 9901600 W EP9901600 W EP 9901600W WO 9946737 A1 WO9946737 A1 WO 9946737A1
Authority
WO
WIPO (PCT)
Prior art keywords
head
determined
difference image
function
individual images
Prior art date
Application number
PCT/EP1999/001600
Other languages
English (en)
French (fr)
Inventor
Wolfgang Konen
Michael Brauckmann
André LIEBETRAU
Original Assignee
Zentrum Für Neuroinformatik Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zentrum Für Neuroinformatik Gmbh filed Critical Zentrum Für Neuroinformatik Gmbh
Priority to EP99911778A priority Critical patent/EP1062640B1/de
Priority to US09/623,985 priority patent/US6922478B1/en
Priority to DE59911699T priority patent/DE59911699D1/de
Priority to JP2000536043A priority patent/JP2002507035A/ja
Priority to CA002323867A priority patent/CA2323867A1/en
Publication of WO1999046737A1 publication Critical patent/WO1999046737A1/de

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the invention relates to a method for verifying the authenticity of an image of a person to be subjected to person identification, which is recorded as part of a person identification.
  • German utility model 2 950660 to restrict the spectral range of light used for person recognition to an area in which a photo or a mask-like image has reflectance characteristics that differ from those of an actually recorded one, by means of an IR filter disk Differentiate facial.
  • a disadvantage of such an IR filter is, however, that it lowers the image quality and thus increases the demands on the quality of the detection method.
  • the three-dimensional structure of a face that is completely or partially covered are laser triangulation or the so-called shape-from-shading methods, as disclosed in Attick, Griffin and Redlich in Neural Computation 8, 1321-1340, 1996, which allow conclusions to be drawn about depth information of the object under consideration from the gray value curve for a given direction of illumination.
  • these methods can be used to detect delusions in which an image is held planar in front of the recording system, delusions caused by a cylindrically curved image or by a three-dimensional mask cannot be recognized as a delusion.
  • thermography processes methods are known in the prior art in which the images of the person to be recognized are recorded by means of thermography processes, see for example the German patent 4 009 051. In this case, the heat radiation emitted by the person to be recognized is detected and identified with a predetermined reference compared.
  • a disadvantage of these methods is that the devices for carrying out these methods, in particular the thermographic cameras for recording the person to be recognized, are very expensive. Accordingly, thermography processes cannot be used in access controls that are to be used in many places, such as, for example, in automated teller machines for withdrawing money and / or carrying out banking transactions.
  • the object underlying the invention is to create a method for verifying the authenticity of an image of a person to be subjected to person recognition, which is recorded as part of a person identification, in which on the one hand the reliability verification of authenticity is increased compared to the prior art and thus the security to be achieved by an access control is increased, and which, on the other hand, can be implemented inexpensively.
  • a method for verifying the authenticity of an image recorded as part of a person identification of a person to be subjected to person identification which comprises the steps of recording a sequence of chronologically successive individual pictures of the person, and determining the authenticity of the picture taken, if from at least two successive individual images of the sequence of intrinsic movements of the person are determined. Since in the method according to the invention intrinsic movements of a person to be recognized, i.e. movements which each and thus a person to be recognized consciously and unconsciously executes without changing their focus, are used to verify the authenticity of the images taken, the authenticity is only established if the consecutively recorded individual images actually come from a person who carries out intrinsic movements, that is to say from a living person. Accordingly, it is no longer possible to deceive an access control using the method according to the invention by holding a cylindrically bent photo or a mask-like image of the person to be recognized, as a result of which the security guaranteed by the access control is considerably increased.
  • the method can be implemented relatively inexpensively. Consequently, the method according to the invention for verifying the authenticity of a recorded image is also suitable for use in access controls which are to be used in many places, such as in automated teller machines for withdrawing money and / or for carrying out banking transactions.
  • At least one difference image of two successive individual images of the sequence can be evaluated to determine the intrinsic movements.
  • the amount of data to be processed in the method according to the invention can be considerably reduced, as a result of which the method can be carried out more quickly.
  • a difference image can be evaluated to determine the intrinsic movements, which results from an AND operation of two successive difference images.
  • each difference image can be binarized before the evaluation.
  • This measure in turn can greatly reduce the data to be processed, which leads to an increase in the speed of the method and thus to lower hardware requirements with the same performance.
  • the binarization can be carried out, for example, by means of a threshold value which is determined by evaluating the background of one of the difference images, for example by averaging the intensities of those pixels in the difference image which are in the area of the static background.
  • At least one section of increased movement can be selected in each difference image, and intrinsic movements can be determined if this at least one section in the difference image is consistent with a predetermined range in which intrinsic movements are to be expected.
  • This configuration of the method according to the invention can in turn reduce the amount of data to be processed, which leads to the advantages already discussed above.
  • the section of increased movement can be defined by a vertical and a horizontal extent, the vertical extent being essentially a peak of the function of the products from the horizontal is determined with the horizontal variances of the difference image, and the horizontal extent is essentially determined by a peak of the function of the products from the vertical projections with the vertical variances of the difference image.
  • each function can advantageously be smoothed with a low-pass filter before the corresponding peak is determined.
  • This measure avoids high-frequency noise in the difference images, which under certain circumstances leads to a poorer determination of the peaks and thus of the section of increased movement. Overall, this results in a more robust determination of the section of increased movement.
  • sections can be selected from the difference image, which are expected to have a symmetry relationship to one another, and intrinsic movements can be determined if the symmetry relationship is verified by a correlation analysis of the corresponding sections. Since intrinsic movements, for example in the face of a person to be recognized, are generally symmetrical, this configuration provides a check as to whether the intrinsic movement detected in a specific area is actually an intrinsic movement or just another type of movement, a noise or the like.
  • a further check can be carried out to determine whether the increased movement in the area of increased movement is distributed unevenly over this area.
  • a function dependent on the vertical position which for a given vertical position is determined by the product of the horizontal projection with the horizontal variance of the difference image, and a function dependent on the horizontal position, can also be used to determine intrinsic movements 6
  • each function can preferably be smoothed with a low-pass filter before the corresponding peak is determined, in order to filter high-frequency noise from the difference images.
  • At least one peak can be determined in the function dependent on the vertical position and at least one peak in the function dependent on the horizontal position can be determined for evaluating the functions described above, and intrinsic movements can finally be determined if these Peaks in the vertical or horizontal direction lie within predetermined limits, which are given by the vertical or the horizontal extent of at least one area in which intrinsic movements are to be expected.
  • sections can be evaluated which are expected to be in a symmetrical relationship to one another, and intrinsic movements can ultimately be determined if by a correlation analysis of the corresponding sections the symmetry relationship is verified.
  • the sections can be normalized with respect to one another prior to the correlation analysis.
  • the function dependent on the vertical position and / or the function dependent on the horizontal position can be evaluated, and intrinsic movements can be determined if it is determined by a correlation analysis that the values of the vertical position 7
  • intrinsic movements in the head region of the person to be recognized can be determined to verify the authenticity of the images taken.
  • the head area contains most and the most dominant intrinsic movements. Accordingly, the method according to the invention can be carried out most effectively in the head region of a person to be recognized.
  • the mouth region and / or the cheek region and / or the nose region and / or the eye region can be cited as areas with particularly pronounced intrinsic movements in the head region.
  • the intrinsic movements to be determined can be intrinsic movements in at least two mutually symmetrical regions in the head region of the person to be recognized, and these at least two mutually symmetrical regions can be used to determine the axis of symmetry of the head region.
  • an image that can be used for person recognition can be generated, in which a head region rotated in frontoparallel is transformed into a head region with a rotated axis of symmetry.
  • the symmetry axis found can also be used to generate an image of the person to be recognized which can be used for person recognition and which is composed of the left head area and the mirrored left head area, 8th
  • images can also be used in the case of image recognition in which the head region of the person to be recognized is inclined with respect to the vertical.
  • images can also be used for personal identification in which one half of the image is outshone and which would therefore be unusable for personal identification.
  • the areas in the individual images in which intrinsic movements are expected can be extracted from the individual images before the authenticity is determined.
  • This development has the advantage that the images required to determine the authenticity can be extracted from any video sequences.
  • At least one difference image of two successive individual images of the sequence can advantageously be evaluated.
  • each difference image can be binarized before the evaluation and the binarization can be carried out here, for example, by means of a threshold value which is determined by evaluating the background of one of the difference images, for example by averaging the intensities of those pixels in the difference image which are in the area of the static background .
  • the head region of the person to be recognized can advantageously be extracted.
  • the extracted head area can be transformed to a predetermined standard size for person recognition.
  • size variations can be taken into account, which can lead to problems in the complex face recognition algorithms, in particular with regard to the computing time.
  • At least two head boundaries can be determined in the corresponding individual images or difference images, on the basis of which the head region is extracted from the corresponding individual images or the difference images.
  • the determination of the head boundary in the corresponding individual images or difference images can include the determination of the upper and the left head boundary.
  • the right head boundary can also be determined.
  • each head boundary may be defined by a head boundary line that is such that the outline of the head is substantially entirely within the head boundary lines.
  • the function of the vertical projections of the binarized difference image can be determined to determine the upper head limit, and the upper head limit can be defined by the first maximum of the amount of the first derivative of this function that lies above a predetermined threshold value.
  • the function of the vertical projections can be smoothed with a low-pass filter before defining the head boundary.
  • the function of the horizontal projections of the binarized difference image can be determined, and the left head boundary can be defined by the first maximum of the amount of the first derivative of this function, which lies above a predetermined threshold value.
  • the difference image can also be divided into a plurality of stripes which follow one another in the vertical direction, the first stripe following the determined upper head boundary in the vertical direction, in each stripe the function of the horizontal projections of the binarized difference image can then be performed can then be determined, the amounts of the first derivatives of the plurality of functions of the horizontal projections obtained in this way can be formed, the sum of the plurality of amounts formed in this way can be added, and finally the left head boundary can be the first maximum of this sum, that lies above a predetermined threshold value.
  • the function or the functions of the horizontal projections can optionally be smoothed with a low-pass filter before the head boundary is defined.
  • the function of the horizontal projections of the binarized difference image can be determined to determine the right head boundary, and the right head boundary by the last maximum of the Amount of the first derivative of this function, which lies above a predetermined threshold value.
  • the difference image can be divided into a plurality of stripes successively in the vertical direction in order to determine the right head boundary, the first stripe being in the vertical direction Direction downwards to the determined upper head limit, the function of the horizontal projections of the binarized difference image are determined in each stripe, the amounts of the first derivatives of the plurality of functions of the horizontal projections obtained in this way are formed, the sum of the plurality formed in this way Amounts are added, and the right head boundary is defined as the last maximum of this sum, which is above a predetermined threshold.
  • determining the head boundaries when determining the head boundaries, it can be provided that two successive individual images or differential images obtained therefrom are only used to determine the head boundaries if there is a change between the two successive individual images in a predetermined range.
  • a movement strength can be calculated to determine the change between two successive individual images.
  • the movement intensity can essentially be calculated by the sum of the gray levels of the difference image.
  • the amount of movement can expediently be calculated as the sum of the 1 pixels or O pixels of the binarized difference image.
  • predetermined head boundaries can be used to extract the head region.
  • predetermined head boundaries can be used to extract the head region if one of the determined head boundaries is not within predetermined boundaries.
  • the step for determining the head boundaries can be carried out with subsequent difference images.
  • the limits determined in the method can also be checked for plausibility. In other words, it is checked whether the head of a person would actually be expected in the area defined by these head boundaries with regard to the arrangement of the device. If the determined head boundaries are not plausible, predetermined head boundaries are finally assumed. This additional check can further increase the quality of the determination of the head boundary and thus ultimately the quality of the verification of the authenticity.
  • the lower or the right and lower head limits can expediently be determined in the configurations described above for determining the head boundaries in such a way that a square head region is extracted from the corresponding individual images or difference images.
  • This training can be used independently of and as an alternative to the extraction process for areas in which intrinsic movements are expected. Accordingly, all the advantages mentioned in connection with the determination of the head limits can be mentioned here as an advantage.
  • this development can also be used to increase the accuracy of the areas determined during the extraction with intrinsic movements.
  • the stabilization can be carried out by means of a correlation correction.
  • the correlation correction can be carried out by template matching, which comprises calculating the difference image, the first image used to form the difference image being shifted from the second image used to form the difference image when calculating the difference image, that a correlation function between the two individual images is maximal.
  • two successive individual images or differential images obtained therefrom are used in the previously described methods for determining the intrinsic movements only if the change between the two successive individual images lies in a predetermined range.
  • the change between two successive individual images can preferably be calculated by means of a movement strength.
  • the amount of movement for a grayscale image can be calculated from the sum of the gray levels.
  • the movement strength can be expediently calculated by the sum of the 1 pixels or O pixels of the binarized difference image.
  • FIG. 1 shows a flowchart of a first embodiment of the method for verifying the authenticity of an image recorded as part of a person recognition according to the present invention
  • FIG. 2 shows a flowchart of a second embodiment of the method for verifying the authenticity according to the present invention
  • FIG. 3 shows a flowchart of a third embodiment of the method for verifying the authenticity according to the present invention
  • 4 shows a flowchart of a fourth embodiment of the method for verifying the authenticity according to the present invention
  • 5 shows a flowchart of a fifth embodiment of the method for verifying the authenticity according to the present invention
  • FIG. 6 shows a flowchart of a sixth embodiment of the method for verifying the authenticity according to the present invention
  • FIG. 7 shows a flowchart for performing a correlation analysis which can be used in the fourth or fifth embodiment of the method for verifying the authenticity according to the present invention
  • FIG. 8 shows a flowchart of a seventh embodiment of the method for verifying the authenticity according to the present invention.
  • FIG. 9 shows a flowchart of an eighth embodiment of the method for verifying the authenticity according to the present invention.
  • FIG. 1 shows a flowchart of a method according to the invention for verifying the authenticity of an image of a person to be subjected to person identification as part of a person identification.
  • video cameras known from the prior art which record the sequence in digitized form, are expediently used.
  • Individual images that are recorded with such a video camera are generally in the form of pixels, each individual image comprising c x r pixels if c denotes the number of columns and r the number of lines of the relevant single image.
  • K (t) therefore denotes the entire individual image at time t and Kc r (t) the pixel in the c-th column and the r-th row.
  • the individual images are recorded at a speed of 8-12 images / second. 16
  • step S120 two chronologically successive individual images K (t-1) and K (t) are selected from the recorded sequence of the individual images.
  • the individual images K (t-1) and K (t) are compared with one another in order to determine whether the person subjected to the person recognition has carried out intrinsic movements between the two individual images K (t-1) and K (t).
  • the two individual images K (t-1) and K (t) can be compared with one another pixel by pixel, and the change resulting from this pixel comparison can be compared with a predetermined threshold value. Accordingly, if the amount of change is above the predetermined threshold value, the person has carried out an intrinsic movement between the two individual images K (t-1) and K (t), but if the amount of change is below the threshold value, no intrinsic movements of the person could be determined become.
  • This pixel-by-pixel comparison leads to satisfactory results if no additional movements are superimposed on the intrinsic movements of the person, i.e. if the person does not move or only moves minimally with respect to the receiving device.
  • the amount of the difference between the gray levels of two corresponding pixels in the individual image can be K (t-1) and K (t) as a measure of the change in a pixel, and the sum of the amounts of these differences as a measure for the change between the two individual images K (t-1) and K (t), which is finally compared with the predetermined threshold value.
  • the change between two individual images results from the sum of the pixels corresponding to one another in the individual images K (t-1) and K (t) differentiate from each other. In the case of binarized individual images, this change must therefore be compared with a predefined threshold value.
  • the binarization of grayscale images is described in detail in connection with the second embodiment (step S240). If the comparison in step S130 finally shows that intrinsic movements of the person between the two individual images have taken place, the authenticity of the recorded individual images K (t-1) and K (t) is verified in step S170.
  • step S180 If, on the other hand, the comparison shows that the person has not carried out any intrinsic movements between the individual images K (t-1) and K (t), the authenticity of the recorded individual images K (t-1) and K (t) cannot be verified in step S180 become.
  • step S190 there is a possibility to cancel the procedure, and if this procedure is used as part of an access control, access can be refused.
  • step S190 one can jump back to step S120 and the method for verifying the authenticity can be carried out again with two further individual images, for example K (t) and K (t + 1).
  • the loop represented by step S190 may be run j times, where j is a predetermined number that is at most n-1.
  • a difference image D (t) K (t) - K (t-1) can be formed from the two individual images to reduce the amount of data to be processed, and finally the difference image D (t) can be examined directly to determine whether the person has carried out intrinsic movements between the two individual images K (t-1) and K (t).
  • a UN D linkage of two successive difference images D (t) and D (t-1) can be evaluated to determine the intrinsic movements.
  • This alternative is particularly suitable when there are strong changes in two successive individual images due to the release of a dominant background, for example an illumination source, in two successive individual images and are reflected in the difference image. Accordingly, this alternative can be used to free the difference image that is ultimately to be assessed from changes that do not result from intrinsic movements. lo
  • FIG. 2 shows a flow chart of a second embodiment of the method according to the invention.
  • This second embodiment is essentially an alternative to step S130 in the first embodiment.
  • steps S110 and S120 are also first carried out, i.e. a sequence of consecutive individual images is recorded and two consecutive individual images are selected from this sequence.
  • step S120 the difference image D (t) is determined in step S130 from the individual images K (t) and K (t-1).
  • this difference image can be binarized according to the following equation:
  • ⁇ represents a predetermined threshold
  • the threshold value ⁇ can be predefined or determined by evaluating the background.
  • the threshold value ⁇ is the maximum value found in the top m lines of the difference image, ie
  • At least one area of increased movement is determined in the difference image D (t) or in the binarized difference image B (t).
  • a frame of any size can be specified and guided over the corresponding difference image, with the movement, i.e. the number of the sum of the pixels with the value 1 or alternatively the pixels with the value 0 is calculated.
  • the frame of the shift with the largest sum finally defines the area of increased movement.
  • step S170 the authenticity of the recorded individual images K (t-1) and K (t) on which the difference image D (t) and the binarized difference image B (t) are based can be verified in step S170.
  • step S180 If the area of increased movement does not match the predetermined area, the authenticity of the recorded individual images cannot be verified in step S180, and the method can be terminated or repeated in accordance with step S190 (see FIG. 1).
  • the area where most of a person's intrinsic movements are expected is the head area.
  • the head area as such, most intrinsic movements in the mouth region, the cheek region, the nose region or the eye region can be expected.
  • the second embodiment in FIG. therefore at least one determined area of increased movement compared with the mouth region, the cheek region, the nose region and / or the eye region.
  • step S250 shows a flowchart of a third embodiment of the method according to the invention, which specifies an alternative to step S250, that is to say the determination of the area of increased movement, in the second embodiment and otherwise corresponds to the second embodiment.
  • difference image D (t) or, alternatively, a binarized difference image B (t) is assumed.
  • the difference image D (t) and the binarized difference image B (t) are referred to as difference image K in the following.
  • step S350 the function Y of the products from the horizontal projections P H and the horizontal variances V H is determined from the difference image K, in formulas:
  • step S352 the functions Y v and Y H obtained according to the formulas above can be smoothed using a suitable low-pass filter TPF ⁇ .
  • Peaks are identified in the functions Y v and Y H or the smoothed functions TPF ⁇ Y ⁇ and TPF ⁇ Y H ⁇ in step S353.
  • the peaks of Y v and Y H define the vertical and horizontal extent and position of the area of increased movement.
  • the position of a peak can be specified by the maximum value and the extent of the corresponding area by its half-value width.
  • the extent can also be indicated by the turning points of the peak.
  • the extent can also be specified by the limits which lead to a predetermined area under the peak.
  • the methods customary in the prior art can be used to find the individual peaks. These methods are based essentially on searching for the sections of a function that exceed a predetermined threshold.
  • a further area of increased movement which is expected to be in a symmetrical relationship with the first area of increased movement, is determined in step S461.
  • step S250 second embodiment
  • steps S350 to S353 third embodiment
  • the first and second areas in the fourth embodiment are, for example, the mouth region in the left and right half of the face, the cheek region in the left and right half of the face, the nose region in the left and right half of the face as well as the left and right eyes.
  • a correlation analysis can be used to verify whether the symmetry relationship is fulfilled or not.
  • the fourth embodiment thus provides a plausibility check of the determined areas of increased movement. If it is verified in step S462 by a correlation analysis that the symmetry relationship is fulfilled, the authenticity of the recorded individual images can be verified in step S170.
  • step S180 the authenticity cannot be verified (see step S180), and accordingly the method can be terminated with this result, or - as already discussed - carried out repeatedly.
  • FIG. 5 shows the flowchart of a fifth embodiment of the method according to the invention.
  • the steps S530 to S565 shown in FIG. 5 represent a preferred embodiment of step S130 according to the first embodiment.
  • a sequence of chronologically consecutive individual images of a person is first recorded, and then two consecutive individual images are selected from this sequence. This is represented in FIG. 5 by step S120.
  • step S530 a difference image is determined in step S530, which can optionally be binarized in step S540 (steps S530 and S540 correspond to steps S230 and S240 in the second embodiment, so that a description and the corresponding description are omitted here of steps S230 and S240).
  • the vertical position and the extent as well as the horizontal position and the extent of the mouth region of a person to be recognized are determined from the difference image in step S550.
  • step S550 in the difference 24 In contrast to step S250 in the second embodiment, in which areas of increased movements are determined in the difference image and it is checked whether these areas can be assigned to specific regions, in step S550 in the difference 24
  • border image for a specific area in which intrinsic movements are expected, namely for the mouth region.
  • step S560 It is then checked in step S560 whether or not the determined mouth region lies within predetermined limits. If the mouth region is within predetermined limits, the authenticity of the captured individual images can be verified in step S170; if the determined mouth region is not within predetermined limits, the verification of the authenticity of the individual images must be denied.
  • step S565 as an alternative to step S560, a correlation analysis can be carried out with the determined mouth region to determine intrinsic movements.
  • step S170 the authenticity of the individual images is only determined if the determined mouth region lies within predetermined limits and a presence of intrinsic movements follows from a correlation analysis of the mouth region.
  • the fifth embodiment specifically relates to the mouth region, it is of course possible to carry out the method with other regions in which intrinsic movements are expected or with combinations of such regions.
  • FIG. 6 shows the flowchart of a sixth embodiment of the method according to the invention.
  • This sixth embodiment represents a preferred embodiment of step S550 in the fifth embodiment for determining the vertical position and extent and the horizontal position and extent of the mouth region from the difference image. Accordingly, it is assumed that according to step 530 or a difference image D (t) or a binarized difference image B (t) is present according to S540. 25th
  • the function Y v can optionally be smoothed by a low-pass filter.
  • the vertical position and the vertical extension of the mouth region are determined from this function or the smoothed function in step S651.
  • the vertical mouth position is defined here as the position of the last (lowest) maximum of Y, which is greater than a predetermined threshold value. In the case of the mouth region, the double mean of Y has been found to be a suitable threshold.
  • the width of the peak at which the peak has dropped to a predetermined percentage of its maximum value can be specified as the vertical extent of the mouth area.
  • 50% have proven to be a favorable value.
  • the vertical extent of the mouth area can also be specified as the width of the peak, which results from the distance between the two closest turning points to the left and right of the peak position.
  • the plausibility of the values obtained for the vertical position and the vertical extent can be checked.
  • a minimum mouth position and a maximum mouth position can be specified and it can be checked whether the determined mouth position lies within these two extreme values.
  • the same procedure can alternatively or cumulatively be carried out for the vertical expansion of the mouth area.
  • step 652 the function Y H; t , b of the products from the vertical projections P ; t , b and the vertical variances V ; t, b in a horizontal stripe that extends from the upper mouth limit t determined in step 651 to the lower mouth limit b, that is 26
  • the function Y H; tb can also be optionally smoothed.
  • the left horizontal boundary of the mouth region is then defined as the first maximum of b H , which is greater than a predetermined threshold.
  • the right horizontal border of the mouth region is accordingly defined as the last maximum of b H that is greater than this threshold.
  • the mean value of b H was used as the threshold value.
  • a plausibility check can be carried out in such a way that the determined mouth region must lie within a predetermined maximum range so that the area of increased movement is regarded as the mouth area.
  • FIG. 7 shows a flowchart of a correlation analysis, as can be carried out, for example, in step S462 according to the fourth embodiment or in step S565 according to the fifth embodiment. 27
  • step S766 the function Y v and / or Y H is first broken down into sections which are expected to be in a symmetrical relationship to one another.
  • step S767 a correlation analysis is used to check whether the symmetry relationship assumed in step S766 is fulfilled.
  • Steps S766 and S767 can of course also be carried out for several symmetry relationships.
  • step S170 If it can be verified with the correlation analysis that the symmetry relationship is fulfilled or the symmetry relationships are fulfilled, the authenticity of the recorded individual images can be verified in accordance with step S170.
  • step S767 For the case of determining intrinsic movements in the mouth region already discussed above, the following correlations can be checked in step S767.
  • the curve Y H is expediently transformed to standardized variables before the correlation analysis, so that the function Y H has the mean value 0 and the standard deviation.
  • n c (Y H ) for indices c ⁇ 0 and c> n c is continued with 0.
  • the correlation of the image section from the difference image of the mirrored mouth with the mouth itself can also be checked. If this correlation is less than a predetermined value, it can be assumed that it was not an actual intrinsic movement that took place, but that the movement determined is due to movements, noise or the like.
  • step S768 the function Y and / or Y H can be broken down into predetermined sections in step S768. However, this step is only intended for the case that certain areas of the corresponding function are to be examined. If the function Y v and / or Y H is to be examined in its entirety, step S768 can accordingly be omitted.
  • step S769 a correlation analysis is used to check whether the values of the corresponding function are substantially non-uniform in their definition area (or the predetermined sections, if step S768 is carried out).
  • step S769 In the case of the mouth area, correlations between the vertical projections and vertical variances for the right and left sides of the mouth can be checked.
  • the detected movement is an intrinsic movement.
  • the mouth area is shown as an exemplary embodiment of the method according to the invention.
  • the method according to the invention is not restricted to the mouth region.
  • any areas in which intrinsic movements are to be expected such as the cheek region, the nose region and the eye region or any combination of these regions, are possible.
  • FIG 8 shows the flowchart of an eighth embodiment of the method according to the invention.
  • the steps of the eighth embodiment serve to optimize the individual images after the recording for the determination of the intrinsic movements.
  • step S120 as shown in FIG. 8, after a sequence of time-sequential frames has been captured in step S110, two time-sequential frames are selected.
  • step S825 it is first checked whether the change between the two successive individual images lies in a predetermined range or not.
  • the fact that the change between two successive individual images must be less than a predetermined value ensures that differential images, in which too much movement is reflected, such as, for example, due to wobbling of the recording device or extremely rapid movement of the person to be recognized are not used to determine the intrinsic movement, since in this case the separation between an actual movement and an intrinsic movement can no longer be carried out with sufficient certainty.
  • Step S825 can be carried out by calculating a movement strength to determine the change between two successive frames.
  • the amount of movement can essentially be calculated by the sum of the gray levels of the difference image.
  • the movement strength is expediently calculated by the sum of the 1-pixels or O-pixels of the binarized difference image.
  • step S826 which can be carried out as an alternative to or cumulatively with step S825, the areas in the individual images in which intrinsic movements are expected are extracted from the corresponding individual images before the individual images are compared with one another. This can significantly reduce the amount of data to be processed.
  • a predetermined section can be extracted for the extraction in the individual images, in which experience has shown that the head of the person to be recognized comes to rest.
  • the head area of the person to be recognized is determined by determining the head boundaries from a difference image. With these determined head boundaries, the head region can then finally be extracted from the respective individual images.
  • step S827 the individual images can be stabilized in step S827.
  • two or more individual images can be stabilized with respect to one another in step S827, or in other words, aligned with one another.
  • FIG. 9 is a flowchart of the alternative for determining the head limits already mentioned, by means of which the head region in which the most intrinsic movements are expected can be extracted from individual images K (t-1) and K (t).
  • the difference image D (t) is first determined in step S921.
  • step S922 the upper head limit is then determined from the difference image D (t).
  • the horizontal projection s H (t) is first followed by
  • the function s H (t) can be smoothed by filtering with a suitable low-pass filter TPF.
  • the amount of the first derivative is then formed from the function s H (t) or the smoothed function TPF ⁇ s H (t) ⁇
  • the position of the first maximum of b H which is greater than a predetermined threshold value, here half the mean value of b H , is now determined as the upper head limit.
  • the calculation of the upper head limit can be repeated or set to a predetermined value, which has been determined, for example, for the individual images K (t-2) and K (t-1). 34
  • the left and right head boundaries are determined in step S923.
  • the difference image can be divided into q successive strips that extend downwards in the vertical direction, starting from the upper head boundary t.
  • the function s ⁇ q) (t) can be smoothed by filtering with a suitable low-pass filter TPF.
  • the amount of the first derivative of the function s ( ⁇ (t) or the smoothed function TPF ⁇ s ⁇ q) (t) ⁇ is formed and then summed up via q:
  • This function b v determines all maxima that are greater than a predetermined threshold value, in the present case half the mean value b.
  • the first maximum (the leftmost maximum) is defined as the position of the left head boundary.
  • the last maximum (the rightmost maximum) is defined as the right head boundary.
  • the determination for the left and the right head boundary can be determined for the next difference image.
  • the left and right head boundaries can also be replaced by predetermined values which have resulted, for example, from the head boundary determination with the aid of the difference image D (t-1).
  • the lower head limit is finally determined with the aid of the upper left and right head limits. For this purpose, the width of the extracted area is determined from the difference between the right head boundary and the left head boundary. The lower head limit can then be set so that there is an overall square area.
  • the lower and the right head boundaries can then be calculated by a predefined width and a predefined height, which typically corresponds to the head region in the individual images.
  • the head boundaries can also be determined from a difference image which has been obtained as an AND operation from two successive difference images.
  • step S825 Since the same procedures as explained in connection with step S825 can be used for this purpose, there is no need for a description here and reference is only made to the description in connection with step S825.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes einer der Personenerkennung zu unterziehenden Person, umfassend die Schritte Aufnehmen einer Sequenz von zeitlich aufeinanderfolgenden Einzelbildern der Person, und Feststellen der Authentizität des aufgenommenen Bildes, wenn wenigstens in zwei aufeinanderfolgenden Einzelbildern der Sequenz intrinsische Bewegungen, d.h. Bewegungen, die von der zu erkennenden Person ohne Veränderung ihres Schwerpunkts bewußt und unbewußt ausgeführt werden, ermittelt werden.

Description

Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes
Die Erfindung betrifft ein Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes einer der Personenerkennung zu unterziehenden Person.
Bekannte Verfahren zur Personenerkennung, die beispielsweise auf einer Gesichtserkennung, wie sie in dem deutschen Patent 44 06 020 beschrieben ist, basieren, vergleichen nur Einzelaufnahmen der zu erkennenden Person mit Referenzbildern. Demnach wird in diesen Verfahren nur statische Information verarbeitet. Ein Nachteil derartiger Verfahren ist es allerdings, daß eine Zugangskontrolle, die mit einem solchen Verfahren arbeitet, durch Vorhalten eines Fotos oder einer maskenartigen Abbildung der Person leicht getäuscht werden kann.
Um die Gefahr einer derartigen Täuschung zu verringern, sind deshalb verschiedene Verfahren entwickelt worden.
Beispielsweise ist aus dem deutschen Gebrauchsmuster 2 950660 bekannt, den Spektralbereich des Lichts, das zur Personenerkennung verwendet wird, durch eine IR- Filterscheibe auf einen Bereich einzuschränken, in dem ein Foto bzw. eine maskenartige Abbildung Reflektanzcharakteristika besitzt, die sich von denen eines tatsächlich aufgenommenen Gesichts unterscheiden. Ein Nachteil einer derartigen IR-Fiiterscheibe ist es allerdings, daß durch sie die Bildqualität verringert wird und damit die Anforderungen an die Qualität des Erkennungsverfahrens steigen. Zum anderen besteht die Gefahr, daß ein Bildmedium mit Reflektanzcharakteristika im IR-Bereich, die den Reflektanzcharakteristika des Gesichts einer Person im IR-Bereich ähnlich sind, gefunden wird, so daß mit einem derartigen Bildmedium wiederum eine Täuschung möglich ist.
Weiterhin sind im Stand der Technik Verfahren bekannt, in denen die Abbildung der zu erkennenden Person mit einem Stereo-Abbildungssystem aufgenommen werden. Beispielsweise wird in dem in dem Artikel "In-Your-Face Security" in PCWeek vom 26.03.1997 beschriebenen Gesichtserkennungssystem ein derartiges Verfahren benützt. Andere Verfah- 2
ren, welche die dreidimensionale Struktur eines Gesichts ganz oder teilweise erfassen, sind die Laser-Triangulation oder die sogenannte Shape-from-Shading Methoden, wie sie in Attick, Griffin und Redlich in Neural Computation 8, 1321-1340, 1996 offenbart sind, die aus dem Grauwertverlauf bei gegebener Beleuchtungsrichtung Rückschlüsse auf Tiefeninformation des betrachteten Objekts erlauben. Mit diesen Verfahren können zwar Täuschungen, bei denen ein Bild planar vor das Aufnahmesystem gehalten wird, festgestellt werden, Täuschungen durch ein zylindrisch gebogenes Bild oder durch eine dreidimensionale Maske können allerdings nicht als Täuschung erkannt werden.
Außerdem sind im Stand der Technik Verfahren bekannt, in denen die Abbildungen der zu erkennenden Person mittels Thermographie-Verfahren aufgenommen werden, siehe hierzu beispielsweise das deutsche Patent 4 009 051. Hierbei wird zur Personenerkennung die von der zu erkennenden Person ausgesendete Wärmestrahlung erfaßt und mit einer vorgegebenen Referenz verglichen. Ein Nachteil dieser Verfahren ist es allerdings, daß die Vorrichtungen zur Durchführung dieser Verfahren, insbesondere die Thermographiekame- ras zur Aufnahme der zu erkennenden Person sehr teuer sind. Demnach lassen sich Thermographieverfahren in Zugangskontrollen, die vielerorts eingesetzt werden sollen, wie beispielsweise bei Bankautomaten zur Geldentnahme und/oder Tätigung von Bankgeschäften, nicht einsetzten.
Angesichts der oben diskutierten Nachteile der aus dem Stand der Technik bekannten Vorrichtungen, ist es die der Erfindung zugrunde liegende Aufgabe, ein Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes einer der Personenerkennung zu unterziehenden Person zu schaffen, in dem einerseits die Zuverlässigkeit bei der Verifizierung der Authentizität gegenüber dem Stand der Technik gesteigert wird und somit die durch eine Zugangskontrolle zu erzielende Sicherheit erhöht wird, und das andererseits kostengünstig realisierbar ist.
Diese Aufgabe wird durch ein Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes einer der Personenerkennung zu unterziehenden Person gelöst, das die Schritte eines Aufnehmens einer Sequenz von zeitlich aufeinanderfolgenden Einzelbildern der Person, und eines Feststeilens der Authentizität des aufgenommenen Bildes, wenn aus wenigstens zwei aufeinanderfolgenden Einzelbildern der Sequenz intrinsische Bewegungen der Person ermittelt werden, umfaßt. Da in dem erfindungsgemäßen Verfahren intrinsische Bewegungen einer zu erkennenden Person, also Bewegungen, die jede und damit auch eine zu erkennende Person ohne Veränderung ihres Schwerpunkts bewußt und unbewußt ausführt, zum Verifizieren der Authentizität der aufgenommenen Bilder verwendet werden, wird die Authentizität nur festgestellt, wenn die aufeinanderfolgend aufgenommenen Einzelbilder tatsächlich von einer Person, die intrinsische Bewegungen ausführt, also von einer lebenden Person stammen. Demnach ist eine Täuschung einer das erfindungsgemäße Verfahren verwendenden Zugangskontrolle durch Vorhalten eines zylindrisch verbogenen Fotos oder einer maskenartigen Abbildung der zu erkennenden Person nicht mehr möglich, wodurch die von der Zugangskontrolle gewährleistete Sicherheit erheblich gesteigert wird.
Weiterhin kann das erfindungsgemäße Verfahren, da zu seiner Durchführung lediglich eine Aufnahmeeinrichtung und eine Bildauswerteeinrichtung erforderlich sind und da diese beiden Einrichtungen zur Durchführung der eigentlichen Bilderkennung bereits vorgesehen sind, relativ kostengünstig implementiert werden. Folglich eignet sich das erfindungsgemäße Verfahren zum Verifizieren der Authentizität eines aufgenommenen Bildes auch zum Einsatz in Zugangskontrollen, die vielerorts eingesetzt werden sollen, wie beispielsweise in Bankautomaten zur Geldentnahme und/oder Tätigung von Bankgeschäften.
Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens kann zum Ermitteln der intrinsischen Bewegungen wenigstens ein Differenzbild jeweils zweier aufeinanderfolgender Einzelbilder der Sequenz ausgewertet werden.
Durch Bildung von solchen Differenzbildern kann die im erfindungsgemäßen Verfahren zu verarbeitende Datenmenge erheblich reduziert werden, wodurch das Verfahren schneller durchgeführt werden kann. Dies führt unter anderem dazu, daß die Hardwareanforderungen zur Durchführung des Verfahrens reduziert werden können, was unmittelbar zur Verringerung der Gesamtkosten des Systems führt.
Weiterhin kann gemäß einer bevorzugten Ausgestaltung zum Ermitteln der intrinsischen Bewegungen ein Differenzbild ausgewertet werden, das aus einer UND-Verknüpfung zweier aufeinanderfolgender Differenzbilder resultiert. 4
Durch diese Ausgestaltung wird insbesondere ein Differenzbild erhalten, in dem Veränderungen, die sich beispielsweise durch eine Freigabe eines dominanten Hintergrunds in zwei aufeinanderfolgenden Einzelaufnahmen ergeben und sich demnach in dem Differenzbild zweier aufeinanderfolgenden Einzelaufnahmen widerspiegeln, stark reduziert sind. Anders ausgedrückt kann durch diese Ausgestaltung das letztlich zu beurteilende Differenzbild von Veränderungen, die nicht aus intrinsischen Bewegungen resultieren, befreit werden.
Gemäß einer anderen bevorzugten Weiterbildung kann jedes Differenzbild vor der Auswertung binarisiert wird.
Durch diese Maßnahme läßt sich wiederum eine starke Reduzierung der zu verarbeitenden Daten erzielen, was zu einer Erhöhung der Geschwindigkeit des Verfahrens und somit zu geringeren Hardwareanforderungen bei gleicher Leistungsfähigkeit führt.
Die Binarisierung kann hierbei beispielsweise mittels eines Schwellwerts durchgeführt werden, der durch Auswertung des Hintergrunds eines der Differenzbilder, beispielsweise durch Mittelung der Intensitäten solcher Pixel im Differenzbild, die im Bereich des statischen Hintergrunds liegen, ermittelt wird. Dies hat den Vorteil, daß die Binarisierung immer in Abhängigkeit von der gerade vorliegenden Aufnahmesituation bestimmt wird. Demnach kann sich das Verfahren durch diese Weiterbildung an umgebungsbedingte Änderungen, beispielsweise an wechselnde Licht- und/oder Kontrastverhältnisse, anpassen.
Weiterhin kann in jedem Differenzbild wenigstens ein Ausschnitt erhöhter Bewegung ausgewählt werden, und es können intrinsische Bewegungen festgestellt werden, wenn dieser wenigstens eine Ausschnitt in dem Differenzbild mit einem vorgegebenen Bereich, in dem intrinsische Bewegungen zu erwarten sind, konsistent ist.
Durch diese Ausbildung des erfindungsgemäßen Verfahrens kann wiederum die zu verarbeitende Datenmenge reduziert werden, was zu den bereits oben diskutierten Vorteilen führt.
Hierzu kann gemäß einer ersten Alternative der Ausschnitt erhöhter Bewegung durch eine vertikale und eine horizontale Ausdehnung definiert werden, wobei die vertikale Ausdehnung im wesentlichen durch einen Peak der Funktion der Produkte aus den Horizontalpro- jektionen mit den Horizontalvarianzen des Differenzbildes bestimmt wird, und die horizontale Ausdehnung im wesentlichen durch einen Peak der Funktion der Produkte aus den Vertikalprojektionen mit den Vertikalvarianzen des Differenzbildes bestimmt wird.
Vorteilhafterweise kann hierzu jede Funktion vor Bestimmung des entsprechenden Peaks mit einem Tiefpaßfilter geglättet werden. Durch diese Maßnahme kann hochfrequentes Rauschen in den Differenzbildern, das unter Umständen zu einer verschlechterten Bestimmung der Peaks und damit des Ausschnitts erhöhter Bewegung führt, vermieden werden. Insgesamt ergibt sich somit eine robustere Bestimmung des Ausschnitts erhöhter Bewegung.
Gemäß einer bevorzugten Weiterbildung der ersten Alternative können Ausschnitte aus dem Differenzbild ausgewählt werden, von denen erwartet wird, daß sie eine Symmetriebeziehung zueinander aufweisen, und intrinsische Bewegungen können festgestellt werden, wenn durch eine Korrelationsanalyse der entsprechenden Ausschnitte die Symmetriebeziehung verifiziert wird. Da intrinsische Bewegungen, beispielsweise im Gesicht einer zu erkennenden Person, in der Regel symmetrisch sind, liefert diese Ausgestaltung eine Überprüfung, ob es sich bei der in einem bestimmten Bereich festgestellten intrinsischen Bewegung tatsächlich um eine intrinsische Bewegung oder nur um eine andersartige Bewegung, ein Rauschen oder dergleichen handelt.
Darüber hinaus kann unabhängig oder zusammen mit dieser Überprüfung eine weitere Überprüfung durchgeführt werden, dahingehend, ob die erhöhte Bewegung in dem Bereich erhöhter Bewegung ungleichmäßig über diesen Bereich verteilt ist.
Hierdurch kann ausgeschlossen werden, daß kleine Änderungen, die sich in ungünstigen Fällen summieren können, in ihrer Summe fälschlicherweise als eine intrinsische Bewegung erkannt werden.
Gemäß einer zweiten Alternative können zum Feststellen intrinsischer Bewegungen auch eine von der vertikalen Position abhängige Funktion, die für eine gegebene vertikale Position durch das Produkt aus der Horizontalprojektion mit der Horizontalvarianz des Differenzbildes bestimmt wird, und eine von der horizontalen Position abhängige Funktion, die 6
für eine gegebene horizontale Position durch das Produkt aus der Vertikalprojektion mit der Vertikalvarianz des Differenzbildes bestimmt wird, ausgewertet werden.
Vorzugsweise kann auch bei der zweiten Alternative jede Funktion vor Bestimmung des entsprechenden Peaks mit einem Tiefpaßfilter geglättet wird, um so ein hochfrequentes Rauschen aus den Differenzbildern zu filtern.
Gemäß einer vorteilhaften Weiterbildung kann zur Auswertung der oben bezeichneten Funktionen wenigstens ein Peak in der von der vertikalen Position abhängigen Funktion ermittelt werden, und wenigstens ein Peak in der von der horizontalen Position abhängigen Funktion ermittelt werden, und intrinsische Bewegungen können schließlich festgestellt werden, wenn diese Peaks in vertikaler bzw. horizontaler Richtung innerhalb vorbestimmter Grenzen liegen, die durch die vertikale bzw. die horizontale Ausdehnung von wenigstens einem Bereich gegeben sind, in dem intrinsische Bewegungen zu erwarten sind.
Analog zur ersten Alternative können auch für intrinsische Bewegungen, die mit der zweiten Alternative ermittelt worden sind, Überprüfungsverfahren durchgeführt werden, die auf der Tatsache beruhen, daß intrinsische Bewegungen in der Regel Symmetrien zeigen.
So können beispielsweise aus der von der vertikalen Position abhängigen Funktion und/oder aus der von der horizontalen Position abhängigen Funktion Abschnitte ausgewertet werden, von denen erwartet wird, daß sie in einer Symmetriebeziehung zueinander stehen, und intrinsische Bewegungen letztlich festgestellt werden, wenn durch eine Korrelationsanalyse der entsprechenden Abschnitte die Symmetriebeziehung verifiziert wird.
Um dieses Überprüfungsverfahren robuster gegenüber relativen Abweichungen der Abschnitte der Funktion, von denen erwartet wird, daß sie eine Symmetriebeziehung erfüllen, voneinander zu machen, können die Abschnitte vor der Korrelationsanalyse in bezug aufeinander normiert werden.
Zusätzlich oder alternativ zu diesem Überprüfungsverfahren können die von der vertikalen Position abhängige Funktion und/oder die von der horizontalen Position abhängige Funktion ausgewertet werden, und intrinsische Bewegungen können festgestellt werden, wenn durch eine Korrelationsanalyse ermittelt wird, daß die Werte der von der vertikalen Position 7
abhängigen Funktion und/oder der von der horizontalen Position abhängigen Funktion über einen vorbestimmten Bereich einen ungleichmäßigen Verlauf zeigen.
Durch diese zusätzliche Überprüfung läßt sich ausschließen, daß kleine Änderungen, die sich in ungünstigen Fällen aufsummieren können, in ihrer Summe fälschlicherweise als eine intrinsische Bewegung erkannt werden.
Gemäß einer bevorzugten Weiterbildung der bisher diskutierten Ausbildungen des erfindungsgemäßen Verfahrens können intrinsische Bewegungen im Kopfbereich der zu erkennenden Person zum Verifizieren der Authentizität der aufgenommenen Bilder ermittelt werden.
Diese Weiterbildung hat den Vorteil, daß sich im Kopfbereich, im Vergleich zum gesamten Körper einer zu erkennenden Person, die meisten und die dominantesten intrinsischen Bewegungen finden. Demnach läßt sich das erfindungsgemäße Verfahren im Kopfbereich einer zu erkennenden Person am effektivsten durchführen.
Als Bereiche mit besonders ausgeprägten intrinsischen Bewegungen im Kopfbereich lassen sich beispielsweise die Mundregion und/oder die Backenregion und/oder die Nasenregion und/oder die Augenregion anführen.
In einer bevorzugten Ausbildung können die zu ermittelnden intrinsischen Bewegungen intrinsische Bewegungen in wenigstens zwei zueinander symmetrischen Regionen im Kopfbereichs der zu erkennenden Person sein, und diese wenigstens zwei zueinander symmetrischen Bereiche zur Bestimmung der Symmetrieachse des Kopfbereichs verwendet werden.
Mittels der auf diese Weise gefundenen Symmetrieachse kann ein zur Personenerkennung verwendbares Bild erzeugt werden, in dem ein frontoparallel gedrehter Kopfbereich in einen Kopfbereich mit gedrehter Symmetrieachse transformiert ist.
Zusätzlich oder alternativ hierzu kann mittels der gefundenen Symmetrieachse auch ein zur Personenerkennung verwendbares Bild der zu erkennenden Person erzeugt wird, das aus dem linken Kopfbereich und dem gespiegelten linken Kopfbereich zusammengesetzt ist, 8
bzw. das aus dem rechten Kopfbereich und dem gespiegelten rechten Kopfbereich zusammengesetzt ist.
Beide Alternativen haben den Vorteil, daß für eine nachgeschaltete Personenerkennung bessere Bilder bereitgestellt werden können. So können bei einer Bilderkennung im Fall der ersten Alternative auch Aufnahmen verwendet werden, bei denen der Kopfbereich der zu erkennenden Person gegenüber der Vertikalen geneigt ist. Mittels der zweiten Alternative können auch solche Bilder zur Personenerkennung verwendet werden, in denen eine Bildhälfte überstrahlt ist, und die demnach für eine Personenerkennung unbrauchbar wären.
Gemäß einer anderen bevorzugten Weiterbildung aller zuvor diskutierter Ausführungsformen können vor dem Feststellen der Authentizität die Bereiche in den Einzelbildern, in denen intrinsische Bewegungen erwartet werden, aus den Einzelbildern extrahiert werden.
Diese Weiterbildung hat den Vorteil, daß die zum Feststellen der Authentizität erforderlichen Bilder aus beliebigen Videosequenzen extrahiert werden können.
Damit ist es lediglich erforderlich, daß die zu erkennende Person in das Gesichtsfeld der Aufnahmeeinrichtung tritt. Dies hat zum einen den Vorteil, daß aus einer Vielzahl von Einzelbildern jeweils zum Feststellen der Authentizität optimale Einzelbilder ausgewählt werden können. Weiterhin ist es nicht erforderlich, daß die der Personenerkennung zu unterziehende Person eine fest vorgegebene Position einnehmen muß, damit die zur Personenerkennung und zum Verifizieren der Authentizität erforderlichen Aufnahmen von der Person gemacht werden können.
Wie beim Feststellen der Authentizität kann zur Verringerung der zu verarbeitenden Daten beim Extrahieren der Bereiche vorteilhafterweise wenigstens ein Differenzbild jeweils zweier aufeinanderfolgender Einzelbilder der Sequenz ausgewertet werden.
Weiterhin kann auch beim Extrahieren der Bereiche ein Differenzbild, das aus einer UND- Verknüpfung zweier aufeinanderfolgender Differenzbilder resultiert, ausgewertet werden, falls das letztlich zu beurteilende Differenzbild von Veränderungen, die beispielsweise aus der Freigabe eines dominanten Teils des Hintergrunds resultieren, befreit werden soll. Ebenso kann jedes Differenzbild vor der Auswertung binarisiert werden und die Binarisierung kann hier beispielsweise mittels eines Schwellwerts durchgeführt werden, der durch Auswertung des Hintergrunds eines der Differenzbilder, beispielsweise durch Mittelung der Intensitäten solcher Pixel im Differenzbild, die im Bereich des statischen Hintergrunds liegen, ermittelt wird. Durch diese Weiterbildung kann, wie bereits im Zusammenhang mit der Feststellung der intrinsischen Bewegungen oben diskutiert worden ist, die Menge der zu verarbeitenden Daten erheblich reduziert werden.
Analog zum Feststellen der intrinsischen Bewegungen kann in vorteilhafter Weise der Kopfbereich der zu erkennenden Person extrahiert wird.
Gemäß einer bevorzugten Weiterbildung kann der extrahierte Kopfbereich zur Personenerkennung auf eine vorbestimmte Standardgröße transformiert werden. Hierdurch lassen sich Größenvariationen, die in den aufwendigen Algorithmen zur Gesichtserkennung zu Problemen, insbesondere in Bezug auf die Rechenzeit, führen können, berücksichtigen.
Zum Extrahieren des Kopfbereichs können wenigstens zwei Kopfgrenzen in den entsprechenden Einzelbildern bzw. Differenzbildern, anhand derer der Kopfbereich aus den entsprechenden Einzelbildern bzw. den Differenzbildern extrahiert wird, ermittelt werden.
Gemäß einer ersten Alternative kann hierzu das Ermitteln der Kopfgrenze in den entsprechenden Einzelbildern bzw. Differenzbildern das Ermitteln der oberen und der linken Kopfgrenze umfaßt.
Gemäß einer zweiten Alternative kann zusätzlich auch die rechte Kopfgrenze bestimmt werden.
Zweckmäßigerweise, aber nicht darauf beschränkt, kann jede Kopfgrenze durch eine Kopfbegrenzungslinie definiert werden, die so verläuft, daß der Umriß des Kopfes im wesentlichen vollständig innerhalb der Kopfbegrenzungslinien liegt.
Gemäß einer bevorzugten Weiterbildung kann zur Bestimmung der oberen Kopfgrenze die Funktion der Vertikalprojektionen des binarisierten Differenzbildes ermittelt werden, und die obere Kopfgrenze durch das erste Maximum des Betrag der ersten Ableitung dieser Funktion, das über einem vorgegebenen Schwellwert liegt, definiert werden.
Falls hochfrequentes Rauschen eliminiert werden soll, können die Funktion der Vertikalprojektionen vor dem Definieren der Kopfgrenze mit einem Tiefpaßfilter geglättet werden.
Zur Bestimmung der linken Kopfgrenze kann die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt wird, und die linke Kopfgrenze durch das erste Maximum des Betrag der ersten Ableitung dieser Funktion, das über einem vorgegebenen Schwellwert liegt, definiert werden.
Alternativ kann zur Bestimmung der linken Kopfgrenze auch das Differenzbild in eine Mehrzahl in vertikaler Richtung aufeinanderfolgende Streifen geteilt werden, wobei sich der erste Streifen in vertikaler Richtung nach unten an die ermittelte obere Kopfgrenze anschließt, in jedem Streifen kann dann die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt werden, anschließend können die Beträge der ersten Ableitungen der auf diese Weise erhaltenen Mehrzahl an Funktionen der Horizontalprojektionen gebildet werden, die Summe der auf diese Weise gebildeten Mehrzahl an Beträgen können addiert werden, und schließlich kann die linke Kopfgrenze als das erste Maximum dieser Summe, das über einem vorgegebenen Schwellwert liegt, definiert werden.
Vorteil dieser zweiten Alternative ist es, daß durch die Streifen unterhalb der oberen Kopfgrenze nur der Kopfbereich erfaßt wird und der darunter liegende Schulterbereich, der zu ungenauen Ergebnissen bei der Ermittlung der linken Kopfgrenze führen kann, ausgeblendet wird.
Auch hierbei kann bzw. können die Funktion bzw. die Funktionen der Horizontalprojektionen vor dem Definieren der Kopfgrenze optional mit einem Tiefpaßfilter geglättet werden.
Analog zur ersten Alternative bei der Bestimmung der linken Kopfgrenze kann gemäß der bevorzugten Weiterbildung, in der auch die rechte Kopfgrenze ermittelt wird, zur Bestimmung der rechten Kopfgrenze die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt werden, und die rechte Kopfgrenze durch das letzte Maximum des Betrag der ersten Ableitung dieser Funktion, das über einem vorgegebenen Schwellwert liegt, definiert werden.
Analog zur zweiten Alternative bei der Bestimmung der linken Kopfgrenze kann gemäß der bevorzugten Weiterbildung, in der auch die rechte Kopfgrenze ermittelt wird, zur Bestimmung der rechten Kopfgrenze das Differenzbild in eine Mehrzahl in vertikaler Richtung aufeinanderfolgende Streifen geteilt werden, wobei sich der erste Streifen in vertikaler Richtung nach unten an die ermittelte obere Kopfgrenze anschließt, in jedem Streifen die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt werden, die Beträge der ersten Ableitungen der auf diese Weise erhaltenen Mehrzahl an Funktionen der Horizontalprojektionen gebildet werden, die Summe der auf diese Weise gebildeten Mehrzahl an Beträgen addiert werden, und die rechte Kopfgrenze als das letzte Maximum dieser Summe, das über einem vorgegebenen Schwellwert liegt, definiert werden.
Auch hierbei ist es möglich die Funktion bzw. die Funktionen der Horizontalprojektionen vor dem Definieren der Kopfgrenze mit einem Tiefpaßfilter zu glätten.
Gemäß einer bevorzugten Weiterbildung kann bei Bestimmung der Kopfgrenzen vorgesehen werden, daß zwei aufeinanderfolgende Einzelbilder bzw. hieraus gewonnene Differenzbilder zum Ermitteln der Kopfgrenzen nur verwendet werden, wenn eine Veränderung zwischen den zwei aufeinanderfolgenden Einzelbildern in einem vorbestimmten Bereich liegt.
Hierdurch ist es auf einfache Weise möglich, bereits vor der Ermittlung der Kopfgrenzen sicherzustellen, daß nur Differenzbilder zur Ermittlung verwendet, bei denen sichergestellt ist, daß aus ihnen hinreichend sichere Ergebnisse für die Kopfgrenzen erhalten werden können. Dadurch, daß die Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern größer als ein vorbestimmter Wert sein muß (damit nach dieser bevorzugten Weiterbildung Kopfgrenzen berechnet werden), wird sichergestellt, daß aus beiden Bildern eine über das normale Rauschen hinausgehende Veränderung und somit eine tatsächliche Bewegung der zu erkennenden Person stattgefunden hat. Dadurch, daß die Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern kleiner als ein vorbestimmter Wert sein muß (damit Kopfgrenzen berechnet werden), bleiben Differenzbilder, in denen sich eine zu starke Bewegung widerspiegelt, wie sie beispielsweise durch ein Wackeln der Aufnahmeein- richtung oder eine extrem schnelle Bewegung der zu erkennenden Person zustandekommt, bei der Ermittlung der Kopfgrenzen unberücksichtigt.
Gemäß einer in bezug auf die erforderliche Rechenzeit besonders günstigen Ausbildung kann zur Ermittlung der Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern eine Bewegungsstärke berechnet werden. Bei einem Graustufenbild kann die Bewegungsstärke im wesentlichen durch die Summe der Graupegel des Differenzbildes berechnet werden. In einem binarisierten Differenzbild läßt sich die Bewegungsstärke zweckmäßigerweise als Summe der 1 -Pixel oder O-Pixel des binarisierten Differenzbildes berechnen.
Entsprechend einer bevorzugten Weiterbildung können in dem Fall, in dem keine Kopfgrenzen ermittelt werden können, zum Extrahieren des Kopfbereichs vorbestimmte Kopfgrenzen verwendet werden.
Gemäß einerweiteren vorteilhaften Ausbildung können vorbestimmte Kopfgrenzen zum Extrahieren des Kopfbereichs verwendet werden, wenn eine der ermittelten Kopfgrenzen nicht innerhalb vorbestimmter Grenzen liegen. Alternativ kann der Schritt zum Bestimmen der Kopfgrenzen mit nachfolgenden Differenzbildern durchgeführt werden.
Hierdurch können die im Verfahren ermittelten Grenzen zusätzlich auf Plausibilität überprüft werden. Anders ausgedrückt wird demnach überprüft, ob in dem durch diese Kopfgrenzen definierten Bereich in bezug auf die Anordnung der Vorrichtung tatsächlich der Kopf einer Person zu erwarten wäre. Falls die ermittelten Kopfgrenzen nicht plausibel sind, werden schließlich vorbestimmte Kopfgrenzen angenommen. Durch diese zusätzliche Überprüfung kann die Qualität der Ermittlung der Kopfgrenze und damit letztendlich die Qualität der Verifizierung der Authentizität zusätzlich gesteigert werden.
Zweckmäßigerweise können in den zuvor beschriebenen Ausbildungen zur Ermittlung der Kopfgrenzen die untere bzw. die rechte und untere Kopfgrenze so festgelegt werden, daß ein quadratischer Kopfbereich aus den entsprechenden Einzelbildern bzw. Differenzbildern extrahiert wird.
Entsprechend einer bevorzugten Weiterbildung aller zuvor beschriebenen Ausführungen des erfindungsgemäßen Verfahrens kann aus zwei aufeinanderfolgenden Einzelbildern ein stabilisiertes Differenzbild gebildet wird, welches zum Ermitteln der intrinsischen Bewegungen und/oder zum Extrahieren der Bereiche, in denen intrinsische Bewegungen ermittelt werden sollen, ausgewertet wird.
Diese Weiterbildung kann zum einen unabhängig von und alternativ zum Extraktionsverfahren für Bereiche, in denen intrinsische Bewegungen erwartet werden, verwendet werden. Demnach lassen sich hier als Vorteil alle im Zusammenhang mit der Kopfgrenzenermittlung angeführten Vorteile nennen.
Zum anderen kann diese Weiterbildung auch dazu eingesetzt werden, die Genauigkeit der im Rahmen der Extraktion ermittelten Bereiche mit intrinsischen Bewegungen zu erhöhen.
Die Stabilisierung kann hierbei mittels einer Korrelationskorrektur durchgeführt werden.
Gemäß einer vorbestimmten Ausgestaltung kann die Korrelationskorrektur durch ein Tem- plate-Matching ausgeführt werden, das ein Berechnen des Differenzbildes umfaßt, wobei beim Berechnen des Differenzbildes das erste zur Bildung des Differenzbildes verwendete Einzelbild gegenüber dem zweiten zur Bildung des Differenzbildes verwendeten Einzelbild so verschoben ist, daß eine Korrelationsfunktion zwischen beiden Einzelbildern maximal ist.
Gemäß einer anderen vorteilhaften Weiterbildung werden in den zuvor beschriebenen Verfahren zwei aufeinanderfolgende Einzelbilder bzw. hieraus gewonnene Differenzbilder zum Ermitteln der intrinsischen Bewegungen nur verwendet, wenn die Veränderung zwischen den zwei aufeinanderfolgenden Einzelbildern in einem vorbestimmten Bereich liegt.
Hierdurch können bereits zu Beginn des erfindungsgemäßen Verfahrens aufeinanderfolgende Einzelbilder ausgewählt werden, mit denen hinreichend sichere Ergebnisse der Verifikation erhalten werden können.
Insbesondere ist es auf einfache Weise möglich, bereits vor der Ermittlung der intrinsischen Bewegungen sicherzustellen, daß nur Differenzbilder zur Ermittlung verwendet, bei denen sichergestellt ist, daß aus ihnen hinreichend sichere Ergebnisse erhalten werden können. Denn dadurch, daß die Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern größer als ein vorbestimmter Wert sein muß (damit nach dieser bevorzugten Weiterbildung versucht wird, eine intrinsische Bewegung zu ermitteln), wird sichergestellt, daß aus beiden Bildern eine über das normale Rauschen hinausgehende Veränderung und somit eine tatsächliche Bewegung oder eine intrinsische Bewegung der zu erkennenden Person stattgefunden hat. Dadurch, daß die Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern kleiner als ein vorbestimmter Wert sein muß (damit Kopfgrenzen berechnet werden), werden Differenzbilder, in denen sich eine zu starke Bewegungen widerspiegeln, wie sie beispielsweise durch ein Wackeln der Aufnahmeeinrichtung oder eine extrem schnelle Bewegung der zu erkennenden Person Zustandekommen, nicht zur Ermittlung der intrinsischen Bewegungen verwendet.
Vorzugsweise läßt sich die Veränderung zwischen zwei aufeinander folgenden Einzelbildern durch eine Bewegungsstärke berechnen. Ebenso wie bei der Ermittlung der Kopfgrenzen, kann die Bewegungsstärke für ein Graustufenbild durch die Summe der Graupegel berechnet werden. Analog läßt sich für ein binäres Differenzbild die Bewegungsstärke zweckmäßigerweise durch die Summe der 1 -Pixel oder O-Pixel des binarisierten Differenzbildes berechnen.
Weitere Vorteile und Merkmale des erfindungsgemäßen Verfahren ergeben sich aus der Beschreibung detaillierter Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnung.
Es zeigen:
Fig. 1 ein Ablaufdiagramm einer ersten Ausführungsform des Verfahrens zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes gemäß der vorliegenden Erfindung;
Fig. 2 ein Ablaufdiagramm einer zweiten Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung;
Fig. 3 ein Ablaufdiagramm einer dritten Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung;
Fig. 4 ein Ablaufdiagramm einer vierten Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung; Fig. 5 ein Ablaufdiagramm einer fünften Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung;
Fig. 6 ein Ablaufdiagramm einer sechsten Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung;
Fig. 7 ein Ablaufdiagramm zur Durchführung einer Korrelationsanalyse, die im Rahmen der vierten oder fünften Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung, eingesetzt werden kann;
Fig. 8 ein Ablaufdiagramm einer siebten Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung; und
Fig. 9 ein Ablaufdiagramm einer achten Ausführungsform des Verfahrens zum Verifizieren der Authentizität gemäß der vorliegenden Erfindung.
Fig. 1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes einer der Personenerkennung zu unterziehenden Person.
In einem ersten Schritt S110 wird eine Sequenz zeitlich aufeinanderfolgender Einzelbilder K(t), t=1 n einer Person aufgenommen. Hierzu werden zweckmäßigerweise aus dem Stand der Technik bekannte Videokameras, welche die Sequenz in digitalisierter Form aufnehmen, verwendet. Einzelbilder, die mit einer derartigen Videokamera aufgenommen werden, liegen in der Regel in Pixelform vor, wobei jedes Einzelbild c x r Pixel umfaßt, wenn c die Anzahl der Spalten und r die Anzahl der Zeilen des betreffenden Einzelbildes bezeichnet.
Im folgenden wird deshalb mit K(t) das gesamte Einzelbild zum Zeitpunkt t und mit Kcr(t) das Pixel in der c-ten Spalte und der r-ten Reihe bezeichnet.
Die Einzelbilder werden im erfindungsgemäßen Verfahren mit einer Geschwindigkeit von 8-12 Bildern/Sekunde aufgenommen. 16
In Schritt S120 werden aus der aufgenommenen Sequenz der Einzelbilder zwei zeitlich aufeinanderfolgende Einzelbilder K(t-1) und K(t) ausgewählt.
Im darauffolgenden Schritt S130 werden die Einzelbilder K(t-1) und K(t) miteinander verglichen, um festzustellen, ob die der Personenerkennung unterzogene Person zwischen beiden Einzelbildern K(t-1) und K(t) intrinsische Bewegungen ausgeführt hat.
Hierzu können die beiden Einzelbilder K(t-1) und K(t) Pixel für Pixel miteinander verglichen werden, und die sich aus diesem Pixelvergleich ergebende Änderung kann mit einem vorgegebenen Schwellwert verglichen werden. Liegt demgemäß der Betrag der Änderung über dem vorgegebenen Schwellwert, hat die Person zwischen beiden Einzelbildern K(t-1) und K(t) eine intrinsische Bewegung durchgeführt, liegt der Betrag der Änderung hingegen unter dem Schwellwert, konnte keine intrinsischen Bewegungen der Person festgestellt werden. Dieser Pixel-mit-Pixel-Vergleich führt zu befriedigenden Ergebnissen, wenn den intrinsischen Bewegungen der Person keine zusätzlichen Bewegungen überlagert sind, d.h. wenn die Person sich gegenüber der Aufnahmeeinrichtung nicht oder nur minimal bewegt.
Wie der Vergleich im Detail durchzuführen ist, hängt von der Art der aufeinanderfolgenden Einzelbilder ab. Liegen die Einzelbilder beispielsweise als Graustufenbilder vor, kann der Betrag der Differenz der Graustufen zweier entsprechender Pixel in dem Einzelbild K(t-1) und K(t) als Maß für die Änderung eines Pixels, und die Summe der Beträge dieser Differenzen als ein Maß für die Änderung zwischen den beiden Einzelbildern K(t-1) und K(t), die schließlich mit dem vorgegebenen Schwellwert verglichen wird, angesehen werden.
Liegen die Einzelbilder beispielsweise in binarisierter Form (d.h. in Form von weißen oder schwarzen Pixeln) vor, ergibt sich die Änderung zwischen zwei Einzelbildern aus der Summe der sich in den Einzelbildern K(t-1) und K(t) entsprechenden Pixeln, die sich voneinander unterscheiden. Im Fall binarisierter Einzelbilder ist demnach diese Änderung mit einem vorgegebenen Schwellwert zu vergleichen. Die Binarisierung von Graustufenbildern wird im Zusammenhang mit der zweiten Ausführungsform (Schritt S240) noch im Detail beschrieben. Ergibt der Vergleich in Schritt S130 schließlich, daß intrinsische Bewegungen der Person zwischen beiden Einzelbildern stattgefunden haben, wird in Schritt S170 die Authentizität der aufgenommenen Einzelbilder K(t-1) und K(t) verifiziert.
Ergibt der Vergleich hingegen, daß die Person zwischen den Einzelbildern K(t-1) und K(t) keine intrinsischen Bewegungen ausgeführt hat, kann in Schritt S180 die Authentizität der aufgenommenen Einzelbilder K(t-1) und K(t) nicht verifiziert werden.
In diesem Fall besteht die Möglichkeit, das Verfahren abzubrechen, und falls dieses Verfahren im Rahmen einer Zugangskontrolle eingesetzt wird, kann der Zugang verweigert werden. Alternativ kann, wie durch Schritt S190 dargestellt, zu Schritt S120 zurückgesprungen werden, und das Verfahren zum Verifizieren der Authentizität kann mit zwei weiteren Einzelbildern, beispielsweise K(t) und K(t+1) erneut durchgeführt werden.
Die durch den Schritt S190 dargestellte Schleife kann j-mal durchlaufen werden, wobei j eine vorbestimmte Zahl ist, die höchstens n-1 ist.
Alternativ zum Vergleich der Einzelbilder K(t-1) und K(t) kann zur Reduzierung der zu verarbeitenden Datenmenge aus beiden Einzelbildern ein Differenzbild D(t) = K(t) - K(t- 1) gebildet werden und schließlich das Differenzbild D(t) direkt untersucht werden, dahingehend, ob die Person intrinsische Bewegungen zwischen den beiden Einzelbildern K(t-1) und K(t) ausgeführt hat.
Gemäß einer weiteren Alternative der ersten Ausführungsform kann anstelle des Differenzbildes D(t) auch eine UN D-Verknüpfung zweier aufeinanderfolgender Differenzbilder D(t) und D(t-1) zur Ermittlung der intrinsischen Bewegungen ausgewertet werden. Diese Alternative eignet sich insbesondere, wenn sich starke Veränderungen in zwei aufeinanderfolgenden Einzelbildern durch Freigabe eines dominanten Hintergrunds, beispielsweise einer Beleuchtungsquelle, in zwei aufeinanderfolgenden Einzelbildern ergeben, und sich in dem Differenzbild widerspiegeln. Demnach kann durch diese Alternative das letztendlich zu beurteilende Differenzbild von Änderungen befreit werden, die nicht aus intrinsischen Bewegungen resultieren. l o
Da in dieser Alternative zwei Differenzbilder D(t) und D(t+1) verwendet werden, sind zum Erstellen dieser beiden Differenzbilder drei aufeinanderfolgende Einzelbilder K(t-1), K(t) und K(t+1) erforderlich.
In Fig. 2 ist ein Ablaufdiagramm einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens dargestellt.
Diese zweite Ausführungsform stellt im wesentlichen eine Alternative des Schritts S130 in der ersten Ausführungsform dar.
Demnach werden gemäß der zweiten Ausführungsform ebenfalls zuerst die Schritte S110 und S120 durchlaufen, d.h. es wird eine Sequenz zeitlich aufeinanderfolgender Einzelbilder aufgenommen und aus dieser Sequenz werden zwei zeitlich aufeinanderfolgende Einzelbilder ausgewählt.
Nach dem Schritt S120 wird in Schritt S130 das Differenzbiid D(t) aus den Einzelbildern K(t) und K(t-1) ermittelt.
In dem optionalen Schritt S240 kann dieses Differenzbild nach folgender Gleichung bi- narisiert werden:
Bδ(t) = Θ(D(t)-δ). (1)
Hierbei stellt δ einen vorbestimmten Schwellwert dar, und θ(l) bezeichnet die Stufenfunktion, d.h. θ(l) = 0, für I < 0 und θ(l) = 1 für I > 0.
Der Schwellwert δ kann hierbei fest vorgegeben oder durch Auswertung des Hintergrunds ermittelt werden.
Im letzteren Fall bietet es sich an, den Schwellwert δ als Funktion der oberen m Zeilen des Differenzbilds zu definieren, da diese Zeilen nur statischen Hintergrund zeigen und somit von 0 verschiedene Werte im Differenzbild auf ein Rauschen, beispielsweise durch die Aufnahmevorrichtung, zurückzuführen sind. Demgemäß wird das Rauschen unterdrückt, wenn nur Graustufenwerte, die über diesem Schwellwert liegen, berücksichtigt werden. Folglich ist als Schwellwert der maximale Wert, der in den obersten m Zeilen des Differenzbilds gefunden wird, d.h.
δ = max Dcr (t), (2)
zu verwenden.
Im nächsten Schritt S250 wird im Differenzbild D(t) bzw. im binarisierten Differenzbild B(t) wenigstens ein Bereich erhöhter Bewegung ermittelt.
Hierzu kann beispielsweise ein Rahmen beliebiger Größe vorgegeben werden und über das entsprechende Differenzbild geführt werden, wobei bei jeder Verschiebung die Bewegung, d.h. die Anzahl der Summe der Pixel mit dem Wert 1 oder alternativ der Pixel mit dem Wert 0, berechnet wird. Der Rahmen der Verschiebung mit der größten Summe definiert schließlich den Bereich erhöhter Bewegung.
Nachdem der Bereich erhöhter Bewegung in dem Differenzbild bzw. dem binarisierten Differenzbild ermittelt worden ist, wird überprüft, ob dieser Bereich mit einem vorgegebenen Bereich, in dem intrinsische Bewegungen zu erwarten sind, übereinstimmt.
Falls dies der Fall ist, kann die Authentizität der aufgenommenen Einzelbilder K(t-1 ) und K(t), die dem Differenzbild D(t) bzw. dem binarisierten Differenzbild B(t) zugrunde liegen, in Schritt S170 verifiziert werden.
Falls der Bereich erhöhter Bewegung mit dem vorgegebenen Bereich nicht übereinstimmt, kann in Schritt S180 die Authentizität der aufgenommenen Einzelbilder nicht verifiziert werden, und das Verfahren kann abgebrochen werden oder gemäß Schritt S190 (siehe Fig. 1) wiederholt werden.
Der Bereich, in dem die meisten intrinsischen Bewegungen einer Person zu erwarten sind, ist der Kopfbereich. Im Kopfbereich als solches sind die meisten intrinsischen Bewegungen in der Mundregion, der Backenregion, der Nasenregion oder der Augenregion zu erwarten. Vorzugsweise wird gemäß der zweiten Ausführungsform in Fig. 2 der we- nigstens eine ermittelte Bereich erhöhter Bewegung deshalb mit der Mundregion, der Backenregion, der Nasenregion und/oder der Augenregion verglichen.
Wie implizit bereits angedeutet, ist es selbstverständlich auch möglich, mehrere Bereiche erhöhter Bewegung in dem Differenzbild zu ermitteln und zu überprüfen, ob diese ermittelten Bereiche erhöhter Bewegung mit der Mundregion, der Backenregion, der Nasenregion und/oder der Augenregion übereinstimmen.
In Fig. 3 ist ein Ablaufdiagramm einer dritten Ausführungsform des erfindungsgemäßen Verfahrens dargestellt, das eine Alternative zu Schritt S250, also der Ermittlung des Bereichs erhöhter Bewegung, in der zweiten Ausführungsform angibt und im übrigen der zweiten Ausführungsform entspricht.
Demnach wird in der dritten Ausführungsform von einem Differenzbild D(t) oder alternativ von einem binarisierten Differenzbild B(t) ausgegangen. Das Differenzbild D(t) bzw. das binarisierte Differenzbild B(t) werden im folgenden abkürzend als Differenzbild K bezeichnet.
In Schritt S350 wird aus dem Differenzbild K die Funktion Y der Produkte aus den Horizontalprojektionen PH und den Horizontalvarianzen VH bestimmt, in Formeln:
Yv H - VH ∑ ^∑(κcr-κr
mit κr = ^ ΠC:∑K- (3) und nc = Anzahl der Spalten von K.
Weiterhin wird aus dem Differenzbild K in Schritt S351 die Funktion YH der Produkte aus den Vertikalprojektionen Pv und den Vertikalvarianzen V nach folgender Formel bestimmt: YH = V - V = ∑κ {^∑(κcr-κc)2),
mit Kc = -∑KCTI (4) nr , und nr = Anzahl der Zeilen von K
In Schritt S352 können die gemäß der oben stehenden Formeln erhaltenen Funktionen Yv und YH mit einem geeigneten Tiefpaßfilter TPF{ } geglättet werden.
In den Funktionen Yv und YH bzw. den geglätteten Funktionen TPF{Y } und TPF{YH} werden in Schritt S353 Peaks identifiziert. Die Peaks von Yv bzw. YH definieren hierbei die vertikale bzw. horizontale Ausdehnung und Position des Bereichs erhöhter Bewegung.
Als Zusammenhang zwischen dem Peak einer der Funktionen und dem entsprechenden Bereich erhöhter Bewegung lassen sich verschiedene im Stand der Technik bekannte Definitionen angeben. So kann beispielsweise durch den Maximalwert eines Peaks die Position und durch seine Halbwertsbreite die Ausdehnung des entsprechenden Bereichs angegeben werden. Alternativ kann die Ausdehnung auch durch die Wendepunkte des Peaks angegeben werden. Als weitere Alternative kann die Ausdehnung auch durch die Grenzen angegeben werden, die zu einer vorgegebenen Fläche unter dem Peak führen.
Zum Auffinden der einzelnen Peaks können die im Stand der Technik üblichen Verfahren verwendet werden. Diese Verfahren beruhen im wesentlichen darauf, die Abschnitte einer Funktion zu suchen, die einen vorbestimmten Schwellwert übersteigen.
Die zu verwendende Definition für den Peak sowie das beste Verfahren zum Auffinden des Peaks hängt stark von der spezifischen intrinsischen Bewegung ab, die nachgewiesen werden soll; die für den jeweiligen Fall günstigste Definition für den Peak und das günstigste Verfahren zum Auffinden des Peaks lassen sich im Rahmen von Versuchen ermitteln. Es wird darauf hingewiesen, daß im Zusammenhang mit der in Fig. 5 beschriebenen Ausführungsform noch eine detaillierte Beschreibung einer spezifischen Definition für den Peak und des verwendeten Verfahrens zum Auffinden des Peaks folgt. In Fig. 4 ist ein Ablaufdiagramm einer vierten Ausführungsform des erfindungsgemäßen Verfahrens dargestellt. Diese vierte Ausführungsform stellt eine Erweiterung der zweiten bzw. dritten Ausführungsform dar.
Zur Durchführung des Verfahrens gemäß der vierten Ausführungsform wird vorausgesetzt, daß bereits ein erster Bereich erhöhter Bewegung bestimmt und überprüft worden ist, ob dieser Bereich mit einem vorgegebenen Bereich, in dem intrinsische Bewegungen zu erwarten sind, übereinstimmt.
Falls ein derartiger Bereich gefunden worden ist, wird gemäß der vierten Ausführungsform in Schritt S461 ein weiterer Bereich erhöhter Bewegung, von dem erwartet wird, daß er mit dem ersten Bereich erhöhter Bewegung in einer Symmetriebeziehung steht, ermittelt.
Zur Ermittlung dieses zweiten Bereichs kann Schritt S250 (zweite Ausführungsform) bzw. können Schritte S350 bis S353 (dritte Ausführungsform) durchlaufen werden.
In diesem Zusammenhang bleibt anzumerken, daß eine Symmetriebeziehung zwischen zwei Bereichen in einem Differenzbild, d.h. eine Symmetriebeziehung in den Bewegungen, dann zu erwarten ist, wenn die zu den intrinsischen Bewegungen führenden Bereiche ebenfalls symmetrisch zueinander sind. Betrachtet man so beispielsweise den Kopfbereich einer zu erkennenden Person, eignen sich als erster und zweiter Bereich im Rahmen der vierten Ausführungsform beispielsweise die Mundregion in der linken und rechten Gesichtshälfte, die Backenregion in der linken und rechten Gesichtshälfte, die Nasenregion in der linken und rechten Gesichtshälfte sowie das linke und das rechte Auge.
Hat man zwei solche Bereiche, für die eine Symmetriebeziehung erwartet wird, in dem Differenzbild gefunden, kann mittels einer Korrelationsanaiyse verifiziert werden, ob die Symmetriebeziehung erfüllt ist oder nicht.
Aufgrund der Tatsache, daß die intrinsischen Bewegungen, beispielsweise in der Kopfregion einer Person, symmetrisch sind, erhält man durch die vierte Ausführungsform somit eine Plausibilitätsüberprüfung der ermittelten Bereiche erhöhter Bewegung. Falls also in Schritt S462 durch eine Korrelationsanalyse verifiziert wird, daß die Symmetriebeziehung erfüllt ist, kann in Schritt S170 die Authentizität der aufgenommenen Einzelbilder verifiziert werden.
Im anderen Fall kann die Authentizität nicht verifiziert werden (siehe Schritt S180), und demgemäß das Verfahren mit diesem Ergebnis abgebrochen werden, oder - wie bereits diskutiert - wiederholt durchgeführt werden.
Die verschiedenen Möglichkeiten, eine Korrelationsanalyse gemäß Schritt S462 durchzuführen, werden untenstehend im Zusammenhang mit Fig. 7 noch im Detail erläutert.
In Fig. 5 ist das Ablaufdiagramm einer fünften Ausführungsform des erfindungsgemäßen Verfahrens dargestellt. Die in Fig. 5 dargestellten Schritte S530 bis S565 stellen eine bevorzugte Ausgestaltung des Schritts S130 gemäß der ersten Ausführungsform dar.
Somit wird auch in der fünften Ausführungsform zunächst eine Sequenz zeitlich aufeinanderfolgender Einzelbilder einer Person aufgenommen, und im Anschluß daran werden zwei zeitlich aufeinanderfolgende Einzelbilder aus dieser Sequenz ausgewählt. Dies ist in Fig. 5 durch Schritt S120 dargestellt.
Aus diesen Einzelbildern wird in Schritt S530 ein Differenzbild bestimmt, das optional in Schritt S540 binarisiert werden kann (die Schritte S530 und S540 entsprechen den Schritten S230 und S240 in der zweiten Ausführungsform, so daß an dieser Stelle auf eine Beschreibung verzichtet und auf die entsprechende Beschreibung der Schritte S230 und S240 verwiesen wird).
Aus dem Differenzbild wird gemäß der fünften Ausführungsform in Schritt S550 die vertikale Position und die Ausdehnung sowie die horizontale Position und die Ausdehnung der Mundregion einer zu erkennenden Person bestimmt.
Im Unterschied zu Schritt S250 in der zweiten Ausführungsform, in dem im Differenzbild Bereiche erhöhter Bewegungen ermittelt werden und überprüft wird, ob diese Bereiche bestimmten Regionen zugeordnet werden können, wird in Schritt S550 in dem Diffe- 24
renzbild nach einem bestimmten Bereich, in dem intrinsische Bewegungen erwartet werden, nämlich nach der Mundregion gesucht.
In Schritt S560 wird dann überprüft, ob die ermittelte Mundregion innerhalb vorbestimmter Grenzen liegt oder nicht. Falls die Mundregion innerhalb vorbestimmter Grenzen liegt, kann in Schritt S170 die Authentizität der aufgenommenen Einzelbilder verifiziert werden; falls die ermittelte Mundregion nicht innerhalb vorbestimmter Grenzen liegt, muß die Verifizierung der Authentizität der Einzelbilder verneint werden.
Darüber hinaus kann in Schritt S565 alternativ zu Schritt S560 eine Korrelationsanalyse mit der ermittelten Mundregion zur Bestimmung intrinsischer Bewegungen durchgeführt werden.
Verschiedene Möglichkeiten zur Durchführung einer Korrelationsanalyse werden im Zusammenhang mit Fig. 7 noch im Detail erläutert.
In einer Abwandlung der fünften Ausführungsform ist es außerdem möglich, die Schritte S560 und S565 nicht alternativ, sondern kumulativ durchzuführen. Demnach wird gemäß Schritt S170 die Authentizität der Einzelbilder nur festgestellt, wenn die ermittelte Mundregion innerhalb vorbestimmter Grenzen liegt und aus einer Korrelationsanalyse der Mundregion ein Vorliegen intrinsischer Bewegungen folgt.
Obwohl sich die fünfte Ausführungsform konkret auf die Mundregion bezieht, ist es selbstverständlich möglich, das Verfahren auch mit anderen Regionen, in denen intrinsische Bewegungen erwartet werden, oder mit Kombinationen derartiger Regionen durchzuführen.
In Fig. 6 ist das Ablaufdiagramm einer sechsten Ausführungsform des erfindungsgemäßen Verfahrens dargestellt. Diese sechste Ausführungsform stellt eine bevorzugte Ausgestaltung des Schritts S550 in der fünften Ausführungsform zur Ermittlung der vertikalen Position und Ausdehnung und der horizontalen Position und Ausdehnung der Mundregion aus dem Differenzbild dar. Demnach wird, vorausgesetzt, daß gemäß Schritt 530 oder ein Differenzbild D(t) bzw. gemäß S540 ein binarisiertes Differenzbild B(t) vorliegt. 25
Aus diesem Differenzbild wird in Schritt 650 die Funktion Yv der Produkte aus den Horizontalprojektionen PH und den Horizontalvarianzen VH nach Gleichung (3) berechnet.
Die Funktion Yv kann optional durch einen Tiefpaßfilter geglättet werden.
Aus dieser Funktion bzw. der geglätteten Funktion werden in Schritt S651 die vertikale Position und die vertikale Ausdehnung der Mundregion bestimmt.
Die vertikale Mundposition ist hierbei als die Position des letzten (untersten) Maximums von Y , das größer als ein vorbestimmter Schwellwert ist, definiert. Im Fall der Mundregion hat sich der zweifache Mittelwert von Y als geeigneter Schwellwert herausgestellt.
Als vertikale Ausdehnung des Mundbereichs kann die Breite des Peaks, bei der der Peak auf einen vorgegebenen Prozentsatz seines Maximalwerts abgefallen ist, angegeben werden. Hierbei haben sich 50% als günstiger Wert erwiesen.
Als Alternative hierzu kann die vertikale Ausdehnung des Mundbereichs auch als Breite des Peaks, der sich durch den Abstand der beiden nächstgelegenen Wendepunkte links und rechts von der Peakposition ergibt, angegeben werden.
Darüber hinaus können die erhaltenen Werte für die vertikale Position und die vertikale Ausdehnung auf ihre Plausibilität hin überprüft werden. Hierzu können eine minimale Mundposition und eine maximale Mundposition vorgegeben werden, und überprüft werden, ob die ermittelte Mundposition innerhalb dieser beiden Extremalwerte liegt. Dieselbe Prozedur kann alternativ oder kumulativ für die vertikale Ausdehnung des Mundbereichs durchgeführt werden.
Als nächstes wird in Schritt 652 die Funktion YH;t,b der Produkte aus den Vertikalprojektionen P ;t,b und den Vertikalvarianzen V ;t,b in einem horizontalen Streifen, der sich von der in Schritt 651 ermittelten Mundobergrenze t zur Munduntergrenze b erstreckt, also 26
b =p V;t,b- H;t,b = ∑κ ^∑(κcr-κcή
mit Kc(t) = l∑Kcr, n = b- t + 1, (5) und nr = Anzahl der Zeilen von K,
berechnet.
Die so berechnete Funktion YH;tb kann ebenfalls optional geglättet werden.
Im nächsten Schritt S653 wird die horizontale Position und Ausdehnung der Mundregion bestimmt.
Hierzu wird zunächst der Betrag der Ableitung der Funktion YH;tb bzw. der geglätteten Funktion TPF{YH;t,b}, d.h.
bH;t,b =|yH+1;t.b - yH+1;t,b|. (6)
ermittelt.
Die linke horizontale Begrenzung der Mundregion wird dann als das erste Maximum von bH, das größer als ein vorgegebener Schwellwert ist, definiert. Die rechte horizontale Grenze der Mundregion wird entsprechend als das letzte Maximum von bH, das größer als dieser Schwellwert ist, definiert. Vorliegend wurde der Mittelwert von bH als Schwellwert verwendet.
Auch im Fall der horizontalen Ausdehnung des Mundes kann eine Plausibilitätsüberprü- fung durchgeführt werden, derart, daß die ermittelte Mundregion innerhalb eines vorgegebenen maximalen Bereichs liegen muß, damit der Bereich erhöhter Bewegung als Mundbereich angesehen wird.
In Fig. 7 ist ein Ablaufdiagramm einer Korrelationsanalyse dargestellt, wie sie beispielsweise in Schritt S462 gemäß der vierten Ausführungsform oder in Schritt S565 gemäß der fünften Ausführungsform durchgeführt werden kann. 27
Die Prozedur gemäß dem Ablaufdiagramm in Fig. 7 wird zwar anhand der Funktionen Y und YH erläutert, kann jedoch ohne weiteres auf die Bereiche, wie sie in der vierten Ausführungsform ermittelt werden, angewendet werden.
In Schritt S766 wird zuerst die Funktion Yv und/oder YH in Abschnitte zerlegt, von denen erwartet wird, daß sie in einer Symmetriebeziehung zueinander stehen.
In Schritt S767 wird mittels einer Korrelationsanalyse überprüft, ob die in Schritt S766 angenommene Symmetriebeziehung erfüllt ist.
Die Schritte S766 und S767 lassen sich selbstverständlich auch für mehrere Symmetriebeziehungen durchführen.
Falls mit der Korrelationsanaiyse verifiziert werden kann, daß die Symmetriebeziehung erfüllt ist bzw. die Symmetriebeziehungen erfüllt sind, kann gemäß Schritt S170 die Authentizität der aufgenommenen Einzelbilder verifiziert werden.
Falls die Symmetriebeziehung mit der Korrelationsanalyse nicht verifiziert werden kann, dann läßt sich auch die Authentizität der Einzelbilder nicht verifizieren, und das Verfahren kann abgebrochen werden oder alternativ für ein neues Paar Einzelbilder wiederholt werden.
Für den bereits oben diskutierten Fall der Ermittlung intrinsischer Bewegungen in der Mundregion können im Schritt S767 die folgenden Korrelationen überprüft werden.
Zum einen ist eine intrinsische Mundbewegung in sich symmetrisch. Deshalb muß die Korrelation der Kurve YH bzw. der geglätteten Kurve TPF{YH} mit der gespiegelten Kurve YH bzw. der gespiegelten geglätteten Kurve TPF{YH} größer als ein vorbestimmter Wert sein.
Zweckmäßigerweise transformiert man vor der Korrelationsanaiyse die Kurve YH auf standardisierte Variablen, so daß die Funktion YH den Mittelwert 0 und die Standardab- 28
weichung 1 besitzt. Bezeichnet man diese standardisierten Variablen als n(YH/v), berechnet sich die Korrelation nach der Formel
nc/2-1
9m = ∑ nm+c(YH). nm_c(YH), (7)
-nc/2
wobei nc(YH) für Indizes c < 0 und c > nc mit 0 fortgesetzt wird.
Im Fall der Mundbewegung hat sich gezeigt, daß ein Wert von gm > 0,9 einer hinreichend symmetrischen Mundbewegung entspricht. Demnach würde die erwartete Symmetriebeziehung bestätigt, wenn sich aus Gleichung (7) ein gm > 0,9 ergibt.
Alternativ oder zusätzlich zu der oben beschriebenen Korrelationsanaiyse kann auch die Korrelation des Bildausschnitts aus dem Differenzbild des gespiegelten Mundes mit dem Mund selbst überprüft werden. Wenn diese Korrelation kleiner als ein vorbestimmter Wert ist, dann kann davon ausgegangen werden, daß nicht eine tatsächliche intrinsische Bewegung stattgefunden hat, sondern die ermittelte Bewegung auf Bewegungen, Rauschen oder dergleichen zurückzuführen ist.
Die Korrelation des Differenzbilds des gespiegelten Munds mit dem Mund selbst läßt sich durch den Ausdruck
e/2 b ~\ f b h m = ∑ n^J XK^ k^J jK, c=-e/2 V'=t V'=t (8)
wobei cnt die horizontale Position und e die Breite des Mundes sind und durch
cnt = argmaxgm (9) m
bestimmt werden kann, berechnen.
Es hat sich gezeigt, daß ein Wert von hM=0.5 geeignet ist, um intrinsische und nicht intrinsische Bewegungen zu diskriminieren. 29
Zusammen mit den oben beschriebenen Korrelationsanalysen oder alternativ ist in den Schritten S768 und S769 eine weitere Korrelationsanaiyse vorgesehen.
Zur Durchführung dieser Korrelationsanaiyse kann in Schritt S768 die Funktion Y und/oder YH in vorbestimmte Abschnitte zerlegt werden. Dieser Schritt ist allerdings nur für den Fall vorgesehen, daß bestimmte Bereiche der entsprechenden Funktion untersucht werden sollen. Falls die Funktion Yv und/oder YH in ihrer Gesamtheit untersucht werden soll, kann der Schritt S768 demnach entfallen.
In Schritt S769 wird mittels einer Korrelationsanaiyse überprüft, ob die Werte der entsprechenden Funktion in ihrem Definitionsbereich (bzw. den vorbestimmten Abschnitten, falls Schritt S768 durchgeführt wird) im wesentlichen ungleichmäßig ist.
Falls diese Werte ungleichmäßig sind, kann darauf geschlossen werden, daß es sich tatsächlich um eine intrinsische Bewegung handelt. Im Gegenteil hierzu kann bei gleichmäßigen Werten der Funktion geschlossen werden, daß es sich bei den ermittelten Bewegungen nicht um Bewegungen sondern vielmehr um ein Rauschen oder dergleichen handelt.
Zur Durchführung der Korrelationsanaiyse gemäß Schritt S769 lassen sich im Fall des Mundbereichs Korrelationen zwischen den Vertikalprojektionen und Vertikalvarianzen für die rechte und linke Seite des Mundes überprüfen.
Die Korrelation zwischen der Vertikalprojektion und der Vertikalvarianz für die rechte und linke Seite des Mundes lassen sich berechnen durch die Ausdrücke
6/2 f ° ^ ( ° — 2 1
= ∑ncnt+c|J∑KcrJ •r l∑^ -Kc) ], c=0 r'=t
(10) f b f b r^ \2
Jm - ∑ ncnt ∑ Kcr' " n Cnt+c ∑ (Kcr' ~ Kc) c=-e/2 V'=t ' V'=t
Für den Fall des Mundbereichs hat sich gezeigt, daß die Korrelationen im und jm zwischen der Vertikalprojektion und der Vertikalvarianz < 0 sein müssen, damit sicherge- 30
stellt ist, daß es sich bei der detektierten Bewegung um eine intrinsische Bewegung handelt.
In den Verfahren gemäß der Figuren 5 bis 7 ist der Mundbereich als beispielhafte Ausführung des erfindungsgemäßen Verfahrens dargestellt. Das erfindungsgemäße Verfahren ist allerdings nicht, wie bereits im Zusammenhang mit der zweiten Ausführungsform erläutert, auf die Mundregion beschränkt.
Vielmehr sind beliebige Bereiche, in denen intrinsische Bewegungen zu erwarten sind, wie beispielsweise auch die Backenregion, die Nasenregion und die Augenregion bzw. beliebige Kombinationen dieser Regionen möglich.
Falls eine Region, die sich von der Mundregion unterscheidet, in bezug auf intrinsische Bewegungen untersucht werden soll, sind lediglich die Bereiche, in denen die Funktionen gebildet werden, die Korrelationen, die im Rahmen der Korrelationsanaiyse untersucht werden, sowie die Schwellwerte, mit denen eine Korrelation verifiziert wird, den betrachteten Regionen entsprechend anzupassen.
Da die Prinzipien, nach denen eine derartige Anpassung erfolgen muß, anhand des oben dargelegten Beispiels der Mundregion und den Grundlagen, die sich in Standardlehrbüchern über Korrelationsanaiyse finden, offensichtlich sind, wird auf eine detaillierte Beschreibung einer Anpassung an die anderen oben bezeichneten Regionen verzichtet.
Fig. 8 zeigt das Ablaufdiagramm einer achten Ausführungsform des erfindungsgemäßen Verfahrens. Die Schritte der achten Ausführungsform dienen dazu, die Einzelbilder nach der Aufnahme für die Ermittlung der intrinsischen Bewegungen zu optimieren.
Demgemäß werden in Schritt S120, wie in Fig. 8 gezeigt, nachdem eine Sequenz zeitlich aufeinanderfolgender Einzelbilder in Schritt S110 aufgenommen worden ist, zwei zeitlich aufeinanderfolgende Einzelbilder ausgewählt.
In Schritt S825 wird zuerst überprüft, ob die Veränderung zwischen den beiden aufeinanderfolgenden Einzelbildern in einem vorgegebenen Bereich liegt oder nicht. 31
Aufgrund der Tatsache, daß die Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern größer als ein vorbestimmter Wert sein muß, wird sichergestellt, daß aus beiden Einzelbildern eine über das normale Rauschen hinausgehende Veränderung und somit eine tatsächliche Bewegung oder eine intrinsische Bewegung der zu erkennenden Person stattgefunden hat.
Andererseits wird dadurch, daß die Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern kleiner als ein vorbestimmter Wert sein muß, sichergestellt, daß Differenzbilder, in denen sich eine zu starke Bewegung widerspiegelt, wie sie beispielsweise durch ein Wackeln der Aufnahmeeinrichtung oder eine extrem schnelle Bewegung der zu erkennenden Person zustande kommen, nicht zur Ermittlung der intrinsischen Bewegung verwendet werden, da in diesem Fall das Trennen zwischen einer tatsächlichen Bewegung und einer intrinsischen Bewegung nicht mehr hinreichend sicher durchgeführt werden kann.
Schritt S825 kann dadurch ausgeführt werden, daß zur Bestimmung der Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern eine Bewegungsstärke berechnet wird.
Für den Fall, daß die Differenzbilder Graustufenbilder sind, läßt sich die Bewegungsstärke im wesentlichen durch die Summe der Graupegel des Differenzbildes berechnen. Für den Fall, daß das Differenzbild binarisiert ist, berechnet sich die Bewegungsstärke zweckmäßigerweise durch die Summe der 1 -Pixel oder O-Pixel des binarisierten Differenzbildes.
In Schritt S826, der alternativ zu oder kummulativ mit Schritt S825 durchgeführt werden kann, werden die Bereiche in den Einzelbildern, in denen intrinsische Bewegungen erwartet werden, aus den entsprechenden Einzelbildern extrahiert bevor die Einzelbilder miteinander verglichen werden. Hierdurch kann die Menge an zu verarbeitenden Daten erheblich verringert werden.
Ein Bereich, der zweckmäßigerweise extrahiert werden kann, da in ihm eine Vielzahl intrinsischer Bewegungen stattfinden, ist der Kopfbereich. 32
Demnach kann zur Extraktion ein vorgegebener Ausschnitt in den Einzelbildern, in dem erfahrungsgemäß der Kopf der zu erkennenden Person zur Ruhe kommt, extrahiert werden.
Unter Bezugnahme auf Fig. 9 wird untenstehend außerdem eine Alternative zu diesem Verfahren beschrieben. Gemäß dieser Alternative wird der Kopfbereich der zu erkennenden Person durch Ermitteln der Kopfgrenzen aus einem Differenzbild bestimmt. Mit diesen ermittelten Kopfgrenzen kann dann schließlich der Kopfbereich aus den jeweiligen Einzelbildern extrahiert werden.
Wiederum alternativ oder kummulativ zu den Schritten S826 bzw. S825 können in Schritt S827 die Einzelbilder stabilisiert werden.
Wiederum alternativ zu oder kummulativ mit den Schritten S826 und/oder S825 können in Schritt S827 zwei oder mehrere Einzelbilder in Bezug aufeinander stabilisiert werden, oder anders ausgedrückt, in bezug aufeinander ausgerichtet werden.
Hierzu kann durch Template-Matching eine residuale Verschiebung (l,m) zwischen K(t) und K(t-1) ermittelt werden. Dazu werden K(t) und K(t-1) zunächst zentriert übereinan- dergelegt (dies ist gleichbedeutend mit einer residualen Verschiebung (l,m) = (0,0)). Dann wird die normierte Korrelation c(0,0) ermittelt. Im nächsten Schritt werden die normierten Korrelationen c(l,m) in Abhängigkeit einer Variation der residualen Verschiebung in der Umgebung von (l,m) = (0,0) berechnet.
Die Korrelationskorrektur (x,y) ergibt sich schließlich aus
(x, y) = argmax c(x, y) (1 1 )
(χ.y)
Mit dieser residualen Korrektur kann schließlich ein stabilisiertes Differenzbild D(t) gemäß
Dcr(t) = Kc_x r_y(t - 1) - Kcr(t) (12) 33
ermittelt werden.
In Fig. 9 ist ein Ablaufdiagramm der bereits oben erwähnten Alternative zum Ermitteln der Kopfgrenzen, mit deren Hilfe der Kopfbereich, in dem die meisten intrinsischen Bewegungen erwartet werden, aus Einzelbildern K(t-1) und K(t) extrahiert werden kann.
Ausgehend von zwei ausgewählten zeitlich aufeinanderfolgenden Einzelbildern K(t-1) und K(t) wird in Schritt S921 zuerst das Differenzbild D(t) bestimmt.
In Schritt S922 wird dann aus dem Differenzbild D(t) die obere Kopfgrenze ermittelt. Hierzu wird zuerst die Horizontalprojektion sH(t) nach
sH(t) = ∑Dcr(t) (13) c
bestimmt. In diesem Zusammenhang wird daran erinnert, daß c die Spalten und r die Zeilen des Differenzbilds bezeichnen.
Optional kann die Funktion sH(t) durch Filterung mit einem geeigneten Tiefpaßfilter TPF geglättet werden.
Von der Funktion sH(t) bzw. der geglätteten Funktion TPF{sH(t)} wird dann der Betrag der ersten Ableitung gebildet
bH(t) = | sr+1(t)-s (t) | (14)
Als obere Kopfgrenze wird nun die Position des ersten Maximums von bH ermittelt, das größer als ein vorgegebener Schweliwert, hier der halbe Mittelwert von bH, ist.
Falls ein derartiger Wert nicht gefunden wird, kann die Berechnung der oberen Kopfgrenze wiederholt werden oder auf einen vorgegebenen Wert, der beispielsweise für die Einzelbilder K(t-2) und K(t-1) bestimmt worden ist, gesetzt werden. 34
In Schritt S923 werden schließlich die linke und die rechte Kopfgrenze ermittelt. Hierzu kann das Differenzbild in q aufeinanderfolgende Streifen geteilt werden, die sich in vertikaler Richtung nach unten, ausgehend von der oberen Kopfgrenze t erstrecken.
In jedem Streifen wird dann die Vertikalprojektion des Differenzbildes nach
t+(q+1)z-1 sv )(t) = ∑ Dcr(t) (15) r=t+qz
berechnet.
Wie im Fall der Berechnung der oberen Kopfgrenze kann die Funktion s^q)(t) durch Filterung mit einem geeigneten Tiefpaßfilter TPF geglättet werden.
Im nächsten Schritt wird der Betrag der ersten Ableitung der Funktion s(^(t) bzw. die geglättete Funktion TPF{ s^q)(t) } gebildet und anschließend über q summiert:
bv(t) = ∑|sä)ι(t) - s?.) 1(t)| (16)
Von dieser Funktion bv werden alle Maxima bestimmt, die größer als ein vorbestimmter Schwellwert, vorliegend der halbe Mittelwert b , sind.
Das erste Maximum (das am weitesten links gelegene Maximum) wird als Position der linken Kopfgrenze definiert. Das letzte Maximum (das am weitesten rechts gelegene Maximum) wird als rechte Kopfgrenze definiert.
Falls die Funktion b weniger als zwei derartige Maxima aufweist, kann die Ermittlung für die linke und die rechte Kopfgrenze für das nächstfolgende Differenzbild bestimmt werden. Alternativ kann die linke und die rechte Kopfgrenze auch durch vorbestimmte Werte, die sich beispielsweise aus der Kopfgrenzenermittlung unter Zuhilfenahme des Differenzbilds D(t-1) ergeben haben, ersetzt werden. In Schritt S924 wird schließlich unter Zuhilfenahme der oberen linken und rechten Kopfgrenze die untere Kopfgrenze ermittelt. Hierzu wird aus der Differenz der rechten Kopfgrenze und der linken Kopfgrenze die Breite des extrahierten Bereichs bestimmt. Die untere Kopfgrenze kann dann so eingestellt werden, daß sich insgesamt ein quadratischer Bereich ergibt.
Neben der in Fig. 9 beschriebenen Ausführung zur Ermittlung der Kopfgrenzen sind auch alternative Ausführungsformen möglich.
So ist es beispielsweise möglich, nach den oben beschriebenen Prozeduren lediglich die obere und die linke Kopfgrenze zu bestimmen. Die untere und die rechte Kopfgrenze können dann durch eine vorgegebene Breite und eine vorgegebene Höhe, die typischerweise dem Kopfbereich in den Einzelbildern entspricht, berechnet werden.
Darüber hinaus können die Kopfgrenzen auch aus einem Differenzbild, das als UND- Verknüpfung aus zwei aufeinanderfolgenden Differenzbildern erhalten worden ist, bestimmt werden.
Weiterhin kann in der in Fig. 9 dargestellten Ausführungsform optional geprüft werden, ob die Veränderung zwischen den Einzelbildern K(t-1) und K(t) in einem vorgegebenen Bereich liegt.
Da hierzu die gleichen Prozeduren wie im Zusammenhang mit Schritt S825 erläutert, verwendet werden können, erübrigt sich eine Beschreibung an dieser Stelle und es wird lediglich auf die Beschreibung im Zusammenhang mit Schritt S825 verwiesen.

Claims

36Patentansprüche
1. Ein Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes einer der Personenerkennung zu unterziehenden Person, umfassend die Schritte:
Aufnehmen einer Sequenz von zeitlich aufeinanderfolgenden Einzelbildern der Person, und
Feststellen der Authentizität des aufgenommenen Bildes, wenn aus wenigstens zwei aufeinanderfolgenden Einzelbildern der Sequenz intrinsische Bewegungen der Person ermittelt werden.
2. Das Verfahren nach Anspruch 1 , in welchem zum Ermitteln der intrinsischen Bewegungen wenigstens ein Differenzbild jeweils zweier aufeinanderfolgender Einzelbilder der Sequenz ausgewertet wird.
3. Das Verfahren nach Anspruch 2, in welchem zum Ermitteln der intrinsischen Bewegungen ein Differenzbild ausgewertet wird, das aus einer UN D-Verknüpfung zweier aufeinanderfolgender Differenzbilder resultiert.
4. Das Verfahren nach Anspruch 2 oder 3, in welchem jedes Differenzbiid vor der Auswertung binarisiert wird.
5. Das Verfahren nach Anspruch 4, in welchem die Binarisierung mittels eines Schwellwerts, der durch Auswertung des Hintergrund ermittelt wird, durchgeführt wird.
6. Das Verfahren nach einem der Ansprüche 2 bis 5, in welchem in jedem Differenzbild wenigstens ein Ausschnitt erhöhter Bewegung ausgewählt wird, und
intrinsische Bewegungen festgestellt werden, wenn dieser wenigstens eine Ausschnitt in dem Differenzbiid mit einem vorgegebenen Bereich, in dem intrinsische Bewegungen zu erwarten sind, konsistent ist.
7. Das Verfahren nach Anspruch 6, in welchem der Ausschnitt erhöhter Bewegung eine vertikale und eine horizontale Ausdehnung aufweist,
wobei die vertikale Ausdehnung im wesentlichen durch einen Peak der Funktion der Produkte aus den Horizontalprojektionen mit den Horizontalvarianzen des Differenzbildes bestimmt wird, und
die horizontale Ausdehnung im wesentlichen durch einen Peak der Funktion der Produkte aus den Vertikalprojektionen mit den Vertikalvarianzen des Differenzbildes bestimmt wird.
8. Das Verfahren nach Anspruch 7, in welchem jede Funktion vor Bestimmung des entsprechenden Peaks mit einem Tiefpaßfilter geglättet werden.
9. Das Verfahren nach einem der Ansprüche 6 bis 8, in welchem Ausschnitte aus dem Differenzbild ausgewählt werden, von denen erwartet wird, daß sie eine Symmetriebeziehung zueinander aufweisen, und
intrinsische Bewegungen festgestellt werden, wenn durch eine Korrelationsanaiyse der entsprechenden Ausschnitte die Symmetriebeziehung verifiziert wird.
10. Das Verfahren nach einem der Ansprüche 6 bis 9, in welchem intrinsische Bewegungen festgestellt werden, wenn durch eine Korrelationsanaiyse ermittelt wird, daß die erhöhte Bewegung in dem Bereich erhöhter Bewegung ungleichmäßig über diesen Bereich verteilt ist.
11. Das Verfahren nach einem der Ansprüche 2 bis 5, in welchem zum Feststellen intrinsischer Bewegungen
eine von der vertikalen Position abhängige Funktion, die für eine gegebene vertikale Position durch das Produkt aus der Horizontalprojektion mit der Horizontalvarianz des Differenzbildes bestimmt wird, und
eine von der horizontalen Position abhängige Funktion, die für eine gegebene horizontale Position durch das Produkt aus der Vertikalprojektionen mit der Vertikalvarianz des Differenzbildes bestimmt wird, 38
ausgewertet werden.
12. Das Verfahren nach Anspruch 11 , in welchem jede Funktion vor Bestimmung des entsprechenden Peaks mit einem Tiefpaßfilter geglättet wird.
13. Das Verfahren nach Anspruch 11 oder 12, in welchem
wenigstens ein Peak in der von der vertikalen Position abhängigen Funktion ermittelt wird, und wenigstens ein Peak in der von der horizontalen Position abhängigen Funktion ermittelt wird, und
intrinsische Bewegungen festgestellt werden, wenn diese Peaks in vertikaler bzw. horizontaler Richtung innerhalb vorbestimmter Grenzen liegen, die durch die vertikale bzw. die horizontale Ausdehnung von wenigstens einem Bereich gegeben sind, in dem intrinsische Bewegungen zu erwarten sind.
14. Das Verfahren nach einem der Ansprüche 11 bis 13, in welchem
aus der von der vertikalen Position abhängigen Funktion und/oder aus der von der horizontalen Position abhängigen Funktion Abschnitte ausgewertet werden, von denen erwartet wird, daß sie in einer Symmetriebeziehung zueinander stehen, und
intrinsische Bewegungen festgestellt werden, wenn durch eine Korrelationsanaiyse der entsprechenden Abschnitte die Symmetriebeziehung verifiziert wird.
15. Das Verfahren nach Anspruch 14, in welchem die Abschnitte, von denen erwartet wird, daß sie eine Symmetriebeziehung erfüllen, vor der Korrelationsanaiyse in bezug aufeinander normiert werden.
16. Das Verfahren nach einem der Ansprüche 11 bis 15, in welchem
die von der vertikalen Position abhängige Funktion und/oder die von der horizontalen Position abhängige Funktion ausgewertet werden, und 39
intrinsische Bewegungen festgestellt werden, wenn durch eine Korrelationsanaiyse ermittelt wird, daß die Werte der von der vertikalen Position abhängigen Funktion und/oder der von der horizontalen Position abhängigen Funktion über einen vorbestimmten Bereich einen ungleichmäßigen Verlauf zeigen.
17. Das Verfahren nach einem der vorangegangenen Ansprüche, in weichem die zu ermittelnden intrinsischen Bewegungen intrinsische Bewegungen im Kopfbereich der zu erkennenden Person sind.
18. Das Verfahren nach Anspruch 17, in welchem die zu ermittelnden intrinsischen Bewegungen intrinsische Bewegungen in der Mundregion und/oder der Backenregion und/oder der Nasenregion und/oder der Augenregion der zu erkennenden Person sind.
19. Das Verfahren nach Anspruch 17 oder 18, in welchem die zu ermittelnden intrinsischen Bewegungen intrinsische Bewegungen in wenigstens zwei zueinander symmetrischen Regionen im Kopfbereichs der zu erkennenden Person sind, und diese wenigstens zwei zueinander symmetrische Bereiche zur Bestimmung der Symmetrieachse des Kopfbereichs verwendet werden.
20. Das Verfahren nach Anspruch 19, in welchem mittels der gefundenen Symmetrieachse ein zur Personenerkennung verwendbares Bild erzeugt wird, in dem ein frontoparallel gedrehter Kopfbereich in einen Kopfbereich mit gedrehter Symmetrieachse transformiert ist.
21. Das Verfahren nach Anspruch 19 oder 20, in welchem mittels der gefundenen Symmetrieachse ein zur Personenerkennung verwendbares Bild der zu erkennenden Person erzeugt wird, das aus dem linken Kopfbereich und dem gespiegelten linken Kopfbereich zusammengesetzt ist, bzw. das aus dem rechten Kopfbereich und dem gespiegelten rechten Kopfbereich zusammengesetzt ist.
22. Das Verfahren nach einem der vorangegangenen Ansprüchen, in welchem vor dem Feststellen der Authentizität die Bereiche in den Einzelbildern, in denen intrinsische Bewegungen erwartet werden, aus den Einzelbildern extrahiert werden.
23. Das Verfahren nach Anspruch 22, in welchem zum Extrahieren der Bereiche wenigstens ein Differenzbild jeweils zweier aufeinanderfolgender Einzelbilder der Sequenz ausgewertet wird.
24. Das Verfahren nach Anspruch 23, in welchem zum Extrahieren der Bereiche ein Differenzbild ausgewertet wird, das aus einer UND-Verknüpfung zweier aufeinanderfolgender Differenzbilder resultiert.
25. Das Verfahren nach Anspruch 23 oder 24, in welchem jedes Differenzbild vor der Auswertung binarisiert wird.
26. Das Verfahren nach Anspruch 25, in welchem die Binarisierung mittels eines Schwellwerts, der durch Auswertung des Hintergrund ermittelt wird, durchgeführt wird.
27. Das Verfahren nach einem der Ansprüche 22 bis 26, in welchem der Kopfbereich der zu erkennenden Person extrahiert wird.
28. Das Verfahren nach Anspruch 27, in welchem der extrahierte Kopfbereich zur Personenerkennung auf eine vorbestimmte Standardgröße transformiert wird.
29. Das Verfahren nach Anspruch 27 oder 28, in welchem das Extrahieren des Kopfbereichs das Bestimmen von wenigstens zwei Kopfgrenzen in den entsprechenden Einzelbildern bzw. Differenzbildern, anhand derer der Kopfbereich aus den entsprechenden Einzelbildern bzw. den Differenzbildern extrahiert wird, umfaßt.
30. Das Verfahren nach Anspruch 29, in welchem das Ermitteln der Kopfgrenze in den entsprechenden Einzelbildern bzw. Differenzbildern das Ermitteln der oberen und der linken Kopfgrenze umfaßt.
31. Das Verfahren nach Anspruch 29, in welchem das Ermitteln der Kopfgrenze in den entsprechenden Einzelbildern bzw. Differenzbildern das Ermitteln der oberen, der linken und der rechten Kopfgrenze umfaßt.
32. Das Verfahren nach einem der Ansprüche 29 bis 31 , in welchem jede Kopfgrenze durch eine Kopfbegrenzungslinie definiert wird, die so verläuft, daß der Umriß des Kopfes im wesentlichen vollständig innerhalb der Kopfbegrenzungslinien liegt.
33. Das Verfahren nach einem der Ansprüche 30 bis 32, in welchem zur Bestimmung der oberen Kopfgrenze
die Funktion der Vertikalprojektionen des binarisierten Differenzbildes ermittelt wird, und
die obere Kopfgrenze durch das erste Maximum des Betrag der ersten Ableitung dieser Funktion, das über einem vorgegebenen Schwellwert liegt, definiert wird.
34. Das Verfahren nach Anspruch 33, in welchem die Funktion der Vertikalprojektionen vor dem Definieren der Kopfgrenze mit einem Tiefpaßfilter geglättet wird.
35. Das Verfahren nach einem der Ansprüche 30 bis 34, in welchem zur Bestimmung der linken Kopfgrenze
die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt wird, und
die linke Kopfgrenze durch das erste Maximum des Betrag der ersten Ableitung dieser Funktion, das über einem vorgegebenen Schwellwert liegt, definiert wird.
36. Das Verfahren nach einem der Ansprüche 30 bis 34, in welchem zur Bestimmung der linken Kopfgrenze
das Differenzbiid in eine Mehrzahl in vertikaler Richtung aufeinanderfolgende Streifen geteilt wird, wobei sich der erste Streifen in vertikaler Richtung nach unten an die ermittelte obere Kopfgrenze anschließt,
in jedem Streifen die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt wird, 42
die Beträge der ersten Ableitungen der auf diese Weise erhaltenen Mehrzahl an Funktionen der Horizontalprojektionen gebildet werden,
die Summe der auf diese Weise gebildeten Mehrzahl an Beträgen addiert werden, und
die linke Kopfgrenze als das erste Maximum dieser Summe, das über einem vorgegebenen Schwellwert liegt, definiert wird.
37. Das Verfahren nach Anspruch 35 oder 36, in welchem die Funktion bzw. die Funktionen der Horizontalprojektionen vor dem Definieren der Kopfgrenze mit einem Tiefpaßfilter geglättet wird bzw. werden.
38. Das Verfahren nach einem der Ansprüche 30 bis 37, in welchem zur Bestimmung der rechten Kopfgrenze
die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt wird, und
die rechte Kopfgrenze durch das letzte Maximum des Betrag der ersten Ableitung dieser Funktion, das über einem vorgegebenen Schwellwert liegt, definiert wird.
39. Das Verfahren nach einem der Ansprüche 30 bis 37, in welchem zur Bestimmung der rechten Kopfgrenze
das Differenzbiid in eine Mehrzahl in vertikaler Richtung aufeinanderfolgende Streifen geteilt wird, wobei sich der erste Streifen in vertikaler Richtung nach unten an die ermittelte obere Kopfgrenze anschließt,
in jedem Streifen die Funktion der Horizontalprojektionen des binarisierten Differenzbildes ermittelt wird,
die Beträge der ersten Ableitungen der auf diese Weise erhaltenen Mehrzahl an Funktionen der Horizontaiprojektionen gebildet werden,
die Summe der auf diese Weise gebildeten Mehrzahl an Beträgen addiert werden, und die rechte Kopfgrenze als das letzte Maximum dieser Summe, das über einem vorgegebenen Schwellwert liegt, definiert wird.
40. Das Verfahren nach Anspruch 38 oder 39, in welchem die Funktion bzw. die Funktionen der Horizontalprojektionen vor dem Definieren der Kopfgrenze mit einem Tiefpaßfilter geglättet wird bzw. werden.
41. Das Verfahren nach einem der Ansprüche 29 bis 40, in welchem zwei aufeinanderfolgende Einzelbilder bzw. hieraus gewonnene Differenzbilder zum Ermitteln der Kopfgrenzen nur verwendet werden, wenn eine Veränderung zwischen den zwei aufeinanderfolgenden Einzelbildern in einem vorbestimmten Bereich liegt.
42. Das Verfahren nach Anspruch 41 , in welchem zur Bestimmung der Veränderung zwischen zwei aufeinanderfolgenden Einzelbildern eine Bewegungsstärke berechnet wird.
43. Das Verfahren nach Anspruch 42, in welchem die Bewegungsstärke im wesentlichen durch die Summe der Graupegel des Differenzbildes berechnet wird.
44. Das Verfahren nach Anspruch 42, in welchem die Bewegungsstärke im wesentlichen durch die Summe der 1 -Pixel oder O-Pixel des binarisierten Differenzbildes berechnet wird.
45. Das Verfahren nach einem der Ansprüche 29 bis 44, in welchem vorbestimmte Kopfgrenzen zum Extrahieren des Kopfbereichs verwendet werden, wenn keine Kopfgrenzen ermittelt werden können.
46. Das Verfahren nach einem der Ansprüche 29 bis 44, in welchem vorbestimmte Kopfgrenzen zum Extrahieren des Kopfbereichs verwendet werden, wenn eine der ermittelten Kopfgrenzen nicht innerhalb vorbestimmter Grenzen liegen.
47. Das Verfahren nach einem der Ansprüche 30 bis 46, in welchem die untere bzw. die rechte und untere Kopfgrenze so festgelegt werden, daß ein quadratischer Kopfbereich aus den entsprechenden Einzelbildern bzw. Differenzbildern extrahiert wird.
48. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem aus zwei aufeinanderfolgenden Einzelbildern ein stabilisiertes Differenzbild gebildet wird, welches zum Ermitteln der intrinsischen Bewegungen und/oder zum Extrahieren der Bereiche, in denen intrinsische Bewegungen ermittelt werden sollen, ausgewertet wird.
49. Das Verfahren nach Anspruch 48, in welchem die Stabilisierung mittels einer Korrelationskorrektur durchgeführt wird.
50. Das Verfahren nach Anspruch 49, in welchem die Korrelationskorrektur ein Template- Matching umfaßt.
51. Das Verfahren nach Anspruch 50, in welchem das Template-Matching ein Berechnen des Differenzbildes umfaßt, wobei beim Berechnen des Differenzbildes das erste zur Bildung des Differenzbildes verwendete Einzelbild gegenüber dem zweiten zur Bildung des Differenzbildes verwendeten Einzelbild so verschoben ist, daß eine Korrelationsfunktion zwischen beiden Einzelbildern maximal ist.
52. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem zwei aufeinanderfolgende Einzelbilder bzw. hieraus gewonnene Differenzbilder zum Ermitteln der intrinsischen Bewegungen nur verwendet werden, wenn eine Veränderung zwischen den zwei aufeinanderfolgenden Einzelbildern in einem vorbestimmten Bereich liegt.
53. Das Verfahren nach Anspruch 52, in welchem zur Bestimmung der Veränderung zwischen zwei aufeinander folgenden Einzelbildern eine Bewegungsstärke berechnet wird.
54. Das Verfahren nach Anspruch 53, in welchem die Bewegungsstärke im wesentlichen durch die Summe der Graupegel des Differenzbildes berechnet wird.
55. Das Verfahren nach Anspruch 53, in welchem die Bewegungsstärke im wesentlichen durch die Summe der 1 -Pixel oder O-Pixel des binarisierten Differenzbildes berechnet wird.
PCT/EP1999/001600 1998-03-12 1999-03-11 Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes WO1999046737A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP99911778A EP1062640B1 (de) 1998-03-12 1999-03-11 Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes
US09/623,985 US6922478B1 (en) 1998-03-12 1999-03-11 Method for verifying the authenticity of an image recorded in a person identifying process
DE59911699T DE59911699D1 (de) 1998-03-12 1999-03-11 Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes
JP2000536043A JP2002507035A (ja) 1998-03-12 1999-03-11 個人識別のために記録された画像の正当性を認証する方法
CA002323867A CA2323867A1 (en) 1998-03-12 1999-03-11 Method for verifying the authenticity of an image recorded in a person identifying process

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19810792.7 1998-03-12
DE19810792A DE19810792A1 (de) 1998-03-12 1998-03-12 Verfahren zum Verifizieren der Authentizität eines im Rahmen einer Personenerkennung aufgenommenen Bildes

Publications (1)

Publication Number Publication Date
WO1999046737A1 true WO1999046737A1 (de) 1999-09-16

Family

ID=7860678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1999/001600 WO1999046737A1 (de) 1998-03-12 1999-03-11 Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes

Country Status (6)

Country Link
US (1) US6922478B1 (de)
EP (1) EP1062640B1 (de)
JP (1) JP2002507035A (de)
CA (1) CA2323867A1 (de)
DE (2) DE19810792A1 (de)
WO (1) WO1999046737A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003010719A2 (en) * 2001-07-24 2003-02-06 Memco Limited Door or access control system

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL152756A0 (en) * 2000-05-16 2003-06-24 Swisscom Mobile Ag Biometric identification and authentication method
US7039224B2 (en) * 2002-04-29 2006-05-02 Activcard Ireland Limited Method and device for preventing false acceptance of latent fingerprint images
JP4013684B2 (ja) * 2002-07-23 2007-11-28 オムロン株式会社 個人認証システムにおける不正登録防止装置
KR100480781B1 (ko) * 2002-12-28 2005-04-06 삼성전자주식회사 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
CN1860490A (zh) * 2003-09-30 2006-11-08 皇家飞利浦电子股份有限公司 自适应设定生物统计测量阈值的系统和方法
US7503488B2 (en) * 2003-10-17 2009-03-17 Davis Bruce L Fraud prevention in issuance of identification credentials
US7225977B2 (en) * 2003-10-17 2007-06-05 Digimarc Corporation Fraud deterrence in connection with identity documents
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
US7356165B2 (en) * 2004-03-09 2008-04-08 Matsushita Electric Industrial Co., Ltd. Imaging apparatus performing a high reliability data analysis
US7386369B1 (en) * 2004-08-09 2008-06-10 Graftech International Holdings Inc. Digital electrode observation
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP4924603B2 (ja) * 2006-03-01 2012-04-25 日本電気株式会社 顔認証装置、顔認証方法およびプログラム
JP4816321B2 (ja) * 2006-08-14 2011-11-16 ソニー株式会社 認証装置及び認証方法並びにプログラム
JP2009088801A (ja) * 2007-09-28 2009-04-23 Hitachi Software Eng Co Ltd 撮影対象物の静止判定方法および装置
JP5020920B2 (ja) * 2008-10-29 2012-09-05 株式会社豊田中央研究所 歩行者検出装置及びプログラム
DE102008055884A1 (de) 2008-11-03 2010-05-06 Cross Match Technologies Gmbh Verfahren und Vorrichtung zur Detektion einer zweidimensionalen Darstellung des Gesichtes einer Person
WO2010137157A1 (ja) * 2009-05-28 2010-12-02 株式会社東芝 画像処理装置、方法、プログラム
JP4609805B2 (ja) * 2009-05-28 2011-01-12 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
US20120076368A1 (en) * 2010-09-27 2012-03-29 David Staudacher Face identification based on facial feature changes
US9665763B2 (en) * 2014-08-31 2017-05-30 Qualcomm Incorporated Finger/non-finger determination for biometric sensors
US9582705B2 (en) 2014-08-31 2017-02-28 Qualcomm Incorporated Layered filtering for biometric sensors
US9195879B1 (en) 2014-08-31 2015-11-24 Qualcomm Incorporated Air/object determination for biometric sensors
US9619723B1 (en) 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression
US10839251B2 (en) 2017-06-26 2020-11-17 Rank One Computing Corporation Method and system for implementing image authentication for authenticating persons or items
US10061996B1 (en) * 2017-10-09 2018-08-28 Hampen Technology Corporation Limited Face recognition method and system for personal identification and authentication
US11166077B2 (en) 2018-12-20 2021-11-02 Rovi Guides, Inc. Systems and methods for displaying subjects of a video portion of content
US20220350928A1 (en) * 2019-10-17 2022-11-03 Sony Group Corporation Information processing system, information processing method, program, and user interface

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2950660A1 (de) 1979-12-15 1981-07-02 Alfred Teves Gmbh, 6000 Frankfurt Bremssattel fuer eine teilbelag-scheibenbremse
DE4009051A1 (de) 1990-03-21 1991-09-26 Diehl Gmbh & Co Biometrisches identifizierungs- und zugangs-kontrollsystem
EP0582989A2 (de) * 1992-08-11 1994-02-16 Istituto Trentino Di Cultura Erkennungssystem, insbesonders zum Erkennen von Personen
DE4406020C1 (de) 1994-02-24 1995-06-29 Zentrum Fuer Neuroinformatik G Verfahren zur automatisierten Erkennung von Objekten
DE4413788C1 (de) * 1994-03-15 1995-10-12 Fraunhofer Ges Forschung Personenidentifikation mit Bewegungsinformation
US5570434A (en) * 1990-09-05 1996-10-29 U.S. Philips Corporation Circuit arrangement for recognizing a human face
US5625704A (en) * 1994-11-10 1997-04-29 Ricoh Corporation Speaker recognition using spatiotemporal cues
US5719951A (en) * 1990-07-17 1998-02-17 British Telecommunications Public Limited Company Normalized image feature processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3633360A1 (de) * 1986-10-01 1988-04-14 Heinrich Prof Dr Ing Reents Verfahren mit den dazu gehoerigen vorrichtungen zur absicherung unbefugter benutzung von zahlungskonten, raeumlichkeiten und geraeten
US4843377A (en) * 1987-04-21 1989-06-27 Guardian Technologies, Inc. Remote confinement system
DE3807727A1 (de) * 1988-03-09 1989-09-21 Robot Foto Electr Kg Ueberwachungsvorrichtung zum sichern von automaten
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
JPH0411466A (ja) * 1990-04-28 1992-01-16 Sony Corp ノイズリデューサ
JPH0546743A (ja) * 1991-08-09 1993-02-26 Matsushita Electric Ind Co Ltd 個人識別装置
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
US6101264A (en) 1994-03-15 2000-08-08 Fraunhofer Gesellschaft Fuer Angewandte Forschung E.V. Et Al Person identification based on movement information
ES2110841T5 (es) 1994-03-24 2005-12-16 Minnesota Mining And Manufacturing Company Sistema de autenticacion personal biometrica.
US5995153A (en) * 1995-11-02 1999-11-30 Prime Image, Inc. Video processing system with real time program duration compression and expansion
US5761329A (en) * 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
DE19610066C1 (de) * 1996-03-14 1997-09-18 Siemens Nixdorf Advanced Techn Verfahren zur Erfassung gesichtsbezogener Personendaten und deren Verwendung zur Identifizierung oder Verifikation von Personen
DE19641000B8 (de) * 1996-10-04 2005-08-25 Viisage Technology Ag Verfahren und Anordnung zur automatischen Erkennung der Anzahl von Personen in einer Personenschleuse
US6678393B1 (en) * 1997-12-23 2004-01-13 Intel Corporation Image selection based on image content
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2950660A1 (de) 1979-12-15 1981-07-02 Alfred Teves Gmbh, 6000 Frankfurt Bremssattel fuer eine teilbelag-scheibenbremse
DE4009051A1 (de) 1990-03-21 1991-09-26 Diehl Gmbh & Co Biometrisches identifizierungs- und zugangs-kontrollsystem
US5719951A (en) * 1990-07-17 1998-02-17 British Telecommunications Public Limited Company Normalized image feature processing
US5570434A (en) * 1990-09-05 1996-10-29 U.S. Philips Corporation Circuit arrangement for recognizing a human face
EP0582989A2 (de) * 1992-08-11 1994-02-16 Istituto Trentino Di Cultura Erkennungssystem, insbesonders zum Erkennen von Personen
DE4406020C1 (de) 1994-02-24 1995-06-29 Zentrum Fuer Neuroinformatik G Verfahren zur automatisierten Erkennung von Objekten
DE4413788C1 (de) * 1994-03-15 1995-10-12 Fraunhofer Ges Forschung Personenidentifikation mit Bewegungsinformation
US5625704A (en) * 1994-11-10 1997-04-29 Ricoh Corporation Speaker recognition using spatiotemporal cues

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003010719A2 (en) * 2001-07-24 2003-02-06 Memco Limited Door or access control system
WO2003010719A3 (en) * 2001-07-24 2003-05-22 Memco Ltd Door or access control system

Also Published As

Publication number Publication date
EP1062640A1 (de) 2000-12-27
EP1062640B1 (de) 2005-03-02
US6922478B1 (en) 2005-07-26
JP2002507035A (ja) 2002-03-05
DE59911699D1 (de) 2005-04-07
CA2323867A1 (en) 1999-09-16
DE19810792A1 (de) 1999-09-16

Similar Documents

Publication Publication Date Title
EP1062640B1 (de) Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes
DE60312427T2 (de) Verfahren zum Überprüfen eines Benutzers und zum Aktualisieren einer Datenbank, und dieses Verfahren benutzendes Gesichtsprüfungssystem
DE19609455C2 (de) Gesichtsbild-Verarbeitungssystem
EP1395945B1 (de) Verfahren zur faelschungserkennung bei der fingerabdruckerkennung unter verwendung einer texturklassifikation von grauwertdifferenzbildern
DE60317025T2 (de) Vorrichtung und Verfahren zur Gesichtserkennung
DE19614975C2 (de) Gesichtsbildverarbeitungssystem
DE60016589T2 (de) Verfahren und vorrichtung zur erzeugung eines zusammengesetzten fingerabdruckbildes
DE19613614C2 (de) Vorrichtung zur Bearbeitung eines Bildes eines Gesichts
EP2584493B1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
EP1413972B1 (de) Prüfung von Bildaufnahmen von Personen
DE102006045752B4 (de) Vorrichtung zur Gesichtsbildauthentifizierung
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102014117102B4 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
WO2009019250A2 (de) Verfahren und einrichtung zur objekterkennung in einem bild
EP3287951A1 (de) Verfahren für die urheberschaftsbewertung eines gemäldes sowie eine entsprechende verwendung
WO2006133974A1 (de) Verfahren und vorrichtung zur erkennung einer münze unter verwendung ihres prägebildes
EP2603905B1 (de) Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal
CH716082A1 (de) Verfahren zur Benutzeridentifikation.
DE102019102051A1 (de) Verfahren und system zur überwachung eines raumbereichs in einer personenschleuse
DE102011011931A1 (de) Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
DE10118485B4 (de) Automatische Identifikation und/oder Verifikation linienhafter Texturen wie Fingerabdrücke
EP3629232A1 (de) Vorrichtung zum erkennen einer bildmanipulation in einem digitalen referenzgesichtsbild einer person
EP3820145B1 (de) Türkommunikationsanlage mit einer eine kamera aufweisenden türstation
DE102020211007A1 (de) Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren, und Bildverarbeitungsprogramm
DE10123367B4 (de) Verfahren zur Fingerabdruckerkennung unter Verwendung von Bildsequenzen

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
ENP Entry into the national phase

Ref document number: 2323867

Country of ref document: CA

Ref country code: CA

Ref document number: 2323867

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 1999911778

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1999911778

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09623985

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: CA

WWG Wipo information: grant in national office

Ref document number: 1999911778

Country of ref document: EP