WO2004023382A1 - Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten - Google Patents

Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten Download PDF

Info

Publication number
WO2004023382A1
WO2004023382A1 PCT/EP2003/009814 EP0309814W WO2004023382A1 WO 2004023382 A1 WO2004023382 A1 WO 2004023382A1 EP 0309814 W EP0309814 W EP 0309814W WO 2004023382 A1 WO2004023382 A1 WO 2004023382A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric
data
writing
writing system
pen
Prior art date
Application number
PCT/EP2003/009814
Other languages
English (en)
French (fr)
Inventor
Jürgen Kempf
Original Assignee
Fachhochschule Regensburg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10241328A external-priority patent/DE10241328B4/de
Application filed by Fachhochschule Regensburg filed Critical Fachhochschule Regensburg
Priority to AU2003273397A priority Critical patent/AU2003273397A1/en
Priority to EP03755552A priority patent/EP1535237A1/de
Priority to US10/526,715 priority patent/US7729520B2/en
Publication of WO2004023382A1 publication Critical patent/WO2004023382A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures

Definitions

  • the invention relates to a biometric acoustic writing system in which, with a microphone integrated in a pen device, the sound signals caused by the hand-guided movement of the pen are acoustically recorded and then processed to biometric data.
  • the invention further relates to a method for person identification and person verification by means of a biometric writing system and a method for handwriting recognition and / or hand sketch recognition.
  • biometric systems There is currently a large selection of competing biometric systems. The majority of biometric systems currently make up systems that use finger lines as recognition features, followed by systems for facial recognition and so-called iris scanners.
  • Pens with acceleration sensors are known (for example ⁇ accelerometer-based pens from British Telecommunications) for absorbing acceleration forces when writing with the pen.
  • the disadvantage of this known pen is a comparatively low recognition rate for signature verification due to the only two-dimensional data space.
  • the pen must always be aligned when writing, ie the angle between the pen and the base must be largely constant, so that a natural writing behavior is not guaranteed when signing.
  • an acceptable recognition rate requires a minimum writing speed, otherwise the measured acceleration forces are too low.
  • a data entry pen for signature verification is known from US 4,513,437.
  • the pen contains a pen to visualize what is written on a surface and piezoelectric pressure and acceleration sensors to detect acceleration forces caused by transversal writing movements of the pen are caused on the writing surface.
  • the pressure on the pen is recorded in the axially parallel direction of the pen.
  • Writing systems are known in which a writing pen for carrying out hand-guided movements on a base is integrated in a pen device.
  • the pen device contains an optical sensor device for detecting the movements carried out with the pen as movement or position data.
  • a further pressure sensor device for detecting the forces occurring during the movements of the pen is integrated in the pen device.
  • a data processing unit is used to calculate biometric data as a function of the recorded movement data and the recorded writing pressure data.
  • the so-called Anoto digital pen describes a writing system in which written text is transferred to a computer can.
  • the pen consists of a ballpoint pen with an integrated digital camera.
  • a force sensor detects the placement of the writing surface on a special paper.
  • the special paper is a paper with a printed dot pattern.
  • the integrated digital camera of the Anoto pen perceives the writing movements of the pen over the dot pattern.
  • the camera takes a large number of frames per second.
  • Each recorded image is compared with the following image and an integrated processor uses this to calculate the change of direction and the movement distance of the writing lead integrated in the pen, taking into account the pen position.
  • There is a large number of printed dots on the Anoto special paper which are applied with carbon-based ink and are less than 1 mm apart.
  • Each Anoto special paper has a different dot pattern so that the individual pages can be distinguished from one another.
  • a light-emitting diode LED illuminates the carbon-containing ink dots, which absorb long-wave infrared light and are therefore recognizable for the integrated digital camera inside the Anoto pen.
  • the relative movement of the pen and the absolute position of the pen on the paper can be determined using the Anoto special paper.
  • the disadvantage of the Anoto pen is that special paper is required and that the pen is fixed.
  • the security against tampering with signature verification is too low, since no person-specific biometric data are determined.
  • the Anoto pen does not record the individual writing pressure on the writing surface.
  • the biometric writing system according to the invention is preferably used as a multifunctional input system in biometrics for personal identification.
  • the writing system according to the invention can replace or supplement the tablet of a PC with normal writing paper as an input medium.
  • the writing system according to the invention can also be used in life science for diagnosis and therapy, in medicine and in psychology.
  • the invention relates to a biometric acoustic writing system with a pen housing for performing hand-guided movements on a base, at least one microphone integrated in the pen housing for acoustic detection of sound signals which are caused by the hand-guided movements, and with a data processing unit for calculating biometric data as a function of the recorded sound signals.
  • the biometric, acoustic writing system enables the generation of person-specific biometric reference data which are unique for the person. This makes it possible to verify the identity of a person writing and even identify it by comparing it with stored reference data.
  • the biometric writing system according to the invention also enables handwriting recognition or hand sketch recognition for the determination and output of handwritten characters in digital form.
  • the biometric writing system according to the invention preferably contains a data processing unit for the reconstruction of handwritten characters and texts from the recorded sound signals.
  • a pen is preferably provided in the pen housing and is placed on the base and guided on the base.
  • the acoustic writing noise caused by the friction of the pen on the base during the hand-guided writing movement is preferably transmitted as structure-borne sound signal via the pen and / or additionally as airborne sound signal via the ambient air through the microphone integrated in the pen housing.
  • the writing system according to the invention is also suitable for areas of application in acoustically noisy areas.
  • the microphone is preferably mechanically coupled to the stylus for transmitting the structure-borne sound signal.
  • the microphone is mechanically coupled to a sound body connected to the stylus for transmitting the structure-borne sound signal.
  • the sound body is preferably designed as a resonator for certain natural frequencies.
  • the microphone is arranged in an airborne sound chamber provided in the pen housing.
  • the airborne sound chamber is preferably designed as a resonator for certain natural frequencies.
  • the microphone together with the resonators, is preferably surrounded by sound insulation, which is provided to dampen ambient noise and only transmits sound signals to the microphone via the stylus.
  • the airborne sound chamber can be coupled to the ambient air via a housing opening in the pen housing.
  • the housing opening can preferably be closed by means of a mechanical closure device for suppressing external noise.
  • the microphone When the housing opening is open, the microphone preferably detects the internal and external writing noise caused by the hand-held writing movement as a body and airborne sound signal and / or a speech signal originating from a person.
  • the sound body for the external writing noise is preferably formed by the writing pad.
  • the microphone with the housing opening open can optionally be replaced by an acoustically non-isolated second microphone in the pen housing.
  • the error rate when recognizing the person can be significantly reduced.
  • a very high level of recognition reliability of the biometric writing system is achieved.
  • the microphone preferably converts the recorded acoustic sound signals into an electrical sound signal.
  • the electrical sound signal is preferably converted by an analog / digital converter into sound signal data for digital data processing by the data processing unit.
  • the typing noise and the speech signal are recorded simultaneously or in succession by the microphone.
  • the sound signal data generated can preferably be stored in a storage unit of the biometric writing system.
  • the desk pad is preferably made of any paper.
  • the writing pad is preferably a solid pad that has a certain embossed surface roughness and hardness.
  • a loudspeaker is provided in the pen housing for reproducing recorded microphone signals, for reproducing stored biometric reference data and for reproducing spoken information.
  • a voice signal originating from the person is preferably acoustically recorded and corresponding sound signal data is generated for speaker recognition or voice recognition.
  • the typing noise itself can also be evaluated using the algorithms and methods of speaker and speech recognition.
  • a second sensor device is also provided, which measures the writing dynamics via the static and dynamic pressure and the writing speed via the vibration of the pen on the base and hand-held writing instrument.
  • At least three sensors are provided for simultaneous detection of the typing forces and vibrations of the writing lead occurring in three spatial directions.
  • an inclination sensor device is also provided which determines the inclination of the hand-held writing instrument placed on the base and thus predominantly detects the finger motor when writing.
  • an optical sensor device is additionally provided, which detects position data of the hand-guided pen movement via image signals from the surface of the writing pad.
  • a pressure sensor device is also provided which detects the static and dynamic pressure of the hand-held writing pen placed on the base.
  • the microphone is preferably an electret microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone.
  • a replaceable pen lead is preferably provided in the pen of the biometric writing system.
  • This pen lead can preferably be moved out of the pen by means of a switching device.
  • the optical sensor device has imaging optics for imaging the document surface and a converter device for converting the optical imaging signal into an electrical signal.
  • the imaging optics preferably consist of optical lenses and / or glass fibers.
  • the converter device is preferably a CCD camera or a photodiode array. Furthermore, a diode light source is preferably provided for illuminating the underlay surface.
  • a laser diode for illuminating the surface of the documentation and an optical grating integrated in the pen are additionally provided.
  • the optical sensor device preferably detects the movements carried out with the stylus by comparing the staggered image sequences of the document surface.
  • the optical sensor device detects the movements carried out with the stylus by comparing the temporally offset, recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document.
  • the pen lead in an extended state, releases a writing liquid onto the base when the hand-guided movements are carried out, which increases the structuring of the surface of the document, so that the optical detection of the hand-guided movements by means of the optical sensor device is facilitated and via the ink lettering image on the base a natural spelling is evoked.
  • the data processing unit is preferably integrated in the pen housing or in an external receiving unit.
  • the external receiving unit is preferably a computer, a microcontroller, a cell phone, a credit card reader, a fax machine or a printer.
  • the recorded sound signals, the optical movement data and the recorded multidimensional print data are preferably transmitted via a data transmission path from the pen housing to the data processing unit integrated in the external receiving unit.
  • the biometric writing system preferably has an encryption unit contained in the pen housing for encrypting sound signal data, optical movement data and print data.
  • the data transmission path is preferably wired or wireless.
  • the biometric writing system preferably has a data memory for storing biometric reference data, position data of the writing movement and spoken information.
  • the biometric reference data are preferably calculated by the data processing unit from the sound signal data recorded when writing and speaking a word, from optical movement data and mechanical pressure data and stored in the reference data memory.
  • the reference data memory is preferably a microchip of an identity card, a credit card, an authorization magnetic card or a storage unit of a computer or the biometric writing system.
  • the written and spoken words and characters are preferably pin codes, passwords, names or texts.
  • the position data of the writing movement are preferably calculated from the sound signal data, optical movement data and mechanical pressure data recorded when writing a word and stored in the data memory for handwriting recognition.
  • the reference data memory is preferably integrated in the pen housing.
  • the data processing unit integrated in the external receiving unit is preferably connected to a reference data memory.
  • the external receiving unit has a reading unit for reading portable biometric reference data.
  • the external receiving unit is preferably connected to a database with a reference data memory via a data network.
  • the data network is preferably the Internet.
  • the data processing unit compares the calculated current biometric data to stored biometric reference data for their verification, and I- dentifi 'cation.
  • the data processing unit If the current biometric data largely matches the stored reference data, the data processing unit generates an identification or verification display signal. In a particularly preferred embodiment of the biometric writing system according to the invention, if the current biometric data completely matches the stored biometric reference data, the data processing unit recognizes the current biometric data as a pirated copy of the stored reference data and generates a corresponding warning signal.
  • the data processing unit If the current biometric data deviate from the stored biometric reference data, the data processing unit generates a deviation display signal.
  • the biometric writing system has at least one actuator which is actuated after the identification or verification display signal has been generated.
  • the invention also provides a method for generating person-specific biometric reference data with the following steps:
  • the method steps are carried out several times and the respectively determined reference data are statistically evaluated, the evaluated data being encrypted as person-specific reference data and then stored.
  • the statistically evaluated, person-specific reference data are stored in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or in the storage unit of a computer or a writing system.
  • a speech signal originating from the person is also acoustically recorded and corresponding sound signal data is generated.
  • the typing forces which occur in at least one spatial direction during the writing movement of the pen are detected by pressure sensors and correspondingly at least one-dimensional writing pressure data are generated.
  • the writing movements that are hand-guided when writing a character, a word or a character / word sequence with the writing pen on the base are preferably optically recorded and corresponding writing movement data is generated.
  • the biometric reference data are preferably determined from the sound intensity of the digital time sound signal by means of feature extraction, from the calculated frequency spectrum of the sound time signal by means of feature extraction, and from the optical movement data and writing pressure data generated when writing and speaking a word, and stored in the reference data memory in encrypted form as person-specific biometric reference data.
  • the static and dynamic write movement data, the write pressure data, the optical movement data and the sound signal data are preferably reduced by means of cluster formation.
  • Feature parameters are preferably extracted from the data-reduced cluster data.
  • the generated biometric reference data are preferably stored inside or outside the pen.
  • the invention also provides a method for verifying a person with the following steps, acoustic detection of hand-held writing movements which are carried out by a person when writing a character, a word or a sequence of words with a pen on a base and generating corresponding sound signal data;
  • a speech signal originating from the person is preferably acoustically recorded and corresponding sound signal data is generated.
  • a speech signal originating from the person is preferably also acoustically recorded and corresponding sound signal data is generated.
  • a speech signal originating from the person is additionally acoustically recorded and corresponding sound signal data are generated.
  • the hand-held writing movements when writing or sketching a character, a word or a character / word sequence with the pen on the base are preferred additionally optically recorded and corresponding position data generated.
  • the forces occurring in at least one spatial direction during the writing movement of the pen are detected by pressure sensors and corresponding, at least one-dimensional writing pressure data is generated.
  • the character, the word or the word sequence is determined from the sequence of selected reference feature vectors, from the position data and from the writing pressure data by means of statistical, connectionistic and knowledge-based methods.
  • the ascertained character of the person carrying it out is optically and / or acoustically reported back for checking.
  • the generated person-specific reference data are preferably evaluated to determine psychological and / or physiological characteristics of the person.
  • the biometric writing system according to the invention can be used in many ways.
  • the biometric writing system is used as a computer input device.
  • the writing system according to the invention is used as a voice input device, in particular as a dictation device.
  • the biometric writing system according to the invention is preferably used to identify a person's neuromotive movement disorders.
  • the biometric writing system according to the invention is also preferably used as a therapy system for eliminating neuromotor movement disorders in a person.
  • the biometric writing system according to the invention is also preferably used as a graphological system for determining psychological / physiological characteristics of a person.
  • the biometric writing system according to the invention is preferably used as a training system for learning to write.
  • the biometric writing system according to the invention is preferably used as a training system for learning a language.
  • biometric writing system according to the invention and the method according to the invention for person identification, for person verification, for generating biometric reference data and for handwriting and hand sketch recognition are described with reference to the attached figures to explain features essential to the invention.
  • Figure 1 is a schematic illustration showing a preferred embodiment of the biometric writing system according to the invention. 2 shows a sectional view through a pen housing of the biometric writing system according to the invention;
  • FIG. 4 shows a flow chart for explaining the handwriting recognition by means of the biometric writing system according to the invention
  • Fig. 12 dynamic behavior of some frequency lines when writing the letter "b"; 1 shows a schematic block diagram of the biometric writing system 1 according to the invention.
  • the biometric writing system 1 according to the invention comprises a pen 2, which is integrated in a pen housing 3.
  • the pen 2 is used to carry out hand-guided movements on a base 4.
  • the base 4 can be any base with any surface.
  • the base 4 is preferably paper.
  • the writing pad 4 is preferably a solid base which has a certain embossed surface roughness and hardness.
  • the stylus 2 preferably contains an exchangeable stylus lead which can be moved out of the stylus 2 by means of a mechanical switching device (not shown).
  • the pen housing 3 is used to carry out hand-guided movements on the pad 4.
  • the writing pen 2 and its pen refill dispense a writing liquid onto the pad 4 for optical feedback for the person writing.
  • writing noises occur.
  • the pen housing 3 in the writing system 1 according to the invention at least one microphone 5 is provided for acoustic detection of sound signals. The microphone 5 detects the sound signals that are caused by the hand-guided movements, ie the writing noise caused by the writing movement.
  • the acoustic writing noises caused by the friction of the stylus 2 on the base 4 during the hand-guided writing movement are transmitted on the one hand as structure-borne noise signal via the stylus 2 and on the other hand as an airborne sound signal via the ambient air to the microphone 5.
  • the microphone 5 is mechanically connected to transmit the structure-borne sound signal the pen 2 coupled.
  • the microphone 5 for the transmission of the structure-borne sound signal is mechanically coupled to a sound body 6 connected to the stylus 2.
  • the sound body 6 is preferably designed as a resonator for certain natural frequencies.
  • the microphone 5 is located in an airborne sound chamber 7 provided in the pen housing 3.
  • the airborne sound chamber 7 is preferably designed as a resonator for specific natural frequencies.
  • the microphone 5 is surrounded by sound insulation 8a, 8b, which is provided for damping ambient noise and only lets sound signals through from the sound body 6 and the air switching chamber 7.
  • the airborne sound chamber 7 can be coupled to the ambient air via a housing opening in the pen housing 3.
  • the housing opening can preferably be closed by means of a mechanical locking device 9 for suppressing external noise.
  • the microphone 5 detects the internal and external writing noise caused by the hand-held writing movement as a body and airborne sound signal and, in addition, a speech signal originating from a person.
  • the microphone 5 converts the detected acoustic sound signals into an electrical sound signal.
  • the electrical sound signal is converted into sound signal data for digital data processing by an analog / digital converter.
  • the digital signal data are fed via a signal line 10 to a data processing unit 11 for further data processing.
  • the writing noise generated during writing and the speech signal possibly additionally received by the person are recorded either simultaneously or in succession by the microphone 5 and converted into corresponding sound signal data.
  • the sound signal data supplied to the data processing unit 11 are preferably stored in a memory provided for this purpose.
  • the biometric writing system 1 in addition to the microphone 5 as an acoustic sensor, the biometric writing system 1 according to the invention shown in FIG. 1 preferably additionally has an optical sensor device 14 which detects position data of the hand-held pen movement via image signals from the surface of the writing pad 4.
  • the optical sensor device is also connected to the data processing unit 11 via a signal line 15.
  • the microphone 5 can be, for example, an electronic microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone.
  • the optical sensor device 14 preferably contains imaging optics for imaging the substrate surface and a converter device for converting the optical imaging signal into an electrical signal. The electrical signal is converted into position data or movement data by an analog / digital converter and output to the data processing unit 11 via the signal line 15.
  • the imaging optics of the optical sensor device 14 preferably consist of optical lenses and / or glass fibers.
  • the converter device can be a CCD camera or a photodiode array.
  • a diode light source is preferably additionally provided for illuminating the underlay surface.
  • a laser diode is also provided for illuminating an optical grating integrated in the pen.
  • the optical sensor device 14 detects the movements carried out with the stylus 2 by comparing the staggered image sequences that show the surface of the base.
  • the optical sensor device 14 can also be designed such that they offset the movements carried out with the stylus 2 by comparing them in time image sequences of the interference of the. laser light reflected from the grating and the surface of the underlay.
  • the stylus refill delivers a writing liquid to the base 4 when the hand-guided movements are carried out, which increases the structuring of the surface, so that the optical detection of the hand-guided movements by means of the optical sensor device 14 is facilitated. Furthermore, a natural spelling is brought about by the person writing on the ink lettering on the base.
  • the data processing unit 11 is integrated in the pen housing 3.
  • the data processing unit can also be integrated in an external receiving unit.
  • a receiving unit is, for example, a computer, a microcontroller, a cell phone, a credit card reader, a fax machine or a printer.
  • the data processing unit 11 is connected via a signal line 16 to a downstream encryption unit 17.
  • the encryption unit 17 is used to encrypt the sound signal data output by the data processing unit 11 within the pen housing 1 and the detected optical movement data.
  • the encrypted data are transmitted via the data transmission path 18, which is wireless or wired, to a data processing unit 19 within the local computer 20 transmitted.
  • the local computer 20 has a memory 21 and a display 22, which are each connected to the data processing unit 19 via signal lines 23, 24.
  • the data processing unit 19 of the local computer 20 is also connected to a reading unit 26 via lines 25.
  • the data processing unit 19 of the local computer 20 controls an actuator 28, for example a security door, via control lines 27.
  • the data processing unit 19 is connected via a line 29 to a data network 30 to which an external database 31 is connected.
  • the data network 30 is preferably the Internet.
  • the biometric writing system 1 shown in FIG. 1 contains an acoustic sensor device 5 and an optical sensor device 14.
  • the biometric writing system 1 according to the invention additionally has a pressure sensor device which detects the static and dynamic pressure of the hand-held writing pen placed on the base 4 and outputs corresponding writing print data to the data processing unit 11.
  • the recorded sound signal data, the optical movement data and the palpable multidimensional print data are transmitted by the data processing unit 11 after corresponding encryption by the encryption unit 17 via the data transmission path 18 from the pen housing 3 to the data processing unit 19 integrated in the local computer 20.
  • Biometric reference data are calculated from the recorded sound signal data, the optical movement data and from the mechanical writing pressure data by the data processing unit, which is located inside or outside the pen housing 3, and stored in a reference data memory, for example in the memory 12 or the memory 21.
  • the reference data memory can be a memory within a Identity card, a credit card, a magnetic authorization card or a storage unit of any computer.
  • the written words and characters, the writing noises of which are recorded acoustically by the microphone 5 and emitted as sound signal data are, in particular, written pin codes, passwords, names or handwritten texts.
  • the character written by the person can be spoken simultaneously by the person and also recorded as a speech signal by the microphone 5.
  • the reading unit 26 provided in the local computer 20 is used, for example, to read a portable storage medium for biometric reference data.
  • current biometric data can be compared with stored biometric reference data for verification and identification. If the current biometric data largely match the stored reference data, the data processing unit 11 or 19 generates an identification or verification display signal.
  • An actuator for example a security door, is actuated on the data processing unit 19 after the identification or verification display signal has been generated.
  • the data processing unit 11 or 19 detects a complete match of the current biometric data with stored biometric reference data, the current biometric reference data are recognized by the data processing unit 11, 19 as a pirated copy of the stored reference data and a corresponding warning signal is generated.
  • the stored person-specific biometric reference data are first generated by the biometric writing system 1 according to the invention for later comparisons.
  • the person-specific biometric reference data is generated as follows. First, the hand-held writing utensils movements that are carried out by the person with the stylus 2 on the base when writing a character, a word or a sequence of words are acoustically detected, ie the writing noise is acoustically detected by the microphone 5. After analog / digital conversion, the microphone 5 generates sound signal data which are output to the data processing unit 11.
  • the sound signal data is stored as a digital sound time signal and an associated frequency spectrum is calculated from the stored sound time signal by means of Fourier transformation. Characteristic extraction is used to determine first biometric reference data from the sound intensity of the stored digital sound time signal.
  • Characteristic extraction is used to determine second biometric reference data from the calculated frequency spectrum of the sound time signal. These method steps are preferably carried out several times, and the respectively determined reference data are statistically evaluated, the evaluated data being stored in encrypted form as person-specific reference data.
  • the statistically evaluated, person-specific reference data are preferably stored in a microchip of an identity card, a microchip of a credit card, an authorization magnetic card or the storage unit of a computer or writing system.
  • the microphone 5 can additionally acoustically detect a speech signal originating from the person and output corresponding sound signal data to the data processing unit 11.
  • the optical sensor device 14 additionally detects the hand-guided write movements optically and generates corresponding write movement data which are output to the data processing unit 11.
  • the typing forces that occur during the writing movement of the stylus 2 are preferably detected by pressure sensors, not shown, and correspondingly at least one-dimensional writing pressure data are output to the data processing unit 11.
  • the data processing Processing unit 11 determines the biometric reference data from the sound intensity of the digital time sound signal by means of feature extraction, from the calculated frequency spectrum of the sound time signal by means of feature extraction, and from the optical movement data and writing pressure data generated when writing and speaking a word.
  • the static and dynamic write movement data, the write pressure data, the optical movement data and the sound signal data are preferably reduced by clustering. Characteristic parameters are then extracted from the data-reduced cluster data.
  • FIG. 2 shows a preferred embodiment of a pen 2 of the biometric writing system 1 according to the invention.
  • the pen housing 3 shown in FIG. 2 is, for example, an ordinary ballpoint pen housing.
  • a pen 2 with an integrated pen refill is located in the pen housing 3.
  • the stylus 2 is mechanically connected to a sound body 6 for the transmission of structure-borne sound signals.
  • the recording sound is picked up by the microphone 5 via the stylus 2 and the sound body 6.
  • the stylus 2 itself can serve as a sound body.
  • the microphone 5 can acoustically detect a speech signal originating from a person if the air switch chamber 7 or the acoustic window is connected to the surroundings by opening a closure device.
  • the recording noise and the speech signal can be recorded simultaneously or in succession by the microphone 5.
  • the microphone 5 is an electret microphone.
  • a loudspeaker 32 is additionally provided in the pen housing 3. The loudspeaker 32 is used to reproduce recorded microphone signals, and in addition the loudspeaker 32 can be reproduced stored biometric reference data and used to reproduce spoken information.
  • the volume ⁇ speaker 32 is preferably a miniaturized conventional speakers.
  • the pen 2 can consist of a ballpoint pen refill, an ink pen or a rod with a defined tip.
  • the base 4 consists, for example, of paper or a support with a natural and additionally impressed surface roughness and hardness.
  • the surface roughness of pad 4 leads to statistically excited, forced vibrations of the pad and pen, i.e. statistical scratches and scratches occur.
  • airborne sound waves and / or structure-borne sound waves are produced from this and transmitted to the microphone 5 within the cursive housing 3.
  • the pen 2 with the housing 3 as a sound body and the airborne sound chamber 7 in the pen housing 3 can be optimally designed according to the laws of acoustics.
  • the sound body 6 and the airborne sound space 7 are preferably defined as resonators with specific frequencies. In this case, frequencies are preferably used which have the greatest dynamic range in the change in amplitude when writing.
  • the microphone 5 When writing the pen 2, the microphone 5 emits a sound time signal which is clearly above the noise signal and whose sound intensity is sensitive to the writing speed and to a very small extent to the different roughness of the writing pad and the different mean contact pressure of the writing lead 2.
  • the sound intensity of the recorded sound time signal increases with the writing speed. With the same writing speed, the differences in intensity for different writing paper surfaces are negligible.
  • the frequency spectrum of the recorded sound time signal consists of a continuous noise spectrum that is clearly overlaid by characteristic frequency lines. The frequency lines mainly occur at frequencies below 2 kHz. With the same frequency position, the amplitudes of these frequency lines increase significantly with the writing speed. The amplitudes of the frequency lines increase slightly with increasing surface roughness of the writing pad 4. The frequency positions remain unchanged.
  • the airborne microphone 5 is insensitive to surrounding sound events.
  • the airborne sound chamber 7 has no connection with the ambient air.
  • ambient noises in particular spoken words or engine noises, have no influence on the recorded sound time signal when writing. In this case, only the structure-borne noise generated via the writing lead is picked up by the microphone 5.
  • the biometric characteristics of the person's writing dynamics are determined from the change in time of the acoustic microphone signals and / or the amplitudes of selected spectral lines. Since only the dynamics of the recorded sound signals are evaluated for the generation of biometric reference data, the influence of different roughnesses of the base 4 and the influence of production variations during the manufacture of the writing instrument are negligible. Variations in writing dynamics are therefore person-specific or person-specific and can therefore be evaluated to identify and verify the person.
  • the acoustic time signal recorded acoustically by the microphone 5 is in contrast to Writing pressure signals which reproduce the writing lead pressure in different directions, regardless of how the pen 2 is held on the base 4.
  • the sound signal generated by the microphone 5 does not change if the pen housing 3 is rotated differently about the longitudinal axis.
  • the writing device shown in FIG. 2 can be dimensioned with regard to the geometry, the material, the layer structure, the damping and the acoustic coupling between the sound source and the microphone 5 in such a way that optimal, acoustically less susceptible to interference biometric features can be generated for authentication methods.
  • An acoustic window or opening is provided in the pen housing 3, which can be opened by the person for voice recording at the push of a button. For this purpose, a relatively small opening in the pen housing 3 is sufficient to also record the airborne sound when speaking via the microphone 5. The person closes the housing window to record the pure acoustic write signal or write noise.
  • FIG. 3a shows a further preferred embodiment of the biometric acoustic writing system 1 according to the invention.
  • additional sensor devices are provided in the pen housing 3a in addition to the microphone 5 for the acoustic detection of writing cases.
  • the biometric pen shown in FIG. 3 additionally contains an optical sensor device 33.
  • the optical sensor device 33 detects the position data of the hand-held pen movement via image signals from the surface of the writing pad 4.
  • the optical sensor device 33 contains imaging optics for imaging the document surface and a transducer device Conversion of the optical imaging signal into an electrical signal.
  • the imaging optics include an optical lens 33a.
  • the lens optics can be glass fiber bundles or GRIN lenses.
  • the converter device 33c of the optical sensor device 33 is, for example, a CCD camera with an integrated microprocessor. Alternatively, a photodiode array can be used. A diode light source is preferably additionally provided for illuminating the underlay surface. In an alternative embodiment, the laser diode also serves to illuminate an optical grating integrated in the pen.
  • the optical sensor device 33 detects the movements carried out with the stylus 2 by comparing the temporally offset recorded image sequences of the document surface. In an alternative embodiment, the optical sensor device detects the movements carried out with the stylus 2 by comparing the temporally offset recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document. In the extended state, the pen lead 2 releases a writing liquid onto the base 4 when the hand-guided movements are carried out, which increases the structuring of the surface of the document. As a result, the optical detection of the hand-guided movements by means of the optical sensor device 33 becomes easier, and a person receives feedback via the ink lettering image, which facilitates the natural spelling.
  • the first preferred embodiment of the biometric writing system 1 according to the invention shown in FIG. 3a contains, in addition to the microphone 5 for recording an acoustic writing noise and the optical sensor device 33 for generating position or movement data, also a pressure sensor system 34 for recording the writing pressure.
  • the pressure sensor system 34 consists, for example, of strain gauges Strain gauges or force-sensitive resistors FSR and piezo sensors 34a, 34b, 34c, 34d, which detect the static and dynamic pressure of the hand-held pen 2 placed on the base 4 and sensory.
  • the sound signal data emitted by the microphone 5, the movement data emitted by the optical sensor device 33 and the detected multidimensional writing pressure data are fed to an integrated data processing unit 11a, 11b within the pen housing 3 and processed into biometric data.
  • the determined biometric data are preferably temporarily stored in a data memory 12 within the pen housing 3.
  • the currently determined biometric data are then preferably encrypted by an encryption unit 17 and transmitted via a data transmission path 18 to a remote computer 20.
  • the acoustic window 7 can be switched between voice and writing noise recording by moving sound insulation 8b within the pen housing 3.
  • the disturbing external noise can be suppressed, for example, by closing the acoustic window 7.
  • the person can open the acoustic window and, for example, additionally speak a written password at the same time or at different times.
  • FIG. 3b shows a second preferred embodiment of the biometric writing system 1 according to the invention.
  • the data processing unit 11 is supplied with current by an accumulator 37.
  • a pressure sensor device 34b is provided at the upper end of the pen lead 2.
  • a spring 38 is also provided.
  • the pressure sensor 34b is preferably a piezo pressure sensor.
  • FIG. 3c shows a third preferred embodiment of the writing system 1 according to the invention.
  • the writing system 1 is rotationally symmetrical and consists of a stylus lead 2, a microphone 5 with holder, sound insulation 8 and a piezo pressure sensor 3.
  • FIG. 3d shows a fourth preferred embodiment of the writing system 1 according to the invention.
  • a fingerprint sensor 39 is provided on the pen housing 3.
  • the fingerprint sensor 39 records biometric data of the person writing about body features.
  • the fingerprint sensor is preferably a capacitive fingerprint sensor.
  • the pen 2 is mounted in the pen housing 3 by a spring steel holder 42.
  • the stylus 2 has two microphones 5a, 5b.
  • Within a body 49 provided in the pen housing 3, a thinner microphone 5a is provided, which is located in the vicinity of one side 41.
  • the side 41 serves as an acoustic oscillator and is connected to the pen refill 2.
  • An external microphone 5b is used to record the ambient sound.
  • the writing system 1 in the embodiment shown in FIG. 3d also has an inclination sensor 40.
  • the inclination sensor 40 detects the inclination of the pen 2 during writing.
  • the motor movement of the pen-guiding fingers is hereby detected.
  • the data processing unit 11 is supplied with power by an accumulator 37.
  • At the upper end of the stylus 2 there is also a pressure sensor 34d.
  • Further pressure sensors 34a, 34b, 34c are provided on the spring steel holder 42.
  • the spring steel holder 42 serves as a pencil lead holder and as a deformer of the strain gauge strips 34a, 34b, 34c, which are preferably attached to the spring steel holder 42.
  • FIG. 3e shows a fifth preferred embodiment of the biometric writing system 1 according to the invention.
  • the writing system 1 has an optical sensor device 48 which at the same time, the static and dynamic pressure and the vibration of the hand-held pen 2 placed on the base 4 are detected in three spatial directions.
  • This optical sensor device 48 contains photodetectors for detecting the movement of a diode light source 44.
  • the diode light source 44 is firmly connected to the stylus 2.
  • the diode light source 44 carries out the deflection and oscillation of the stylus 2, the light rays emitted by the diode light source 44 being emitted as a light source signal to the photodetectors of the optical sensor device 40.
  • the light rays emitted by the diode light source 44 go to a beam splitter 47 and from there to a lens 46.
  • the lens 46 preferably has a partially mirrored underside.
  • the optical sensor device 40 also contains a four-quadrant photodetector 50 and a simple photodetector 45.
  • the four-quadrant photodetector 50 is mounted behind the lens 46.
  • the four-quadrant photodetector 50 detects the deflection and the oscillation of the light source 44 in mutually orthogonal X, Y directions.
  • the simple photodetector 45 detects the deflection and vibration of the light source 44 in the direction perpendicular to the X, Y direction z.
  • the dynamics of the writing pressure and the vibration of the dynamics of the writing speed can be determined in three spatial directions.
  • the signals from the photodetectors 45, 50 are fed to the data processing unit 11 and evaluated there.
  • the stylus 2 is supported by a lead holder 43.
  • a spring 38 is also provided.
  • the image of the optical sensor device 40 consists of the beam splitter 47, the optically partially mirrored lens 46 and an aperture.
  • the biometric acoustic writing systems 1 shown in FIGS. 1 to 3 are versatile.
  • the biomet Rische writing system 1 can be used as a computer input device.
  • the biometric writing system 1 is suitable as a voice input device, in particular as a dictation device.
  • a further possible application is the identification and verification of a writing person by comparing currently derived biometric data with biometric reference data istspei ⁇ cherten of persons.
  • biometric reference data biometric reference data tospei ⁇ cherten of persons.
  • the currently generated biometric data are compared with stored reference data of this person.
  • the prerequisite for this is that the person-specific biometric reference data of this person are first generated.
  • Schreibbe ⁇ are movements that are performed by that person under supervision, recorded acoustically.
  • the person doing the signing for example, signs under supervision with his signature, and the microphone 5 inside the writing instrument detects the sound signals of the writing noise that occur.
  • the recorded writing noises are output to the data processing unit 11 as sound signal data.
  • the sound signal data are temporarily stored in a memory 12 as digital sound time signals.
  • the data processing unit 11 then calculates the associated frequency spectrum, for example by means of a Fourier transformation.
  • First biometric reference data are determined from the stored digital switching time signal by means of feature extraction.
  • Second biometric reference data are likewise determined from the calculated and stored frequency spectrum of the switching time signal by means of feature extraction.
  • the generated person-specific reference data are stored, for example, in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or in any storage unit of a computer.
  • a speech signal originating from the person is preferably also acoustically recorded and corresponding sound signal data is generated.
  • the person concerned can sign a supervision or supervision at a bank or an authority and speak his or her own name simultaneously or subsequently.
  • the typists who appear when signing can also be recorded and evaluated using the pressure sensors.
  • a further increase in security results from additional optical detection of the hand-guided writing movement, ie optical detection of the position data of the signature made.
  • 3a-3e senses a variety of person-specific features, in particular the typeface of the signature, the static and dynamic writing pressure that occurs when writing the signature, the writing noise generated when writing the signature, and additionally the spoken by the person writing Word, for example their name or a password. All of this data is processed and stored to produce biometric reference data. The level of recognition and falsification security is very high, since a wide variety of person-specific features are sensed and evaluated.
  • the current biometric data generated by the writing system are compared with the previously generated and saved biometric data. see reference data of the person compared to determine whether the current biometric data largely match the stored biometric reference data of the person. However, a 100% match is presumably a pirated copy of the stored reference data, and the biometric writing system 1 according to the invention emits a corresponding warning signal.
  • the current biometric data are compared with stored biometric reference data of a large number of people and the person selected whose biometric reference data best match the current biometric data.
  • the biometric writing system can also be used for handwriting recognition and / or hand sketch recognition.
  • Fig. 4 shows schematically the steps for handwriting recognition.
  • the writing noises that occur when writing the pen 2 on the base 3 when writing or sketching a character, a word or a word sequence are acoustically detected by the microphone 5 and converted into corresponding sound signal data.
  • coding takes place.
  • the generated sound signal data is temporarily stored as a digital sound time signal, and the associated frequency spectrum is then calculated from the sound signal data using a Fourier transformation.
  • first current acoustic data are determined from the sound intensity of the digital sound time signal by means of feature extraction for data reduction.
  • Current second acoustic data are also determined from the calculated frequency spectrum of the sound time signal by means of feature extraction.
  • This step also serves above all Data reduction.
  • a sequence of feature vectors is calculated from the acoustic data, and these calculated feature vectors are compared with stored person-specific reference feature vectors in a pattern comparison. A sequence of reference feature vectors which have the smallest deviation from the respective feature vectors is then selected.
  • the written character, the written word or the written word sequence are determined from the sequence of selected reference feature vectors using statistical, connectionistic and knowledge-based methods.
  • the statistical methods are, for example, hidden Markow models for recognizing a larger vocabulary.
  • the connectionist methods primarily use neural network models to recognize a limited vocabulary.
  • the knowledge-based methods are, for example, fuzzy logic models.
  • the reference feature vectors are generated and stored system-specific when the writing system is in position and person-specific before using the system by repeated handwritten writing of a training text. Over longer periods of use, the reference feature vectors of the person are updated adaptively and automatically via newly written characters and words. All methods are based on acoustic models of characters, letters, syllables and vocabulary words of a language in phonetic transcription.
  • the phonetic spelling of the vocabulary of a language is formed by phonetic elements, ie short, phonetic units (allophones) of the writing noise.
  • Every word in the vocabulary is stored as a sequence of allophones.
  • the acoustic models determine from the vocabulary in phonetic transcription several word candidates that are most likely to belong to the acoustic symbol sequence. The probability for each word is determined using the HMM (Hidden Markow models) or the neuro-fuzzy systems. The most likely word candidate is determined via a threshold decision or a word sequence statistics model or language model. The determined character is then output, for example, as formatted text or as handwritten text.
  • the person may also pronounce the written character or word and record it acoustically through the microphone.
  • the position data of the hand-held writing movement are optically recorded. A further increase in security is achieved by recording the writing pressure data that occurs when the word is written.
  • the person-specific reference data generated by the writing system 1 according to the invention can be evaluated to determine psychological and or physiological characteristics of the person.
  • the occurrence of neuromotor movement disorders of a person can be recognized by means of the biometric writing system 1 according to the invention.
  • the biometric writing system according to the invention is therefore suitable for diagnosing psychological and / or physiological features and for diagnosing neuromotor movement disorders in the person.
  • the biometric writing system 1 shows a particularly preferred embodiment of the biometric writing system 1 according to the invention with an optoacoustic feedback for the person writing.
  • the biometric data obtained are transferred from the stylus 3 to a local computer 20, which gives the writer via lines 35a, 35b an optoacoustic feedback via a screen 36a and a loudspeaker 36b.
  • the biometric writing system 1 according to the invention is suitable as a system for the therapy of movement disorders of the person. Thanks to the optoacoustic feedback, the person who may have a neuromotor movement disorder can learn to write again.
  • Another interesting area of application is the use of the biometric writing system 1, as shown in FIG. 5, as a training system for learning to write.
  • the biometric writing system 1 is suitable as a training system for learning a language, in particular a foreign language.
  • the learner can write a word on the pad 4, and the loudspeaker integrated in the pen housing 3 reproduces the word in the correct pronunciation of the foreign language.
  • predetermined numbers or characters that are attached to the base 4 can be traced by the person with the pen.
  • a student can trace a predetermined number or a character on the base 4 and receives optoacoustic feedback. Documentation of their learning progress is possible for people with coordination difficulties.
  • using the biometric writing system 1 according to the invention as shown in FIG. 5, it is possible to learn to write the alphabet in a simple manner. Manufacturing exercises, awareness exercises and imitation exercises are also possible.
  • FIGS. 6a, 6b show the recorded time sound signal at different writing speeds on a cardboard surface and on a writing paper block. In the example shown, a line is drawn with increasing speed on the cardboard and the writing paper block.
  • 6c, 6d show the associated frequency spectra.
  • FIG. 7 shows a time sound signal which is generated when the letter "a" is written three times when the pen is written on a writing pad by means of the biometric writing system 1 according to the invention. As can be seen in FIG. 7, the sound time signal is very easily repeatable or reproducible, so that the letter "a" can be specifically recognized.
  • Fig. 8 also shows a time sound signal which is generated by writing a letter "b" three times.
  • the letter "b” also has a characteristic sound time signal curve.
  • FIG. 9a shows amplitude frequency signals over time for the letter "a”
  • FIG. 9b shows amplitude frequency signals for writing the letter "b" over time.
  • 10a, 10b show in principle how the amplitude frequency lines change dynamically over time when writing a letter, for example a letter "a".
  • the person writing puts the pen on (starting point AP) and carries out the writing movement.
  • the spectrum existing at time tO changes dynamically over time.
  • 10b shows the change in the spectrum at time t0 at time t1.
  • the acoustic writing system 1 can be designed such that it detects the frequency lines of the handwritten characters in the largest possible dynamic range with large amplitude values.
  • the biometric acoustic writing system 1 according to the invention has a large number of possible uses. On the one hand, it can be used as a biometric authentication system for personal identification and verification.
  • the writing system 1 according to the invention is suitable as a computer input device as a replacement for a computer mouse or keyboard commands, in particular for password entry.
  • the biometric writing system 1 according to the invention can be used for electronic speech and handwriting recognition. Another extensive area of application is in the field of biometric diagnosis and therapy.
  • the biometric writing system 1 according to the invention can be used for training purposes, for example for learning to write, foreign languages or for eliminating coordination difficulties.
  • biometric writing system 1 can also be used as a biometric system for personal access and security control in all security areas with a high level of security against falsification and low error rates. Other possible uses are forensic use in criminal statistics, border guards or the police.
  • biometric writing system 1 according to the invention can be used for communication between man and machine, in particular as a dictation device, or for verbal and handwritten machine control.
  • the multifunctional biometric writing system 1 is also suitable as an input unit for a future virtual desk, in which, for example, the tablet of a PC is supplemented or replaced by the normal writing paper as an input medium with the input options according to the invention via the writing pen.
  • the biometric writing system 1 according to the invention can be produced inexpensively with relatively little technical effort, so that a wide range of applications can be opened up.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Abstract

Biometrisches Schreibsystem mit einem Schreibstiftgehäuse (3) zur Durchführung handgeführter Bewegungen auf einer Unterlage (4), mindestens einem in dem Schreibstiftgehäuse (3) integrierten Mikrofon (5) zur akustischen Erfassung von Schallsignalen, die durch die handgeführten Bewegungen hervorgerufen werden, und mit einer Datenverarbeitungseinheit (11) zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten Schallsignalen.

Description

Biometrisches akustisches Schreibsystem und Verfahren zur Personenidentifikation und Handschriftenerkennung mittels biometrischer Daten
Die Erfindung betrifft ein biometrisches akustisches Schreib- system, bei dem mit einem in einem Schreibstiftgerät integrierten Mikrofon die bei der handgeführten Bewegung des Schreibstiftes hervorgerufenen Schallsignale akustisch erfasst und anschließend zu biometrischen Daten verarbeitet werden. Die Erfindung betrifft ferner ein Verfahren zur Personenidentifikation und Personenverifikation mittels eines biometrischen Schreibsystems sowie ein Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung.
Derzeit gibt es eine große Auswahl von konkurrierenden biometrischen Systemen. Den größten Anteil der biometrischen Systeme machen derzeit Systeme aus, die Fingerlinien als Erkennungsmerkmale nutzen, gefolgt von Systemen zur Gesichtserkennung und so genannte Irisscanner.
Durch die zunehmende elektronische Vernetzung in allen Bereichen des Geschäftslebens nimmt die Bedeutung der elektronischen Passwort- und Signaturerkennung ständig zu. Verträge werden in herkömmlicher Weise durch die beiden Vertragspartner geschlossen, indem eine Unterschrift zur Beurkundung geleistet wird. Die Unterschrift dient dabei zu Beweiszwecken und ist für denjenigen, der die Unterschrift leistet spezifisch. Bei Vertragsabschlüssen im Bereich des E-Commerce besteht die Notwendigkeit, dass die Vertragspartner zu ihrer Identifikation eine elektronische Unterschrift leisten müssen, die auf ihre Gültigkeit hin verifiziert werden muss. Voraussetzung für den breiten Einsatz einer elektronischen Unterschrift zur Verifikation der Identität der Vertragspartner ist eine hohe Verfälschungssicherheit der geleisteten elektronischen Unterschrift. Ferner muss die geleistete Unterschrift mit einer hohen Erkennungsrate erkannt und an einen entfernt gelegenen Rechner ü- bertragen werden. Unerlässlich ist ferner, dass die Eingabe der elektronischen Unterschrift für einen großen Personenkreis ohne besondere Kenntnisse in einfacher Weise erfolgen kann.
Die bisher bekannten Schreibsysteme erfüllen diese Forderungen nicht und weisen zum Teil gravierende Nachteile auf.
Es sind Schreibstifte mit Beschleunigungssensoren bekannt (beispielsweise^ Accelerometer-based pens von British Telecom- munications) zur Aufnahme von Beschleunigungskräften beim Schreiben mit dem Schreibstift. Der Nachteil dieses bekannten Schreibstiftes besteht in einer vergleichsweise geringen Erkennungsrate bei der Unterschriftenverifikation aufgrund des nur zweidimensionalen Datenraumes. Darüber hinaus muss der Schreibstift beim Schreiben stets gleich ausgerichtet sein, d.h. der Winkel zwischen dem Schreibstift und der Unterlage muss weitestgehend konstant sein, so dass ein natürliches Schreibverhalten beim Leisten einer Unterschrift nicht gewährleistet ist. Darüber hinaus setzt eine akzeptable Erkennungsrate eine Mindestschreibgeschwindigkeit voraus, da sonst die gemessenen Beschleunigungskräfte zu gering sind.
Eine Vielzahl von Schreibsystemen erkennen den handschriftlich geschriebenen Text bzw. Zeichen mittels der Schreibunterlage. Alle derartigen Schreibsysteme haben den Nachteil, dass spezielle Schreibunterlagen mit entsprechender Signalverarbeitung erforderlich sind.
Aus der US 4,513,437 ist ein Dateneingabestift zur Unterschriftenverifikation bekannt. Der Stift enthält einen Schreibstift zur Sichtbarmachung des Geschriebenen auf einer Unterlage sowie piezoelektrische Druck- und Beschleunigungssensoren zur Erfassung von Beschleunigungskräften, die durch transversale Schreibbewegungen des Stiftes auf der Schreibunterlage hervorgerufen werden. Darüber hinaus wird der Druck auf den Schreibstift in axial-paralleler Richtung des Schreibstiftes erfasst.
Der Nachteil des in der US 4,513,437 beschriebenen Dateneingabestiftes besteht darin, dass ausgeprägte Beschleunigungskräfte beim Schreiben erforderlich sind. Zur Erfassung sind daher starke Richtungsänderungen und/oder Geschwindigkeitsänderungen geradliniger Schreibbewegung zur Signalerfassung notwendig.
In den Druckschriften US 5 294 792A, US 5 333 209 A, US 6 208 755 Bl, DE 196 44 109 AI und DE 100 28 138 AI werden Schreibsysteme zur Erfassung von Schreibdruckdynamik mittels Drucksensoren und Schreibbewegungsdaten mittels CCD-Sensorik beschrieben.
Es sind Schreibsysteme bekannt, bei denen in einem Schreibstiftgerät ein Schreibstift zur Durchführung handgeführter Bewegungen auf einer Unterlage integriert ist. Das Schreibstiftgerät enthält eine optische Sensoreinrichtung zur Erfassung der mit dem Schreibstift durchgeführten Bewegungen als Bewe- gungs- bzw. Positionsdaten. Darüber hinaus ist in dem Schreibstiftgerät eine weitere Drucksensoreinrichtung zur Erfassung der bei den durchgeführten Bewegungen des Schreibstiftes auftretenden Kräfte integriert. Eine Datenverarbeitungseinheit dient zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten Bewegungsdaten und den erfassten Schreibdruckdaten .
Es gibt bereits kommerzielle Schreibgeräte, die mit den oben genannten Sensortechniken ausgestattet sind.
So beschreibt der sog. Anoto-Digital-Stift ein Schreibsystem, bei dem geschriebener Text auf einen Rechner übertragen werden kann. Der Schreibstift besteht aus einem Kugelschreiber mit einer integrierten digitalen Kamera. Ein Kraftsensor detek- tiert das Aufsetzen der Schreibmiene auf ein Spezialpapier . Bei dem Spezialpapier handelt es sich um ein Papier mit einem aufgedruckten Punktemuster. Die integrierte digitale Kamera des Anoto-Schreibstiftes nimmt die Schreibbewegungen des Stiftes über dem Punktemuster wahr. Die Kamera nimmt eine Vielzahl von Bildern pro Sekunde auf. Jedes aufgenommene Bild wird mit dem darauffolgenden Bild verglichen und ein integrierter Prozessor errechnet daraus unter Berücksichtigung der Stifthaltung den Richtungswechsel und die Bewegungsstrecke der in dem Stift integrierten Schreibmine. Auf dem Anoto-Spezialpapier befinden sich eine Vielzahl aufgedruckter Punkte, die mit Tinte auf Kohlenstoffbasis aufgebracht sind und einen Abstand von weniger als 1mm zueinander aufweisen. Jedes Anoto- Spezialpapier besitzt ein anderes Punktemuster, so dass die einzelnen Seiten voneinander unterscheidbar sind. Eine Licht emittierende Diode (LED) beleuchtet die kohlenstoff-haltigen Tintenpunkte, die langwelliges Infrarotlicht absorbieren und somit für die integrierte Digitalkamera innerhalb des Anoto- Stiftes erkennbar sind. Durch das Anoto-Spezialpapier kann die Relativbewegung des Stiftes sowie die absolute Position des Stiftes auf dem Papier ermittelt werden.
Der Nachteil des Anoto-Stiftes besteht darin, dass ein spezielles Papier notwendig ist und dass die Stifthaltung vorgegeben ist. Darüber hinaus ist die Verfälschungssicherheit der Unterschriftenverifikation zu gering, da keine personenspezifische biometrische Daten ermittelt werden. Durch den Anoto- Schreibstift wird nicht der individuelle Schreibdruck auf die Schreibmiene erfasst.
Neben der elektronischen Unterschriftenverifikation besteht ein zunehmender Bedarf zur elektronischen Erfassung handgeschriebener Texte bzw. Zeichen. Bei herkömmlichen Verfahren zur Handschrifterkennung werden handgeführte Schreibbewegungen optisch erfasst und die ermittelten Schriftbilddaten werden anschließend mittels OCR-Verfahren in ASCI-Codedaten umgewandelt. Herkömmlicherweise werden bei der Erkennung eines geschriebenen Wortes mehrere mögliche Wortkandidaten selektiert. Die Anzahl der möglichen Wortkandidaten ist dabei umso höher, je undeutlicher die Handschrift ist und je mehr ähnliche Worte existieren. Aus den verschiedenen möglichen Wortkandidaten wird anschließend durch eine statistische Auswertung der wahrscheinlichste Wortkandidat ermittelt und ausgegeben. Die statistische Auswertung erfolgt wie bei der maschinellen Spracherkennung mittels sog. Wortfolgenstatistikprogramme, die anhand der vorangehenden erkannten Worte die statistische Wahrscheinlichkeit für das Auftreten des jeweiligen Wortkandidaten berechnen. Der am wahrscheinlichsten auftretende Wortkandidat wird selektiert und anschließend ausgegeben. Der Nachteil derartiger herkömmlicher Verfahren bei der Handschrifterkennung besteht darin, dass die Anzahl der möglichen Wortkandidaten in vielen Fällen sehr hoch ist, so dass die Erkennungsrate oft sehr niedrig ist.
Schreibsysteme zur Unterschriftenverifikation, zur Personenidentifikation bzw. -Verifikation sowie zur Handschriften- und Spracherkennung müssen eine sehr hohe Verfälschungssicherheit und geringe Fehlerraten aufweisen. Darüber hinaus darf die technische Realisierung nicht allzu aufwendig sein, um ein breites Anwendungsgebiet zu ermöglichen.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein multifunktionales biometrisches akustisches Schreibsystem zu schaffen, das geringe Fehlerraten aufweist und eine sehr hohe Verfälschungssicherheit bietet, eine möglichst große Akzeptanz ermöglicht und sehr kostengünstig hergestellt werden kann. Diese Aufgabe wird erfindungsgemäß durch ein biometrisches Schreibsystem mit den im Patentanspruch 1 angegebenen Merkmalen gelöst.
Das erfindungsgemäß biometrische Schreibsystem wird vorzugsweise als multifunktionales Eingabesystem in der Biometrie zur Personenidentifikation eingesetzt .
Das erfindungsgemäße Schreibsystem kann bei einem virtuellen Schreibtisch das Tablet eines PCs durch normales Schreibpapier als Eingabemedium ersetzten oder ergänzen. Das erfindungsgemäße Schreibsystem ist ferner in der Life Science zur Diagnose und Therapie, in der Medizin und in der Psychologie einsetzbar.
Die Erfindung betrifft ein biometrisches akustisches Schreibsystem mit einem Schreibstiftgehause zur Durchführung handgeführter Bewegungen auf einer Unterlage, mindestens einem in dem Schreibstiftgehause integrierten Mikrofon zur akustischen Erfassung von Schallsignalen, die durch die handgeführten Bewegungen hervorgerufen werden, und mit einer Datenverarbeitungseinheit zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten Schallsignalen.
Das erfindungsgemäße biometrische, akustische Schreibsystem ermöglicht die Generierung von personenspezifischen biometrischen Referenzdaten, die für die Person einzigartig sind. Hierdurch ist es möglich, die Identität einer schreibenden Person zu verifizieren und durch Vergleich mit gespeicherten Referenzdaten sogar zu identifizieren.
Das erfindungsgemäß biometrische Schreibsystem ermöglicht zudem eine Handschriftenerkennung bzw. Handskizzenerkennung zur Ermittlung und Ausgabe von handgeschriebenen Zeichen in digitaler Form. Das erfindungsgemäße biometrische Schreibsystem enthält vorzugsweise eine Datenverarbeitungseinheit zur Rekonstruktion handgeschriebener Zeichen und Texte aus den erfassten Schallsignalen .
In dem Schreibstiftgehause ist vorzugsweise ein Schreibstift vorgesehen, der auf der Unterlage aufgesetzt und auf der Unterlage geführt wird.
Dies bietet den besonderen Vorteil, dass die Person ein natürliches Schreibgefühl hat, da sich das erfindungsgemäße biometrische Schreibsystem wie ein normales Schreibstiftgerät mit einer tintenführenden Schreibstiftmine verhält.
Das durch die Reibung des Schreibstiftes auf der Unterlage während der handgeführten Schreibbewegung hervorgerufene akustische Schreibgeräusch wird vorzugsweise als Körperschallsignal über den Schreibstift und/oder zusätzlich als Luftschallsignal über die Umgebungsluft durch das in dem Schreibstiftgehause integrierte Mikrofon übertragen.
Da das Schreibgeräusch nicht allein über die Umgebungsluft, sondern auch als Körperschallsignal übertragen werden kann, eignet sich das erfindungsgemäße Schreibsystem auch für Anwendungsgebiete in akustisch lauten Bereichen.
Das Mikrofon ist vorzugsweise zur Übertragung des Körperschallsignals mechanisch mit dem Schreibstift gekoppelt.
Dabei ist das Mikrofon bei einer besonders bevorzugten Ausführungsform zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift verbundenen Klangkörper gekoppelt . Der Klangkörper ist vorzugsweise als ein Resonator für be¬ stimmte Eigenfrequenzen ausgelegt.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems ist das Mikrofon in einer in dem Schreibstiftgehause vorgesehenen Luftschallkammer angeordnet.
Die Luftschallkammer ist vorzugsweise als ein Resonator für bestimmte Eigenfrequenzen ausgelegt.
Das Mikrofon ist zusammen mit den Resonatoren vorzugsweise von einer Schalldämmung umgeben, die zur Dämpfung von Umgebungsgeräuschen vorgesehen ist und Schallsignale zum Mikrofon nur ü- ber den Schreibstift durchlässt.
Die Luftschallkammer ist über eine in dem Schreibstiftgehause vorhandenen Gehäuseöffnung mit der Umgebungsluft koppelbar.
Die Gehäuseöffnung ist vorzugsweise mittels einer mechanischen Verschlusseinrichtung zur Unterdrückung von Außengeräuschen schließbar .
Dies bietet dem Benutzer die Möglichkeit, durch Schließen der Öffnung Störgeräusche aus der Umgebung zu unterdrücken.
Das Mikrofon erfasst bei geöffneter Gehäuseöffnung vorzugsweise das durch die handgeführte Schreibbewegung hervorgerufene interne und externe Schreibgeräusch als Körper- und Luftschallsignal und/oder ein von einer Person stammendes Sprachsignal .
Der Schallkörper für das externe Schreibgeräusch wird vorzugsweise durch die Schreibunterlage gebildet. Das Mikrofon bei geöffneter Gehäuseöffnung kann wahlweise durch ein akustisch nicht isoliertes zweites Mikrofon im Schreibstiftgehause ersetzt werden.
Durch die akustische Erfassung des Sprechsignals zusätzlich zur akustischen Erfassung des Schreibgeräusches kann die Fehlerrate bei der Erkennung der Person erheblich reduziert werden. Durch die Kombination der Auswertung des Sprechsignals und des Schreibgeräusches wird eine sehr hohe Erkennungssicherheit des biometrischen Schreibsystems erreicht.
Das Mikrofon wandelt die erfassten akustischen Schallsignale vorzugsweise in ein elektrisches Schallsignal um.
Das elektrische Schallsignal wird vorzugsweise durch einen A- nalog-/Digitalwandler in Schallsignaldaten zur digitalen Datenverarbeitung durch die Datenverarbeitungseinheit umgewandelt.
Dabei werden das Schreibgeräusch und das Sprechsignal gleichzeitig oder zeitlich hintereinander durch das Mikrofon erfasst .
Die erzeugten Schallsignaldaten sind vorzugsweise in einer Speichereinheit des biometrischen Schreibsystems abspeicherbar.
Die Schreibunterlage besteht vorzugsweise aus beliebigem Papier .
Dabei ist die Schreibunterlage vorzugsweise eine feste Unterlage, die eine bestimmte aufgeprägte Oberflächenrauhigkeit und Härte aufweist. Bei einer besonders bevorzugten Ausführungsform des biometrischen, akustischen Schreibsystems ist in dem Schreibstiftgehause ein Lautsprecher zur Wiedergabe erfasster Mikrofonsignale, zur Wiedergabe gespeicherter biometrischer Referenzdaten und zur Wiedergabe gesprochener Informationen vorgesehen.
Vorzugsweise wird zusätzlich ein von der Person stammendes Sprachsignal akustisch erfasst und entsprechende Schallsignaldaten für die Sprechererkennung oder Spracherkennung erzeugt.
Das Schreibgeräusch selbst kann ebenfalls mit den Algorithmen und Verfahren der Sprecher- und Spracherkennung ausgewertet werden.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen biometrischen, akustischen Schreibsystems bzw. akusto- mechanischen Schreibsystem, ist ferner eine zweite Sensoreinrichtung vorgesehen, die die Schreibdynamik über den statischen und dynamischen Druck und die Schreibgeschwindigkeit ü- ber die Schwingung des Schreibstiftes des auf der Unterlage aufgesetzten und handgeführten Schreibgerätes erfasst.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen biometrischen, akustischen Schreibsystems bzw. akusto- mechanischen Schreibsystem, sind mindestens drei Sensoren zur gleichzeitigen Erfassung der auftretenden Schreibkräfte und Schwingungen der Schreibmine in drei Raumrichtungen vorgesehen.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen biometrischen akustischen Schreibsystems bzw. akusto- mechanischen Schreibsystems, ist ferner ein Neigungssensoreinrichtung vorgesehen, die die Neigung des auf der Unterlage aufgesetzten und handgeführten Schreibgerätes bestimmt und somit vorwiegend die Fingermotorik beim Schreiben erfasst. Bei einer bevorzugten Ausführungsform des biometrischen Schreibsystems ist zusätzlich eine optische Sensoreinrichtung vorgesehen, die Positionsdaten der handgeführten Schreibstiftbewegung über Bildsignale von der Oberfläche der Schreibunterlage erfasst.
Bei einer weiteren bevorzugten Ausführungsform des biometrischen Schreibsystems ist ferner eine Druck-Sensoreinrichtung vorgesehen, die den statischen und dynamischen Druck des auf der Unterlage aufgesetzten und handgeführten Schreibstiftes erfasst .
Das Mikrofon ist vorzugsweise eine Elektrett-Mikrofon, ein piezoelektrisches Mikrofon, ein piezoresistives Mikrofon oder ein kapazitives Mikrofon.
In dem Schreibstift des biometrischen Schreibsystems ist vorzugsweise eine auswechselbare Schreibstiftmine vorgesehen.
Diese Schreibstiftmine ist vorzugsweise mittels einer Schalteinrichtung aus dem Schreibstift ausfahrbar.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems weist die optische Sensoreinrichtung eine Abbildungsoptik zur Abbildung der Unterlagenoberfläche und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal auf.
Die Abbildungsoptik besteht dabei vorzugsweise aus optischen Linsen und/oder Glasfasern.
Bei der Wandlereinrichtung handelt es sich vorzugsweise um eine CCD-Kamera oder ein Photodiodenarray . Ferner ist vorzugsweise eine Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen.
Bei einer besonders bevorzugten Ausführungsform ist zusätzlich eine Laserdiode zur Beleuchtung der Unterlagenober läche und eines in den Stift integrierten optischen Gitters vorgesehen.
Die optische Sensoreinrichtung erfasst vorzugsweise die mit dem Schreibstift durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Unterlagenoberfläche.
Bei einer alternativen Ausführungsform erfasst die optische Sensoreinrichtung die mit dem Schreibstift durchgeführten Bewegungen durch Vergleich der zeitlich versetzten, aufgenommenen Bildfolgen der Interferenzen des an dem Gitter und der Unterlagenoberfläche reflektierten Laserlichtes.
Die Schreibstiftmine gibt bei einer bevorzugten Ausführungsform in einem ausgefahrenen Zustand auf die Unterlage bei Durchführung der handgeführten Bewegungen eine Schreibflüssigkeit ab, die die Strukturierung der Unterlagenoberfläche erhöht, so dass die optische Erfassung der handgeführten Bewegungen mittels der optischen Sensoreinrichtung erleichtert und über das Tintenschriftbild auf der Unterlage eine natürliche Schreibweise hervorgerufen wird.
Die Dätenverarbeitungseinheit ist vorzugsweise in dem Schreibstiftgehause oder in einer externen Empfangseinheit integriert .
Bei der externen Empfangseinheit handelt es sich dabei vorzugsweise um einen Computer, ein Mikrokontroller, ein Handy, einen Kreditkartenleser, ein Faxgerät oder um einen Drucker. Die erfassten Schallsignale, die optischen Bewegungsdaten und die erfassten mehrdimensionalen Druckdaten werden vorzugsweise über eine Datenübertragungsstrecke von dem Schreibstiftgehause an die in externe Empfangseinheit integrierte Datenverarbeitungseinheit übertragen.
Das erfindungsgemäße biometrische Schreibsystem weist vorzugsweise eine in dem Schreibstiftgehause enthaltene Verschlüsselungseinheit zur Verschlüsselung von Schallsignaldaten, optischen Bewegungsdaten und Druckdaten auf.
Die Datenübertragungsstrecke ist dabei vorzugsweise drahtgebunden oder drahtlos.
Das erfindungsgemäße biometrische Schreibsystem weist vorzugsweise einen Datenspeicher zum Abspeichern von biometrischen Referenzdaten, von Positionsdaten der Schreibbewegung und von gesprochenen Informationen auf.
Die biometrischen Referenzdaten werden vorzugsweise durch die Datenverarbeitungseinheit aus den beim Schreiben und Sprechen eines Wortes erfassten Schallsignaldaten, aus optischen Bewegungsdaten und mechanischen Druckdaten berechnet und in dem Referenzdatenspeicher abgelegt.
Bei dem Referenzdatenspeicher handelt es sich vorzugsweise um einen Mikrochip eines Personalausweises, einer Kreditkarte, um eine Berechtigüngsmagnetkarte oder um eine Speichereinheit eines Computers oder des biometrischen Schreibsystems .
Bei den geschriebenen und gesprochenen Wörtern und Zeichen handelt es sich vorzugsweise um Pincodes, Passwörter, Namen o- der um Texte. Die Positionsdaten der Schreibbewegung werden vorzugsweise aus dem beim Schreiben eines Wortes erfassten Schallsignaldaten, optischen Bewegungsdaten und mechanischen Druckdaten berechnet und in dem Datenspeicher zur Handschriftenerkennung abgelegt.
Der Referenzdatenspeicher ist dabei vorzugsweise in dem Schreibstiftgehause integriert.
Die in dem externe Empfangseinheit integrierte Datenverarbeitungseinheit ist vorzugsweise an einen Referenzdatenspeicher angeschlossen .
Der externe Empfangseinheit weist bei einer bevorzugten Ausführungsform des biometrischen Schreibsystems eine Leseeinheit zum Lesen eines tragbaren von biometrischen Referenzdaten auf.
Der externe Empfangseinheit ist vorzugsweise über ein Datennetzwerk an eine Datenbank mit einem Referenzdatenspeicher verbunden.
Bei dem Datennetzwerk handelt es sich vorzugsweise um das Internet .
Bei einer bevorzugten Ausführungsform des biometrischen Schreibsystems vergleicht die Datenverarbeitungseinheit die berechneten aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten zu deren Verifikation und I- dentifi'kation.
Die Datenverarbeitungseinheit erzeugt bei weitgehender Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten Referenzdaten ein Identifikations- bzw. Verifikationsanzeigesignal . Bei einer besonders bevorzugten Ausfuhrungsform des biometrischen Schreibsystems gemäß der Erfindung erkennt die Datenverarbeitungseinheit bei vollständiger Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten die aktuellen biometrischen Daten als Raubkopie der gespeicherten Referenzdaten und erzeugt ein entsprechendes Warnsignal .
Die Datenverarbeitungseinheit erzeugt bei Abweichen der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten ein Abweichungsanzeigesignal.
Bei einer bevorzugten Ausfuhrungsform des biometrischen Schreibsystems weist dieses mindestens einen Aktor auf, der nach Erzeugen des Identifikations- bzw. Verifikationsanzeigesignals betätigt wird.
Die Erfindung schafft ferner ein Verfahren zur Generierung von personenspezifischen biometrischen Referenzdaten mit den folgenden Schritten:
Akustisches Erfassen von handgefuhrten Schreibbewegungen, die mit einem Schreibstift auf einer Unterlage beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge durch eine Person durchgeführt werden, und Erzeugen entsprechender SchallSignaldaten;
Speichern der erzeugten Schallsignaldaten als digitales Schall-Zeitsignal;
Berechnen von zugehörigen Frequenzspektren als Spektrogramm aus den zeitsegmentierten Schallsignaldaten mittels schneller Fouriertransformation;
Bestimmung von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem berechneten Spektrogramm; Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden-Zeitsignalen mittels schneller Fou- riertransformation;
Bestimmen von ersten biometrischen Daten aus der Schall- und Schwingungsintensität der digitalen Zeitsignale mittels MerkmalSextraktion;
Bestimmen von zweiten biometrischen Daten aus dem berechneten Spektrogramm der zeitsegmentierten Schall- und Schwingungszeitsignale mittels Merkmalsextraktion.
Bestimmen von dritten aktuellen biometrischen Daten mittels Merkmalsextraktion aus dem berechneten Frequenzspektrum der Amplituden-Zeitsignale;
Bestimmen von vierten aktuellen biometrischen Daten mittels Merkmalsextraktion aus erfassten dynamischen Schreibdruck-, Schwingungs- und Neigungsdaten.
Bei einer bevorzugten Ausführungsform des Verfahrens zur Generierung von personenspezifischen biometrischen Referenzdaten werden die Verfahrensschritte mehrmals durchgeführt und die jeweils bestimmten Referenzdaten statistisch ausgewertet, wobei die ausgewerteten Daten als personenspezifische Referenzdaten verschlüsselt und anschließend abgespeichert werden.
Bei einer bevorzugten Ausführungsform werden die statistisch ausgewerteten, personenspezifischen Referenzdaten in einem Mikrochip eines Personalausweises, in einem Mikrochip einer Kreditkarte, in eine Berechtigungsmagnetkarte oder in die Speichereinheit eines Computers bzw. eines Schreibsystems abgespeichert .
Vorzugsweise werden zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt . Darüber hinaus werden bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens zur Generierung von personenspezifischen, biometrischen Referenzdaten die bei der durchgeführten Schreibbewegung des Schreibstiftes in mindestens einer Raumrichtung auftretenden Schreibkräfte durch Drucksensoren erfasst und entsprechend mindestens eindimensionale Schreibdruckdaten erzeugt.
Ferner werden vorzugsweise die beim Schreiben eines Zeichens, eines Wortes oder einer Zeichen-/Wortfolge mit dem Schreibstift auf der Unterlage handgeführten Schreibbewegungen optisch erfasst und entsprechende Schreibbewegungsdaten erzeugt.
Die biometrischen Referenzdaten werden vorzugsweise aus der Schallintensität des digitalen Zeitschallsignals mittels Merkmalsextraktion, aus dem berechneten Frequenzspektrum des Schallzeitsignals mittels Merkmalsextraktion sowie aus den beim Schreiben und Sprechen eines Wortes erzeugten optischen Bewegungsdaten und Schreibdruckdaten bestimmt und in dem Refe- rerizdatenspeicher als personenspezifische biometrische Referenzdaten verschlüsselt abgespeichert.
Es erfolgt vorzugsweise eine Datenreduktion der statischen und dynamischen Schreibbewegungsdaten, der Schreibdruckdaten, der optischen Bewegungsdaten und der Schallsignaldaten mittels Clusterbildüng.
Aus den datenreduzierten Clusterdaten werden vorzugsweise Merkmalsparameter extrahiert.
Die generierten biometrischen Referenzdaten werden vorzugsweise innerhalb oder außerhalb des Schreibstiftes abgespeichert.
Die Erfindung schafft ferner ein Verfahren zur Verifikation einer Person mit den folgenden Schritten, akustisches Erfassen von handgeführten Schreibbewegungen, die mit einem Schreibstift auf einer Unterlage beim Schreiben eines Zeichen, eines Wortes oder einer Wortfolge durch die Person durchgeführt werden und Erzeugen entsprechender Schallsignaldaten;
Erzeugen von Schreibdruck-Signaldaten für Schreibdruck und von Schwingungssignaldaten für Schwingungen, die von dem Schreibstift auf mindestens einen Druck- und Schwingungssensor übertragen werden;
Speichern der erzeugten Signaldaten als digitale Zeitsignale; Berechnen von Frequenzspektren als Spektrogramm aus den gespeicherten zeitsegmentierten Schall- und Schwingungszeitsignalen mittels schneller Fouriertransformation;
Bestimmen von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem Spektrogramm der Schall- und Schwingungszeitsignale; Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden- Zeitsignalen mittels schneller Fouriertransformation .
Dabei werden vorzugsweise zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt.
Dabei wird vorzugsweise zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt.
Vorzugsweise wird zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst, und es werden entsprechende Schallsignaldaten erzeugt.
Die beim Schreiben oder Skizzieren eines Zeichens, eines Wortes oder einer Zeichen-/Wortfolge mit dem Schreibstift auf der Unterlage handgeführten Schreibbewegungen werden vorzugsweise zusätzlich optisch erfasst und entsprechende Positionsdaten erzeugt .
Vorzugsweise werden zusätzlich die bei der durchgeführten Schreibbewegung des Schreibstiftes in mindestens einer Raumrichtung auftretenden Kräfte durch Drucksensoren erfasst und entsprechende, mindestens eindimensionale Schreibdruckdaten erzeugt .
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird das Zeichen, das Wort oder die Wortfolge aus der Folge selektierter Referenzmerkmalsvektoren, aus den Positionsdaten und aus den Schreibdruckdaten mittels statistischer, konnektionistischer und wissensbasierter Verfahren ermittelt .
Bei einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden das ermittelte Zeichen der ausführenden Person zu deren Kontrolle optisch und/oder akustisch rückgemeldet .
Die generierten personenspezifischen Referenzdaten werden vorzugsweise zur Ermittlung psychologischer und/oder physiologischer Merkmale der Person ausgewertet.
Das erfindungsgemäße biometrische Schreibsystem ist vielfach einsetzbar.
Bei einer bevorzugten Ausführungsform wird das biometrische Schreibsystem als Computereingabeeinrichtung verwendet.
Bei einer alternativen Verwendung wird das erfindungsgemäß Schreibsystem als Spracheingabeeinrichtung, insbesondere als Diktiergerät, verwendet. Das erfindungsgemäße biometrische Schreibsystem wird vorzugsweise zur Erkennung neuromotorischer Bewegungsstörungen einer Person verwendet.
Das erfindungsgemäße biometrische Schreibsystem wird ferner vorzugsweise als Therapiesystem zur Behebung neuromotorischer Bewegungsstörungen einer Person eingesetzt.
Das erfindungsgemäße biometrische Schreibsystem wird ferner vorzugsweise als graphologisches System zur Ermittlung psychologischer/physiologischer Merkmale einer Person verwendet.
Das erfindungsgemäße biometrische Schreibsystem wird vorzugsweise als Schulungssystem zur Erlernen von Schreiben eingesetzt .
Das erfindungsgemäße biometrische Schreibsystem wird vorzugsweise als Schulungssystem zum Erlernen einer Sprache verwendet.
Des Weiteren werden bevorzugte Ausführungsformen des erfindungsgemäßen biometrischen Schreibsystems und des erfindungsgemäßen Verfahrens zur Personenidentifikation, zur Personenverifikation, zur Generierung biometrischer Referenzdaten sowie zur Handschriften- und Handskizzenerkennung unter Bezugnahme auf die beigefügten Figuren zur Erläuterung erfindungswesentlicher Merkmale beschrieben.
Es zeigen:
Fig. 1 eine schematische Abbildung zur Darstellung einer bevorzugten Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems; Fig. 2 eine Schnittansicht durch ein Schreibstiftgehause des erfindungsgemäßen biometrischen Schreibsystems;
Fig. 3a-3e eine Schnittansicht durch Schreibstiftgehause gemäß bevorzugten Ausführungsformen des erfindungsgemäßen biometrischen Schreibsystems;
Fig. 4 ein Ablaufdiagra m zur Erläuterung der Handschriftenerkennung mittels des erfindungsgemäßen biometrischen Schreibsystems;
Fig. 5 eine Skizze zur Erläuterung einer optischen bzw. akustischen Rückmeldung für die schreibende Person;
Fig. 6 akustisch erfasste Schreibgeräusche bei unterschiedlicher Schreibgeschwindigkeit auf Karton und Schreibpapier;
Fig. 7 ein akustisch erfasstes Schall-Zeitsignal beim dreifachen Schreiben des Buchstabens "a";
Fig. 8 ein akustisch erfasstes Schall-Zeitsignal beim dreifachen Schreiben des Buchstabens "b";
Fig. 9 Frequenzsignale beim Schreiben der Buchstaben "a" bzw. "b" im Zeitverlauf;
Fig. 10 ein Amplitudenfrequenzsignal beim Schreiben eines zugehörigen Buchstabens "a";
Fig. 11 dynamisches Verhalten einiger Frequenzlinien beim Schreiben des Buchstabens "a";
Fig. 12 dynamischer Verhalten einiger Frequenzlinien beim Schreiben des Buchstabens "b"; Fig. 1 zeigt ein schematisches Blockschaltbild des erfindungsgemäßen biometrischen Schreibsystems 1. Das erfindungsgemäße biometrische Schreibsystem 1 umfasst einen Schreibstift 2, der in einem Schreibstiftgehause 3 integriert ist. Der Schreibstift 2 dient zur Durchführung handgeführter Bewegungen auf einer Unterlage 4. Bei der Unterlage 4 kann es sich um eine beliebige Unterlage mit beliebiger Oberfläche handeln. Vorzugsweise handelt es sich bei der Unterlage 4 um Papier. Die Schreibunterlage 4 ist vorzugsweise eine feste Unterlage, die eine bestimmte aufgeprägte Oberflächenrauhigkeit und Härte aufweist .
Der Schreibstift 2 enthält vorzugsweise eine austauschbare Schreibstiftmine, die mittels einer nicht dargestellten mechanischen Schalteinrichtung aus dem Schreibstift 2 ausfahrbar ist. Das Schreibstiftgehause 3 dient zur Durchführung handgeführter Bewegungen auf der Unterlage 4. Dabei wird zur Vermittlung eines normalen Schreibgefühls durch den Schreibstift 2 und dessen Schreibstiftmine eine Schreibflüssigkeit auf die Unterlage 4 zur optischen Rückkopplung für die schreibende Person abgegeben. Beim Aufsetzen des Schreibstiftes 2 auf der Unterlage und dessen Bewegung auf der Oberfläche entstehen Schreibgeräusche. In dem Schreibstiftgehause 3 ist bei dem erfindungsgemäßen Schreibsystem 1 mindestens ein Mikrofon 5 zur akustischen Erfassung von Schallsignalen vorgesehen. Das Mikrofon 5 erfasst die Schallsignale, die durch die handgeführten Bewegungen hervorgerufen werden, d.h. das durch die Schreibbewegung hervorgerufene Schreibgeräusch. Die durch die Reibung des Schreibstiftes 2 auf der Unterlage 4 während der handgeführten Schreibbewegung hervorgerufenen akustischen Schreibgeräusche werden einerseits als Körperschallsignal über den Schreibstift 2 und andererseits als Luftschallsignal über die Umgebungsluft zu dem Mikrofon 5 übertragen. Dabei ist das Mikrofon 5 zur Übertragung des Körperschallsignals mechanisch mit dem Schreibstift 2 gekoppelt. Bei der in Fig. 1 dargestellten bevorzugten Ausführungsform ist das Mikrofon 5 zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift 2 verbundenen Klangkörper 6 gekoppelt. Der Klangkörper 6 ist vorzugsweise als ein Resonator für bestimmte Eigenfrequenzen ausgelegt.
Wie in Fig. 1 dargestellt, befindet sich das Mikrofon 5 in einer in dem Schriftstiftgehäuse 3 vorgesehenen Luftschallkammer 7. Die Luftschallkammer 7 ist vorzugsweise als ein Resonator für bestimmte Eigenfrequenzen ausgelegt. Das Mikrofon 5 ist von einer Schalldämmung 8a, 8b umgeben, die zur Dämpfung von Umgebungsgeräuschen vorgesehen ist und lediglich Schallsignale von dem Klangkörper 6 und der Luftschaltkammer 7 durchlässt. Die Luftschallkammer 7 ist über eine in dem Schreibstiftgehause 3 vorhandene Gehäuseöffnung mit der Umgebungsluft koppelbar. Dabei ist die Gehäuseöffnung vorzugsweise mittels einer mechanischen Verschlusseinrichtung 9 zur Unterdrückung von Außengeräuschen schließbar. Das Mikrofon 5 erfasst bei geöffneter Gehäuseöffnung das durch die handgeführte Schreibbewegung hervorgerufene interne und externe Schreibgeräusch als Körpers- und Luftschallsignal und zusätzlich ein von einer Person stammendes Sprechsignal. Das Mikrofon 5 wandelt die erfassten akustischen Schallsignale in ein elektrisches Schallsignal um. Das elektrische Schallsignal wird durch einen Analog- /Digitalwandler in Schallsignaldaten zur digitalen Datenverarbeitung umgewandelt. Die digitalen Signaldaten werden über eine Signalleitung 10 einer Datenverarbeitungseinheit 11 zur weiteren Datenverarbeitung zugeführt. Das beim Schreiben erzeugte Schreibgeräusch und das gegebenenfalls von der Person zusätzlich empfangene Sprechsignal werden entweder gleichzeitig oder zeitlich hintereinander durch das Mikrofon 5 erfasst und in entsprechende Schallsignaldaten umgewandelt. Die der Datenverarbeitungseinheit 11 zugeführten Schallsignaldaten werden vorzugsweise in einer dafür vorgesehenen Speicherein- heit 12, die mit der Datenverarbeitungseinheit 11 über Leitungen 13 verbunden ist, gespeichert.
Neben dem Mikrofon 5 als akustischem Sensor weist das in Fig. 1 dargestellte, erfindungsgemäße biometrische Schreibsystem 1 vorzugsweise zusätzlich eine optische Sensoreinrichtung 14 auf, die Positionsdaten der handgeführten Schreibstiftbewegung über Bildsignale von der Oberfläche der Schreibunterlage 4 erfasst. Die optische Sensoreinrichtung ist über eine Signalleitung 15 ebenfalls an die Datenverarbeitungseinheit 11 angeschlossen .
Bei dem Mikrofon 5 kann es sich beispielsweise um ein Elek- trett-Mikrofon, ein piezoelektrisches Mikrofon, ein piezoresistives Mikrofon oder ein kapazitives Mikrofon handeln. Die optische Sensoreinrichtung 14 enthält vorzugsweise eine Abbil- dungsoptik zur Abbildung der ünterlagenoberflache und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal. Das elektrische Signal wird durch einen Analog-/Digitalwandler in Positionsdaten bzw. Bewegungsdaten umgewandelt und über die Signalleitung 15 an die Datenverarbeitungseinheit 11 abgegeben. Die Abbildungsoptik der optischen Sensoreinrichtung 14 besteht vorzugsweise aus optischen Linsen und/oder Glasfasern. Bei der Wandlereinrichtung kann es sich um eine CCD-Kamera oder ein Photodiodenarray handeln. Vorzugsweise ist zusätzlich eine Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen. Ferner ist eine Laserdiode zur Beleuchtung eines in dem Stift integrierten optischen Gitters vorgesehen. Die optische Sensoreinrichtung 14 erfasst die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen, die die Oberfläche der Unterlage zeigen. Alternativ dazu kann die optische Sensoreinrichtung 14 auch derart ausgelegt sein, dass sie die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Interferenzen des an . dem Gitter und der Unterlagenoberfläche reflektierten Laserlichtes erfasst .
Die Schreibstiftmine gibt im ausgefahrenen Zustand auf die Unterlage 4 bei Durchführung der handgeführten Bewegungen eine Schreibflüssigkeit ab, die die Strukturierung der Oberfläche erhöht, so dass die optische Erfassung der handgeführten Bewegungen mittels der optischen Sensoreinrichtung 14 erleichtert wird. Ferner wird über das Tintenschriftbild auf der Unterlage bei der schreibenden Person eine natürliche Schreibweise bewirkt .
Die Datenverarbeitungseinheit 11 ist, wie in Fig. 1 dargestellt, in dem Schreibstiftgehause 3 integriert. Bei einer alternativen Ausführungsform kann die Datenverarbeitungseinheit auch in einer externen Empfangseinheit integriert sein. Eine derartige Empfangseinheit ist beispielsweise ein Computer, ein Mikrokontroller, ein Handy, ein Kreditkartenleser, ein Faxgerät oder ein Drucker.
Die durch das Mikrofon 5 erfassten Schallsignaldaten und die durch die optische Sensoreinrichtung 14 erfassten Bewegungsdaten werden, sofern sich Datenverarbeitungseinheit extern in einem lokalen Rechner befindet, über eine Datenübertragungsstrecke 18 von dem Schreibstiftgehause 3 an diesen lokalen Rechner 20 übertragen. Die Datenverarbeitungseinheit 11 ist, wie in Fig. 1 zu erkennen, über eine Signalleitung 16 an eine nachgeschaltete Verschlüsselungseinheit 17 angeschlossen. Die Verschlüsselungseinheit 17 dient zur Verschlüsselung der von der Datenverarbeitungseinheit 11 innerhalb des Schreibstiftgehäuses 1 abgegebenen Schallsignaldaten und der erfassten optischen Bewegungsdaten. Die verschlüsselten Daten werden über die Datenübertragungsstrecke 18, die drahtlos oder drahtgebunden ist, an eine Datenverarbeitungseinheit 19 innerhalb des lokalen Rechners 20 übertragen. Der lokale Rechner 20 verfügt neben der Datenverarbeitungseinheit 19 über einen Speicher 21 und eine Anzeige 22, die jeweils über Signalleitungen 23, 24 mit der Datenverarbeitungseinheit 19 verbunden sind. Die Datenverarbeitungseinheit 19 des lokalen Rechners 20 ist ferner über Leitungen 25 mit einer Leseeinheit 26 verbunden. Darüber hinaus steuert die Datenverarbeitungseinheit 19 des lokalen Rechners 20 über Steuerleitungen 27 einen Aktor 28, beispielsweise eine Sicherheitstür. Die Datenverarbeitungseinheit 19 ist über eine Leitung 29 mit einem Datennetzwerk 30 verbunden, an dem eine externe Datenbank 31 angeschlossen ist. Bei dem Datennetzwerk 30 handelt es sich vorzugsweise um das Internet.
Das in Fig. 1 dargestellte biometrische Schreibsystem 1 enthält eine akustische Sensoreinrichtung 5 und eine optische Sensoreinrichtung 14. Bei einer bevorzugten Ausführungsform weist das erfindungsgemäße biometrische Schreibsystem 1 zusätzlich eine Drucksensoreinrichtung auf, die den statischen und dynamischen Druck des auf der Unterlage 4 aufgesetzten handgeführten Schreibstiftes erfasst und entsprechende Schreibdruckdaten an die Datenverarbeitungseinheit 11 abgibt. Die erfassten Schallsignaldaten, die optischen Bewegungsdaten und die ertasten mehrdimensionalen Druckdaten werden von der Datenverarbeitungseinheit 11 nach entsprechender Verschlüsselung durch die Verschlüsselungseinheit 17 über die Datenübertragungsstrecke 18 von dem Schreibstiftgehause 3 an die in dem lokalen Rechner 20 integrierte Datenverarbeitungseinheit 19 ü- bertragen. Aus den erfassten Schallsignaldaten, den optischen Bewegungsdaten und aus den mechanischen Schreibdruckdaten werden durch die Datenverarbeitungseinheit, die sich innerhalb o- der außerhalb des Schreibstiftgehäuses 3 befindet, biometrische Referenzdaten berechnet und in einem Referenzdatenspeicher, beispielsweise in dem Speicher 12 oder dem Speicher 21, abgelegt. Bei dem Referenzdatenspeicher kann es sich bei alternativen Ausführungsformen um einen Speicher innerhalb eines Personalausweises, einer Kreditkarte, um eine Berechtigungsmagnetkarte oder um eine Speichereinheit eines beliebigen Computers handeln. Die geschriebenen Worter und Zeichen, deren Schreibgerausche durch das Mikrofon 5 akustisch erfasst und als Schallsignaldaten abgegeben werden, sind insbesondere geschriebene Pincodes, Passworter, Namen oder handgeschriebene Texte. Das durch die Person geschriebene Zeichen kann gleichzeitig durch die Person gesprochen werden und als Sprechsignal ebenfalls durch das Mikrofon 5 erfasst werden.
Die in dem lokalen Rechner 20 vorgesehene Leseeinheit 26 dient beispielsweise zum Lesen eines tragbaren Speichermediums für biometrische Referenzdaten. In der Datenverarbeitungseinheit 31 können berechnete, aktuelle biometrische Daten mit gespeicherten biometrischen Referenzdaten für eine Verifizierung und Identifikation verglichen werden. Bei weitgehender Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten Referenzdaten erzeugt die Datenverarbeitungseinheit 11 bzw. 19 ein Identifikations- bzw. Verifikationsanzeigesignal. Dabei wird auf die Datenverarbeitungseinheit 19 nach Erzeugen des Identifikations- bzw. Verifikationsanzeigesignals ein Aktor, beispielsweise eine Sicherheitstur, betätigt.
Erkennt die Datenverarbeitungseinheit 11 bzw. 19 eine voll- standige Übereinstimmung der aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten, werden die aktuellen biometrischen Referenzdaten durch die Datenverarbeitungseinheit 11, 19 als Raubkopie der gespeicherten Referenzdaten erkannt und ein entsprechendes Warnsignal wird erzeugt.
Die gespeicherten personenspezifischen biometrischen Referenzdaten werden zunächst durch das erfindungsgemäße biometrische Schreibsystem 1 für spätere Vergleiche generiert. Die Generierung der personenspezifischen biometrischen Referenzdaten erfolgt wie folgt. Zunächst werden die handgeführten Schreibbe- wegungen, die mit dem Schreibstift 2 auf der Unterlage beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge durch eine Person durchgeführt werden, akustisch erfasst, d.h. das Schreibgeräusch wird durch das Mikrofon 5 akustisch erfasst. Das Mikrofon 5 generiert nach Analog-/Digitalumsetzung Schallsignaldaten, die an die Datenverarbeitungseinheit 11 abgegeben werden. Die Schallsignaldaten werden als digitales Schallzeitsignal gespeichert und aus dem gespeicherten Schallzeitsignal wird ein zugehöriges Frequenzspektrum mittels Fou- rier-Transformation berechnet. Mittels Merkmalsextraktion werden aus der Schallintensität des gespeicherten digitalen Schallzeitsignals erste biometrische Referenzdaten bestimmt. Aus dem berechneten Frequenzspektrum des Schallzeitsignals werden mittels Merkmalsextraktion zweite biometrische Referenzdaten bestimmt. Diese Verfahrensschritte werden vorzugsweise mehrfach durchgeführt, und die jeweils bestimmten Referenzdaten werden statistisch ausgewertet, wobei die ausgewerteten Daten als personenspezifische Referenzdaten verschlüsselt abgespeichert werden. Die statistisch ausgewerteten, personenspezifischen Referenzdaten werden vorzugsweise in einem Mikrochip eines Personalausweises, einem Mikrochip einer Kreditkarte, in eine Berechtigungsmagnetkarte oder in die Speichereinheit eines Computers bzw. Schreibsystems abgespeichert. Neben dem Schreibgeräusch kann das Mikrofon 5 zusätzlich ein von der Person stammendes Sprechsignal akustisch erfassen und entsprechende Schallsignaldaten an die Datenverarbeitungseinheit 11 abgeben. Vorzugsweise werden zusätzlich durch die optische Sensoreinrichtung 14 die handgeführten Schreibbewegungen optisch erfasst und entsprechende Schreibbewegungsdaten erzeugt, die an die Datenverarbeitungseinheit 11 abgegeben werden. Darüber hinaus werden vorzugsweise die bei der durchgeführten Schreibbewegung des Schreibstiftes 2 auftretenden Schreibkräfte über nicht dargestellte Drucksensoren erfasst, und entsprechend mindestens eindimensionale Schreibdruckdaten an die Datenverarbeitungseinheit 11 abgegeben. Die Datenverar- beitungseinheit 11 bestimmt die biometrischen Referenzdaten aus der Schallintensität des digitalen Zeitschallsignals mittels Merkmalsextraktion, aus dem berechneten Frequenzspektrum des Schallzeitsignals mittels Merkmalsextraktion sowie aus den beim Schreiben und Sprechen eines Wortes erzeugten optischen Bewegungsdaten und erzeugten Schreibdruckdaten. Vorzugsweise erfolgt anschließend eine Datenreduktion der statischen und dynamischen Schreibbewegungsdaten, der Schreibdruckdaten, der optischen Bewegungsdaten und der Schallsignaldaten mittels Clusterbildung . Aus den datenreduzierten Clusterdaten werden anschließend Merkmalsparameter extrahiert.
Fig. 2 zeigt eine bevorzugte Ausführungsform eines Schreibstiftes 2 des erfindungsgemäßen biometrischen Schreibsystems 1. Das in Fig. 2 dargestellte Schreibstiftgehause 3 ist beispielsweise ein gewöhnliches Kugelschreibergehäuse. In dem Schreibstiftgehause 3 befindet sich ein Schreibstift 2 mit integrierter Schreibstiftmine. Der Schreibstift 2 ist mechanisch mit einem Klangkörper 6 zur Übertragung von Körperschallsignalen verbunden. Die Aufnahme des Schreibgeräusches durch das Mikrofon 5 erfolgt über den Schreibstift 2 und den Klangkörper 6. Bei einer alternativen Ausführungsform kann der Schreibstift 2 selbst als Klangkörper dienen. Zusätzlich zu dem Schreibgeräusch kann das Mikrofon 5 ein von einer Person stammendes Sprechsignal akustisch erfassen, wenn die Luftschaltkammer 7 bzw. das akustische Fenster durch Öffnen einer Verschlusseinrichtung mit der Umgebung verbunden wird. Die Erfassung des Schreibgeräusches und des Sprechsignals kann gleichzeitig oder zeitlich hintereinander durch das Mikrofon 5 erfolgen. Bei der in Fig. 2 dargestellten bevorzugten Ausführungsform ist das Mikrofon 5 ein Elektrett-Mikrofon. Bei der in Fig. 2 dargestellten Ausführungsform ist zusätzlich in dem Schreibstiftgehause 3 ein Lautsprecher 32 vorgesehen. Der Lautsprecher 32 dient zur Wiedergabe erfasster Mikrofonsignale, und darüber hinaus kann der Lautsprecher 32 zur Wiedergabe gespeicherter biometrischer Referenzdaten und zur Wiedergabe gesprochener Informationen eingesetzt werden. Bei dem Laut¬ sprecher 32 handelt es sich vorzugsweise um einen miniaturisierten handelsüblichen Lautsprecher.
Beim Schreiben bzw. bei der Bewegung des Schreibstiftes 2 auf der Unterlage 4 entsteht ein akustisches Schreibsignal bzw. ein Schreibgerausch. Der Schreibstift 2 kann aus einer Kugelschreibermine, einer Tintenfeder oder einem Stab mit definierter Spitze bestehen. Die Unterlage 4 besteht beispielsweise aus Papier oder aus einer Auflage mit natürlicher und zusatzlich aufgeprägter Oberflachenrauhigkeit und Harte. Die Oberflachenrauhigkeit der Unterlage 4 fuhrt beim Schreiben des Schreibstiftes 2 zu statistisch angeregten, erzwungenen Schwingungen der Unterlage und des Schreibstiftes, d.h. es entstehen statistische Schreibkratz- und Schabgerausche . Daraus werden je nach Auslegung des Schreibgerates und der Unterlagen Luftschallwellen und/oder Korperschallwellen hervorgerufen und auf das Mikrofon 5 innerhalb des Schreibschriftgehau- ses 3 übertragen. Der Stift 2 mit dem Gehäuse 3 als Klangkörper sowie die Luftschallkammer 7 in dem Schreibstiftgehause 3 sind optimal nach den Gesetzmäßigkeiten der Akustik auslegbar werden. Der Klangkörper 6 und der Luftschallraum 7 werden vorzugsweise als Resonatoren mit bestimmten Frequenzen festgelegt. Dabei werden vorzugsweise Frequenzen verwendet, die beim Schreiben den größten dynamischen Bereich in der Amplitudenan- derung aufweisen.
Beim Schreiben des Schreibstiftes 2 gibt das Mikrofon 5 ein Schallzeitsignal ab, das deutlich über dem Rauschsignal liegt und dessen Schallintensität empfindlich von der Schreibgeschwindigkeit und zu einem sehr geringen Teil von der unterschiedlichen Rauhigkeit der Schreibunterlage und dem unterschiedlichen mittleren Auflagedruck der Schreibmine 2 abhängig ist. Die Schallintensität des aufgenommenen Schallzeitsignals nimmt mit der Schreibgeschwindigkeit zu. Bei gleicher Schreibgeschwindigkeit sind die Intensitätsunterschiede bei verschiedenen Schreibpapieroberflächen vernachlässigbar. Das Frequenzspektrum des aufgenommenen Schallzeitsignals besteht aus einem kontinuierlichen Rauschspektrum, das deutlich von charakteristischen Frequenzlinien überlagert ist. Die Frequenzlinien treten hauptsächlich bei Frequenzen unterhalb 2 kHz auf. Die Amplituden dieser Frequenzlinien nehmen bei gleicher Frequenzlage deutlich mit der Schreibgeschwindigkeit zu. Die Amplituden der Frequenzlinien nehmen in geringem Maße mit zunehmender Oberflächenrauhigkeit der Schreibunterlage 4 zu. Die Frequenzlagen bleiben dabei unverändert. Bei gleicher Schreibgeschwindigkeit sind die Amplituden nahezu unabhängig von der benutzten Schreibunterlage 4. Das luftschallgedämpfte Mikrofon 5 ist unempfindlich gegenüber Schallereignissen in der Umgebung. Wenn das Schreibstiftgehause 3 vollkommen geschlossen ist, hat die Luftschallkammer 7 keine Verbindung mit der Umgebungsluft. Bei geschlossener Luftkammer 7 haben Umgebungsgeräusche, insbesondere gesprochene Worte oder Motorengeräusche, beim Schreiben keinen Einfluss auf das aufgenommene Schallzeitsignal. In diesem Fall wird lediglich der über die Schreibmine erzeugte Körperschall durch das Mikrofon 5 aufgenommen.
Die biometrischen Merkmale der Schreibdynamik der Person werden aus der zeitlichen Änderung der akustischen Mikrofonsignale und/oder der Amplituden ausgewählter spektraler Linien er- 'mittelt. Da für die Generierung biometrischer Referenzdaten nur die Dynamik der aufgenommenen Schallsignale ausgewertet wird, ist der Einfluss unterschiedlicher Rauhigkeiten der Unterlage 4 und der Einfluss von Fertigungsstreuungen bei der Herstellung des Schreibgerätes vernachlässigbar. Streuungen in der Schreibdynamik sind daher personenbedingt bzw. personenspezifisch und können daher zur Identifikation und Verifikation der Person ausgewertet werden. Das durch das Mikrofon 5 a- kustisch erfasste Schallzeitsignal ist im Gegensatz zu Schreibdrucksignalen, die den Schreibminendruck in verschiedene Richtungen wiedergeben, unabhängig davon, wie der Schreibstift 2 auf der Unterlage 4 gehalten wird. Das durch das Mikrofon 5 erzeugte Schallsignal ändert sich nicht, wenn das Schreibstiftgehause 3 unterschiedlich um die Langsachse gedreht gehalten wird. Das in Fig. 2 dargestellte Schreibgerat kann hinsichtlich der Geometrie, dem Material, dem Schichtaufbau, der Dampfung und der akustischen Kopplung zwischen der Schallquelle und dem Mikrofon 5 derart dimensioniert werden, dass sich optimale, akustisch wenig störanfällige biometrische Merkmale für Authentifizierungsverfahren generieren lassen. In dem Schreibstiftgehause 3 ist ein akustisches Fenster bzw. eine Öffnung vorgesehen, die per Knopfdruck durch die Person für Sprachaufnahme geöffnet werden kann. Hierzu genügt eine relativ kleine Öffnung im Schreibstiftgehause 3, um den Luftschall beim Sprechen über das Mikrofon 5 mit aufzunehmen. Zur Erfassung des reinen akustischen Schreibsignals bzw. Schreibgerau- sches wird das Gehausefenster durch die Person geschlossen.
Fig. 3a zeigt eine weitere bevorzugte Ausfuhrungsform des er- findungsgemaßen biometrischen akustischen Schreibsystems 1. Bei der in Fig. 3a dargestellten, besonders bevorzugten Ausfuhrungsform sind in dem Schreibstiftgehause 3a neben dem Mikrofon 5 zur akustischen Erfassung von Schreibgehausen zusatzlich weitere Sensoreinrichtungen vorgesehen. Der m Fig. 3 dargestellte biometrische Schreibstift enthalt zus tzlich eine optische Sensoreinrichtung 33. Die optische Sensoreinrichtung 33 erfasst die Positionsdaten der handgefuhrten Schreibstiftbewegung über Bildsignale von der Oberflache der Schreibunterlage 4. Die optische Sensoreinrichtung 33 enthalt eine Abbildungsoptik zur Abbildung der Unterlagenoberflache und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal. Die Abbildungsoptik umfasst eine optische Linse 33a. Bei der Linsenoptik kann es sich um Glasfaserbündel oder um GRIN- Linsen handeln. Die Wandlereinrichtung 33c der optischen Sensoreinrichtung 33 ist beispielsweise eine CCD-Kamera mit integriertem Mikroprozessor. Alternativ kann ein Photodiodenarray eingesetzt werden. Vorzugsweise ist zusätzlich eine Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen. Bei einer alternativen Ausführungsform dient die Laserdiode zusätzlich zur Beleuchtung eines in dem Stift integrierten optischen Gitters.
Die optische Sensoreinrichtung 33 erfasst die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Unterlagenoberfläche. Bei einer alternativen Ausführungsform erfasst die optische Sensoreinrichtung die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Interferenzen des an dem Gitter und der Unterlagenoberfläche reflektierten Laserlichtes. Die Schreibstiftmine 2 gibt im ausgefahrenen Zustand auf die Unterlage 4 bei Durchführung der handgeführten Bewegungen eine Schreibflüssigkeit ab, die die Strukturierung der Unterlagenoberfläche erhöht. Hierdurch wird die optische Erfassung der ha'ndge- führten Bewegungen mittels der optischen Sensoreinrichtung 33 leichter, und über das Tintenschriftbild erhält eine Person ein Feedback, wodurch die natürliche Schreibweise erleichtert wird.
Die in Fig. 3a dargestellte erste bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems 1 enthält neben dem Mikrofon 5 zum Erfassen eines akustischen Schreibgeräusches und der optischen Sensoreinrichtung 33 zur Generierung von Positions- bzw. Bewegungsdaten zusätzlich auch eine Drucksensorik 34 zur Erfassung des Schreibdruckes. Die Druck- sensorik 34 besteht beispielsweise aus Dehnungsmessstreifen DMS oder kraftsensitiven Widerständen FSR sowie Piezosensoren 34a, 34b, 34c, 34d, die den statischen und dynamischen Druck des auf der Unterlage 4 aufgesetzten und handgeführten Schreibstiftes 2 sensorisch erfassen. Die durch das Mikrofon 5 abgegebenen Schallsignaldaten, die von der optischen Sensoreinrichtung 33 abgegebenen Bewegungsdaten und die erfassten mehrdimensionalen Schreibdruckdaten werden einer integrierten Datenverarbeitungseinheit 11a, 11b innerhalb des Schreibstiftgehäuses 3 zugeführt und zu biometrischen Daten verarbeitet. Die ermittelten biometrischen Daten werden vorzugsweise in einem Datenspeicher 12 innerhalb des Schreibstiftgehäuses 3 zwischengespeichert. Die aktuellen ermittelten biometrischen Daten werden anschließend vorzugsweise durch eine Verschlüsselungseinheit 17 verschlüsselt und über eine Datenübertragungsstrecke 18 an einen entfernt gelegenen Rechner 20 übertragen.
Bei der in Fig. 3a dargestellten Ausführungsform kann durch Verschieben einer Schalldämmung 8b innerhalb des Schreibstiftgehäuses 3 das akustische Fenster 7 zwischen Stimmen- und Schreibgeräuschaufnahme umgeschaltet werden. In einer lauten Umgebung kann beispielsweise durch Schließen des akustischen Fensters 7 das störende Außengeräusch unterdrückt werden. Zur Erhöhung der Erkennungssicherheit kann die Person das akustische Fenster öffnen und beispielsweise ein geschriebenes Passwort gleichzeitig oder zeitlich versetzt zusätzlich sprechen.
Die Figur 3b zeigte eine zweite bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems 1. Die Datenverarbeitungseinheit 11 wird durch einen Akkumulator 37 mit Strom versorgt. Am oberen Ende der Schreibstiftmine 2 ist eine Drucksensoreinrichtung 34b vorgesehen. Weiterhin ist eine Feder 38 vorgesehen. Bei dem Drucksensor 34b handelt es sich vorzugsweise um einen Piezodrucksensor . Figur 3c zeigt eine dritte bevorzugte Ausführungsform des erfindungsgemäßen Schreibsystems 1. Das Schreibsystem 1 ist rotationssymmetrisch und besteht aus einer Schreibstiftmine 2, einem Mikrofon 5 mit Halterung, einer Schalldämmung 8 sowie einem Piezodrucksensor 3 .
Die Figur 3d zeigt eine vierte bevorzugte Ausführungsform des erfindungsgemäßen Schreibsystems 1. An dem Schreibstiftgehause 3 ist ein Fingerprintsensor 39 vorgesehen. Der Fingerprintsensor 39 erfasst biometrische Daten der schreibenden Person über Körpermerkmale. Bei dem Fingerprintsensor handelt es sich vorzugsweise um einen kapazitiven Fingerprintsensor. In dem Schreibstiftgehause 3 wird durch eine Federstahlhalterung 42 der Schreibstift 2 gelagert. Der Schreibstift 2 weist zwei Mikrofone 5a, 5b auf. Innerhalb eines in dem Schreibstiftgehause 3 vorgesehenen Körpers 49 ist ein dünneres Mikrofon 5a vorgesehen, das sich in der Nähe einer Seite 41 befindet. Die Seite 41 dient als akustischer Oszillator und ist mit der Schreibstiftmine 2 verbunden. Ein äußeres Mikrofon 5b dient zur Aufnahme des Umgebungsschalles. Das Schreibsystem 1 in der in Figur 3d dargestellten Ausführungsform weist ferner einen Neigungssensor 40 auf. Der Neigungssensor 40 erfasst beim Schreiben die Neigung des Schreibstiftes 2. Hiermit wird die motorische Bewegung der stiftführenden Finger erfasst. Die Datenverarbeitungseinheit 11 wird durch einen Akkumulator 37 mit Strom versorgt. Am oberen Ende des Schreibstiftes 2 befindet sich ferner ein Drucksensor 34d. Weitere Drucksensoren 34a, 34b, 34c sind an der Federstahlhalterung 42 vorgesehen. Die Federstahlhalterung 42 dient als Schreibstiftminenhalter und als Verformer der DMS-Streifen 34a, 34b, 34c, die vorzugsweise auf der Federstahlhalterung 42 angebracht sind.
Figur 3e zeigt eine fünfte bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems 1. Das Schreibsystem 1 weist eine optische Sensoreinrichtung 48 auf, die gleichzeitig in drei Raumrichtungen den statischen und dynamischen Druck und die Schwingung des auf der Unterlage 4 aufgesetzten handgeführten Schreibstiftes 2 erfasst. Diese optische Sensoreinrichtung 48 enthält Photodetektoren zur Erfassung der Bewegung einer Diodenlichtquelle 44. Die Diodenlichtquelle 44 ist mit dem Schreibstift 2 fest verbunden. Die Diodenlichtquelle 44 führt die Auslenkung und Schwingung des Schreibstiftes 2 durch, wobei die von der Diodenlichtquelle 44 abgegebenen Lichtstrahlen als Lichtquellensignal an die Photodetektoren der optischen Sensoreinrichtung 40 abgegeben werden. Die von der Diodenlichtquelle 44 abgegebenen Lichtstrahlen gelangen zum einem Strahlentei er 47 und von dort zu einer Linse 46. Die Linse 46 weist vorzugsweise eine teilverspiegelte Unterseite auf. Die optische Sensoreinrichtung 40 enthält ferner einen Vierquadrantenphotodetektor 50 sowie einen einfachen Photodetektor 45. Der Vierquadrantenphotodetektor 50 ist hinter der Linse 46 angebracht. Der Vierquadrantenphotodetektor 50 erfasst die Auslenkung und die Schwingung der Lichtquelle 44 in zueinander orthogonalen X-, Y-Richtungen. Der einfache Photodetektor 45 erfasst die Auslenkung und Schwingung der Lichtquelle 44 in der zu der X-, Y-senkrechten Richtung z. Aus den Signalen des Vierquadrantenphotodetektors 50 und des einfachen Photodetektors 45 sind in drei Raumrichtungen über die Auslenkung die Dynamik des Schreibdruckes und über die Schwingung der Dynamik der Schreibgeschwindigkeit bestimmbar. Die Signale der Photodetektoren 45, 50 werden der Datenverarbeitungseinheit 11 zugeführt und dort ausgewertet. Bei der in Figur 3e dargestellten Ausführungsform wird der Schreibstift 2 durch eine Schreibminenhalterung 43 gelagert. Ferner ist eine Feder 38 vorgesehen. Die Abbildung der optischen Sensoreinrichtung 40 besteht aus dem Strahlenteiler 47, der optisch teilverspiegelten Linse 46 und einer Blende.
Die in den Fig. 1 bis 3 dargestellten biometrischen akustischen Schreibsysteme 1 sind vielseitig einsetzbar. Das biomet- rische Schreibsystem 1 kann als Computereingabeeinrichtung eingesetzt werden. Darüber hinaus eignet sich das biometrische Schreibsystem 1 als Spracheingabeeinrichtung, insbesondere als Diktiergerät.
Eine weitere Anwendungsmöglichkeit besteht in der Identifizierung und Verifizierung einer schreibenden Person durch Vergleich aktuell gewonnener biometrischer Daten mit abgespei¬ cherten biometrischen Referenzdaten von Personen. Bei der Verifikation einer Person wird dabei geprüft, ob beispielsweise die gegebene Unterschrift tatsächlich von der richtigen Person stammt. Hierzu werden die aktuell generierten biometrischen Daten mit gespeicherten Referenzdaten dieser Person verglichen. Voraussetzung hierfür ist, dass zunächst die personenspezifischen biometrischen Referenzdaten dieser Person generiert werden. Hierfür werden zunächst handgeführte Schreibbe¬ wegungen, die von dieser Person unter Aufsicht ausgeführt werden, akustisch erfasst. Die ausführende Person unterschreibt beispielsweise unter Aufsicht mit ihrer Unterschrift, und das Mikrofon 5 innerhalb des Schreibgerätes erfasst die dabei auftretenden Schallsignale des Schreibgeräusches. Die aufgenommenen Schreibgeräusche werden als Schallsignaldaten an die Datenverarbeitungseinheit 11 abgegeben. Die Schallsignaldaten werden in einem Speicher 12 als digitale Schallzeitsignale zwischengespeichert. Anschließend erfolgt durch die Datenverarbeitungseinheit 11 eine Berechnung des zugehörigen Frequenzspektrums, beispielsweise mittels Fourier-Transformation. Aus dem abgespeicherten digitalen Schaltzeitsignal werden mittels Merkmalsextraktion erste biometrische Referenzdaten bestimmt. Aus dem berechneten und abgespeicherten Frequenzspektrum des Schaltzeitsignals werden ebenfalls mittels Merkmalsextraktion zweite biometrische Referenzdaten bestimmt. Diese Verfahrensschritte können vorzugsweise auch mehrfach durchgeführt werden, und die jeweils bestimmten biometrischen Referenzdaten werden statistisch ausgewertet. Die ausgewerteten Daten werden anschließend als personenspezifische Referenzdaten verschlüsselt und abgespeichert. Die generierten biometrischen Referenzdaten können anschließend zur Personenverifikation und Personenidentifikation bei einer Vielzahl von Anwendungen eingesetzt werden. Die generierten personenspezifischen Referenzdaten werden beispielsweise in einem Mikrochip eines Personalausweises, in einem Mikrochip einer Kreditkarte, in einer Berechtigungsmagnetkarte oder in einer beliebigen Speichereinheit eines Computers abgelegt. Bei der Generierung der biometrischen Referenzdaten wird vorzugsweise zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt. Beispielsweise kann die betreffende Person bei einer Bank oder einer Behörde unter Aufsicht eine Unterschrift leisten und gleichzeitig oder anschließend ihren eigenen Namen sprechen. Zur weiteren Erhöhung der Sicherheit können zusätzlich auch die bei der Unterschriftsleistung auftretenden Schreibkräfte mittels der Druck- sensorik erfasst und ausgewertet werden. Eine weitere Erhöhung der Sicherheit ergibt sich durch zusätzliche optische Erfassung der handgeführten Schreibbewegung, d.h. eine optische Erfassung der Positionsdaten der geleisteten Unterschrift. Der in den Fig. 3a-3e dargestellte Schreibstift erfasst sensorisch eine Vielzahl personenspezifischer Merkmale, insbesondere das Schriftbild der geleisteten Unterschrift, den beim Schreiben der Unterschrift auftretenden statischen und dynamischen Schreibdruck, das beim Schreiben der Unterschrift erzeugte Schreibgeräusch sowie zusätzlich das von der schreibenden Person gesprochene Wort, beispielsweise deren Name oder ein Passwort. Alle diese Daten werden zu biometrischen Referenzdaten verarbeitet und abgelegt.. Dabei ist die Erkennungssicherheit und die Verfälschungssicherheit sehr hoch, da unterschiedlichste personenspezifische Merkmale sensorisch erfasst und ausgewertet werden. Zur Verifikation einer Person werden die durch das Schreibsystem generierten aktuellen biometrischen Daten mit den zuvor generierten und abgespeicherten biometri- sehen Referenzdaten der Person verglichen, um festzustellen, ob die aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten der Person weitgehend übereinstimmen. Bei einer hundertprozentigen Übereinstimmung handelt es sich allerdings vermutlich um eine Raubkopie der abgespeicherten Referenzdaten, und das biometrische Schreibsystem 1 gemäß der Erfindung gibt ein entsprechendes Warnsignal ab.
Bei der Personenidentifikation werden die aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten einer Vielzahl von Personen verglichen und diejenige Person selektiert, deren biometrische Referenzdaten mit den aktuellen biometrischen Daten am besten übereinstimmen.
Neben der Personenverifikation und Personenidentifikation kann das erfindungsgemaße biometrische Schreibsystem zusatzlich auch zur Handschriftenerkennung und/oder Handskizzenerkennung eingesetzt werden. Fig. 4 zeigt schematisch die Schritte zur Handschriftenerkennung. Die beim Schreiben des Schreibstiftes 2 auf der Unterlage 3 beim Schreiben oder Skizzieren eines Zeichens, eines Wortes oder einer Wortfolge auftretenden Schreibgerausche werden durch das Mikrofon 5 akustisch erfasst und in entsprechende Schallsignaldaten umgewandelt. Nach einer akustischen Signalverarbeitung erfolgt eine Codierung. Die erzeugten Schallsignaldaten werden als digitales Schallzeitsignal zwischengespeichert, und anschließend wird das zugehörige Frequenzspektrum aus den Schallsignaldaten mittels Fourier- Transformation berechnet.
In einem weiteren Schritt werden erste aktuelle akustische Daten aus der Schallintensität des digitalen Schallzeitsignals mittels Merkmalsextraktion zur Datenreduktion bestimmt. Aus dem berechneten Frequenzspektrum des Schallzeitsignals werden ebenfalls mittels Merkmalsextraktion aktuelle zweite akustische Daten bestimmt. Auch dieser Schritt dient vor allem der Datenreduktion. Aus den akustischen Daten werden schließlich eine Folge von Merkmalsvektoren berechnet, und diese berechneten Merkmalsvektoren werden mit gespeicherten personenspezifischen Referenzmerkmalsvektoren in einem Mustervergleich verglichen. Es wird daraufhin eine Folge von Referenzmerkmalsvektoren, die von den jeweiligen Merkmalvektoren die geringste Abweichung aufweisen, selektiert. Aus der Folge selektierter Referenzmerkmalsvektoren werden mittels statistischer, konnek- tionistischer und wissensbasierter Verfahren das geschriebene Zeichen, das geschriebene Wort oder die geschriebene Wortfolge ermittelt .
Bei den statistischen Verfahren handelt es sich beispielweise um Hidden-Markow-Modelle zur Erkennung eines größeren Vokabulars. Bei den konnektionistischen Verfahren werden vor allem neuronale Netzwerkmodelle zur Erkennung eines begrenzten Vokabulars eingesetzt. Bei den wissensbasierten Verfahren handelt es sich beispielsweise um Fuzzy-Logic-Modelle . Die Referenzmerkmalsvektoren werden bei der Stellung des Schreibsystems systemspezifisch und vor dem Einsatz des Systems personenspezifisch durch wiederholtes handschriftliches Schreiben eines Trainingstextes erzeugt und abgespeichert. Über längere Einsatzzeiten werden die Referenzmerkmalsvektoren der Person adaptiv und automatisch über neu geschriebene Zeichen und Worter aktualisiert. Alle Verfahren basieren auf akustischen Modellen von Zeichen, Buchstaben, Silben und Wortern des Vokabulars einer Sprache in Lautschrift. Die Lautschrift des Vokabulars einer Sprache wird durch Lautelemente, d.h. kurze, lautliche Einheiten (Allophone) des Schreibgerausches gebildet. Jedes Wort des Vokabulars wird als Folge von Allophonen gespeichert. Die akustischen Modelle ermitteln aus dem Vokabular in Lautschrift mehrere Wortkandidaten, die mit der größten Wahrscheinlichkeit zu der akustischen Symbolfolge gehören. Die Wahrscheinlichkeit für jedes Wort wird dabei über die HMM (Hidden-Markow-Modelle) oder die Neuro-Fuzzy-Systeme bestimmt. Der wahrscheinlichste Wortkandidat wird über eine Schwellenwertentscheidung oder über ein Wortfolgestatistikmodell bzw. Sprachmodell bestimmt. Das ermittelte Zeichen wird anschließend beispielsweise als formatierter Text oder als handschriftlicher Text ausgegeben. Zur Erhöhung der Erkennungssicherheit wird vorzugsweise zusätzlich das geschriebene Zeichen oder Wort durch die Person ausgesprochen und durch das Mikrofon akustisch erfasst. Daneben werden die Positionsdaten der handgeführten Schreibbewegung optisch erfasst. Eine weitere Erhöhung der Sicherheit wird erreicht durch Erfassung der beim Schreiben des Wortes auftretenden Schreibdruckdaten.
Die durch das erfindungsgemäße Schreibsystem 1 generierten personenspezifischen Referenzdaten können zur Ermittlung psychologischer und oder physiologischer Merkmale der Person ausgewertet werden. Insbesondere kann mittels des erfindungsgemäßen biometrischen Schreibsystems 1 das Auftreten neuromotorischer Bewegungsstörungen einer Person erkannt werden. Das erfindungsgemäße biometrische Schreibsystem eignet sich somit zur Diagnose psychologischer und/oder physiologischer Merkmale sowie zur Diagnose neuromotorischer Bewegungsstörungen der Person.
Fig. 5 zeigt eine besonders bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystem 1 mit einem optoa- kustischen Feedback für die schreibende Person. Von dem Schreibstift 3 werden die gewonnenen biometrischen Daten an einen lokalen Rechner 20 übertragen, der über Leitungen 35a, 35b der schreibenden Person über einen Bildschirm 36a und einen Lautsprecher 36b ein optoakustisches Feedback gibt. In dieser Konfiguration eignet sich das erfindungsgemäße biometrische Schreibsystem 1 als System zur Therapie von Bewegungsstörungen der Person. Aufgrund des optoakustischen Feedbacks kann die Person, die möglicherweise eine neuromotorische Bewegungsstörung aufweist, wieder schreiben lernen. Ein weiteres interessantes Anwendungsgebiet besteht in dem Einsatz des biometrischen Schreibsystems 1, wie es in Fig. 5 dargestellt ist, als Schulungssystem zum Erlernen von Schreiben. Insbesondere eignet sich das erfindungsgemäße biometrische Schreibsystem 1 als Schulungssystem zum Erlernen einer Sprache, insbesondere einer Fremdsprache. Die lernende Person kann beispielsweise ein Wort auf der Unterlage 4 schreiben, und der in dem Schreibstiftgehause 3 integrierte Lautsprecher gibt das Wort in der korrekten Aussprache der Fremdsprache wieder. Durch ein Lernprogramm für Schüler oder Menschen mit Koordinationsschwierigkeiten, beispielsweise Schlaganfallpatienten, können vorgegebene Zahlen oder Zeichen, die auf der Unterlage 4 angebracht sind, durch die Person mit dem Schreibstift nachgezeichnet werden. Beispielsweise kann ein Schüler eine vorgegebene Zahl oder ein Zeichen auf der Unterlage 4 nachzeichnen und erhält ein optoakustisches Feedback. Für Menschen mit Koordinationsschwierigkeiten ist mittels der Schreibdruckfassung eine Dokumentation ihres Lernfortschritts möglich. Für Kinder ist es mittels des erfindungsgemäßen biometrischen Schreibsystems 1, wie es in Fig. 5 dargestellt ist, möglich, in einfacher Weise das Schreiben des Alphabets zu erlernen. Darüber hinaus sind Fertigungsübungen, Bewusstma- chungsübungen und Imitationsübungen möglich.
Fig. 6 zeigt das Verhalten des erfindungsgemäßen Schreibsystems 1 beim Schreiben auf unterschiedlichen Unterlagen 4. Die Fig. 6a, 6b zeigen das aufgenommene Zeitschallsignal bei unterschiedlichen Schreibgeschwindigkeiten auf einer Kartonoberfläche und auf einem Schreibpapierblock. Dabei wird in dem dargestellten Beispiel ein Strich mit wachsender Geschwindigkeit auf dem Karton und dem Schreibpapierblock gezogen. Die Fig. 6c, 6d zeigen die zugehörigen Frequenzspektren. Die Fig. 7 zeigt ein Zeitschallsignal, das beim dreifachen Schreiben des Buchstabens "a" bei dem Schreiben des Schreibstiftes auf einem Schreibblock mittels des erfindungsgemäßen biometrischen Schreibsystems 1 generiert wird. Wie man Fig. 7 entnehmen kann, ist das Schallzeitsignal sehr gut wiederholbar bzw. reproduzierbar, so dass der Buchstabe "a" spezifisch erkannt werden kann.
Fig. 8 zeigt ebenfalls ein Zeitschallsignal, das beim dreifachen Schreiben eines Buchstabens "b" erzeugt wird. Auch der Buchstabe "b" weist einen charakteristischen Schallzeitsignalverlauf auf.
Die Fig. 9a zeigt Amplitudenfrequenzsignale im Zeitverlauf für den Buchstaben "a", und die Fig. 9b zeigt Amplitudenfrequenzsignale zum Schreiben des Buchstabens "b" im Zeitverlauf.
Die Fig. 10a, 10b zeigen prinzipiell, wie die Amplitudenfre- quenzlinien sich im Zeitverlauf dynamisch beim Schreiben eines Buchstabens, beispielsweise eines Buchstabens "a" verändern. Zum Zeitpunkt tO setzt die schreibende Person den Stift auf (Anfangspunkt AP) und führt die Schreibbewegung durch. Das zum Zeitpunkt tO bestehende Spektrum ändert sich dynamisch im Zeitverlauf. Fig. 10b zeigt die Änderung des Spektrums zum Zeitpunkt tO zum Zeitpunkt tl.
Die Fig. 11 zeigen das dynamische Verhalten einiger Frequenzlinien beim Schreiben eines Buchstabens "a". Bei dem dargestellten Beispiel ergibt sich die beste Wiedergabe des Buchstabens "a" bei der Frequenzlinie f = 86,133 Hertz.
Die Fig. 12 zeigen das dynamische Verhalten einiger Frequenzlinien beim Schreiben eines Buchstabens "b" . Die beste Wiedergabe des Buchstabens "b" liefert die Frequenzlinie f = 86, 133 Hertz. Das erfindungsgemäße akustische Schreibsystem 1 kann derart ausgelegt werden, dass es die Frequenzlinien die handschriftlichen Zeichen in einem möglichst großen dynamischen Bereich mit großen Amplitudenwerten erfasst.
Das erfindungsgemäß biometrische akustische Schreibsystem 1 weist eine Vielzahl von Anwendungsmöglichkeiten auf. Es kann einerseits als biometrisches Authentifizierungssystem zur Personenidentifikation und -Verifikation eingesetzt werden. Das erfindungsgemäße Schreibsystem 1 eignet sich als Computereingabeeinrichtung als Ersatz für eine Computermaus oder Tastaturbefehle, insbesondere zur Passworteingabe. Ferner kann das erfindungsgemäße biometrische Schreibsystem 1 zur elektronischen Sprach- und Handschriftenerkennung eingesetzt werden. Ein weiteres umfassendes Anwendungsgebiet besteht auf dem Gebiet der biometrischen Diagnose und Therapie. Schließlich kann das erfindungsgemäße biometrische Schreibsystem 1 zu Schulungszwecken, beispielsweise zum Erlernen von Schreiben, Fremdsprachen oder zum Beheben von Koordinationsschwierigkeiten eingesetzt werden. Wichtige Einsatzgebiete des erfindungsgemäßen Schreibsystems ergeben sich im Bereich des E-Commerce, insbesondere im Internet, wie beispielsweise bei Banken, Handel und im Kreditkartenwesen. Das erfindungsgemäße biometrische Schreibsystem 1 kann ferner als biometrisches System zur Personenzugangs- und Sicherheitskontrolle in allen Sicherheitsbereichen mit hoher Verfälschungssicherheit und geringen Fehlerraten eingesetzt werden. Weitere Einsatzmöglichkeiten bestehen im forensischen Einsatz in der Kriminalistik, beim Grenzschutz oder der Polizei. Darüber hinaus kann das erfindungsgemäße biometrische Schreibsystem 1 zur Kommunikation zwischen Mensch und Maschine eingesetzt werden, insbesondere als Diktiergerät, oder zur verbalen und handgeschriebenen Maschinensteuerung. Das multifunktionale biometrische Schreibsystem 1 eignet sich auch als Eingabeeinheit eines zukünftigen virtuellen Schreibtisches, bei dem beispielsweise über den Schreibstift das Tablet eines PC's durch das normale Schreibpapier als Eingabemedium mit den erfindungsgemäßen Eingabemöglichkeiten ergänzt oder ersetzt wird.
Das erfindungsgemäße biometrische Schreibsystem 1, wie es in Fig. 1 bis 3 dargestellt ist, kann mit relativ geringem technischen Aufwand kostengünstig hergestellt werden, so dass sich weite Einsatzgebiet erschließen.
Bezugszeichenliste
1 biometrisches akustisches Schreibsystem
2 Schreibstift
3 Schreibstiftgehause
4 Unterlage 5a, 5b Mikrofone
6 Klangkörper
7 Luftschallkammer 8, 8a, 8b Schalldämmung
9 Verschlusseinrichtung
10 Signalleitung
11 Datenverarbeitungseinheit
12 Speichereinheit
13 Leitungen
14 optische Sensoreinrichtung
15 Signalleitungen
16 Signalleitungen
17 Verschlüsselungseinheit
18 Datenübertragungsstrecke
19 Datenverarbeitungseinheit 0 lokaler Rechner 1 Speicher 2 Anzeigeeinrichtung 3 Leitung 4 Leitung 5 Leitung 6 Leseeinheit 7 Steuerleitung 8 Aktor 9 Leitung 0 Datennetzwerk 1 Datenbank 2 Lautsprecher 3 zweite optische Sensoreinrichtung Drucksensoreinrichtung Leitung akustische Feedback-Einrichtungen Akku Feder Fingerprintsensor Neigungssensor Saite Federstahlhalterung Schreibminenhalterung LED Photodetektor Linse Strahltreiber erste optische Sensoreinrichtung Körper Vierquadrantenphotodetektor

Claims

Patentansprüche
1. Biometrisches, akustisches Schreibsystem (1) mit:
(a) einem Schreibstiftgehause (31) zur Durchführung handgeführter Bewegungen auf einer Unterlage (4);
(b) mindestens einem in dem Schreibstiftgehause (3) integrierten Mikrofon (5) zur akustischen Erfassung von Schallsignalen, die durch die handgeführten Bewegungen hervorgerufen werden;
(c) und einer Datenverarbeitungseinheit (11) zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten SchallSignalen.
2. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11) zur Rekonstruktion handgeschriebener Zeichen und Texte aus den erfassten Schallsignalen vorgesehen ist.
3. Biometrisches, akustisches Schreibsysteme nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) ein Schreibstift (2) vorgesehen ist, der auf der Unterlage (4) aufgesetzt und auf der Unterlage (4) geführt wird.
4. Biometrisches Schreibsystem nach Anspruch 3, d a d u r c h g e k e n n z e i c h n e t , dass als Schreibstift (2) eine auswechselbare Ξchreibstiftmine mit Tintenfüllung vorgesehen ist.
5. Biometrisches, akustisches Schreibsystem nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t , dass durch die Reibung des Schreibstiftes (2) auf der Unterlage (4) während der handgeführten Schreibbewegung ein akustisches Schreibgeräusch hervorgerufen wird, das als Körperschallsignal über den Schreibstift (2) und als Luftschallsignal über die Umgebungsluft an das Mikrofon (5) übertragen wird.
6. Biometrisches, akustisches Schreibsystem nach Anspruch 5, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) zur Übertragung des Körperschallsignals mechanisch mit dem Schreibstift gekoppelt ist.
7. Biometrisches, akustisches Schreibsystem nach Anspruch 5, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift (2) verbundenen Klangkörper (6) gekoppelt ist.
8. Biometrisches, akustisches Schreibsystem nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t , dass der Klangkörper (6) als ein Resonator für bestimmte Eigenfrequenzen ausgelegt ist.
9. Biometrisches, akustisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) in einer in dem Schreibstiftgehause (3) vorgesehenen Luftschallkammer (7) angeordnet ist.
10. Biometrisches, akustisches Schreibsystem nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t , dass die Luftschallkammer (7) als ein Resonator für bestimmte Eigenfrequenzen ausgelegt ist.
11. Biometrisches, akustisches Schreibsystem nach Anspruch 10, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) und der Resonator von einer Schalldämmung (8) umgeben ist, die zur Dämpfung von Umgebungsgeräuschen vorgesehen ist und Schallsignale nur über die Schreibmine durchlässt .
12. Biometrisches, akustisches Schreibsystem nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t , dass die Luftschallkammer (7) über eine in dem Schreibstiftgehause (3) vorhandene Gehäuseöffnung mit der Umgebungsluft koppelbar ist.
13. Biometrisches, akustisches Schreibsystem nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t , dass die Gehäuseöffnung mittels einer mechanischen Verschlusseinrichtung (9) zur Unterdrückung von Außengeräuschen schließbar ist.
14. Biometrisches, akustisches Schreibsystem nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) bei geöffneter Gehäuseöffnung das durch die handgeführte Schreibbewegung hervorgerufene interne und externe Schreibgeräusch als Körper- und Luftschallsignal und/oder ein von einer Person stammendes Sprechsignal akustisch erfasst.
15. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) die erfassten akustischen Schallsignale in ein elektrisches Schallsignal umwandelt.
16. Biometrisches, akustisches Schreibsystem nach Anspruch 15, d a d u r c h g e k e n n z e i c h n e t , dass das elektrische Schallsignal durch einen Analog/Digital- Wandler in Schallsignaldaten zur digitalen Datenverarbeitung durch die Datenverarbeitungseinheit (11) umgewandelt werden.
17. Biometrisches, akustisches Schreibsystem nach Anspruch 14, d a d u r c h g e k e n n z e i c h n e t , dass das Schreibgeräusch und das Sprechsignal gleichzeitig o- der zeitlich hintereinander durch das Mikrofon (5) erfasst werden.
18. Biometrisches, akustisches Schreibsystem nach Anspruch 14, d a d u r c h g e k e n n z e i c h n e t , dass die Schallsignaldaten in einer Speichereinheit (12) abspeicherbar sind.
19. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Schreibunterlage (4) aus beliebigem Papier besteht.
20. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Schreibunterlage (4) eine feste Unterlage ist, die eine bestimmte aufgeprägte Oberflächenrauhigkeit und Härte aufweist .
21. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) ein Lautsprecher (32) zur Wiedergabe erfasster Mikrofonsignale, zur Wiedergabe gespeicherter biometrischer Referenzdaten und zur Wiedergabe gesprochener Informationen vorgesehen ist.
22. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) ein Mikrofon (5) zur Erfassung äußerer akustischer Signale wie Schreibgerausche der Schreibunterlage als Klangkörper und gesprochener Informationen vorgesehen ist.
23. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass zusatzlich eine Druck-Sensoreinrichtung vorgesehen ist, die in mindestens einer Raumrichtung den statischen und dynamischen Schreibdruck des auf der Unterlage aufgesetzten und handgefuhrten Schreibstiftes erfasst.
24. Biometrisches, akustisches Schreibsystem nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t , dass eine zusatzliche Schwingungs-Sensoreinrichtung vorgesehen ist, die Schwingungen und damit Änderungen der Schreibgeschwindigkeit des auf der Unterlage (4) aufgesetzten und handgeführten Schreibstiftes erfasst.
25. Biometrisches, akustisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass zusatzlich ein Neigungssensor (40) vorgesehen ist, der beim Schreiben die Neigung des Schreibstiftes (2) und damit die motorische Bewegung der stiftfuhrenden Finger erfasst.
26. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass zusatzlich eine erste optische Sensoreinrichtung (48) vorgesehen ist, die gleichzeitig in drei Raumrichtungen den statischen und dynamischen Druck und die Schwingung des auf der Unterlage (4) aufgesetzten und handgefuhrten Schreibstiftes (2) erfasst.
27. Biometrisches, akustisches Schreibsystem nach Anspruch 26, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich eine zweite optische Sensoreinrichtung (33) vorgesehen ist, die Positionsdaten der handgeführten Schreib- stiftbewegung über Bildsignale von der Oberfläche der Unterlage (4) erfasst.
28. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass an dem Schreibstiftgehause (3) ein kapazitiver Fin- gerprint-Sensor (39) vorgesehen ist.
29. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass Mikrofon (5) ein Elektret-Mikrofon, ein piezoelektrisches Mikrofon, ein piezoresistives Mikrofon oder ein kapazitives Mikrofon ist.
30. Biometrisches akustisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die erste optische Sensoreinrichtung (48) Photodetektoren zur Erfassung der Bewegung einer ersten Diodenlichtquelle (44) und zur Umwandlung des Lichtquellensignals in ein elektrisches Signal aufweist.
31. Biometrisches akustisches Schreibsystem nach Anspruch 30, d a d u r c h g e k e n n z e i c h n e t , dass die erste optische Sensoreinrichtung (40) eine erste Abbildungsoptik aufweist, die aus einem Strahlenteiler (47), einer optischen teilverspiegelten Linse (46) und einer Blende besteht .
32. Biometrisches Schreibsystem nach Anspruch 30, d a d u r c h g e k e n n z e i c h n e t , dass die erste optische Sensoreinrichtung (40) einen Vierquadrantenphotodetektor (50) und einen einfachen Photodetektor (45) aufweist.
33. Biometrisches Schreibsystem nach Anspruch 32, d a d u r c h g e k e n n z e i c h n e t , dass der Vierquadrantenphotodetektor (50) die Auslenkung und Schwingung der Lichtquelle (44) in zueinander orthogonalen x, y-Richtungen erfasst.
34. Biometrisches Schreibsystem nach Anspruch 32, d a d u r c h g e k e n n z e i c h n e t , dass der einfache Photodetektor (45) die Auslenkung und Schwingung der Lichtquelle (44) in der zu x,y senkrechten Richtung z erfasst.
35. Biometrisches Schreibsystem nach Anspruch 30, d a d u r c h g e k e n n z e i c h n e t , dass die erste Diodenlichtquelle (44) fest verbunden mit dem Schreibstift (2) ist und dessen Auslenkung und Schwingung durchführt, wobei die von der Diodenlichtquelle (44) abgegebenen Lichtstrahlen als Lichtquellensignale an die Photodetektoren abgegeben werden.
36. Biometrisches Schreibsystem nach Anspruch 32, d a d u r c h g e k e n n z e i c h n e t , dass aus den Signalen des Vierquadrantenphotodetektor (50) und des einfachen Photodetektors (45) in drei Raumrichtungen über die Auslenkung die Dynamik des Schreibdruckes und über die Schwingung die Dynamik der Schreibgeschwindigkeit bestimmbar ist .
37. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die zweite optische Sensoreinrichtung (33) eine zweite Abbildungsoptik zur Abbildung der Unterlagenoberfläche und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal aufweist.
38. Biometrisches Schreibsystem nach Anspruch 37, d a d u r c h g e k e n n z e i c h n e t , dass die zweite Abbildungsoptik aus optischen Linsen und/oder Glasfasern besteht.
39. Biometrisches Schreibsystem nach Anspruch 37, d a d u r c h g e k e n n z e i c h n e t , dass die Wandlereinrichtung ein Mini-CCD-Kamera oder ein Pho- todioden-Array ist.
40. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass eine zweite Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen ist.
41. Biometrisches Schreibsystem nach Anspruch 40, d a d u r c h g e k e n n z e i c h n e t , dass eine Laserdiode zur Beleuchtung der Unterlagenoberfläche und eines im Stift integrierten optischen Gitters vorgesehen ist .
42. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die zweite optische Sensoreinrichtung (33) die mit dem Schreibstift durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Unterlagenoberfläche erfasst.
43. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die zweite optische Sensoreinrichtung (44) die mit dem Schreibstift (2) durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Interferenzen des an dem Gitter und der Unterlagenoberflache reflektierten Laserlichtes erfasst.
44. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die Schreibstiftmine (2) in einem ausgefahrenen Zustand auf die Unterlage bei Durchfuhrung der handgeführten Bewegungen eine Schreibtlussigkeit abgibt, die über das Tintenschriftbild auf der Unterlage die optische Strukturierung der Unterlagenoberflache erhöht, so dass die optische Erfassung der handgefuhrten Bewegungen mittels der zweiten optischen Sensoreinrichtung (33) erleichtert und eine natürliche Schreibweise hervorgerufen wird.
45. Biometrisches Schreibsystem nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t , dass die Drucksensoreinrichtung (34) elektromechanische Drucksensoren aufweist , die piezoelektrische, piezoresistive Sensoren, kraftsensitive Widerstände und magnetische Sensoren umfassen.
46. Biometrisches Schreibsystem nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t , dass ein Neigungssensor (40) vorgesehen ist, der aus einer miniaturisierten Wasserwaage mit elektrischem Abgriff der Winkeländerung besteht.
47. Biometrisches Schreibsystem nach Anspruch 3 und Anspruch 4, d a d u r c h g e k e n n z e i c h n e t , dass der Schreibstift (2) zylinderformig ist, und in dem
Schreibstiftgehause (3) gelagert ist.
48. Biometrisches Schreibsystem nach Anspruch 47, d a d u r c h g e k e n n z e i c h n e t , am oberen Ende des Schreibstiftes (2) ein Drucksensor zur Erfassung der in Längsrichtung des Schreibstiftes (2) auftretenden Kräfte und Schwingungen vorgesehen ist, wobei an einer Um- fangsfläche des Schreibstiftes (2) mindestens zwei weitere Drucksensoren vorgesehen sind zur Erfassung derjenigen Kräfte, die in den zu der Längsrichtung orthogonal verlaufenden Raumrichtungen auftreten, wobei am oberen Ende des Schreibstiftes (2) eine Leuchtdiode (44) zur Erfassung der in Längs- und Querrichtungen des Schreibstiftes (2) auftretenden Kräfte und Schwingungen vorgesehen ist.
49. Biometrisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11) in dem Schreibstiftgehause (3) oder in einer externen Empf ngseinheit integriert ist .
50. Biometrisches Schreibsystem nach Anspruch 49, d a d u r c h g e k e n n z e i c h n e t , dass die externe Empfangseinheit ein Computer, ein Handy, ein Kreditkartenleser, ein Faxgerät oder ein Drucker ist.
51. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die erfassten Sensorsignaldaten über eine Datenübertragungsstrecke (18) von dem Schreibstiftgehause (3) an eine in einem lokalen Rechner (20) integrierte Datenverarbeitungseinheit (19) übertragen werden.
52. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) eine Verschlüsselungseinheit (17) zur Verschlüsselung von Referenzdaten der Sensorsignaldaten vorgesehen ist.
53. Biometrisches Schreibsystem nach Anspruch 51, d a d u r c h g e k e n n z e i c h n e t , dass die Datenübertragungsstrecke (18) drahtgebunden oder drahtlos ist.
54. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass ein Datenspeicher zum Abspeichern von biometrischen Referenzdaten, von Positionsdaten der Schreibbewegung und von gesprochener Informationen vorgesehen sind.
55. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Referenzdaten durch die Datenverarbeitungseinheit (11) aus den beim Schreiben und Sprechen mindestens eines Wortes erfassten Schallsignaldaten, aus optischen Bewegungsdaten, mechanischen Schwingungs- und Druckdaten und Neigungsdaten berechnet und in einem Referenzdatenspeicher abgelegt werden.
56. Biometrisches Schreibsystem nach Anspruch 55, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Referenzdaten des Fingerprintsensors (39) durch die Datenverarbeitungseinheit (11) berechnet und in dem Referenzdatenspeicher abgelegt werden.
57. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass der Referenzdatenspeicher ein Mikrochip eines Personalausweises, einer Kreditkarte, einer Berechtigungsmagnetkarte oder eine Speichereinheit eines Computers oder des Schreibsystems (1) ist.
58. Biometrisches Schreibsystem nach Anspruch 55, d a d u r c h g e k e n n z e i c h n e t , dass die geschriebenen und gesprochenen Wörter und Zeichen Pincodes, Passwörter, Namen oder Texte sind.
59. Biometrisches Schreibsystem nach Anspruch 54, d a d u r c h g e k e n n z e i c h n e t , dass die Positionsdaten der Schreibbewegung aus den beim Schreiben eines Wortes erfassten Schallsignaldaten, optischen Bewegungsdaten und mechanischen Druckdaten berechnet und in dem Datenspeicher zur Handschriftenerkennung abgelegt werden.
60. Biometrisches Schreibsystem nach Anspruch 55, d a d u r c h g e k e n n z e i c h n e t , dass der Referenzdatenspeicher in dem Schreibstiftgehause (3) integriert ist.
61. Biometrisches Schreibsystem nach Anspruch 51, d a d u r c h g e k e n n z e i c h n e t , dass die in einem lokalen Rechner (20) integrierte Datenverarbeitungseinheit an einen Referenzdatenspeicher angeschlossen ist .
62. Biometrisches Schreibsystem nach Anspruch 61, d a d u r c h g e k e n n z e i c h n e t , dass der lokale Rechner (20) eine Leseeinheit (26) zum Lesen eines tragbaren Speichermediums für biometrische Referenzdaten aufweist .
63. Biometrisches Schreibsystem nach Anspruch 61, d a d u r c h g e k e n n z e i c h n e t , dass der lokale Rechner (20) über ein Datennetzwerk (30) an eine Datenbank mit einem Referenzdatenspeicher angeschlossen ist.
64. Biometrisches Schreibsystem nach Anspruch 63, d a d u'r c h g e k e n n z e i c h n e t , dass das Datennetzwerk (30) das Internet ist.
65. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11, 19) die berechneten aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten zu deren Verifizierung und Identifikation vergleicht .
66. Biometrisches Schreibsystem nach Anspruch 65, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11; 19) bei weitgehender Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten Referenzdaten ein Identifikations- bzw. Verifikationsanzeigesignal erzeugt.
67. Biometrisches Schreibsystem nach Anspruch 66, d a d u r c h g e k e n n z e i c h n e t , das die Datenverarbeitungseinheit bei (11; 19) vollständiger Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten die aktuellen biometrischen Daten als Raubkopie der gespeicherten Referenzdaten erkennt und ein Warnsignal erzeugt.
68. Biometrisches Schreibsystem nach Anspruch 66, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11; 19) bei Abweichen der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten ein Abweichungsanzeigesignal erzeugt.
69. Biometrisches Schreibsystem nach einem Anspruch 66, d a d u r c h g e k e n n z e i c h n e t , dass mindestens ein Aktor (28) vorgesehen ist, der nach Erzeugen des Identifikations- bzw. Verifikationsanzeigesignals betätigt wird.
70. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass mit den gespeicherten biometrischen Referenzdaten einer über die handschriftliche Eingabe identifizierten oder verifizierten Person aktuell geschriebene, einfache Zeichen rekonstruiert werden.
71. Verfahren zur Generierung von personenspezifischen biometrischen Referenzdaten mit den folgenden Schritten:
(a) Akustisches Erfassen von handgeführten Schreibbewegungen, die mit einem Schreibstift (2) auf einer Unterlage (4) beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge durch eine Person durchgeführt werden, und Erzeugen entsprechender Schallsignaldaten;
(b) Speichern der erzeugten Schallsignaldaten als digitales Schal1-Zeitsignal ;
(c) Berechnen von zugehörigen Frequenzspektren als Spektrogramm aus den zeitsegmentierten Schallsignaldaten mittels schneller Fouriertransformation;
(d) Bestimmung von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem berechneten Spektrogramm; (e) Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden-Zeitsignalen mittels schneller Fouriertransformation;
(f) Bestimmen von ersten biometrischen Daten aus der Schall- und Schwingungsintensität der digitalen Zeitsignale mittels Merkmalsextraktion;
(g) Bestimmen von zweiten biometrischen Daten aus dem berechneten Spektrogramm der zeitsegmentierten Schall- und Schwingungszeitsignale mittels Merkmalsextraktion.
(h) Bestimmen von dritten aktuellen biometrischen Daten mittels Merkmalsextraktion aus dem berechneten Frequenzspektrum der Amplituden-Zeitsignale;
(i) Bestimmen von vierten aktuellen biometrischen Daten mittels Merkmalsextraktion aus erfassten dynamischen Schreibdruck-, Schwingungs- und Neigungsdaten;
72. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass die Verfahrensschritte mehrmals durchgeführt werden und die jeweils bestimmten Referenzdaten statistisch ausgewertet werden, wobei die ausgewerteten Daten als personenspezifische Referenzdaten abgespeichert werden.
73. Verfahren nach Anspruch 72. d a d u r c h g e k e n n z e i c h n e t , dass die statistisch ausgewerteten personenspezifischen Referenzdaten in einem Mikrochip eines Personalausweises, in einem Mikrochip einer Kreditkarte, in eine Berechtigungsmagnetkarte oder die eine Speichereinheit eines Computers bzw. eines Schreibsystems abgespeichert werden.
74. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich ein von der Person stammendes Sprechsignal ak- kustisch erfasst und entsprechende Schallsignaldaten erzeugt und abgelegt werden.
75. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes die in mindestens einer Raumrichtung auftretenden Kräfte über optische oder mechanische Drucksensoren erfasst werden und entsprechend mindestens eindimensionale Schreib-Druckdaten erzeugt werden.
76. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes (2) die Schreibgeschwindigkeiten über ein Mikrofon (5) und mindestens einen optischen oder mechanischen Schwingungssensor erfasst und entsprechende dynamische Schreibdaten erzeugt werden .
77. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes die Fingerbewegungen über mindestens einen Neigungssensor (40) erfasst wird und entsprechende dynamische Schreibdaten erzeugt werden.
78. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass die beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge mit dem Schreibstift auf der Unterlage (4) handgeführten Schreibewegungen optisch erfasst werden und entsprechende Schreibbewegungsdaten erzeugt werden.
79. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der Nutzung des Schreibgerätes Fingerprintdaten durch ein in dem Schreibstiftgehause (3) integrierte Fingerprintsensor (39) erfasst und abgelegt werden.
80. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass biometrische Referenzdaten aus Sensorsignaldaten durch Merkmalsextraktion im Zeit- Orts- und Frequenzraum bestimmr. und in einem Referenzdatenspeicher als personenspezifische biometrische Referenzdaten abgespeichert werden.
81. Verfahren nach Anspruch 80, d a d u r c h g e k e n n z e i c h n e t , dass eine Datenreduktion der Sensorsignaldaten mittels Clusterbildung erfolgt.
82. Verfahren nach Anspruch 81, d a d u r c h g e k e n n z e i c h n e t , dass aus den datenreduzierten Clusterdaten Merkmalsparameter extrahiert werden.
83. Verfahren nach Anspruch 82, d a d u r c h g e k e n n z e i c h n e t , dass aus den Merkmalsparametern biometrische Referenzdaten zur Ablage selektiert werden.
84. Verfahren nach Anspruch 82, d a d u r c h g e k e n n z e i c h n e t , dass aus den aktuellen Merkmalsparametern aktuelle biometrische Daten zur Ablage gewonnen werden.
85. Verfahren nach Anspruch 80, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Referenzdaten innerhalb oder außerhalb des Schreibgerätes abgespeichert werden.
86 . Verfahren nach Anspruch 80 , d a d u r c h g e k e n n z e i c h n e t , dass die aktuellen biometrischen Referenzdaten innerhalb oder außerhalb des Schreibgerätes abgespeichert werden.
87. Verfahren zur Verifikation und Identifikation einer Person mit den folgenden Schritten:
(a) akustisches Erfassen von handgeführten Schreibbewegungen, die mit einem Schreibstift (2) auf einer Unterlage (4) beim Schreiben eines Zeichen, eines Wortes oder einer Wortfolge durch die Person durchgeführt werden und Erzeugen entsprechender Schallsignaldaten;
(b) Erzeugen von Schreibdruck-Signaldaten für Schreibdruck und von Schwingungssignaldaten für Schwingungen, die von dem Schreibstift auf mindestens einen Druck- und Schwingungssensor übertragen werden;
(c) Speichern der erzeugten Signaldaten als digitale Zeitsignale;
(d) Berechnen von Frequenzspektren als Spektrogramm aus den gespeicherten zeitsegmentierten Schall- und Schwingungszeitsignalen mittels schneller Fouriertransformation;
(e) Bestimmen von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem Spektrogramm der Schall- und Schwingungszeitsignale;
(f) Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden-Zeitsignalen mittels schneller Fouriertransformation;
(g) Bestimmen von ersten aktuellen biometrischen Daten aus der Schall- und Schwingungsintensität der digitalen Zeitsignale mittels Merkmalsextraktion; (h) Bestimmen von zweiten aktuellen biometrischen Daten aus den und Schwingungs-Zeitsignale mittels Merkmalsextraktion;
(i) Bestimmen von dritten aktuellen biometrischen Daten mittels Merkmalsextraktion aus den Frequenzspektren der Amplituden-Zeitsignale;
(j) Bestimmen von vierten aktuellen biometrischen Daten mittels Merkmalsextraktion aus den dynamischen Schreibdruckdaten und;
(k) Vergleichen der aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten der Person zur Verifikation, ob die aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten der Person weitgehend übereinstimmen;
(1) Vergleichen der aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten einer Vielzahl von Personen zur Identifikation, ob die aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten einer der gespeicherten Personen weitgehend übereinstimmen.
88. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich ein von der Person stammendes Sprachsignal ak- kustisch erfasst und entsprechende Schallsignaldaten erzeugt werden.
89. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Daten aus den Sprachsignaldaten in Kombination mit den Schreibsignaldaten zur Verifikation und Identifikation ausgeweitet werden.
90. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich biometrische Daten von einem Fingerprintsensor in Kombination mit den Schreib- und Sprachsignaldaten zur Verifikation und Identifikation ausgeweitet werden.
91. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich biometrischen Daten von einem den Neigungsdatensensor in Kombination mit den Schreib- und Sprachsignaldaten zur Verifikation und Identifikation ausgeweitet werden.
92. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich biometrische Daten aus der Dynamik von optisch erfassten Positionsdaten in Kombination mit den Schreib- und Sprachsignaldaten zur Verifikation und Identifikation ausgeweitet werden.
93. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die Verifikation und Identifikation aus den akustischen Schreib- und Sprachsignaldaten mittels einer Software zur Sprecher- und Spracherkennung erfolgt.
94. Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die beim Schreiben oder Skizzieren eines Zeichens, eines
Bildelementes, eines Wortes oder einer Wortfolge mit dem
Schreibstift auf der Unterlage handgeführten Schreibbewegungen akustisch erfasst und entsprechende Schallsignaldaten erzeugt werden.
95. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die beim Schreiben oder Skizzieren eines Zeichens, eines Bildelementes, eines Wortes oder einer Wortfolge mit dem Schreibstift auf der Unterlage handgeführten Schreibbewegungen optisch erfasst und entsprechende Positionsdaten erzeugt werden .
96. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes in mindestens einer Raumrichtung auftretenden Kräfte optisch oder mechanisch erfasst und entsprechende mindestens eindimensionale Schreib-Druckdaten erzeugt werden.
97. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, dass zusätzlich ein von der Person stammendes Sprachsignal ak- kustisch erfasst und entsprechende Schallsignaldaten erzeugt werden.
98. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass in einer Trainingsphase Referenzmerkmalsvektoren und in einer Arbeitsphase die aktuellen Merkmalsvektoren für entsprechende Zeichen, Skizzen oder Worte aus den akustischen Schreibsignaldaten, den optischen Positionsdaten, den Schreib- Druckdaten und Sprachdaten bestimmt und abgelegt werden;
99. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass aus Merkmalsvektoren der erfassten Signaldaten mittels statistischer, konnektionistischer und wissensbasierter Verfahren entsprechende Zeichen, Bildelemente, Skizzen, Wortsegmente, Wörter oder Wortfolgen ermittelt werden.
100. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass die akustische Handschriftenerkennung (ACR) , die optische Handschriftenerkennung (OCR) und die Spracherkennung in ein und demselben Schreibsystem integriert und die Verfahren zur Bild -und Texterkennung miteinander kombiniert werden.
101. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass die Merkmale der akustischen und optischen Daten sowie Druckdaten zur Rekonstruktion eingegebener Zeichen, Bildelemente, Wörter und Texte korreliert und dann als Merkmalsvektoren abgelegt werden.
102. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass aus den korrelierten Merkmalsvektoren der erfassten Signaldaten mittels statistischer, konnektionistischer und wissensbasierter Verfahren entsprechend Zeichen, Bildelemente, Skizzen, Wortsegmente, Wörter oder Wortfolgen ermittelt werden;
103. Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die Handschriften- und Handskizzenerkennung aus den akustischen und optischen Schreib- und Sprachsignaldaten mittels Software zur Spracherkennung und Bilderkennung erfolgt.
104. Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass mit den gespeicherten biometrischen Referenzdaten einer identifizierten oder verifizierten Person aktuell geschriebene, einfache Zeichen oder gezeichnete einfache Bildelemente rekonstruiert werden.
105. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass das ermittelte Zeichen der ausführenden Person zu dessen Kontrolle optisch und/oder akustisch rückgemeldet wird.
106. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die generierten personenspezifischen Referenzdaten aus der Ermittlung psychologischer und/oder physiologischer Merkmale der Person ausgewertet werden.
107. Verwendung des biometrischen akustischen Schreibsystems nach einem der Ansprüche 1 bis 70 als Computereingabeeinrichtung.
108. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 13 bis 70 als Spracheingabeeinrichtung, insbesondere als Diktiergerät.
109. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 zur Erkennung neuromotorischer Bewegungsstörungen einer Person.
110. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 als Therapiesystem zur Behebung neuromotorischer Bewegungsstörungen einer Person.
111. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 als graphologisches System zur Ermittlung psychologischer/physiologischer Merkmale einer Person.
112. Verwendung des biometrischen Schreibsystems nach einem der vorangehenden Ansprüche 1 bis 70 als Schulungssystems zum Erlernen von Schreiben.
113. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 als Schulungssystem zum Erlernen einer Sprache .
114. Verwendung des biometrischen Schreibsystems als multifunktionales Computereingabesystem eines virtuellen Schreibtisches .
Figure imgf000074_0001
PCT/EP2003/009814 2002-09-04 2003-09-04 Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten WO2004023382A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2003273397A AU2003273397A1 (en) 2002-09-04 2003-09-04 Biometric acoustic writing system and method for identifying individuals and recognizing handwriting by using biometric data
EP03755552A EP1535237A1 (de) 2002-09-04 2003-09-04 Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten
US10/526,715 US7729520B2 (en) 2002-09-04 2003-09-04 Biometric acoustic writing system and method for identifying individuals and recognizing handwriting by using biometric data

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE10241328A DE10241328B4 (de) 2002-09-04 2002-09-04 Biometrisches, akustisches Schreibsystem sowie Verfahren, und Verwendung hierzu
DE10241328.2 2002-09-04
DE10328345 2003-06-24
DE10328345.5 2003-06-24

Publications (1)

Publication Number Publication Date
WO2004023382A1 true WO2004023382A1 (de) 2004-03-18

Family

ID=31979473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2003/009814 WO2004023382A1 (de) 2002-09-04 2003-09-04 Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten

Country Status (4)

Country Link
US (1) US7729520B2 (de)
EP (1) EP1535237A1 (de)
AU (1) AU2003273397A1 (de)
WO (1) WO2004023382A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889928B2 (en) 2005-12-30 2011-02-15 International Business Machines Corporation Video-based handwriting input

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7791593B2 (en) 2005-03-18 2010-09-07 The Invention Science Fund I, Llc Machine-differentiatable identifiers having a commonly accepted meaning
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US8787706B2 (en) 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US7826687B2 (en) * 2005-03-18 2010-11-02 The Invention Science Fund I, Llc Including contextual information with a formed expression
US8102383B2 (en) 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
GB2472330B (en) * 2005-07-11 2011-06-15 Longhand Data Ltd Apparatus and methods relating to voting systems
US9467850B2 (en) * 2007-12-31 2016-10-11 Intel Corporation Handheld device association via shared vibration
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
TWI374391B (en) * 2008-05-27 2012-10-11 Ind Tech Res Inst Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system
US20100142856A1 (en) * 2008-12-10 2010-06-10 Shin Takeuchi Image reading apparatus, and reading method
US8120994B2 (en) * 2009-04-28 2012-02-21 Luidia, Inc. Digital transcription system utilizing acoustical detectors having apertures with a vertical orientation relative to the work surface
US8064290B2 (en) * 2009-04-28 2011-11-22 Luidia, Inc. Digital transcription system utilizing small aperture acoustical sensors
DE102010008301A1 (de) * 2010-02-17 2011-08-18 Siemens Enterprise Communications GmbH & Co. KG, 81379 Verfahren zur Aufnahme und Übertragung von Bewegungsinformation
DE102011011240A1 (de) * 2011-02-15 2012-08-16 Deutsche Telekom Ag Verfahren und System zur Identifizierung / Authentifizierung einer Person an einem Prüfgerät
US8752151B2 (en) 2012-10-09 2014-06-10 At&T Intellectual Property I, L.P. Methods, systems, and products for authentication of users
JP2014194751A (ja) * 2013-02-27 2014-10-09 Panasonic Corp 情報取得装置、表示制御システムおよび生体認証システム
JP5433812B1 (ja) * 2013-08-27 2014-03-05 株式会社 ディー・エヌ・エー 認証装置及び認証プログラム
US9251411B2 (en) * 2013-09-24 2016-02-02 Hand Held Products, Inc. Augmented-reality signature capture
US20150116290A1 (en) * 2013-10-25 2015-04-30 Livescribe Inc. Combined activation mechanism of retractable marker and power status for an electronic pen
US9426373B2 (en) * 2013-12-04 2016-08-23 Cisco Technology, Inc. Whiteboard activity noise detection system for immersive telepresence systems
CN109313516B (zh) * 2016-06-06 2021-06-01 大日本印刷株式会社 触控面板笔用书写片的筛选方法、触控面板系统
KR102587735B1 (ko) * 2017-01-09 2023-10-12 삼성디스플레이 주식회사 보안 장치 및 이를 포함하는 표시 장치
US10878231B2 (en) * 2018-05-10 2020-12-29 International Business Machines Corporation Writing recognition using wearable pressure sensing device
EP3567597A1 (de) 2018-05-11 2019-11-13 Anoto Korea Corp. Verfahren und vorrichtung für diagnostischen test
CN109192198B (zh) * 2018-09-06 2020-08-07 北京邮电大学 一种基于声波感知的文本输入方法
US11545047B1 (en) * 2021-06-24 2023-01-03 Knowledge Ai Inc. Using biometric data intelligence for education management
TWI841886B (zh) * 2021-12-06 2024-05-11 王士華 生物簽章驗證系統與生物簽章驗證方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3955178A (en) * 1974-10-09 1976-05-04 Warfel George H Signature authentication system
US4122435A (en) * 1975-05-06 1978-10-24 Lgz Landis & Gyr Zug Ag Apparatus and method for producing an electrical signal responsive to handwriting characteristics
FR2643736A1 (fr) * 1989-02-27 1990-08-31 Bertuzzi Nino Dispositif de securite electronique pour controle d'acces par comparaison et reconnaissance acoustique des signatures
JPH0728593A (ja) * 1993-07-12 1995-01-31 Hitachi Ltd 筆記データ入力装置およびそれを用いた筆記データ認識システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259438B1 (en) * 1998-06-04 2001-07-10 Wacom Co., Ltd. Coordinate input stylus
US4234868A (en) * 1978-10-06 1980-11-18 Pennwalt Corporation Personal verification device
US4513437A (en) 1982-06-30 1985-04-23 International Business Machines Corporation Data input pen for Signature Verification
DE3228968C2 (de) 1982-08-03 1984-10-11 Friedrich Dr. phil. 8000 München Hagemeyer Verfahren zum schritthaltenden Erkennen von handschriftlich erstellten Zeichen und Vorrichtung zum Durchführen des Verfahrens
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
DE4200170C2 (de) 1992-01-07 1994-11-03 Rheinmetall Gmbh Verfahren und akustischer Sensor zum Bestimmen der Entfernung eines schallerzeugenden Zieles
US5333209A (en) 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5546565A (en) 1993-06-21 1996-08-13 Casio Computer Co., Ltd. Input/output apparatus having a pen, and method of associating and processing handwritten image data and voice data
JP3466689B2 (ja) 1994-01-26 2003-11-17 キヤノン株式会社 手書き文字認識方法及びその装置
GB9415627D0 (en) * 1994-08-01 1994-09-21 Marshall James Verification apparatus
DE19644109B4 (de) 1995-11-01 2005-02-10 Ricoh Co., Ltd. Schreibdaten-Verarbeitungssystem und -verfahren
JPH09146691A (ja) * 1995-11-17 1997-06-06 Hitachi Ltd 情報処理装置
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6307956B1 (en) * 1998-04-07 2001-10-23 Gerald R. Black Writing implement for identity verification system
DE19856296B4 (de) 1998-12-07 2014-01-23 Ipcom Gmbh & Co. Kg Telekommunikationsendgerät mit Zeichenerkennung
WO2001043058A1 (de) 1999-12-08 2001-06-14 Unipen Ag Stift und verfahren zur eindeutigen identifizierung eines benutzers für eine bestimmte applikation
US6603464B1 (en) * 2000-03-03 2003-08-05 Michael Irl Rabin Apparatus and method for record keeping and information distribution
DE10019165A1 (de) 2000-04-12 2001-10-18 Arman Emami Mobiler Digitaler Schreibstift
DE10028138A1 (de) 2000-06-07 2001-12-20 Siemens Ag Vorrichtung zur mobilen Kommunikation
US7176906B2 (en) * 2001-05-04 2007-02-13 Microsoft Corporation Method of generating digital ink thickness information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3955178A (en) * 1974-10-09 1976-05-04 Warfel George H Signature authentication system
US4122435A (en) * 1975-05-06 1978-10-24 Lgz Landis & Gyr Zug Ag Apparatus and method for producing an electrical signal responsive to handwriting characteristics
FR2643736A1 (fr) * 1989-02-27 1990-08-31 Bertuzzi Nino Dispositif de securite electronique pour controle d'acces par comparaison et reconnaissance acoustique des signatures
JPH0728593A (ja) * 1993-07-12 1995-01-31 Hitachi Ltd 筆記データ入力装置およびそれを用いた筆記データ認識システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 1995, no. 04 31 May 1995 (1995-05-31) *
See also references of EP1535237A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889928B2 (en) 2005-12-30 2011-02-15 International Business Machines Corporation Video-based handwriting input

Also Published As

Publication number Publication date
US7729520B2 (en) 2010-06-01
AU2003273397A1 (en) 2004-03-29
US20060161992A1 (en) 2006-07-20
EP1535237A1 (de) 2005-06-01

Similar Documents

Publication Publication Date Title
WO2004023382A1 (de) Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten
Revett Behavioral biometrics: a remote access approach
AU2006213136B2 (en) System and methods of acquisition, analysis and authentication of the handwritten signature
Li et al. Vocal features: from voice identification to speech recognition by machine
Faundez-Zanuy On-line signature recognition based on VQ-DTW
EP0696019B1 (de) Gerät zum Überprüfen der Echtheit einer Handschrift
Schrapel et al. Pentelligence: Combining pen tip motion and writing sounds for handwritten digit recognition
Saeed New directions in behavioral biometrics
US5018208A (en) Input device for dynamic signature verification systems
Mohammed et al. Dynamic characteristics of signatures: effects of writer style on genuine and simulated signatures
Freitas et al. An introduction to silent speech interfaces
Slyter Forensic signature examination
DE10241328B4 (de) Biometrisches, akustisches Schreibsystem sowie Verfahren, und Verwendung hierzu
Pleva et al. Using current biometrics technologies for authentication in e-learning assessment
Phillips et al. Effects of Writing Speed Upon Modes of Signature Simulation: A Kinetic Analysis
Eshwarappa et al. Multimodal biometric person authentication using speech, signature and handwriting features
Gowroju et al. Handwriting and Speech‐Based Secured Multimodal Biometrics Identification Technique
Ranjitha et al. A review on challenges and applications of digital graphology
Sharma et al. Forensic examination of electronic signatures: A comparative study
Bhurane et al. Behavioral biometrics: A prognostic measure for activity recognition
DE102018107409A1 (de) Verfahren zur Erkennung handgeschriebener Zeichen, vorzugsweise während des Schreibens, und Schreibgerät zur Erfassung handgeschriebener Zeichen
Wu et al. Robust audio-based digit recognition
Tytell Pen pressure as an identifying characteristic of signatures: verification from the computer
Mohammed et al. Human biometric identification: Application and evaluation
KR102211445B1 (ko) 인공지능 기반 시청각 통합 정보 제공 시스템

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003755552

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003755552

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006161992

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10526715

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10526715

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: JP