WO2018073113A1 - Vorrichtung zur ermittlung von merkmalen einer person - Google Patents

Vorrichtung zur ermittlung von merkmalen einer person Download PDF

Info

Publication number
WO2018073113A1
WO2018073113A1 PCT/EP2017/076177 EP2017076177W WO2018073113A1 WO 2018073113 A1 WO2018073113 A1 WO 2018073113A1 EP 2017076177 W EP2017076177 W EP 2017076177W WO 2018073113 A1 WO2018073113 A1 WO 2018073113A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
screen
age group
sensors
determined
Prior art date
Application number
PCT/EP2017/076177
Other languages
English (en)
French (fr)
Inventor
Ali KUECUEKCAYIR
Jürgen HOHMANN
Original Assignee
Bayer Business Services Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer Business Services Gmbh filed Critical Bayer Business Services Gmbh
Priority to EP17780458.0A priority Critical patent/EP3529764A1/de
Priority to US16/341,615 priority patent/US20200175255A1/en
Priority to CA3040985A priority patent/CA3040985A1/en
Priority to CN201780064829.XA priority patent/CN110140181A/zh
Publication of WO2018073113A1 publication Critical patent/WO2018073113A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to the determination of features of a person.
  • Objects of the present invention are an apparatus and a method for determining characteristics of a person in order to better respond to the person in an interaction with the person.
  • a typical example is a sales situation.
  • a customer approaches a seller with a desire or a need;
  • the seller advises the customer and sells to the customer a product that fulfills the desire or satisfies the need.
  • the interaction follows the usual principles that apply equally to a variety of consulting situations.
  • the counselor recognized such a burden, he could better respond to the person. He could adapt, for example, in his gestures, language and / or volume. He could adapt the environment of the conversation by light, sounds, scents, temperature, air movement, and the like.
  • empathic counseling has a high relevance, was in a study with cold patients in the pharmacy proved: by a more empathic counseling by the pharmacist, a reduction in the duration of cold by 1 day and a relief of symptoms by 16% can be achieved (source: doctor DP et al., Practitioner Empathy and the Duration of the Common Cold Farn Med 2009; 41 (7): 494-50L).
  • the non-contact detection of body features plays a role in various areas: video cameras with face recognition are used in access control systems; At airports, infrared cameras are used to detect travelers with a feverish infection.
  • US 2016 / 0191822A1 discloses a facial recognition device additionally equipped with heart rate detection.
  • the device is used to distinguish the faces of real people from faces on photos.
  • EP1522256A1 discloses a device for receiving information by means of various sensors.
  • a bio-information sensor is used to collect information such as the heartbeat, galvanic skin response (GSR) and a person's skin temperature.
  • the bio-information sensor is worn on the body.
  • sensors such as a camera and a microphone that capture the person's environment.
  • DE 102006038438 AI discloses a device for determining medical and bio metric data of a living being.
  • the device comprises a first device for authenticating the living being on the basis of a body feature, a second device for determining a person's medical function or information about the person, and a third device for transmitting the determined medical and / or biometric data.
  • the device should be usable in health care, in personal care and in access control. The subjects of claims 1 to 15, however, are not disclosed in the prior art.
  • a first subject of the present invention is a device comprising
  • Means for presenting the visual representations on the first screen comprising the following steps:
  • the present invention is intended to be of use to the person from whom physical and / or mental characteristics are detected.
  • the specific embodiment of the present invention is therefore intended to have means that allow a person to recognize and reject or allow detection of physical and / or mental characteristics.
  • a person who is positioned in a suitable manner relative to the device according to the invention is recognized.
  • the device according to the invention is usually stationed at a specific location and detects with one or more sensors an immediate environment of the device. It is also conceivable a mobile device that can be set up as needed at a location. Usually, however, the device according to the invention is immobile when used to detect features of a person in their immediate environment.
  • the immediate environment usually affects an angular range of 30 ° to 180 ° to the Device and a distance range of 0.1 to 10 meters. If a person enters this immediate environment, the device recognizes that it is a person.
  • sensors such as image sensors, distance meter and the like.
  • an image sensor is used on which the person or parts of the person are displayed.
  • An image sensor is an apparatus for taking two-dimensional images of light by electric means. In most cases, semiconductor-based image sensors are used that can capture light down to mid-infrared.
  • Examples of visible and near-infrared image sensors include CCD sensors (CCD: charge-coupled device) and CMOS sensors (CMOS: complementary metal-oxide-semiconductor).
  • CCD sensors CCD: charge-coupled device
  • CMOS sensors CMOS: complementary metal-oxide-semiconductor
  • the image sensor is connected to a computer system on which software is installed, e.g. Based on a feature analysis of the figure decides whether the displayed content is a person or not.
  • the image sensor preferably detects an area in which there is usually the face of a person who is staying in front of the device.
  • light from the person's face must fall on the image sensor.
  • the ambient light is used. If the device according to the invention is outdoors, for example, the sunlight can be used during the day. If the device according to the invention is located in a building, artificial light that illuminates the interior of the building can be used. But it is also conceivable to use a separate light source to optimally illuminate the face of the person.
  • the wavelength range in which the light source emits light is preferably adapted to the sensitivity of the image sensor used. With the aid of a face localization method it can be determined whether a face is imaged on the image sensor.
  • a definable threshold e.g. 90%
  • Simple facial locating techniques look for characteristic features in the image that could be from a person's eyes, nose, and mouth, and decide whether it could be a face (two-dimensional geometric survey) based on the geometric relationships of the features.
  • the use of neural networks or similar technologies to detect (localize) a face is also conceivable.
  • the computer system and the image sensor may be configured to image-analyze the image imaged on the image sensor at definable time intervals (e.g., every second) to determine the likelihood that a face exists on the image.
  • the system is configured such that an image is taken by the image sensor and supplied to an analysis as soon as a distance sensor registers that something is in the immediate vicinity in front of the device according to the invention.
  • the detected features are preferably displayed to another person who is not the first person. It is also referred to below as the "second person”.
  • the device according to the invention comprises sensors with which physical and psychological characteristics of the first person can be determined.
  • the constitution of a person can be understood as the sum of all physical and mental characteristics of the person. However, not all physical and mental characteristics need to be captured to determine a person's condition. Even a small number of features can provide information about a person's condition. Based on a small number of features can already be determined whether a person has specific needs and / or wishes.
  • Physical characteristics of a person are understood as physical characteristics of the person. Examples of physical characteristics are height, weight, gender, and age group. These features can be "read” directly on the body of the person.
  • the sex of a person is detected as a physical feature.
  • an image sensor is used, which is connected to a computer system.
  • the face of a person is detected to determine sex.
  • the same components are used for the determination of the sex that are also used to determine the presence of the person.
  • facial features can be analyzed to determine if it is a man or a woman.
  • the analysis of a face to determine physical and / or psychic features is also referred to herein as facial recognition (while facial localization is only for detecting the presence of a face).
  • an artificial neural network is used to determine sex from the facial image.
  • Another physical feature is the age dar. So far, no method is known, with which one can determine the exact age of a person via a non-contact sensor. But the approximate age can be determined by means of various, non-contact detectable features. In particular, the appearance of the skin especially on the face provides information about the approximate age. Since no exact age is determinable without contact (unless one asks the person), in the present case it is aimed at belonging to an age group.
  • belonging to an age group is also determined by means of an image sensor connected to a computer system running facial recognition software.
  • the same hardware is used to determine affiliation to an age group as is used to determine sex.
  • an artificial neural network is used to determine the affiliation of a person to an age group.
  • the age groups can in principle be defined arbitrarily, e.g. every ten years, one could define a new age group: persons aged 0 to 9, persons aged 10 to 19, persons aged 20 to 29, etc.
  • the range of variation in non-contact, age-specific traits is significantly greater for people aged 0 to 9 than for those aged 20 to 29 years.
  • a division into age groups is to be preferred, which takes into account the wide range of variations.
  • an age in years can be estimated and given this age along with a relative or absolute error or probability.
  • Other physical characteristics which can be determined without contact with the aid of an image sensor are, for example: height, weight, hair color, skin color, hair length / fullness of hair, glasses, posture, gait and others
  • a distance meter eg with a laser rangefinder, which determines the transit time and / or the phase position of a reflected laser pulse measures. From the position of the imaged head on the image sensor and the distance of the person from the image sensor then results in consideration of the optical elements between the image sensor and person, the size of the person.
  • the weight of a person can also be estimated from the height and width of the person. Height and width can be determined by means of an image sensor.
  • mental characteristics are also recorded.
  • psychological characteristics are to be understood characteristics, which permit conclusions on the mental condition of a person.
  • mental characteristics are also physical features, i. Characteristics that are recognizable and detectable on the body of a person. In contrast to the purely physical features, however, the psychological characteristics are either directly attributable to a mental state or they go hand in hand with a mental state.
  • a feature that is a direct expression of a person's mental state is, for example, the facial expression: a laughing person is in better mental health than a crying person or an angry person or a frightened person.
  • an image sensor with attached computer system and face recognition software is used to analyze the facial expression and to recognize the person's mood (happy, sad, angry, anxious, surprised, etc.).
  • the facial expression can be determined using the same hardware that is used to determine age.
  • the following moods are distinguished: annoyed, happy, sad and annoyed.
  • a feature that is an indirect expression of a person's mental state is, for example, body temperature.
  • An elevated body temperature is usually a sign of a disease (with a concomitant fever); an illness usually has a negative effect on mental health; People with a fever "usually do not feel well".
  • the temperature of the skin is preferably determined in the face, preferably on the forehead of the person.
  • Infrared thermography can be used for non-contact temperature measurement (see, for example, Jones, BF: A Reapraisal of the Use of Infrared Thermal Analysis in Medicine, IEEE Trans. Med. Imaging 1998, 17, 1019-1027).
  • heart rate Another feature that can be an indirect expression of a person's mental (and physical) condition is the heart rate.
  • An increased heart rate may indicate nervousness or anxiety, or even an organic problem.
  • Oxygenated blood has a different color than low-oxygen blood.
  • a video camera With a video camera, the pulsating color change can be recorded and evaluated.
  • the skin is usually irradiated with red or infrared light and the light reflected from the skin is collected by means of a corresponding image sensor.
  • the face of a person is detected, since this is usually not covered by clothing. More details can be found, for example, in the following publication and references in the publication: http: //www.cv-foundation.org/openaccess/content_cvpr_workshops_2013/W13/papers/Gaul t_A_Fully_A utomatic_2013_CVPR_paper.pdf
  • Another possibility is to evaluate head movements caused by the pumping of blood into a person's head (see, e.g., https://people.csail.mit.edu/nmib/vidmag/papers/Balakrishnan_Detecting_Pulse_from_201_3_CVPR_paper.pdf).
  • the head movement is analyzed by means of a video camera.
  • the person being analyzed could perform further head movements (referred to herein as "natural head movements"), eg, those head movements that are performed when the person being analyzed
  • the detection of features according to the invention should take place largely without the intervention of the person to be analyzed
  • Pre-processed video sequence from the head of the person to be analyzed in order to eliminate the natural head movements This is preferably done by facial features such as the eyes, the eyebrows, the nose and / or the mouth and / or other features in successive shots of the video sequence Fixed points are fixed in the image recordings Thus, for example, if the centers of the pupils due to a rotation of the head within the video sequence of two points x r i, and x'i, y'i to two points x r 2 , ⁇
  • the device according to the invention comprises a (directional) microphone with a connected computer system, with which the voice of a person can be recorded and analyzed. From the voice pattern a stress level is determined. Details are disclosed, for example, in US Pat. No. 7,571,101 B2, WO201552729, WO2008041881 or US Pat. No. 7,321,855.
  • a very high rate of heartbeat or an unusual rhythm of the heartbeat can also be signs of disease.
  • a classification into static or quasi-static and dynamic features could also be made.
  • Some of the mentioned features usually do not change at all, such as e.g. others (static features), others can only change very slowly (quasi-static features), while others can change quickly (dynamic features).
  • Height, body width, weight, and age are features that usually change slowly, while heart rate, temperature, and voice are features that can change quickly.
  • both static and quasi-static as well as dynamic characteristics of a person are detected.
  • the detection takes place within the same time period.
  • the period of time is usually less than one minute, preferably less than 10 seconds, more preferably less than 5 seconds.
  • a single device is used according to the invention, in which all corresponding means are integrated.
  • this device has means for reading the sensors and for analyzing the data read out.
  • One or more computer systems are used for this purpose.
  • a computer system is a device for electronic data processing by means of programmable computing rules.
  • the device usually has a computing unit, a control unit, a bus unit, a memory as well as input and output units in accordance with the Von Neumann architecture.
  • the device according to the invention comprises a first screen.
  • the raw data determined from the sensors are first analyzed in order to determine characteristics for physical and / or mental states of the person analyzed. Subsequently, visual representations are assigned to the determined features and the visual representations are displayed on the first screen.
  • the mood derived from the facial analysis and / or voice analysis may be represented by an emoticon (e.g., " ⁇ " for good mood and " ⁇ ” for bad mood).
  • Colors can be used to make the displayed information easier to grasp. For example, a red color could be used for the measured temperature when the temperature is above the normal values (36.0 ° C - 37.2 ° C), while the temperature is displayed in a green hue when within the normal range Range of values is.
  • the first screen may be arranged so that it is directly in the field of view of the person being analyzed when the person is being analyzed.
  • the first screen is arranged so that it is in the field of vision of a person (the second person) who will interact or interact with the person being analyzed. It is also conceivable that the first screen is arranged so that it can be seen by the first person and by the second person.
  • the device preferably comprises means with which the attention of the person to be analyzed can be obtained. This should position the person to be analyzed in relation to the sensors so that they can better grasp the corresponding features. It is also conceivable to encourage the person to be analyzed to stay in order to have the necessary time to record the characteristics.
  • these means for gaining attention or encouraging a longer dwell time are a second screen.
  • the content of the second screen could be personalized advertising. If, for example, it has been recognized by means of the sensors that the person analyzed is a rather sporty woman between the ages of 20 and 30 years old, then one could show this person goods which might interest such persons.
  • the device according to the invention is used in a point of sale.
  • the device according to the invention is particularly preferably used in a pharmacy or a comparable shop in which medicaments and / or health-promoting agents can be acquired.
  • the device according to the invention is preferably located in the vicinity of the advice / sale stress (in the pharmacy one also speaks of the hand-selling table), so that a person can be analyzed before and / or during a consultation with the pharmacist.
  • the pharmacist alerts you that there is a corresponding device and asks the person to be analyzed if he agrees to the acquisition of features.
  • the first screen is arranged so that it can be seen by the pharmacist.
  • a customer visits a pharmacy to seek advice on a specific, health-related topic.
  • the pharmacist asks a few questions in order to get to know the customer's needs better and to be able to better assess his situation.
  • sensors record further parameters of the customer:
  • a camera captures the face and detects gender and age
  • a second thermal camera measures the body temperature on the forehead of the customer
  • a third camera measures heart rate based on head movements
  • a directional microphone captures the voice and analyzes the stress level
  • a cellular module provides remote access to the system, including: to display the information to be displayed (advertising) via remote maintenance or to replay statistical data.
  • FIG. 1 shows a device (1) according to the invention in a front view.
  • the device comprises a screen (11) for displaying personalized information to an analyzed person, and three sensors (21, 22, 23) for analyzing the person.
  • FIG. 2 shows the device (1) according to the invention from FIG. 1 in a rear view.
  • the apparatus includes a screen (12) for displaying information about the person being analyzed to another person.
  • FIG. 3 shows the device (1) according to the invention from FIG. 1 in a perspective view from the front and from the side.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

Die vorliegende Erfindung betrifft die Ermittlung von Merkmalen einer Person. Gegenstände der vorliegenden Erfindung sind eine Vorrichtung und ein Verfahren zur Ermittlung von Merkmalen einer Person, um in einer Interaktion mit der Person besser auf die Person eingehen zu können.

Description

Vorrichtung zur Ermittlung von Merkmalen einer Person
Die vorliegende Erfindung betrifft die Ermittlung von Merkmalen einer Person. Gegenstände der vorliegenden Erfindung sind eine Vorrichtung und ein Verfahren zur Ermittlung von Merkmalen einer Person, um in einer Interaktion mit der Person besser auf die Person eingehen zu können.
Insbesondere in den heutigen Städten gibt es zahlreiche Situationen im Alltag, bei denen zwei Menschen, die sich nicht kennen, miteinander agieren. Ein typisches Beispiel ist eine Verkaufssituation. Dabei tritt ein Kunde mit einem Wunsch oder einem Bedürfnis an einen Verkäufer heran; der Verkäufer berät den Kunden und verkauft dem Kunden eine Ware, die den Wunsch erfüllt oder das Bedürfnis befriedigt. Die Interaktion erfolgt nach üblichen Prinzipien, die für eine Vielzahl an Beratungssituationen gleichermaßen gelten.
Es gibt zahlreiche Fälle, in denen es vorteilhaft wäre, wenn der Berater mehr über seinen Kunden wüsste. Je mehr der Berater über den Kunden weiß, desto besser kann er auf die individuellen Belange des Kunden eingehen. Nicht immer kann ein Kunde seine Bedürfnisse klar artikulieren. Es ist auch denkbar, dass ein Kunde in einer negativen Verfassung ist. Es ist denkbar, dass dem Kunden die Beratungssituation unangenehm ist; es ist aber auch denkbar, dass er psychisch und/oder physisch belastet ist und diese Belastung in die Situation einbringt. Die Schnelllebigkeit unserer modernen Zeit und der daraus resultierende chronische Zeitmangel wirken ebenfalls negativ auf eine solche Situation ein.
Würde der Berater eine solche Belastung erkennen, so könnte er auf die Person besser eingehen. Er könnte sich beispielsweise in seiner Gestik, Ausdrucksweise und/oder Lautstärke anpassen. Er könnte das Umfeld des Gesprächs durch Licht, Geräusche, Düfte, Temperatur, Luftbewegung und dergleichen anpassen. Dass eine empathische Beratung eine hohe Relevanz hat, wurde im Rahmen einer Studie mit Erkältungspatienten in der Apotheke erwiesen: durch eine empathischere Beratung durch den Apotheker konnte eine Reduktion der Erkältungsdauer um 1 Tag und eine Linderung der Symptome um 16% erreicht werden (Quelle: Rakel DP et al. Practitioner Empathy and the Duration of the Common Cold Farn Med 2009; 41(7):494-50L).
Es besteht damit ein Bedarf an der Ermittlung der physischen und/oder psychischen Verfassung einer Person. Dabei ist es nicht nur für Verkaufssituationen wichtig, die Verfassung des Gegenübers zu analysieren. Zum Beispiel sind Behördengänge vielen Personen unangenehm und es wäre günstig zu wissen, ob ein Gegenüber angespannt ist und welche Umstände beruhigend auf ihn wirken.
Es ist aber nicht nur wichtig, negative Verfassungen erkennen zu können sondern auch positive. Menschen in einer positiven Verfassung sind häufig offener und beispielsweise eher bereit, an einer Umfrage auf der Straße teilzunehmen.
Die Ermittlung der physischen und/oder psychischen Verfassung einer Person sollte möglichst ohne Zutun der Person erfolgen, um keine zusätzlichen Hürden zu schaffen oder vom Gespräch abzulenken. Die Ermittlung sollte die Person nicht beeinflussen. Sie sollte daher berührungslos erfolgen.
Die berührungslose Erfassung von Körpermerkmalen spielt in verschiedenen Bereichen eine Rolle: Videokameras mit Gesichtserkennung werden in Zutrittskontrollsystemen eingesetzt; auf Flughäfen werden Infrarot-Kameras eingesetzt, um Reisende mit einer fiebrigen Infektion erkennen zu können.
Es gibt auch Geräte, mit denen mehrere Parameter gleichzeitig erfasst werden.
US 2016/0191822A1 offenbart beispielsweise eine Vorrichtung zur Gesichtserkennung, die zusätzlich mit einer Herzschlagerkennung ausgestattet ist. Die Vorrichtung wird genutzt, um die Gesichter realer Personen von Gesichtern auf Fotos unterscheiden zu können.
EP1522256A1 offenbart eine Vorrichtung zur Aufnahme von Informationen mittels verschiedener Sensoren. Ein Bio-Informationssensor wird verwendet, um Informationen wie beispielsweise den Herzschlag, die galvanische Hautreaktion (GSR: galvanic skin response) und die Hauttemperatur einer Person zu erfassen. Der Bio-Informationssensor wird am Körper getragen. Daneben gibt es Sensoren wie eine Kamera und ein Mikrofon, welche die Umgebung der Person erfassen.
DE 102006038438 AI offenbart eine Vorrichtung zur Ermittlung medizinischer und bio metrischer Daten eines Lebewesens. Die Vorrichtung umfasst eine erste Einrichtung zur Authentifikation des Lebewesens anhand eines Körpermerkmals, eine zweite Einrichtung zur Ermittlung einer medizinischen Funktion der Person oder einer Information über die Person, und eine dritte Einrichtung zur Übertragung der ermittelten medizinischen und/oder biometrischen Daten. Die Vorrichtung soll in der Gesundheitsvorsorge, in der Personenbetreuung und in der Zugangs- oder Zugriffskontrolle einsetzbar sein. Die Gegenstände der Ansprüche 1 bis 15 sind hingegen nicht im Stand der Technik offenbart.
Ein erster Gegenstand der vorliegenden Erfindung ist eine Vorrichtung umfassend
einen oder mehrere Sensoren zur berührungslosen Ermittlung
o des Geschlechts einer Person und
o der Zugehörigkeit der Person zu einer Altersgruppe und
o der Hauttemperatur der Person und
o der Herzschlagfrequenz der Person und
o der Stimmung der Person
einen ersten Bildschirm,
- Mittel zum Auslesen des einen oder der mehreren Sensoren,
Mittel zum Verarbeiten der aus dem einen oder den mehreren Sensoren ausgelesenen Daten und zum Zuordnen der ausgelesenen und verarbeiteten Daten zu einer oder mehreren visuellen Repräsentationen der Daten, und
Mittel zum Darstellen der visuellen Repräsentationen auf dem ersten Bildschirm. Ein weiterer Gegenstand ist ein Verfahren zur Analyse einer ersten Person, umfassend die folgenden Schritte:
Erkennen der Anwesenheit einer ersten Person, - berührungsloses Ermitteln der folgenden Merkmale der ersten Person mit Hilfe eines oder mehrerer Sensoren:
o das Geschlecht und
o die Zugehörigkeit zu einer Altersgruppe und
o die Hauttemperatur und
o die Herzschlagfrequenz und
o die Stimmung
Darstellen der physischen und psychischen Merkmale auf einem ersten Bildschirm.
Die Erfindung wird nachstehend näher erläutert, ohne zwischen den Erfindungsgegenständen (Vorrichtung, Verfahren) zu unterscheiden. Die nachfolgenden Erläuterungen sollen vielmehr für alle Erfindungsgegenstände in analoger Weise gelten, unabhängig davon, in welchem Kontext (Vorrichtung, Verfahren) sie erfolgen.
Klarstellend sei angemerkt, dass es nicht das Ziel der vorliegenden Erfindung ist, Merkmale von Personen ohne ihr Wissen zu erfassen. In vielen Ländern der Erde gibt es datenschutzrechtliche und persönlichkeitsrechtliche Bestimmungen, die in jedem Fall einzuhalten sind. Auch wenn die Erfassung von Merkmalen einer Person gemäß der vorliegenden Erfindung berührungslos und ohne Zutun der Person erfolgt, muss die Zustimmung der Person zur Erfassung der Merkmale vorliegen. Auch die datenschutzrechtlichen Aspekte bei der Verarbeitung personenbezogener Daten sind selbstverständlich zu beachten. Letztlich soll die vorliegende Erfindung derjenigen Person von Nutzen sein, von der physische und/oder psychische Merkmale erfasst werden. Die konkrete Ausgestaltung der vorliegenden Erfindung soll demnach Mittel aufweisen, die es einer Person erlauben, eine Erfassung von physischen und/oder psychischen Merkmalen zu erkennen und abzulehnen oder zuzulassen.
In einem ersten Schritt des erfindungsgemäßen Verfahrens wird die Anwesenheit einer Person, die in geeigneter Weise gegenüber der erfindungsgemäßen Vorrichtung positioniert ist, erkannt.
Die erfindungsgemäße Vorrichtung ist üblicherweise an einem bestimmten Standort stationiert und erfasst mit einem oder mehreren Sensoren eine unmittelbare Umgebung der Vorrichtung. Denkbar ist auch eine mobile Vorrichtung, die je nach Bedarf an einem Standort aufgestellt werden kann. Üblicherweise ist die erfindungsgemäße Vorrichtung aber unbewegt, wenn sie zur Erfassung von Merkmalen einer Person in ihrer unmittelbaren Umgebung eingesetzt wird.
Änderungen in dieser unmittelbaren Umgebung werden registriert. Die unmittelbare Umgebung betrifft üblicherweise einen Winkelbereich von 30° bis 180° um die Vorrichtung und einen Abstandsbereich von 0,1 bis 10 Metern. Falls sich eine Person in diese unmittelbare Umgebung begibt, wird von der Vorrichtung erkannt, dass es sich um eine Person handelt.
Zur Erkennung der Anwesenheit einer Person werden üblicherweise entsprechende Sensoren eingesetzt wie beispielsweise Bildsensoren, Abstandsmesser und dergleichen. Vorzugsweise wird ein Bildsensor eingesetzt, auf dem die Person oder Teile der Person abgebildet werden.
Ein Bildsensor ist eine Vorrichtung zur Aufnahme von zweidimensionalen Abbildern aus Licht auf elektrischem Wege. In den meisten Fällen werden halbleiterbasierte Bildsensoren verwendet, die Licht bis ins mittlere Infrarot aufnehmen können.
Beispiele für Bildsensoren im sichtbaren Bereich und im nahen Infrarot sind CCD- Sensoren (CCD: charge-coupled device) und CMOS-Sensoren (CMOS: complementary metal-oxide-semiconductor) .
Der Bildsensor ist mit einem Computersystem verbunden, auf dem eine Software installiert ist, die z.B. anhand einer Merkmalsanalyse der Abbildung entscheidet, ob es sich bei dem abgebildeten Inhalt um eine Person handelt oder nicht.
Vorzugsweise wird anhand der Anwesenheit bzw. Abwesenheit eines menschlichen Gesichts in einer vom Bildsensor erfassten Abbildung der Umgebung der erfindungsgemäßen Vorrichtung ermittelt, ob eine Person anwesend bzw. abwesend ist. Dazu wird vom Bildsensor vorzugsweise ein Bereich erfasst, in dem sich üblicherweise das Gesicht einer Person befindet, die sich vor der Vorrichtung aufhält.
Ferner muss Licht vom Gesicht der Person auf den Bildsensor fallen. Üblicherweise wird das Umgebungslicht verwendet. Steht die erfindungsgemäße Vorrichtung im Freien, so kann beispielsweise tagsüber das Sonnenlicht genutzt werden. Befindet sich die erfindungsgemäße Vorrichtung in einem Gebäude, kann künstliches Licht, das das Innere des Gebäudes beleuchtet, verwendet werden. Es ist aber auch denkbar, eine separate Lichtquelle zu verwenden, um das Gesicht der Person optimal auszuleuchten. Der Wellenlängenbereich, in dem die Lichtquelle Licht emittiert, wird vorzugsweise an die Empfindlichkeit des verwendeten Bildsensors angepasst. Mit Hilfe eines Gesichtslokalisierungsverfahrens kann ermittelt werden, ob auf dem Bildsensor ein Gesicht abgebildet ist. Liegt die Wahrscheinlichkeit, dass auf dem Bildsensor ein Gesicht abgebildet wird, oberhalb eines definierbaren Schwellenwertes (z.B. 90%), dann wird vom Computersystem angenommen, dass eine Person anwesend ist. Liegt die Wahrscheinlichkeit hingegen unterhalb des Schwellenwerts, wird vom Computersystem angenommen, dass keine Person anwesend ist.
Gesichtslokalisierungsverfahren sind heutzutage bei vielen Digitalkameras implementiert.
Einfache Gesichtslokalisierungsverfahren suchen nach charakteristischen Merkmalen in der Abbildung, die von Augen, Nase und Mund einer Person herrühren könnten, und entscheiden anhand der geometrischen Beziehungen der Merkmale zueinander, ob es sich um ein Gesicht handeln könnte (zweidimensionale geometrische Vermessung). Die Verwendung von neuronalen Netzen oder ähnlichen Technologien zur Erkennung (Lokalisierung) eines Gesichts ist ebenfalls denkbar.
Das Computersystem und der Bildsensor können so konfiguriert sein, dass in definierbaren zeitlichen Abständen (z.B. jede Sekunde) das auf dem Bildsensor abgebildete Bild einer Bildanalyse zugeführt wird, um die Wahrscheinlichkeit, dass auf dem Bild ein Gesicht vorhanden ist, zu ermitteln.
Es ist aber auch denkbar, dass das System so konfiguriert ist, dass ein Bild vom Bildsensor aufgenommen und einer Analyse zugeführt wird, sobald ein Abstandssensor registriert, dass sich etwas in der unmittelbaren Umgebung vor der erfindungsgemäßen Vorrichtung befindet.
Nachdem die Anwesenheit einer Person erkannt worden ist, werden verschiedene Merkmale der Person erfasst. Die Person, von der die Merkmale erfasst werden, wird nachfolgend auch als die„zu analysierende Person" oder als die„analysierte Person" oder als die„erste Person" bezeichnet.
Die erfassten Merkmale werden vorzugsweise einer weiteren Person gegenüber angezeigt, die nicht die erste Person ist. Sie wird nachfolgend auch als die „zweite Person" bezeichnet.
Die erfindungsgemäße Vorrichtung umfasst Sensoren, mit denen physische und psychische Merkmale der ersten Person ermittelt werden können.
Erfindungsgemäß gilt es, die Verfassung einer Person zu ermitteln. Die Verfassung einer Person kann als Summe aller physischen und psychischen Merkmale der Person aufgefasst werden. Zur Ermittlung der Verfassung einer Person müssen jedoch nicht sämtliche physischen und psychischen Merkmale erfasst werden. Schon eine kleine Zahl an Merkmalen kann Aufschluss über die Verfassung einer Person geben. Anhand einer kleinen Zahl an Merkmalen kann bereits ermittelt werden, ob eine Person bestimmte Bedürfnisse und/oder Wünsche hat.
Unter physischen Merkmalen einer Person werden körperliche Merkmale der Person verstanden. Beispiele für physische Merkmale sind Größe, Gewicht, Geschlecht und die Zugehörigkeit zu einer Altersgruppe. Diese Merkmale lassen sich direkt am Körper der Person„ablesen".
Erfindungsgemäß wird das Geschlecht einer Person als ein physisches Merkmal erfasst. Für die berührungslose Bestimmung des Geschlechts wird vorzugsweise ein Bildsensor verwendet, der mit einem Computersystem verbunden ist.
Vorzugsweise wird das Gesicht einer Person erfasst, um das Geschlecht zu ermitteln.
Vorzugsweise werden dieselben Komponenten für die Bestimmung des Geschlechts verwendet, die auch für die Ermittlung der Anwesenheit der Person verwendet werden.
Nachdem ein Gesicht in einer Abbildung lokalisiert worden ist, können charakteristische Merkmale des Gesichts analysiert werden, um zu entscheiden, ob es sich um einen Mann oder um eine Frau handelt. Die Analyse eines Gesichts zur Bestimmung physischer und/oder psychischer Merkmale wird hier auch als Gesichtserkennung bezeichnet (während die Gesichtslokalisierung nur die Erkennung der Anwesenheit eines Gesichts zur Aufgabe hat).
In einer bevorzugten Ausführungsform wird ein künstliches neuronales Netz verwendet, um das Geschlecht aus der Gesichtsaufnahme zu bestimmen.
In der Literatur sind zahlreiche Ansätze beschrieben, wie Merkmale wie das Geschlecht einer Person aus einer digitalen Abbildung des Gesichts bestimmt werden können (siehe z.B. Okechuwku A. Uwechue, Abhijit S. Pandya: Human Face Recognition Using Third- Order Synthetic Neural Networks, Springer Science + Budiness Media, LLC, 1997, ISBN 978-1-4613-6832-8; Stan Z. Li, Anil K. Kain (Editors), Handbook of Face Recognition, Second Edition, Springer 2011, ISBN 978-0-85729-931-4; Maria De Marsico et al: Face Recognition in Adverse Conditions, Advances in Computational Intelligence and Robotics Book Series 2014, ISBN 978-1-4666-5966-7; Thirimachos Bourlai (Editor): Face Recognition Across the Imaging Spectrum, Springer 2016, ISBN 978-3-319-28501-6; http ://www.iis .fraunho fer. de/ de/ ff/bsy/tech/bildanalyse/ shore-gesichtsdetektion.html) .
Ein weiteres körperliches Merkmal stellt das Alter dar. Bisher ist kein Verfahren bekannt, mit dem man das exakte Alter einer Person über einen berührungslosen Sensor ermitteln kann. Aber das ungefähre Alter lässt sich anhand verschiedener, berührungslos erfassbarer Merkmale bestimmen. Insbesondere das Erscheinungsbild der Haut vor allem im Gesicht gibt Auskunft über das ungefähre Alter. Da berührungslos kein exaktes Alter bestimmbar ist (es sein denn man fragt die Person), wird vorliegend auf die Zugehörigkeit zu einer Altersgruppe abgezielt.
Erfindungsgemäß wird auch die Zugehörigkeit zu einer Altersgruppe (so wie das Geschlecht einer Person) mittels eines Bildsensors, der an ein Computersystem angeschlossen ist, auf dem eine Gesichtserkennungssoftware läuft, ermittelt. Vorzugsweise wird zur Ermittlung der Zugehörigkeit zu einer Altersgruppe dieselbe Hardware verwendet wie für die Ermittlung des Geschlechts.
Vorzugsweise wird zur Bestimmung der Zugehörigkeit einer Person zu einer Altersgruppe ein künstliches neuronales Netz verwendet.
Die Altersgruppen lassen sich dabei prinzipiell willkürlich definieren, z.B. könnte man alle zehn Jahre eine neue Altersgruppe definieren: Personen im Alter von 0 bis 9, Personen im Alter von 10 bis 19, Personen im Alter von 20 bis 29 usw.
Allerdings ist die Variationsbreite bei den berührungslos erfassbaren, altersspezifischen Merkmalen für Menschen im Alter von 0 bis 9 Jahren wesentlich größer als diejenige für Menschen im Alter von 20 bis 29 Jahren. Insofern ist eine Aufteilung in Altersgruppen zu bevorzugen, die der Variationsbreite Rechnung trägt.
Ebenso lässt sich ein Alter in Jahren abschätzen und dieses Alter zusammen mit einem relativen oder absoluten Fehler oder einer Wahrscheinlichkeit angeben. Weitere physische Merkmale, die sich mit Hilfe eines Bildsensors berührungslos ermitteln lassen, sind beispielsweise: Größe, Gewicht, Haarfarbe, Hautfarbe, Haarlänge/Haarfülle, Brille, Haltung, Gang u.a.
Zur Bestimmung der Größe einer Person ist es zum Beispiel denkbar, den Kopf der stehenden Person auf dem Bildsensor abzubilden und den Abstand der Person vom Bildsensor mit einem Abstandsmesser zu ermitteln (z.B. mit einem Laserentfernungsmessgerät, das die Laufzeit und/oder die Phasenlage eines reflektierten Laserpulses misst). Aus der Lage des abgebildeten Kopfes auf dem Bildsensor und der Entfernung der Person vom Bildsensor ergibt sich dann unter Berücksichtigung der optischen Elemente zwischen Bildsensor und Person die Größe der Person.
Das Gewicht einer Person lässt sich ebenfalls aus der Höhe und der Breite der Person abschätzen. Höhe und Breite lassen sich mittels Bildsensor ermitteln.
Neben den genannten physischen Merkmalen werden auch psychische Merkmale erfasst. Unter psychischen Merkmalen sind Merkmale zu verstehen, die Rückschlüsse auf die psychische Verfassung einer Person zulassen. Letztlich handelt es sich auch bei den psychischen Merkmalen um körperliche Merkmale, d.h. Merkmale, die am Körper eines Menschen erkennbar und erfassbar sind. Im Unterschied zu den rein physischen Merkmalen sind aber die psychischen Merkmale entweder direkt auf eine psychische Verfassung zurückzuführen oder sie gehen mit einer psychischen Verfassung einher.
Ein Merkmal, das ein direkter Ausdruck der psychischen Verfassung einer Person ist, ist beispielsweise der Gesichtsausdruck: eine lachende Person befindet sich in einer besseren psychischen Verfassung als eine weinende Person oder eine verärgerte Person oder eine verängstigte Person.
In einer Ausführungsform der vorliegenden Erfindung wird ein Bildsensor mit angeschlossenem Computersystem und Software zur Gesichtserkennung verwendet, um den Gesichtsausdruck zu analysieren und um die Stimmung der Person zu erkennen (fröhlich, traurig, wütend, ängstlich, überrascht u.a.).
Zur Bestimmung des Gesichtsausdrucks kann dieselbe Hardware verwendet werden, die auch zur Bestimmung des Alters eingesetzt wird.
Vorzugsweise werden die folgenden Stimmungen unterschieden: verärgert, fröhlich, traurig und überrascht.
Ein Merkmal, das ein indirekter Ausdruck der psychischen Verfassung einer Person ist, ist beispielsweise die Körpertemperatur. Eine erhöhte Körpertemperatur ist in der Regel ein Zeichen für eine Erkrankung (mit einhergehendem Fieber); eine Krankheit schlägt sich in der Regel negativ auf die psychische Verfassung aus; Personen mit Fieber "fühlen sich meist nicht gut".
In einer bevorzugten Ausführungsform wird die Temperatur der Haut vorzugsweise im Gesicht, vorzugsweise an der Stirn der Person ermittelt. Zur berührungslosen Temperaturmessung kann Infrarot-Thermografie verwendet werden (siehe z.B. Jones, B.F.: A reappraisal of the use of infrared thermal image analysis in medicine. IEEE Trans. Med. Imaging 1998, 17, 1019-1027).
Ein weiteres Merkmal, das ein indirekter Ausdruck der psychischen (und physischen) Verfassung einer Person sein kann, ist die Herzschlagfrequenz. Eine erhöhte Herzschlagfrequenz kann auf Nervosität oder Angst hindeuten oder aber auch auf ein organisches Problem.
Es sind verschiedene Verfahren bekannt, mit denen die Herzschlagfrequenz berührungslos mittels eines Bildsensors mit einem angeschlossenen Computersystem ermittelt werden können.
Mit jedem Herzschlag wird sauerstoffreiches Blut in die Arterien gepumpt. Sauerstoffreiches Blut hat eine andere Farbe als sauerstoffarmes Blut. Mit einer Videokamera kann die pulsierende Farbänderung aufgezeichnet und ausgewertet werden. Üblicherweise wird die Haut dazu mit rotem oder infrarotem Licht bestrahlt und das von der Haut reflektierte Licht mittels eines entsprechenden Bildsensors aufgefangen. Üblicherweise wird dabei das Gesicht einer Person erfasst, da dieses üblicherweise nicht durch Kleidung bedeckt ist. Näheres Details können beispielsweise der folgenden Publikation und den in der Publikation aufgeführten Verweisen entnommen werden: http://www.cv- foundation.org/openaccess/content_cvpr_workshops_2013/W13/papers/Gaul t_A_Fully_A utomatic_2013_CVPR_paper.pdf
Eine andere Möglichkeit besteht in der Auswertung von Kopfbewegungen, die durch das Pumpen von Blut in den Kopf einer Person verursacht werden (siehe z.B. https://people.csail.mit.edu/nmib/vidmag/papers/Balakrishnan_Detecting_Pulse_from_201 3_CVPR_paper.pdf).
Vorzugsweise wird die Kopfbewegung mittels einer Videokamera analysiert. Neben den Bewegungen, die durch das Pumpen von Blut in den Kopf verursacht werden (Pump- Bewegungen), könnte die analysierte Person weitere Kopfbewegungen vollführen (hier als „natürliche Kopfbewegungen" bezeichnet), z.B. diejenigen Kopfbewegungen, die vollführt werden, wenn die analysierte Person ihren Blick wandern lässt. Es ist denkbar, die zu analysierende Person zu bitten, den Kopf für die Analyse still zu halten. Allerdings sollte, wie eingangs beschrieben, die erfindungsgemäße Erfassung von Merkmalen weitgehend ohne Zutun der zu analysierenden Person erfolgen. Daher wird vorzugsweise eine Videosequenz von dem Kopf der zu analysierenden Person vorverarbeitet, um die natürlichen Kopfbewegungen zu eliminieren. Dies geschieht vorzugsweise dadurch, dass Gesichtsmerkmale wie beispielsweise die Augen, die Augenbrauen, die Nase und/oder der Mund und/oder andere Merkmale in aufeinanderfolgenden Bildaufnahmen der Videosequenz an Fixpunkten in den Bildaufnahmen fixiert werden. Wandern also beispielsweise die Mittelpunkte der Pupillen infolge einer Drehung des Kopfes innerhalb der Videosequenz von zwei Punkten xri , und x'i , y'i zu zwei Punkten xr 2, γι und x'2, y'2, so wird die Videosequenz so verarbeitet, dass die Mittelpunkte der Pupillen an den zwei Punkten xri ,
Figure imgf000010_0001
und x'i , y'i verbleiben. Dadurch wird die„natürliche Kopfbewegung" eliminiert und in der Videosequenz verbleibt die Pump-Bewegung, die dann in Hinblick auf die Herzschlagfrequenz analysiert werden kann.
Auch anhand der Stimme lassen sich Rückschlüsse auf die psychische Verfassung einer Person ziehen (siehe z.B. Petri Laukka et al: In a Nervous Voice: Acoustic Analysis and Perception of Anxiety in Social Phobics' Speech, Journal of Nonverbal Behaviour 32(4): 195-214, Dec. 2008; Owren, M. J., & Bachorowski, J.-A. (2007). Measuring emotion- related vocal acoustics. In J. Coan & J. Allen (Eds.), Handbook of emotion elicitation and assessment (pp. 239-266). New York: Oxford University Press; Scherer, K. R. (2003). Vocal communication of emotion: A review of research paradigms. Speech Communication, 40, 227-256).
In einer bevorzugten Ausführungsform umfasst die erfindungsgemäße Vorrichtung ein (Rieht-) Mikrofon mit einem angeschlossenen Computersystem, mit dem die Stimme einer Person aufgenommen und analysiert werden kann. Aus dem Stimmmuster wird ein Stresslevel ermittelt. Details sind beispielsweise in US 7,571,101 B2, WO201552729, WO2008041881 oder US 7,321,855 offenbart.
Anhand von psychischen und/oder physischen Merkmalen lässt sich auch auf Krankheiten schließen. Dies gilt vor allem für Merkmale, bei denen die erfassten Werte von„normalen" Werten abweichen. Ein Beispiel ist die bereits oben erwähnte „erhöhte Temperatur" (Fieber), die auf eine Krankheit hinweisen kann.
Ein sehr hoher Wert für die Herzschlagfrequenz oder ein ungewöhnlicher Rhythmus des Herzschlags können ebenfalls Zeichen für Krankheiten sein.
Es gibt Ansätze, aus der Stimme die Anwesenheit einer Krankheit wie beispielsweise Parkinson zu ermitteln (Sonu R.K.Sharma: Disease Detection Using Analysis of Voice Parameters, TECHNIA - International Journal of Computing Science and Communication Technologies, VOL.4 NO. 2, January 2012 (ISSN 09743375)).
Neben einer Differenzierung der Merkmale in physische und psychische Merkmale könnte auch eine Einteilung in statische bzw. quasi-statische und dynamische Merkmale vorgenommen werden. Einige der genannten Merkmale ändern sich üblicherweise überhaupt nicht, wie z.B. das Geschlecht (statische Merkmale), andere können sich nur sehr langsam ändern (quasi-statische Merkmale), andere hingegen schnell (dynamische Merkmale). Körpergröße (Höhe), Körperbreite, Gewicht und Alter sind Merkmale, die sich üblicherweise nur langsam ändern, während Herzschlagfrequenz, Temperatur und Stimme Merkmale sind, die sich schnell ändern können.
Erfindungsgemäß werden sowohl statische, als auch quasi-statische als auch dynamische Merkmale einer Person erfasst. Die Erfassung erfolgt innerhalb derselben Zeitspanne. Die Zeitspanne beträgt üblicherweise weniger als eine Minute, vorzugsweise weniger als 10 Sekunden, noch mehr bevorzugt weniger als 5 Sekunden.
Zur Erfassung der Merkmale einer Person wird erfindungsgemäß eine einzige Vorrichtung verwendet, in der alle entsprechenden Mittel integriert sind. Diese Vorrichtung verfügt neben den entsprechenden Sensoren über Mittel zum Auslesen der Sensoren und zur Analyse der ausgelesenen Daten. Dazu werden ein oder mehrere Computersysteme verwendet. Ein Computersystem ist eine Vorrichtung zur elektronischen Datenverarbeitung mittels programmierbarer Rechenvorschriften. Die Vorrichtung weist üblicherweise gemäß der Von-Neumann-Architektur eine Recheneinheit, eine Steuereinheit, eine Buseinheit, einen Speicher sowie Eingabe- und Ausgabeeinheiten auf.
Die Ergebnisse der Datenanalyse werden in einer visuellen Form dargestellt. Dazu umfasst die erfindungsgemäße Vorrichtung einen ersten Bildschirm.
Erfindungsgemäß werden die aus den Sensoren ermittelten Rohdaten zunächst analysiert, um Merkmale für physische und/oder psychische Zustände der analysierten Person zu bestimmen. Anschließend werden den ermittelten Merkmalen visuelle Repräsentationen zu geordnet und die visuellen Repräsentationen auf dem ersten Bildschirm angezeigt.
Merkmale, die sich in Form von Ziffern darstellen lassen (Körpertemperatur, Herzschlagfrequenz, Körpergröße, abgeschätztes Gewicht) werden vorzugsweise als Ziffern auf dem ersten Bildschirm dargestellt.
Merkmale, die sich mittels Buchstaben darstellen lassen (z.B. das Geschlecht), werden vorzugsweise mittels Buchstaben dargestellt werden (z.B.„m" für männlich und„w" für weiblich). Es ist aber auch denkbar, für die Darstellung des Geschlechts Symbole zu verwenden.
Für Merkmale, die sich nicht oder nur schlecht mittels Ziffern und/oder Buchstaben darstellen lassen, können Symbole verwenden werden.
Zum Beispiel kann die aus der Gesichtsanalyse und/oder Stimmenanalyse abgeleitete Stimmung mit Hilfe eines Emoticons dargestellt werden (z.B.„©" für gute Stimmung und „©" für schlechte Stimmung).
Farben können verwendet werden, um die dargestellten Informationen leichter erfassbar zu machen. Zum Beispiel könnte eine rote Farbe für die gemessene Temperatur verwendet werden, wenn die Temperatur oberhalb der normalen Werte (36,0 °C - 37,2 °C) liegt, während die Temperatur in einem grünen Farbton angezeigt wird, wenn sie innerhalb des normalen Wertebereichs liegt.
Denkbar ist auch, dass mehrere Merkmale zu einer dargestellten Information zusammengefasst werden. Ergibt sich beispielsweise aus der Gesichtserkennung und der Herzschlagfrequenz-Messung, dass eine Person gestresst ist, könnte man ein Zeichen für eine gestresste Person auf dem ersten Bildschirm darstellen.
Der erste Bildschirm kann so angeordnet sein, dass er sich direkt im Blickfeld der analysierten Person befindet, wenn die Person analysiert wird.
Denkbar ist auch, dass der erste Bildschirm so angeordnet ist, dass er sich im Blickfeld einer Person (die zweite Person) befindet, die mit der analysierten Person interagiert oder interagieren wird. Denkbar ist auch, dass der erste Bildschirm so angeordnet ist, dass er von der ersten Person und von der zweiten Person gesehen werden kann.
Die Vorrichtung umfasst vorzugsweise Mittel, mit denen die Aufmerksamkeit der zu analysierenden Person gewonnen werden kann. Dadurch soll sich die zu analysierende Person so in Bezug zu den Sensoren positionieren, dass diese die entsprechenden Merkmale besser erfassen können. Es ist auch denkbar, die zu analysierende Person zum Verweilen zu ermuntern, um die notwendige Zeit zum Erfassen der Merkmale zu haben.
In einer bevorzugten Ausführungsform handelt es sich bei diesen Mitteln zur Gewinnung der Aufmerksamkeit oder zur Ermunterung einer längeren Verweildauer um einen zweiten Bildschirm.
Auf diesem zweiten Bildschirm können Bilder, Bildersequenzen oder Videos abgespielt werden.
Es ist denkbar, die auf dem zweiten Bildschirm dargestellten Informationen so zu wählen, dass sie eine Reaktion bei der zu analysierenden Person auslösen sollen. Die spezifische Reaktion der zu analysierenden Person kann dann mittels geeigneter Sensoren erfasst, analysiert und bewertet werden.
Es ist z.B. denkbar, auf dem zweiten Bildschirm ein lustiges Bild, das Personen üblicherweise zum Schmunzeln anregt, darzustellen. Zeigt die analysierte Person keine Reaktion, kann dies darauf hindeuten, dass sie sich in einer Stimmung befindet, in der sie sich nicht auf derartige Späße einlässt.
Denkbar ist auch, den Inhalt des zweiten Bildschirms an ein Merkmal oder an mehrere Merkmale der analysierten Person anzupassen. Es könnte sich bei dem Inhalt des zweiten Bildschirms beispielsweise um personalisierte Werbung handeln. Ist beispielsweise mittels der Sensoren erkannt worden, dass es sich bei der analysierten Person um eine eher sportliche Frau im Alter zwischen 20 und 30 Jahren handelt, so könnte man dieser Person Waren anzeigen, die solche Personen interessieren könnten.
In einer bevorzugten Ausführungsform wird die erfindungsgemäße Vorrichtung in einer Verkaufsstelle eingesetzt. Besonders bevorzugt wird die erfindungsgemäße Vorrichtung in einer Apotheke oder einem vergleichbaren Geschäft, in dem Medikamente und/oder gesundheitsfördernde Mittel erworben werden können, verwendet.
Die erfindungsgemäße Vorrichtung befindet sich vorzugsweise in der Nähe des Beratungs- /Verkaufstresens (in der Apotheke spricht man auch vom Handverkaufstisch), so dass eine Person vor und/oder während eines Beratungsgesprächs mit dem Apotheker analysiert werden kann. Vorzugsweise sind Schilder oder andere Hinweise vorhanden, die auf die Vorrichtung hinweisen. Vorzugsweise macht der Apotheker darauf aufmerksam, dass eine entsprechende Vorrichtung vorhanden ist und fragt die zu analysierende Person, ob sie mit der Erfassung von Merkmalen einverstanden ist.
Vorzugsweise ist der erste Bildschirm so angeordnet, dass er von dem Apotheker gesehen werden kann. Vorzugsweise ist ein zweiter Bildschirm vorhanden, der von der zu analysierenden Person gesehen werden kann. Hat die zu analysierende Person ihr Einverständnis mit der Analyse gegeben, werden Merkmale der Person ermittelt und dem Apotheker gegenüber angezeigt, so dass der Apotheker erkennen kann, welche Bedürfnisse die Person haben könnte, um sie optimal beraten zu können. Die Erfindung wird nachfolgend anhand eines konkreten Beispiels näher erläutert, ohne sie auf die Merkmale des Beispiels beschränken zu wollen.
Ein Kunde sucht eine Apotheke auf, um sich zu einem bestimmten, gesundheitsbezogenen Thema beraten zu lassen. Im laufenden Gespräch stellt der Apotheker einige Fragen, um das Bedürfnis des Kunden besser kennenzulernen und seine Situation besser einschätzen zu können. Während des Gespräches erfassen Sensoren weiterführende Parameter des Kunden:
- eine Kamera erfasst das Gesicht und erkennt Geschlecht und Alter
- eine zweite thermische Kamera misst die Körpertemperatur auf der Stirn des Kunden
- eine dritte Kamera misst auf Basis der Kopfbewegungen die Herzschlagfrequenz
- ein Richtmikrophon erfasst die Stimme und analysiert den Stresslevel
Alle erfassten und analysierten Parameter werden dem beratenden Apotheker angezeigt, während dem Kunde„personalisierte Werbung" auf Basis seines Geschlechts und des Alters angezeigt wird. Der Apotheker kann nun auf dieser Basis seine Beratung ausrichten und gezielter auf den Kunden eingehen.
Alle genannten Sensoren sind in einer Einheit verbaut. Diese Einheit beinhaltet neben den genannten Sensoren Monitore, die sowohl dem Apotheker, als auch dem Kunden Informationen anzeigen, und Rechner (Mini-Computer), die die erfassten Informationen verarbeiten (ein Mini-Rechner für die Gesichtserkennung, ein Rechner für die restlichen Sensoren). Darüber hinaus bietet ein Mobilfunk-Modul einen Remote-Zugriff auf das System, um u.a. die anzuzeigenden Informationen (Werbung) per Fernwartung aufzuspielen bzw. statistische Daten zurückzuspielen.
Figur 1 zeigt eine erfindungsgemäße Vorrichtung (1) in einer Frontansicht. Die Vorrichtung umfasst einen Bildschirm (11) zum Anzeigen von personalisierten Informationen gegenüber einer analysierten Person, sowie drei Sensoren (21, 22, 23) zur Analyse der Person.
Figur 2 zeigt die erfindungsgemäße Vorrichtung (1) aus Figur 1 in einer Rückansicht. Die Vorrichtung umfasst einen Bildschirm (12) zum Anzeigen von Informationen über die analysierte Person gegenüber einer anderen Person.
Figur 3 zeigt die erfindungsgemäße Vorrichtung (1) aus Figur 1 in einer perspektivischen Darstellung von vorne und von der Seite.

Claims

Patentansprüche
1. Vorrichtung umfassend
einen oder mehrere Sensoren zur berührungslosen Ermittlung
o des Geschlechts einer ersten Person und
o der Zugehörigkeit der ersten Person zu einer Altersgruppe und
o der Hauttemperatur der ersten Person und
o der Herzschlagfrequenz der ersten Person und
o der Stimmung der ersten Person
einen ersten Bildschirm,
- Mittel zum Auslesen des einen oder der mehreren Sensoren,
Mittel zum Verarbeiten der aus dem einen oder den mehreren Sensoren ausgelesenen Daten und zum Zuordnen der ausgelesenen und verarbeiteten Daten zu einer oder mehreren visuellen Repräsentationen der Daten, und
Mittel zum Darstellen der visuellen Repräsentationen auf dem ersten Bildschirm.
2. Vorrichtung gemäß Anspruch 1, wobei zur Ermittlung der Hauttemperatur, der Herzschlagfrequenz, des Geschlechts, der Zugehörigkeit zu einer Altersgruppe und der Stimmung ein oder mehrere Bildsensoren verwendet werden, wobei der eine oder die mehreren Bildsensoren mit einem Computersystem verbunden ist/sind.
3. Vorrichtung gemäß Anspruch 2, wobei die Ermittlung der Hauttemperatur, des Geschlechts, der Zugehörigkeit zu einer Altersgruppe und der Stimmung anhand des
Gesichts der ersten Person erfolgt.
4. Vorrichtung gemäß einem der Ansprüche 1 bis 3, die so konfiguriert sind, dass die visuellen Repräsentationen gegenüber einer zweiten Person dargestellt werden,
5. Vorrichtung gemäß einem der Ansprüche 1 bis 4, wobei die Vorrichtung über einen zweiten Bildschirm verfügt, der sich bei der Ermittlung der physischen und psychischen
Merkmale im Blickfeld der ersten Person befindet.
6. Vorrichtung gemäß Anspruch 5, wobei der zweite Bildschirm Informationen in Abhängigkeit des ermittelten Geschlechts und/oder in Abhängigkeit der ermittelten Zugehörigkeit zu einer Altersgruppe gegenüber der ersten Person anzeigt.
7. Vorrichtung gemäß einem der Anspruch 1 bis 6, wobei die Vorrichtung einen Bildsensor umfasst, der mit einem Computersystem verbunden ist, wobei das Computersystem so konfiguriert ist, dass es ein auf dem Bildsensor abgebildetes Bild im Hinblick auf die Anwesenheit eines Gesichts analysiert, und, falls die Wahrscheinlichkeit der Anwesenheit eines Gesichts größer als ein vorgegebener Schwellenwert ist, das Gesicht in Hinblick auf das Geschlecht und die Zugehörigkeit zu einer Altersgruppe analysiert und die ermittelten Informationen über das Geschlecht und die Zugehörigkeit zu einer Altersgruppe auf dem ersten Bildschirm anzeigt.
8. Vorrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Vorrichtung eine Thermo - Kamera umfasst, mit der die Temperatur der ersten Person an der Stirn ermittelt wird, wobei die Vorrichtung so konfiguriert ist, dass sie die ermittelte Temperatur auf dem ersten Bildschirm anzeigt.
9. Vorrichtung gemäß einem der Ansprüche 1 bis 8, wobei die Vorrichtung ein Mikrofon umfasst, das mit einem Computersystem verbunden ist, wobei das Computersystem so konfiguriert ist, dass es mittels des Mikrofons gesprochene Worte der ersten Person erfasst und eine Stimmanalyse durchführt, wobei es einen Stresslevel ermittelt und diesen auf dem ersten Bildschirm anzeigt.
10. Verfahren zur Analyse einer ersten Person, umfassend die folgenden Schritte: Erkennen der Anwesenheit einer ersten Person, berührungsloses Ermitteln der folgenden Merkmale der ersten Person mit Hilfe eines oder mehrerer Sensoren:
o das Geschlecht und
o die Zugehörigkeit zu einer Altersgruppe und
o die Hauttemperatur und
o die Herzschlagfrequenz und
o die Stimmung
Darstellen der physischen und psychischen Merkmale auf einem ersten Bildschirm.
11. Verfahren nach Anspruch 10, wobei der ersten Person Informationen in Abhängigkeit des ermittelten Geschlechts und/oder in Abhängigkeit der Zugehörigkeit zu einer Altersgruppe über einen zweiten Bildschirm angezeigt werden.
12. Verfahren nach einem der Ansprüche 10 bis 1 1, wobei die Erkennung der Anwesenheit der ersten Person, die Ermittlung des Geschlechts der ersten Person und/oder die Bestimmung der Zugehörigkeit zu einer Altersgruppe und/oder die Herzschlagfrequenz der ersten Person mit einem Bildsensor erfolgen.
13. Verfahren nach einem der Ansprüche 10 bis 12, wobei die Hauttemperatur mit einer Thermo-Kamera ermittelt und/oder der Stresslevel mit Hilfe eines Mikrofons ermittelt wird/werden.
PCT/EP2017/076177 2016-10-20 2017-10-13 Vorrichtung zur ermittlung von merkmalen einer person WO2018073113A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17780458.0A EP3529764A1 (de) 2016-10-20 2017-10-13 Vorrichtung zur ermittlung von merkmalen einer person
US16/341,615 US20200175255A1 (en) 2016-10-20 2017-10-13 Device for determining features of a person
CA3040985A CA3040985A1 (en) 2016-10-20 2017-10-13 Device for determining features of a person
CN201780064829.XA CN110140181A (zh) 2016-10-20 2017-10-13 用于确定人的特征的设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16194848 2016-10-20
EP16194848.4 2016-10-20

Publications (1)

Publication Number Publication Date
WO2018073113A1 true WO2018073113A1 (de) 2018-04-26

Family

ID=57178350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/076177 WO2018073113A1 (de) 2016-10-20 2017-10-13 Vorrichtung zur ermittlung von merkmalen einer person

Country Status (5)

Country Link
US (1) US20200175255A1 (de)
EP (1) EP3529764A1 (de)
CN (1) CN110140181A (de)
CA (1) CA3040985A1 (de)
WO (1) WO2018073113A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202102079SA (en) * 2018-09-06 2021-03-30 Nec Solution Innovators Ltd Biological information management apparatus, biological information management method, program, and recording medium
US11676270B2 (en) * 2020-08-31 2023-06-13 Nec Corporation Of America Measurement of body temperature of a subject
US11935009B2 (en) * 2021-04-08 2024-03-19 Turing Video Integrating healthcare screening with other identity-based functions

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135097A1 (en) * 2001-06-25 2003-07-17 Science Applications International Corporation Identification by analysis of physiometric variation
EP1522256A1 (de) 2003-10-06 2005-04-13 Sony Corporation Informationsaufzeichnungsvorrichtung und Verfahren
US7321855B2 (en) 2003-12-15 2008-01-22 Charles Humble Method for quantifying psychological stress levels using voice pattern samples
DE102006038438A1 (de) 2006-08-16 2008-02-21 Keppler, Bernhard, Westport Vorrichtung, multifunktionales System und Verfahren zur Ermittlung medizinischer und/oder biometrischer Daten eines Lebewesens
WO2008041881A1 (fr) 2006-10-03 2008-04-10 Andrey Evgenievich Nazdratenko Procédé permettant de déterminer l'état de stress d'un individu en fonction de sa voix et dispositif de mise en oeuvre de ce procédé
US7571101B2 (en) 2006-05-25 2009-08-04 Charles Humble Quantifying psychological stress levels using voice patterns
US20130079599A1 (en) * 2011-09-25 2013-03-28 Theranos, Inc., a Delaware Corporation Systems and methods for diagnosis or treatment
US20140317646A1 (en) * 2013-04-18 2014-10-23 Microsoft Corporation Linked advertisements
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
WO2015052729A2 (en) 2013-10-10 2015-04-16 3Gs Wellness Pvt Ltd Method and system for measuring and quantifying user's stress levels through voice signal analysis
US20160191822A1 (en) 2014-12-26 2016-06-30 Kabushiki Kaisha Toshiba Heart rate detection device and facial recognition system with the heart rate detection device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150026708A1 (en) * 2012-12-14 2015-01-22 Biscotti Inc. Physical Presence and Advertising
US20150220159A1 (en) * 2014-02-04 2015-08-06 Pointgrab Ltd. System and method for control of a device based on user identification
EP3065067A1 (de) * 2015-03-06 2016-09-07 Captoria Ltd Anonyme live-bild-suche
US20170319148A1 (en) * 2016-05-04 2017-11-09 Mimitec Limited Smart mirror and platform

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135097A1 (en) * 2001-06-25 2003-07-17 Science Applications International Corporation Identification by analysis of physiometric variation
EP1522256A1 (de) 2003-10-06 2005-04-13 Sony Corporation Informationsaufzeichnungsvorrichtung und Verfahren
US7321855B2 (en) 2003-12-15 2008-01-22 Charles Humble Method for quantifying psychological stress levels using voice pattern samples
US7571101B2 (en) 2006-05-25 2009-08-04 Charles Humble Quantifying psychological stress levels using voice patterns
DE102006038438A1 (de) 2006-08-16 2008-02-21 Keppler, Bernhard, Westport Vorrichtung, multifunktionales System und Verfahren zur Ermittlung medizinischer und/oder biometrischer Daten eines Lebewesens
WO2008041881A1 (fr) 2006-10-03 2008-04-10 Andrey Evgenievich Nazdratenko Procédé permettant de déterminer l'état de stress d'un individu en fonction de sa voix et dispositif de mise en oeuvre de ce procédé
US20130079599A1 (en) * 2011-09-25 2013-03-28 Theranos, Inc., a Delaware Corporation Systems and methods for diagnosis or treatment
US20140317646A1 (en) * 2013-04-18 2014-10-23 Microsoft Corporation Linked advertisements
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
WO2015052729A2 (en) 2013-10-10 2015-04-16 3Gs Wellness Pvt Ltd Method and system for measuring and quantifying user's stress levels through voice signal analysis
US20160191822A1 (en) 2014-12-26 2016-06-30 Kabushiki Kaisha Toshiba Heart rate detection device and facial recognition system with the heart rate detection device

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
"Face Recognition Across the Imaging Spectrum", 2016, SPRINGER, article "Thirimachos Bourlai"
"Handbook of Face Recognition", 2011, SPRINGER
"Vocal communication of emotion: A review of research paradigms", SPEECH COMMUNICATION, vol. 40, 2003, pages 227 - 256
ANONYMOUS: "FLIR thermal imaging cameras allow machines to read human emotions", INTERNET ARTICLE, 25 November 2014 (2014-11-25), XP055326138, Retrieved from the Internet <URL:http://www.flirmedia.com/MMC/THG/Brochures/RND_028/RND_028_EN.pdf> [retrieved on 20161205] *
FRAUNHOFERIIS: "Fraunhofer IIS - SHORE Google Glass 2014", YOUTUBE VIDEO, 30 July 2014 (2014-07-30), XP055326573, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=Suc5B79qjfE> [retrieved on 20161206] *
JONES, B.F.: "A reappraisal of the use of infrared thermal image analysis in medicine.", IEEE TRANS. MED. IMAGING, vol. 17, 1998, pages 1019 - 1027, XP011035796
MARIA DE MARSICO ET AL.: "Advances in Computational Intelligence and Robotics Book Series", 2014, article "Face Recognition in Adverse Conditions"
MASSIMO TISTARELLI ET AL: "Handbook of Remote Biometrics: for Surveillance and Security (Advances in Computer Vision and Pattern Recognition)", 6 August 2009, SPRINGER LONDON, London, ISBN: 9781848823846, ISSN: 1617-7916, pages: ToC,Ch11 - Ch12,Ind, XP055421814 *
OKECHUWKU A. UWECHUE; ABHIJIT S. PANDYA: "Human Face Recognition Using Third-Order Synthetic Neural Networks", 1997, SPRINGER SCIENCE + BUDINESS MEDIA, LLC.
OWREN, M. J.; BACHOROWSKI, J.-A.: "Measuring emotionrelated vocal acoustics.", 2007, OXFORD UNIVERSITY PRESS, pages: 239 - 266
PETRI LAUKKA ET AL.: "Nervous Voice: Acoustic Analysis and Perception of Anxiety in Social Phobics", JOURNAL OF NONVERBAL BEHAVIOUR, vol. 32, no. 4, December 2008 (2008-12-01), pages 195 - 214, XP019645529, DOI: doi:10.1007/s10919-008-0055-9
RAKEL DP ET AL., PRACTITIONER EMPATHY AND THE DURATION OF THE COMMON COLD FAM MED, vol. 41, no. 7, 2009, pages 494 - 501
SONU R.K.SHARMA: "Disease Detection Using Analysis of Voice Parameters", TECHNIA - INTERNATIONAL JOURNAL OF COMPUTING SCIENCE AND COMMUNICATION TECHNOLOGIES, vol. 4, no. 2, January 2012 (2012-01-01)
STAN Z LI ET AL: "Handbook of Face Recognition", 31 August 2011, SPRINGER-VERLAG LONDON LIMITED, London, UK, ISBN: 978-0-85729-931-4, pages: ToC,Ch01,Ch05,Ch17 - Ch18,Ch22-Ch23, XP055326682 *
WELCH ALLYN: "Spot Vision Screener", INTERNET ARTICLE, 8 October 2014 (2014-10-08), XP055326774, Retrieved from the Internet <URL:https://www.welchallyn.com/content/dam/welchallyn/documents/sap-documents/LIT/80019/80019671LITPDF.pdf> [retrieved on 20161207] *
WIKIPEDIA: "EN 80601-2-59", INTERNET ARTICLE, 2 September 2010 (2010-09-02), XP055326072, Retrieved from the Internet <URL:https://de.wikipedia.org/w/index.php?title=EN_80601-2-59&oldid=78593712> [retrieved on 20161205] *
WIKIPEDIA: "Wärmebildkamera", INTERNET ARTICLE, 6 February 2016 (2016-02-06), XP055326071, Retrieved from the Internet <URL:https://de.wikipedia.org/w/index.php?title=Wärmebildkamera&oldid=151164909> [retrieved on 20161205] *

Also Published As

Publication number Publication date
EP3529764A1 (de) 2019-08-28
CN110140181A (zh) 2019-08-16
US20200175255A1 (en) 2020-06-04
CA3040985A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
Fernandes et al. A novel nonintrusive decision support approach for heart rate measurement
JP4401079B2 (ja) 被験者の行動解析
EP4003164A1 (de) System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person
WO2016163594A1 (ko) 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치
DE112014006082T5 (de) Pulswellenmessvorrichtung, Mobilvorrichtung, medizinisches Ausrüstungssystem und biologisches Informations-Kommunikationssystem
CN110598608B (zh) 非接触式与接触式协同的心理生理状态智能监测系统
CN104331685A (zh) 非接触式主动呼叫方法
WO2014150684A1 (en) Artifact as a feature in neuro diagnostics
Basu et al. Emotion recognition based on physiological signals using valence-arousal model
WO2018073113A1 (de) Vorrichtung zur ermittlung von merkmalen einer person
CN113647950A (zh) 心理情绪检测方法及系统
WO2023012818A1 (en) A non-invasive multimodal screening and assessment system for human health monitoring and a method thereof
Gu et al. Application of bi-modal signal in the classification and recognition of drug addiction degree based on machine learning
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
Muaremi et al. Monitor pilgrims: prayer activity recognition using wearable sensors
CN111723869A (zh) 一种面向特殊人员的行为风险智能预警方法及系统
Liu et al. Emotion Recognition Through Observer's Physiological Signals
Rafique et al. Towards estimation of emotions from eye pupillometry with low-cost devices
KR101940673B1 (ko) 인체 미동을 이용한 공감도 평가 방법 및 장치
EP3529765A1 (de) System zum gezielten informieren einer person
Mantri et al. Real time multimodal depression analysis
Abed et al. Verbal and non-verbal features in deception detection systems
Thannoon et al. A survey on deceptive detection systems and technologies
KR102155777B1 (ko) 인체 미동 기반 상호작용에 따른 경쟁과 협력 평가 방법
Hajare et al. Analyzing the Biosignal to Make Fatigue Measurement as a Parameter for Mood Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17780458

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3040985

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017780458

Country of ref document: EP

Effective date: 20190520