WO2019110575A1 - Mobile device - Google Patents

Mobile device Download PDF

Info

Publication number
WO2019110575A1
WO2019110575A1 PCT/EP2018/083459 EP2018083459W WO2019110575A1 WO 2019110575 A1 WO2019110575 A1 WO 2019110575A1 EP 2018083459 W EP2018083459 W EP 2018083459W WO 2019110575 A1 WO2019110575 A1 WO 2019110575A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
sensor
borne sound
borne
user
Prior art date
Application number
PCT/EP2018/083459
Other languages
German (de)
French (fr)
Inventor
Raino Petricevic
Original Assignee
iNDTact GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iNDTact GmbH filed Critical iNDTact GmbH
Publication of WO2019110575A1 publication Critical patent/WO2019110575A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G01H11/08—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means using piezoelectric devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/028—Microscale sensors, e.g. electromechanical sensors [MEMS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves

Definitions

  • the invention relates to a mobile device.
  • Mobile devices already have different sensors, for example a touch-sensitive input surface (touch display) or an acceleration sensor, in order to determine whether a user holding the mobile device is moving or rotating it or whether he is providing an input for controlling the device - takes.
  • sensors for example a touch-sensitive input surface (touch display) or an acceleration sensor, in order to determine whether a user holding the mobile device is moving or rotating it or whether he is providing an input for controlling the device - takes.
  • the invention is therefore based on the object of specifying a mobile device which makes an improved evaluation of actions and inputs of a user possible.
  • a mobile device which comprises at least one structure-borne sound sensor.
  • the invention is based on the idea that actions of a user, in particular movements or inputs, can be detected by means of the structure-borne noise sensor. In this way, actions of a user can be detected with high accuracy, resulting in extended functionalities and applications. In particular, by evaluating the signals of the structure-borne sound sensor further functionalities can be implemented which are not possible with conventional mobile devices.
  • the mobile device according to the invention has a controller which is designed to evaluate a signal supplied by the structure-borne sound sensor.
  • signal sequences ie signal sequences
  • the controller can be as separate Component may be present in the mobile device, alternatively, the controller may also be implemented in a microprocessor or other logic chip.
  • the controller can be designed to determine a signal triggering the structure-borne sound by evaluating the signal.
  • the controller may be configured to determine whether the user has performed a typical action or action. Examples of this are touching an outer surface and brushing over an outer surface of the mobile device according to the invention with one or more fingers of the user.
  • a physiological condition i. H. a vital function of the user.
  • a physiological condition i. H. a vital function of the user.
  • the acquisition of the pulse of the user If the user touches or holds the mobile device in hand, the heartbeat, d. H. the pulse of the user, body sound waves transmitted to the mobile device and detectable by means of the structure-borne noise sensor.
  • Further examples are the detection of whether the user uses the mobile device with his right or left hand, the detection of a mechanical overload of the mobile device or an abuse, or the recognition in which direction a swipe is performed.
  • the evaluation of the signal preferably comprises the comparison of the signal with stored signals. Certain movements, such as stroking over a surface of the mobile device, produce typical structure-borne sound waves. Through the analysis of these structure-borne sound waves, certain patterns and time courses can be detected, whereby the cause of structure-borne noise can be determined with high accuracy.
  • the evaluation of the signal may preferably comprise the determination of characteristic properties.
  • the structure-borne sound sensor of the mobile device according to the invention it is preferred that this is a MEMS sensor (micro-electro-mechanical system) or a piezoelectric sensor.
  • a MEMS sensor can detect structure-borne noise by changing the capacitance by vibrating the masses of the sensor with structure-borne noise, resulting in a capacitance change.
  • the piezoelectric sensor makes use of the piezoelectric effect.
  • Certain piezoelectric materials are capable of converting a mechanical pressure, shock or impact into electrical voltage.
  • At least one structure-borne sound sensor is arranged on a side surface of the mobile device. It is also possible to arrange two such structure-borne sound sensors immediately adjacent to each other or spaced apart on a side surface. If two body sound sensors are used, there is the advantage that a direction of motion can also be detected on the basis of the time-varying structure-borne noise signals.
  • At least one surface or a partial surface of the mobile device according to the invention has a surface structuring.
  • the surface structuring may, for example, be in the form of a corrugation or any combination of raised and inwardly offset portions with respect to the surface. If a user sweeps this surface structuring of a surface of the mobile device with his finger, characteristic structure-borne sound waves result, which can be detected and evaluated by means of the body sound sensor.
  • a surface structure may, for example, also be in the form of grooves or similar to a serrated surface. The surface structuring can be so finely formed that it is invisible to the naked eye.
  • the surface structuring may be asymmetrical, relative to a plane of symmetry related to the surface of the mobile device.
  • the Surface structuring teeth have.
  • the asymmetrical shape causes different structure-borne sound waves when passing over in two opposite directions.
  • the direction of movement of a finger sweeping over the surface can be detected.
  • Another application of the mobile device according to the invention is that it can be used as a microphone by evaluating the signals of the structure-borne sound sensor.
  • Another important aspect of the mobile device according to the invention is that it is designed for machine learning. This means that regularities and patterns can be detected by evaluating the signals of the structure-borne sound sensor. It is also possible to evaluate unknown body sound sources in this way.
  • Another application example is the detection and transmission of high-resolution structure-borne noise signals as haptic feedback. Areas of application are, for example, the silent combination in connection with deaf-dumb persons. In addition, the detection of Morse signals or knocking marks can take place.
  • a particularly important aspect is the detection and evaluation of structure-borne noise, possibly also of airborne sound, for the quality assurance of manual production process steps.
  • An example of this is a mobile device that is designed as a smartwatch and, for example, can be worn on the wrist of a user.
  • the mobile device or its structure-borne sound sensor has skin contact with the wrist of the user on the underside of the mobile device, as a result of which assembly operations carried out by the user, for example fabricated plug connections, can be checked by detecting and analyzing structure-borne sound signals.
  • the mobile device according to the invention can be designed, in particular, as a mobile phone, as a smartphone, as a tablet computer, as a notebook or as a wristwatch or as a smart watch.
  • all other similar mobile devices in question for example, it may be a game console, a portable navigation device, a medical device for monitoring vital signs or a remote control act.
  • FIG. 1 shows a mobile device according to the invention in a perspective view
  • FIG. 2 shows the mobile device shown in FIG. 1 in the area of a user
  • FIG. 3 is an enlarged view of a surface structure of a mobile device according to the invention when sweeping over with a finger
  • FIG. 4 shows a mobile device designed as a smartwatch and worn by a user.
  • the mobile device 1 shown in a perspective view in FIG. 1 comprises a cuboidal housing 2. On a side surface 3 there are two structure-borne noise sensors 4, 5 which are spaced apart from one another.
  • the structure-borne sound sensors 4, 5 are designed as piezoelectric sensors in this exemplary embodiment
  • a schematically illustrated controller 6 which is connected to the body sound sensors 4, 5.
  • the structure-borne noise sensors 4, 5 are arranged flush with the surface in the side surface 3.
  • Fig. 2 shows the mobile device 1 held in the hand by a user. It can be seen that the side surface 3 with the structure-borne sound sensors 4,
  • the controller 6 is designed to evaluate the signals detected by the structure-borne sound sensors 4, 5.
  • the structure-borne sound sensor which is located in the vicinity of the finger 7 delivers a signal with a greater volume than the body sound sensor located farther away.
  • a stroking movement of the finger 7 in a first direction can be recognized as an input command. For example, this may start or stop the mobile device 1 or an application of the mobile device. Other applications include adjusting the volume, scrolling or clicking the mouse. Any movement of a user that is characteristic and that can be clearly detected by evaluating the signals of the structure-borne sound sensors, can be an action, d. H. an input command, be assigned.
  • FIG. 3 shows, on an enlarged scale, a surface 8 of a mobile device having a serrated surface structure 9.
  • the surface structure 9 is of a serrated design and consists of a short section, which is approximately vertical with respect to the surface, and a longer, flat section, on the other hand. The two different sections alternate.
  • characteristic structure-borne noise is produced which is detected by the structure-borne sound sensors 4, 5 and evaluated by the controller 6.
  • the structure-borne sound emission is direction-dependent due to the sawtooth surface structure 9. Accordingly, the controller 6 can determine whether the user is moving the surface 8 along the direction indicated by the arrow 10 or into the opposite direction Direction sweeps over.
  • the surface structure 9 has been shown greatly enlarged in FIG. In practice, the surface structure may be made so small that it is not visible to the human eye.
  • FIG. 4 shows a further embodiment of a mobile device 11.
  • the mobile device 11 shown in FIG. 4 is designed as a smartwatch and is worn on the flank 12 of a user.
  • the mobile device 11 shown in Fig. 4 is characterized by a high acceptance among users because it can be worn like a wristwatch.
  • the structure-borne sound sensor 13 On the underside of the mobile device 11 is a structure-borne sound sensor 13 shown schematically in FIG. 4.
  • the structure-borne sound sensor 13 may alternatively also be arranged in the interior of a housing of the mobile device 11 in the vicinity of its underside.
  • structure-borne noise sensor 13 By means of the structure-borne noise sensor 13, high-resolution structure-borne noise signals are detected.
  • Such structure-borne sound signals arise, inter alia, in manually carried out production process steps. Examples include the manual connection of connectors, such as connecting a plug to a socket.
  • the mobile device 11 can take place in such manual activities a quality assurance ,.
  • the structure-borne noise signals generated during manual operation are detected by the mobile device 11.
  • As part of the evaluation of the recorded structure-borne sound signals can be determined whether the manual operation, such as the assembly of plug and socket, has been done properly or if there is a mounting error.
  • the mobile device 1 can also be used to record vital signs.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

The invention relates to a mobile device which comprises at least one sensor for sound produced by a body.

Description

Mobilgerät  mobile device
Die Erfindung betrifft ein Mobilgerät. The invention relates to a mobile device.
Mobilgeräte weisen bereits unterschiedliche Sensoren auf, beispielsweise eine be- rührungssensitive Eingabefläche (Touch-Display) oder einen Beschleunigungs- sensor, um festzustellen, ob ein das Mobilgerät in der Hand haltender Benutzer dieses bewegt oder dreht oder ob er eine Eingabe zur Steuerung des Geräts vor- nimmt. Mobile devices already have different sensors, for example a touch-sensitive input surface (touch display) or an acceleration sensor, in order to determine whether a user holding the mobile device is moving or rotating it or whether he is providing an input for controlling the device - takes.
Allerdings sind die Möglichkeiten, Eingaben oder andere Aktionen eines Benutzers mit herkömmlichen Mobilgeräten auszuwerten, beschränkt. However, the ability to evaluate inputs or other actions of a user with traditional mobile devices is limited.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Mobilgerät anzugeben, das eine verbesserte Auswertung von Aktionen und Eingaben eines Benutzers ermög- licht. Zur Lösung dieser Aufgabe ist ein Mobilgerät vorgesehen, das wenigstens ei- nen Körperschallsensor umfasst. The invention is therefore based on the object of specifying a mobile device which makes an improved evaluation of actions and inputs of a user possible. To solve this problem, a mobile device is provided which comprises at least one structure-borne sound sensor.
Der Erfindung liegt die Idee zugrunde, dass Aktionen eines Benutzers, insbeson- dere Bewegungen oder Eingaben, mittels des Körperschallsensors erfasst werden können. Auf diese Weise können Aktionen eines Benutzers mit hoher Genauigkeit erfasst werden, wodurch sich erweiterte Funktionalitäten und Anwendungen erge- ben. Insbesondere können durch die Auswertung der Signale des Körper- schallsensors weitere Funktionalitäten implementiert werden, die bei herkömmli- chen Mobilgeräten nicht möglich sind. The invention is based on the idea that actions of a user, in particular movements or inputs, can be detected by means of the structure-borne noise sensor. In this way, actions of a user can be detected with high accuracy, resulting in extended functionalities and applications. In particular, by evaluating the signals of the structure-borne sound sensor further functionalities can be implemented which are not possible with conventional mobile devices.
Vorzugsweise weist das erfindungsgemäße Mobilgerät einen Controller auf, der zum Auswerten eines von dem Körperschallsensor gelieferten Signals ausgebildet ist. Es versteht sich, dass mittels des Controllers auch Signalfolgen, d. h., Signal- sequenzen, ausgewertet werden können. Der Controller kann als separate Komponente in dem Mobilgerät vorhanden sein, alternativ kann der Controller auch in einem Mikroprozessor oder einem anderen Logikchip implementiert sein. Preferably, the mobile device according to the invention has a controller which is designed to evaluate a signal supplied by the structure-borne sound sensor. It goes without saying that signal sequences, ie signal sequences, can also be evaluated by means of the controller. The controller can be as separate Component may be present in the mobile device, alternatively, the controller may also be implemented in a microprocessor or other logic chip.
Bei dem erfindungsgemäßen Mobilgerät kann der Controller dazu ausgebildet sein, durch Auswerten des Signals eine den Körperschall auslösende Ursache festzustellen. Beispielsweise kann der Controller dazu ausgebildet sein, festzustel- len, ob der Benutzer eine typische Handlung oder Aktion vorgenommen hat. Bei- spiele dafür sind das Berühren einer Außenfläche und das Streichen über eine Au- ßenfläche des erfindungsgemäßen Mobilgeräts mit einem oder mehreren Fingern des Benutzers. In the mobile device according to the invention, the controller can be designed to determine a signal triggering the structure-borne sound by evaluating the signal. For example, the controller may be configured to determine whether the user has performed a typical action or action. Examples of this are touching an outer surface and brushing over an outer surface of the mobile device according to the invention with one or more fingers of the user.
Darüber hinaus ist es auch möglich, einen physiologischen Zustand, d. h. eine Vi- talfunktion des Benutzers, zu erfassen. Ein Beispiel dafür ist die Erfassung des Pulses des Benutzers. Wenn der Benutzer das Mobilgerät berührt oder in der Hand hält, bewirkt der Herzschlag, d. h. der Puls des Benutzers, Körperschallwel- len, die auf das Mobilgerät übertragen und mittels des Körperschallsensors erfass- bar sind. Moreover, it is also possible to have a physiological condition, i. H. a vital function of the user. An example of this is the acquisition of the pulse of the user. If the user touches or holds the mobile device in hand, the heartbeat, d. H. the pulse of the user, body sound waves transmitted to the mobile device and detectable by means of the structure-borne noise sensor.
Weitere Beispiele sind die Erkennung, ob der Benutzer das Mobilgerät mit seiner rechten oder linken Hand benutzt, die Erkennung einer mechanischen Überlas- tung des Mobilgeräts bzw. eines Missbrauchs oder das Erkennen, in welche Rich- tung eine Streichbewegung durchgeführt wird. Further examples are the detection of whether the user uses the mobile device with his right or left hand, the detection of a mechanical overload of the mobile device or an abuse, or the recognition in which direction a swipe is performed.
Bei dem erfindungsgemäßen Mobilgerät umfasst das Auswerten des Signals vor- zugsweise das Vergleichen des Signals mit gespeicherten Signalen. Bestimmte Bewegungen, beispielsweise das Streichen über eine Fläche des Mobilgeräts ru- fen typische Körperschallwellen hervor. Durch die Analyse dieser Körperschallwel- len können bestimmte Muster und zeitliche Verläufe erkannt werden, wodurch die den Körperschall auslösende Ursache mit hoher Genauigkeit festgestellt werden kann. Das Auswerten des Signals kann vorzugsweise das Feststellen charakteris- tischen Eigenschaften umfassen. Im Hinblick auf den Körperschallsensor des erfindungsgemäßen Mobilgeräts wird es bevorzugt, dass es sich dabei um einen MEMS-Sensor (Micro-Electro-Mecha- nical System) oder um einen Piezosensor handelt. Ein MEMS-Sensor kann bei spielsweise Körperschall durch eine Änderung der Kapazität erfassen, indem Mas- sen des Sensors durch Körperschall in Schwingungen versetzt werden, wodurch sich eine Kapazitätsänderung ergibt. Bei dem Piezosensor wird von dem piezoe- lektrischen Effekt Gebrauch gemacht. Bestimmte piezoelektrische Materialien sind in der Lage, einen mechanischen Druck, Stoß oder Schlag in eine elektrische Spannung umzuwandeln. In the mobile device according to the invention, the evaluation of the signal preferably comprises the comparison of the signal with stored signals. Certain movements, such as stroking over a surface of the mobile device, produce typical structure-borne sound waves. Through the analysis of these structure-borne sound waves, certain patterns and time courses can be detected, whereby the cause of structure-borne noise can be determined with high accuracy. The evaluation of the signal may preferably comprise the determination of characteristic properties. With regard to the structure-borne sound sensor of the mobile device according to the invention, it is preferred that this is a MEMS sensor (micro-electro-mechanical system) or a piezoelectric sensor. For example, a MEMS sensor can detect structure-borne noise by changing the capacitance by vibrating the masses of the sensor with structure-borne noise, resulting in a capacitance change. The piezoelectric sensor makes use of the piezoelectric effect. Certain piezoelectric materials are capable of converting a mechanical pressure, shock or impact into electrical voltage.
Bei dem erfindungsgemäßen Mobilgerät wird es bevorzugt, dass wenigstens ein Körperschallsensor an einer Seitenfläche des Mobilgeräts angeordnet ist. Es ist auch möglich, zwei derartige Körperschallsensoren unmittelbar nebeneinander o- der voneinander beabstandet an einer Seitenfläche anzuordnen. Wenn zwei Kör- perschallsensoren verwendet werden, ergibt sich der Vorteil, dass auch eine Be- wegungsrichtung anhand der zeitlich veränderlichen Körperschallsignale erfasst werden kann. In the mobile device according to the invention, it is preferred that at least one structure-borne sound sensor is arranged on a side surface of the mobile device. It is also possible to arrange two such structure-borne sound sensors immediately adjacent to each other or spaced apart on a side surface. If two body sound sensors are used, there is the advantage that a direction of motion can also be detected on the basis of the time-varying structure-borne noise signals.
Es liegt auch im Rahmen der Erfindung, dass wenigstens eine Fläche oder eine Teilfläche des erfindungsgemäßen Mobilgeräts eine Oberflächenstrukturierung aufweist. Die Oberflächenstrukturierung kann beispielsweise in Form einer Riffe- lung oder irgendeiner beliebigen Kombination aus erhöhten und bezogen auf die Oberfläche nach innen versetzten Abschnitten bestehen. Wenn ein Benutzer mit seinem Finger diese Oberflächenstrukturierung einer Fläche des Mobilgeräts über- streicht, ergeben sich charakteristische Körperschallwellen, die mittels des Körper- schallsensors erfasst und ausgewertet werden können. Eine Oberflächenstruktu- rierung kann beispielsweise auch in Form von Rillen oder ähnlich wie eine gerän- delte Fläche ausgebildet sein. Die Oberflächenstrukturierung kann so fein ausge- bildet sein, dass sie mit bloßem Auge nicht erkennbar ist. Gemäß einer Variante des erfindungsgemäßen Mobilgeräts kann die Oberflächenstrukturierung unsym- metrisch ausgebildet sein, bezogen auf eine senkrecht zur Oberfläche des Mobil- geräts bezogene Symmetrieebene. Beispielsweise kann die Oberflächenstrukturierung Zacken aufweisen. Die unsymmetrische Form verur- sacht unterschiedliche Körperschallwellen beim Überstreichen in zwei entgegen- gesetzten Richtungen. Somit kann die Bewegungsrichtung eines Fingers, der die Oberfläche überstreicht, festgestellt werden. It is also within the scope of the invention that at least one surface or a partial surface of the mobile device according to the invention has a surface structuring. The surface structuring may, for example, be in the form of a corrugation or any combination of raised and inwardly offset portions with respect to the surface. If a user sweeps this surface structuring of a surface of the mobile device with his finger, characteristic structure-borne sound waves result, which can be detected and evaluated by means of the body sound sensor. A surface structure may, for example, also be in the form of grooves or similar to a serrated surface. The surface structuring can be so finely formed that it is invisible to the naked eye. According to a variant of the mobile device according to the invention, the surface structuring may be asymmetrical, relative to a plane of symmetry related to the surface of the mobile device. For example, the Surface structuring teeth have. The asymmetrical shape causes different structure-borne sound waves when passing over in two opposite directions. Thus, the direction of movement of a finger sweeping over the surface can be detected.
Eine weitere Anwendung des erfindungsgemäßen Mobilgeräts besteht darin, dass es durch das Auswerten der Signale des Körperschallsensors als Mikrofon ver- wendet werden kann. Another application of the mobile device according to the invention is that it can be used as a microphone by evaluating the signals of the structure-borne sound sensor.
Ein weiterer wichtiger Aspekt des erfindungsgemäßen Mobilgeräts besteht darin, dass es zum maschinellen Lernen ausgebildet ist. Das bedeutet, dass durch Aus- werten der Signale des Körperschallsensors Gesetzmäßigkeiten und Muster er- kannt werden können. Es ist auch möglich, auf diese Weise unbekannte Körper- schall erzeugende Quellen zu bewerten. Another important aspect of the mobile device according to the invention is that it is designed for machine learning. This means that regularities and patterns can be detected by evaluating the signals of the structure-borne sound sensor. It is also possible to evaluate unknown body sound sources in this way.
Als weiteres Anwendungsbeispiel kommt die Detektion und Übertragung hoch auf- gelöster Körperschallsignale als haptisches Feedback infrage. Anwendungsge- biete sind zum Beispiel die lautlose Kombination im Zusammenhang mit taubstum- men Personen. Daneben kann die Detektion von Morsesignalen oder Klopfzei- chen erfolgen. Another application example is the detection and transmission of high-resolution structure-borne noise signals as haptic feedback. Areas of application are, for example, the silent combination in connection with deaf-dumb persons. In addition, the detection of Morse signals or knocking marks can take place.
Ein besonders wichtiger Aspekt ist die Detektion und Bewertung von Körperschall, gegebenenfalls auch von Luftschall, zur Qualitätssicherung manueller Produkti- onsprozessschritte. Ein Beispiel dafür ist ein Mobilgerät, das als Smartwatch aus- gebildet ist und zum Beispiel am Handgelenk eines Benutzers getragen werden kann. Das Mobilgerät bzw. dessen Körperschallsensor hat an der Unterseite des Mobilgeräts Hautkontakt mit dem Handgelenk des Benutzers, wodurch von dem Benutzer durchgeführte Montagetätigkeiten, beispielsweise hergestellte Steckver- bindungen, durch Erfassen und Auswerten von Körperschallsignalen überprüft werden können. Das erfindungsgemäße Mobilgerät kann insbesondere als Mobiltelefon, als Smart- phone, als Tablet-Computer, als Notebook oder als Armbanduhr oder als Smart- watch ausgebildet sein. Darüber hinaus kommen alle anderen ähnlichen Mobilge- räte in Frage, beispielsweise kann es dabei um eine Spielkonsole, ein tragbares Navigationsgerät, ein medizinisches Gerät zur Überwachung von Vitalfunktionen oder um eine Fernbedienung handeln. A particularly important aspect is the detection and evaluation of structure-borne noise, possibly also of airborne sound, for the quality assurance of manual production process steps. An example of this is a mobile device that is designed as a smartwatch and, for example, can be worn on the wrist of a user. The mobile device or its structure-borne sound sensor has skin contact with the wrist of the user on the underside of the mobile device, as a result of which assembly operations carried out by the user, for example fabricated plug connections, can be checked by detecting and analyzing structure-borne sound signals. The mobile device according to the invention can be designed, in particular, as a mobile phone, as a smartphone, as a tablet computer, as a notebook or as a wristwatch or as a smart watch. In addition, all other similar mobile devices in question, for example, it may be a game console, a portable navigation device, a medical device for monitoring vital signs or a remote control act.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels unter Bezug- nahme auf die Zeichnungen erläutert. Die Zeichnungen sind schematische Dar- stellungen und zeigen: The invention will be explained below with reference to an embodiment with reference to the drawings. The drawings are schematic representations and show:
Fig. 1 ein erfindungsgemäßes Mobilgerät in einer perspektivischen Ansicht, 1 shows a mobile device according to the invention in a perspective view,
Fig. 2 das in Fig. 1 gezeigte Mobilgerät in der Fland eines Benutzers, FIG. 2 shows the mobile device shown in FIG. 1 in the area of a user, FIG.
Fig. 3 eine vergrößerte Darstellung einer Oberflächenstruktur eines erfindungsge- mäßen Mobilgeräts beim Überstreichen mit einem Finger, und 3 is an enlarged view of a surface structure of a mobile device according to the invention when sweeping over with a finger, and
Fig. 4 ein als Smartwatch ausgebildetes, von einem Benutzer getragenes Mobilge- rät. FIG. 4 shows a mobile device designed as a smartwatch and worn by a user.
Das in Fig. 1 in einer perspektivischen Ansicht gezeigte Mobilgerät 1 umfasst ein quaderförmiges Gehäuse 2. An einer Seitenfläche 3 befinden sich zwei von einan- der beabstandete Körperschallsensoren 4, 5. Die Körperschallsensoren 4, 5 sind in diesem Ausführungsbeispiel als Piezosensoren ausgebildet The mobile device 1 shown in a perspective view in FIG. 1 comprises a cuboidal housing 2. On a side surface 3 there are two structure-borne noise sensors 4, 5 which are spaced apart from one another. The structure-borne sound sensors 4, 5 are designed as piezoelectric sensors in this exemplary embodiment
Im Inneren des Gehäuses 2 befindet sich neben den üblichen Komponenten ei- nes Mobilgeräts ein schematisch dargestellter Controller 6, der mit den Körper- schallsensoren 4, 5 verbunden ist. Die Körperschallsensoren 4, 5 sind oberflä- chenbündig in der Seitenfläche 3 angeordnet. Fig. 2 zeigt das Mobilgerät 1 , das von einem Benutzer in der Hand gehalten wird. Man erkannt dabei, dass sich die Seitenfläche 3 mit den Körperschallsensoren 4,Inside the housing 2, apart from the usual components of a mobile device, there is a schematically illustrated controller 6, which is connected to the body sound sensors 4, 5. The structure-borne noise sensors 4, 5 are arranged flush with the surface in the side surface 3. Fig. 2 shows the mobile device 1 held in the hand by a user. It can be seen that the side surface 3 with the structure-borne sound sensors 4,
5 an der rechten Seite des Gehäuses 2 befindet. Die Seitenfläche 3 kann von ei- nem Finger 7 des Benutzers überstrichen werden. Der Controller 6 ist zum Aus- werten der von den Körperschallsensoren 4, 5 erfassten Signale ausgebildet.5 is located on the right side of the housing 2. The side surface 3 can be swept over by a finger 7 of the user. The controller 6 is designed to evaluate the signals detected by the structure-borne sound sensors 4, 5.
Beim Berühren des Mobilgeräts 1 mittels des Fingers 7, insbesondere beim Über- streichen der Seitenfläche 3 mittels des Fingers 7, entstehen charakteristische Körperschallsignale, die durch den Controller 6 ausgewertet werden. Beispiels- weise liefert derjenige Körperschallsensor, der sich in der Nähe des Fingers 7 be- findet, ein Signal mit einer größeren Lautstärke als der weiter entfernte Körper- schallsensor. Somit kann durch Auswerten und Vergleichen der Signale der Kör- perschallsensoren 4, 5 eine Bewegungsrichtung des Fingers 7 entlang der Seiten- fläche 3 erkannt werden. Eine Streichbewegung des Fingers 7 in einer ersten Richtung kann als Eingabebefehl erkannt werden. Beispielsweise kann dadurch das Mobilgerät 1 oder eine Anwendung des Mobilgeräts gestartet oder beendet werden. Weitere Anwendungen sind das Einstellen der Lautstärke, eine Rollbewe- gung (Scroll) oder ein Mausklick. Jede Bewegung eines Benutzers, die charakte- ristisch ist und durch Auswerten der Signale der Körperschallsensoren eindeutig erfasst werden kann, kann einer Aktion, d. h. einem Eingabebefehl, zugeordnet sein. When touching the mobile device 1 by means of the finger 7, in particular when sweeping the side surface 3 by means of the finger 7, characteristic structure-borne noise signals are generated, which are evaluated by the controller 6. By way of example, the structure-borne sound sensor which is located in the vicinity of the finger 7 delivers a signal with a greater volume than the body sound sensor located farther away. Thus, by evaluating and comparing the signals of the body sound sensors 4, 5, a movement direction of the finger 7 along the side surface 3 can be detected. A stroking movement of the finger 7 in a first direction can be recognized as an input command. For example, this may start or stop the mobile device 1 or an application of the mobile device. Other applications include adjusting the volume, scrolling or clicking the mouse. Any movement of a user that is characteristic and that can be clearly detected by evaluating the signals of the structure-borne sound sensors, can be an action, d. H. an input command, be assigned.
Fig. 3 zeigt in einem vergrößerten Maßstab eine Oberfläche 8 eines Mobilgeräts, die eine gezackte Oberflächenstruktur 9 aufweist. Die Oberflächenstruktur 9 ist sä- gezahnartig ausgebildet und besteht aus einem bezogen auf die Oberfläche nähe- rungsweise senkrechten, kurzen Abschnitt und einem demgegenüber längeren, flachen Abschnitt. Die beiden unterschiedlichen Abschnitte wechseln einander ab. Beim Überstreichen der Oberflächenstruktur 9 der Oberfläche 8 mit dem Finger 7 entsteht charakteristischer Körperschall, der mittels der Körperschallsensoren 4, 5 erfasst und durch den Controller 6 ausgewertet wird. Die Körperschallemision ist aufgrund der sägezahnartigen Oberflächenstruktur 9 richtungsabhängig. Dement- sprechend kann der Controller 6 feststellen, ob der Benutzer die Oberfläche 8 ent- lang der durch den Pfeil 10 gezeigten Richtung oder in die entgegengesetzte Richtung überstreicht. Die Oberflächenstruktur 9 ist in Fig. 3 stark vergrößert dar- gestellt worden. In der Praxis kann die Oberflächenstruktur so klein ausgebildet sein, dass sie für das menschliche Auge nicht erkennbar ist. FIG. 3 shows, on an enlarged scale, a surface 8 of a mobile device having a serrated surface structure 9. The surface structure 9 is of a serrated design and consists of a short section, which is approximately vertical with respect to the surface, and a longer, flat section, on the other hand. The two different sections alternate. When sweeping over the surface structure 9 of the surface 8 with the finger 7, characteristic structure-borne noise is produced which is detected by the structure-borne sound sensors 4, 5 and evaluated by the controller 6. The structure-borne sound emission is direction-dependent due to the sawtooth surface structure 9. Accordingly, the controller 6 can determine whether the user is moving the surface 8 along the direction indicated by the arrow 10 or into the opposite direction Direction sweeps over. The surface structure 9 has been shown greatly enlarged in FIG. In practice, the surface structure may be made so small that it is not visible to the human eye.
Fig. 4 zeigt ein weiteres Ausführungsbeispiel eines Mobilgeräts 11. Das in Fig. 4 gezeigte Mobilgerät 11 ist als Smartwatch ausgebildet und wird an der Fland 12 ei- nes Benutzers getragen. Das in Fig. 4 gezeigte Mobilgerät 11 zeichnet sich durch eine hohe Akzeptanz bei Benutzern aus, da es wie eine Armbanduhr getragen werden kann. FIG. 4 shows a further embodiment of a mobile device 11. The mobile device 11 shown in FIG. 4 is designed as a smartwatch and is worn on the flank 12 of a user. The mobile device 11 shown in Fig. 4 is characterized by a high acceptance among users because it can be worn like a wristwatch.
An der Unterseite des Mobilgeräts 11 befindet sich ein in Fig. 4 schematisch dar- gestellter Körperschallsensor 13. Der Körperschallsensor 13 kann alternativ auch im Inneren eines Gehäuses des Mobilgeräts 11 in der Nähe dessen Unterseite an- geordnet sein. On the underside of the mobile device 11 is a structure-borne sound sensor 13 shown schematically in FIG. 4. The structure-borne sound sensor 13 may alternatively also be arranged in the interior of a housing of the mobile device 11 in the vicinity of its underside.
Mittels des Körperschallsensors 13 werden hochaufgelöste Körperschallsignale detektiert. Derartige Körperschallsignale entstehen unter anderem bei manuell durchgeführten Produktionsprozessschritten. Beispiele dafür sind das manuelle Verbinden von Steckverbindungen, beispielsweise das Verbinden eines Steckers mit einer Buchse. Mittels des Mobilgeräts 11 kann bei derartigen manuellen Tätig keiten eine Qualitätssicherung erfolgen,. Dazu werden die bei der manuellen Tä- tigkeit erzeugten Körperschallsignale durch das Mobilgerät 11 detektiert. Im Rah- men der Auswertung der erfassten Körperschallsignale kann festgestellt werden, ob der manuelle Vorgang, beispielsweise das Zusammenfügen von Stecker und Buchse, ordnungsgemäß erfolgt ist oder ob ein Montagefehler vorliegt. By means of the structure-borne noise sensor 13, high-resolution structure-borne noise signals are detected. Such structure-borne sound signals arise, inter alia, in manually carried out production process steps. Examples include the manual connection of connectors, such as connecting a plug to a socket. By means of the mobile device 11 can take place in such manual activities a quality assurance ,. For this purpose, the structure-borne noise signals generated during manual operation are detected by the mobile device 11. As part of the evaluation of the recorded structure-borne sound signals can be determined whether the manual operation, such as the assembly of plug and socket, has been done properly or if there is a mounting error.
Im Rahmen einer anderen Anwendung kann das Mobilgerät 1 auch zum Erfassen von Vitalfunktionen verwendet werden. Beispielsweise kann der Körperschallwel- len verursachende Pulsschlag des Benutzers mittels der Körperschallsensoren 4,In the context of another application, the mobile device 1 can also be used to record vital signs. For example, the body sound waves causing pulse of the user by means of the structure-borne sound sensors 4,
5 erfasst und durch den Controller 6 ausgewertet werden. In ähnlicher Weise rufen auch Schallwellen Körperschallwellen hervor. Wenn ein Benutzer spricht, bewir- ken die Schallwellen Körperschall, der ebenfalls erfasst und ausgewertet werden kann, sodass die Körperschallsensoren 4, 5 auch als Mikrofon verwendet werden können. 5 are detected and evaluated by the controller 6. Similarly, sound waves also cause structure-borne sound waves. When a user speaks, the sound waves cause structure-borne noise, which is also recorded and evaluated can, so that the structure-borne sound sensors 4, 5 can also be used as a microphone.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 Mobilgerät 1 mobile device
2 Gehäuse  2 housings
3 Seitenfläche3 side surface
4 Körperschallsensor4 structure-borne sound sensor
5 Körperschallsensor5 structure-borne sound sensor
6 Controller 6 controllers
7 Finger 7 fingers
8 Oberfläche 8 surface
9 Oberflächenstruktur 9 surface structure
10 Pfeil 10 arrow
1 1 Mobilgerät 1 1 mobile device
12 Hand 12 hand

Claims

Patentansprüche claims
1. Mobilgerät, dadurch gekennzeichnet, dass es wenigstens einen Körper- schallsensor umfasst. 1. Mobile device, characterized in that it comprises at least one body sound sensor.
2. Mobilgerät nach Anspruch 1 , wobei es einen Controller umfasst, der zum Auswerten eines von dem Körperschallsensor gelieferten Signals ausgebildet ist. 2. Mobile device according to claim 1, wherein it comprises a controller which is designed to evaluate a signal supplied by the structure-borne sound sensor.
3. Mobilgerät nach Anspruch 2, wobei der Controller dazu ausgebildet ist, durch Auswerten des Signals eine den Körperschall auslösende Ursache festzu- stellen. 3. Mobile device according to claim 2, wherein the controller is designed to determine by evaluating the signal causing the structure-borne sound cause.
4. Mobilgerät nach Anspruch 2 oder 3, wobei das Auswerten das Vergleichen des Signals mit gespeicherten Signalen umfasst. The mobile device of claim 2 or 3, wherein the evaluating comprises comparing the signal to stored signals.
5. Mobilgerät nach einem der Ansprüche 2 bis 4, wobei das Auswerten des Signals das Feststellen charakteristischer Eigenschaften umfasst. 5. A mobile device according to any one of claims 2 to 4, wherein evaluating the signal comprises determining characteristic properties.
6. Mobilgerät nach einem der vorangehenden Ansprüche, wobei der Körper- schallsensor ein MEMS-Sensor (Micro-Electro-Mechanical System) oder ein Pie- zosensor ist. 6. Mobile device according to one of the preceding claims, wherein the body sound sensor is a MEMS sensor (micro-electro-mechanical system) or a piezoelectric sensor zosensor.
7. Mobilgerät nach einem der vorangehenden Ansprüche, wobei ein oder zwei Körperschallsensoren an einer Seitenfläche des Mobilgeräts angeordnet sind. 7. Mobile device according to one of the preceding claims, wherein one or two structure-borne sound sensors are arranged on a side surface of the mobile device.
8. Mobilgerät nach einem der vorangehenden Ansprüche, wobei wenigstens eine Fläche oder eine Teilfläche des Mobilgeräts eine Oberflächenstrukturierung aufweist. 8. Mobile device according to one of the preceding claims, wherein at least one surface or a partial surface of the mobile device has a surface structuring.
9. Mobilgerät nach einem der vorangehenden Ansprüche, wobei es zum Ma- schinellen Lernen ausgebildet ist. 9. Mobile device according to one of the preceding claims, wherein it is designed for machine-learning.
10. Mobilgerät nach einem der vorangehenden Ansprüche, wobei es als Mobil- telefon, Smartphone, Tablet-Computer, Notebook, Smartwatch oder Armbanduhr ausgebildet ist. 10. Mobile device according to one of the preceding claims, wherein it is designed as a mobile phone, smartphone, tablet computer, notebook, smartwatch or wristwatch.
PCT/EP2018/083459 2017-12-05 2018-12-04 Mobile device WO2019110575A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017128863.5 2017-12-05
DE102017128863 2017-12-05

Publications (1)

Publication Number Publication Date
WO2019110575A1 true WO2019110575A1 (en) 2019-06-13

Family

ID=64901968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/083459 WO2019110575A1 (en) 2017-12-05 2018-12-04 Mobile device

Country Status (1)

Country Link
WO (1) WO2019110575A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140273858A1 (en) * 2012-06-22 2014-09-18 Fitbit,Inc. Adaptive data transfer using bluetooth
US20170139480A1 (en) * 2015-11-10 2017-05-18 Joyhaptics Oy Method and apparatus for recognizing swipe operation of a user on a user interface
DE102016002374A1 (en) * 2016-03-01 2017-09-07 iNDTact GmbH Mobile device with seismic sensor
US20170277367A1 (en) * 2016-03-28 2017-09-28 Microsoft Technology Licensing, Llc Applications for multi-touch input detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140273858A1 (en) * 2012-06-22 2014-09-18 Fitbit,Inc. Adaptive data transfer using bluetooth
US20170139480A1 (en) * 2015-11-10 2017-05-18 Joyhaptics Oy Method and apparatus for recognizing swipe operation of a user on a user interface
DE102016002374A1 (en) * 2016-03-01 2017-09-07 iNDTact GmbH Mobile device with seismic sensor
US20170277367A1 (en) * 2016-03-28 2017-09-28 Microsoft Technology Licensing, Llc Applications for multi-touch input detection

Similar Documents

Publication Publication Date Title
DE10228185A1 (en) Device for detecting a mechanical actuation of an input element using digital technology and method for processing and converting the digital input signal into commands for controlling a consumer
EP2761399A1 (en) Dataglove having tactile feedback and method
EP3043240A1 (en) Operating device with improved haptic feedback
DE102009014991A1 (en) System and method for multidimensional gesture evaluation
DE112017006335T5 (en) Tactile and auditory sense presentation device
DE102011017251A1 (en) Use of random sampling technique to reduce finger-locked noise
WO2013104400A2 (en) Input device comprising a touch-sensitive input surface
EP4285871A2 (en) Prosthesis that can be actuated by external force
EP3573854B1 (en) Method for operating a control system, control system and vehicle with a control system
DE112012003889T5 (en) Method, apparatus and computer program for pointing to an object
DE102013002830A1 (en) Manually operable input device with code detection
DE102013215742A1 (en) Method and operating device for operating an electronic device via a touchscreen
WO2018114432A1 (en) Operator control apparatus, which can be operated in a contact-free manner, for a motor vehicle, and also motor vehicle and operating method for the operator control apparatus
EP3224695B1 (en) Method for tactile user interaction with an electronic device, and an electronic device for same
WO2019110575A1 (en) Mobile device
EP3811194A1 (en) Method for the tactile interaction of a user with an electronic device, computer program product and electronic device
EP3224696B1 (en) Method for tactile user interaction with an electronic device, and an electronic device for same
DE102013006174A1 (en) Method for operating a control system of a motor vehicle and operating system for a motor vehicle
WO2014173390A2 (en) Method for inputting data and a device suitable therefor
EP2336742A1 (en) Method and system for recording a sensor surface being contacted by an object
DE102004054656B3 (en) Device for carrying out a neuropsychological test
DE202014006401U1 (en) Haptic surface for virtual dials
DE102019002885A1 (en) operating device
AT519427B1 (en) Method for controlling a data processing system
AT519543B1 (en) Control device for a computer application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18829207

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18829207

Country of ref document: EP

Kind code of ref document: A1