WO2020147925A1 - System for visualizing a noise source in the surroundings of a user and method - Google Patents

System for visualizing a noise source in the surroundings of a user and method Download PDF

Info

Publication number
WO2020147925A1
WO2020147925A1 PCT/EP2019/050880 EP2019050880W WO2020147925A1 WO 2020147925 A1 WO2020147925 A1 WO 2020147925A1 EP 2019050880 W EP2019050880 W EP 2019050880W WO 2020147925 A1 WO2020147925 A1 WO 2020147925A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise source
noise
user
information
audio signal
Prior art date
Application number
PCT/EP2019/050880
Other languages
German (de)
French (fr)
Inventor
Martin Richard NEUHÄUSSER
Gabor SCHULZ
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to PCT/EP2019/050880 priority Critical patent/WO2020147925A1/en
Publication of WO2020147925A1 publication Critical patent/WO2020147925A1/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis

Definitions

  • the present invention relates to a system for visualizing a noise source in a user's environment. Furthermore, the present invention relates to a method for visualizing a noise source in an environment of a user.
  • gas detectors for example, gas detectors, fire detectors and / or smoke detectors are known.
  • augmented reality devices are known from the prior art, with which additional information can be provided to the user.
  • a visual representation of information is often carried out, in which the surroundings or images or video data are overlaid with additional information.
  • augmented reality devices are known with which objects in the vicinity can also be detected. Attempts have been made here in which, using augmented reality glasses, space and object recognition is carried out in real time and corresponding tones are output for this purpose. This enables blind people, for example, to orient themselves in a building. This is described, for example, in the article "Augmented Reality Powers a Cognitive Prosthesis for the Blind” by Yang Liu, Noelle R. B. Stiles and Markus Meister, 2018.
  • a system serves to visualize a noise source in the surroundings of a user.
  • the system comprises a detection device for providing an audio signal which describes a noise emitted by the noise source.
  • the system comprises a computing device for recognizing the noise and the noise source based on the audio signal and for determining noise source information relating to the noise and / or describes the source of the noise.
  • the system comprises an augmented reality device that can be worn by the user for fading in the noise source information.
  • the system can be used to display sources of noise in the area to the user.
  • the system is particularly suitable for visualizing the noises for the user if the user cannot perceive the noises or only with difficulty. This is the case, for example, if there is a high level of noise in the area surrounding the user and / or the user is wearing appropriate hearing protection.
  • the system can be used in particular in an industrial environment, for example in production or assembly.
  • the system comprises the augmented reality device, which can be designed in particular as so-called augmented reality glasses. This augmented reality device can preferably be worn on the head by the user. This augmented reality device can be designed to display information in the user's field of vision.
  • the system also includes the detection device.
  • This acquisition device can comprise at least one microphone with which the noise of the noise source in the environment can be acquired.
  • the audio signal can be output, which writes the sound of the noise source be.
  • the system also includes the computing device by means of which the audio signal can be received by the detection device. This audio signal can be evaluated accordingly by means of the computing device in order to recognize the noise.
  • the computing device is designed in particular to also know the source of the noise from which the noise originates on the basis of the audio data. With the computing device, the noise source information can then be provided, which describes the noise and / or the noise source.
  • This noise source information can then be transmitted from the computer to the augmented reality device.
  • the augmented reality device can then do that
  • the noise information can be shown to users.
  • This Ge noise source information can thus show the user or the wearer of the augmented reality device in particular the noise source information in the field of vision.
  • the user can be provided with loud ambient noises and / or when wearing hearing protection information that there is a source of noise in the vicinity which causes a noise. Because this noise source information is faded into the field of view in particular, the user can be informed of the noise or the noise source regardless of his viewing direction and / or his point of view.
  • the computing device is preferably designed to determine the noise source information based on the audio signal based on artificial intelligence and / or by comparing the audio signal with stored reference audio signals.
  • the computing device can have an external computer network or a cloud, by means of which the noise source can be classified based on the audio signal.
  • the audio signal or parts thereof can be transmitted to this external computer network.
  • the audio signal can then be analyzed there using artificial intelligence.
  • a corresponding program can be run on the external computer network.
  • the audio signal can be compared with reference audio signals previously stored. These reference audio signals can be stored in a memory of the external computer network. For these reference audio signals, respective noise sources or classes of noise sources can be stored.
  • the computing device can have an embedded computing unit which is connected to the external computing network or the cloud for data transmission.
  • This embedded computing unit can, for example, be arranged in the augmented reality device.
  • the embedded computer unit can be part of the user's mobile device, for example a smartphone.
  • the audio signal can be transmitted from the detection device or the microphone to the embedded computer unit.
  • the audio signal or parts thereof can then be transmitted from the embedded computer unit to the external computer network.
  • the noise source information determined with the external computer network can then be transmitted from the external computer network to the embedded computer unit.
  • the noise source information can then be transmitted from the embedded computer unit to the augmented reality device and the noise source information can be shown to the user with this. Overall, a reliable detection of the noise and the noise source can thus be made possible.
  • the computing device is designed to output, as the noise source information, information which states that there is an unknown noise source in the vicinity if the computing device does not recognize the noise source. If, for example, the computing device cannot identify the associated noise or the associated noise source on the basis of the audio signal, this can be indicated to the user accordingly by means of the augmented reality device. For example, it can be indicated or displayed as the noise source information that there is an unknown noise source in the area. The user can thus be informed of the presence of an unknown noise source.
  • the computing device is preferably designed to classify the unknown noise source as a function of an input by the user.
  • the user can make a corresponding input or operator input, by means of which he can identify or classify the noise source in more detail.
  • This input can take place, for example, by means of a voice input, an operator input, an operator gesture or the like.
  • the computing device is designed to receive input from the user if the noise source has been incorrectly identified or classified. This information for operator input or for classification can then be stored accordingly by the computing device or by the external computer network.
  • a self-learning system can be provided, which can quickly improve in operation and adapt to the respective application situation.
  • the computing device is designed to determine a volume of the noise on the basis of the audio signal and to determine the noise information in such a way that it describes the volume.
  • the volume of the noise can be determined by means of the computing device.
  • the volume describes in particular a sound pressure level of the noise.
  • the noise source information can then be provided accordingly.
  • an additional indicator can be shown that describes the volume of the noise source. Additional information about the volume can thus be provided to the user.
  • the computing device is designed to use the audio data to determine a relative location between the user and the noise source and to determine the noise source information in such a way that it describes the relative location.
  • the detection device comprises at least one microphone.
  • the detection device has a plurality of microphones. These microphones can be arranged on the augmented reality device, for example. It can also be provided that the microphones are arranged in the surrounding area or in a room. On the basis of the respective data that are recorded with the microphones, the relative position between see the noise source and the respective microphones be determined. If the microphones are arranged separately from the augmented reality device, the relative position between the augmented reality device or the user and the microphones can also be determined.
  • the relative position between the user and the noise source can then be determined from this.
  • the direction from which the noise is sent can then be determined on the basis of the relative position.
  • the distance between the user and the noise source can be determined.
  • the noise source information can also describe the direction or the distance to the noise source.
  • a corresponding indicator can be shown to the user, which describes the direction from which the noise is coming or the position of the noise source. Additional information on the noise source can thus be provided to the user.
  • the user can be informed, for example, of a noise source that is outside of the
  • the computing device is designed to determine a relevance of the noise on the basis of the audio signal.
  • the noise source can first be identified or classified. In this way, it can be determined, for example, whether the noise from the noise source is highly relevant to the working environment. For example, it can be determined whether the noise is an alarm signal. Alternatively, it can be determined whether the noise is an irrelevant noise, for example a noise from a coffee machine or the like. This information as to whether the noise is relevant to the user can also be stored in a memory. It can also be provided here that the user specifies or adjusts the relevance of the noise sources by means of an appropriate input. It can also be provided that, by inputting the user, the noise source information is not output at a predetermined noise source.
  • the computing device can be designed to determine a current operating state of the noise source on the basis of the audio signal.
  • the noise source information can be determined so that it describes the operating state. For example, it can be recognized from the audio signal that a machine that emits the noise squeaks. This can be displayed to the user, for example, as text using the augmented reality device. Provision can also be made for an instruction to be determined on the basis of the recognized operating state and to be issued to the user. For example, the user can be instructed to oil the squeaky machine. In this way, the operating status of machines or other devices in the area can be recognized and, depending on the operating status, appropriate actions can be taken.
  • the system is designed to check for the presence of a predetermined noise in the environment and to output information to the user if the predetermined noise is not present. If a noise that is normally present is not present in a work environment or work scenario, this can be displayed to the user. This sound can come from a device or machine that is in continuous operation. If this noise is no longer present, this can indicate a failure or defect of this machine. This can be displayed to the user accordingly.
  • the system is designed to recognize the noise source in the environment and the augmented reality device is designed to emphasize the recognized noise source by providing the noise source information.
  • the augmented reality device can have a corresponding camera and / or sensors, by means of which objects in the environment can be recognized.
  • Corresponding image data can be provided with the camera, the objects being able to be recognized with the aid of a corresponding object recognition algorithm. If, based on the data of the microphones, there is also a directional information or the relative position between the user and the noise source, the noise source in the surroundings or the field of vision can be recognized.
  • the data of the classification of the noise source can be used here.
  • the recognized noise source can then be highlighted accordingly by the noise source information. For this purpose, for example, a corresponding symbol or a rectangle that surrounds the noise source can be shown.
  • the user can be made aware of the noise source in an intuitive manner.
  • the previously described object recognition can also be used.
  • the object recognition which is carried out, for example, with the camera, and possible information regarding the relative position between the noise source and the user, the unknown noise source can be identified in the field of view and displayed to the user.
  • the user can recognize the unknown noise source and classify it by making an appropriate entry.
  • the system is designed to recognize a lip movement of a person and to display voice information corresponding to the lip movement.
  • the lip movement of a person can also be detected with a corresponding camera or other optical sensors.
  • a corresponding program can be run on the computing device, which can output appropriate speech information on the basis of the lip movement.
  • This language information describes the language output by the person during lip movement.
  • This language information or a corresponding text, describing the voice information can be shown to the user by means of the augmented reality device. This enables the user to talk to the person even when there is loud ambient noise and / or when wearing hearing protection.
  • a method according to the invention serves to visualize a noise source in the surroundings of a user.
  • the method comprises providing an audio signal, which describes a noise emitted by the noise source, by means of a detection device.
  • the method includes recognizing the noise and the noise source on the basis of the audio signal and determining a noise source information which describes the noise and / or the noise source by means of a computing device.
  • the method comprises fading in the noise source information by means of a user-portable
  • FIG. 1 shows a schematic representation of a system for visualizing a noise source in the surroundings of a user
  • Augmented reality device a noise source information is displayed
  • noise source information is displayed according to a further embodiment.
  • noise source information is shown according to another embodiment.
  • the system 1 shows a system 1 for visualizing a noise source 2 in a schematic representation.
  • the system 1 comprises a detection device 3, by means of which an audio signal can be provided.
  • the acquisition device 3 comprises at least one microphone 4.
  • the acquisition device 3 can be used to provide the audio signal which describes a noise of the noise source 2 in an environment 5 of a user 6.
  • the system 1 comprises a computing device 7, which is used to recognize the noise and the noise source 2 on the basis of the audio signal.
  • the computing device 7 comprises an embedded computing unit 8.
  • the embedded computing unit 8 is part of a mobile terminal 9 of the user 6.
  • the mobile terminal 9 can be formed, for example, by a smartphone or the like.
  • the audio signal provided by the detection device 3 can be received by means of the embedded computer unit 8.
  • Computing device 7 comprises an external computer network 10 or a cloud.
  • the audio signal received by the embedded computer unit 8 can be transmitted from the embedded computer unit 8 to the external computer network 10.
  • the audio signal can be compared with previously determined reference audio signals.
  • These reference audio signals are assigned to predetermined noise sources 2 or classes of noise sources.
  • a corresponding program can be executed on the external computer network 10, by means of which the sound source 2 is recognized by artificial intelligence based on the audio signal.
  • a noise source information 15 can then be provided which describes the noise source 2 and / or the noise emitted by it.
  • This noise source information 15 can then be transmitted from the computing device 7 to an augmented reality device 11.
  • the user 6 can wear this augmented reality device 11 on his head 12.
  • the augmented reality device 11 can in particular be augmented reality glasses or data glasses.
  • objects 14 include a table, a drill and a coffee maker.
  • the augmented reality device 11 can furthermore have a camera and / or a corresponding optical sensor with which the objects 14 can be detected in the field of view 13 or in the environment 5. With the aid of a corresponding object detection algorithm, the objects 14 can then be recognized or classified.
  • the detection device 3 has a plurality of microphones 4, so that the direction from which the noise reaches the user 6 or the relative position between the user 6 and the noise source 2 can also be recognized.
  • the noise source information 15 is faded in.
  • the drilling machine was recognized as the noise source 2 on the basis of the audio signal.
  • the Ge noise source 2 or the drill was identified in the viewing area 13.
  • the noise source information 15 comprises a frame 16 lying before it, by means of which the noise source 2 is emphasized.
  • a volume of the noise is emitted by the computing device 7 based on the audio signal, which is emitted by the Ge noise source 2.
  • the noise source information 15 also includes a volume indicator 17, which indicates the volume of the noise.
  • a current operating state of the noise source 2 is determined by means of the computing device 7 based on the audio signal or the noise of the noise source 2. In the present example, it is recognized from the audio signal that the drilling machine or the noise source 2 squeaks. Furthermore, an instruction for action is determined by the computing device 7 as a function of the recognized operating state and output to the user 6. The current operating state and / or the handling instruction can be reproduced in a text block 18 of the noise source information 15, which is not shown here.
  • the noise source information 15 includes mation 15 a corresponding volume indicator 17.
  • the noise source information includes mation 15 a corresponding volume indicator 17.
  • the noise source 2 could not be identified by means of the computing device 7.
  • the user 6 can highlight the noise source 2 by the frame 16.
  • the volume of the sound of the noise source 2 is indicated by the volume indicator 17.
  • the user 6 can make an appropriate entry in order to classify the noise source 2. This can be done, for example, in the form of a corresponding voice input.
  • the user 6 can, for example, indicate that it is a tea kettle that emits a corresponding whistling sound.
  • This information can then be stored in a memory of the computing device 7 or the external computer network 10. In this way, the functionality of the system 1 can be continuously expanded or improved during operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a system (1) for visualizing a noise source (2) in the surroundings (5) of a user (6), comprising: a recording device (3) for providing an audio signal, which describes a noise emitted from the noise source (2), a computing apparatus (7) for identifying the noise and the noise source (2) based on the audio signal and for determining noise source information (15), which describes the noise and/or the noise source (2), and an augmented reality device (11), which can be worn by the user, for displaying the noise source information (15).

Description

Beschreibung description
System zum Visualisieren einer Geräuschquelle in einer System for visualizing a noise source in a
Umgebung eines Nutzers sowie Verfahren Environment of a user and method
Die vorliegende Erfindung betrifft ein System zum Visualisie- ren einer Geräuschquelle in einer Umgebung eines Nutzers. Da rüber hinaus betrifft die vorliegende Erfindung ein Verfahren zum Visualisieren einer Geräuschquelle in einer Umgebung ei nes Nutzers. The present invention relates to a system for visualizing a noise source in a user's environment. Furthermore, the present invention relates to a method for visualizing a noise source in an environment of a user.
In industriellen Umgebungen gibt es viele Szenarien, bei de nen ein Mitarbeiter oder Nutzer an seinem Arbeitsplatz einem hohen Lärmpegel ausgesetzt ist und der Nutzer daher einen entsprechenden Gehörschutz trägt. Beispielsweise kann es der Fall sein, dass der Nutzer für den Gehörschutz entsprechende Kopfhörer trägt. Durch den hohen Lärmpegel kann es der Fall sein, dass der Nutzer nicht mehr zwischen unterschiedlichen Geräuschen unterscheiden kann. Dies kann zu einem Verlust der Aufmerksamkeit bezüglich der arbeitsrelevanten Geräusche füh ren. Beispielsweise kann dies dazu führen, dass Alarmsignale von verschiedenen Maschinen in der Umgebung, die Annäherung von Fahrzeugen, das Starten von Antrieben in der Nähe des Nutzers oder dergleichen nicht mehr wahrgenommen werden kön nen. Insbesondere machen es laute Umgebungsgeräusche für ei nen Menschen schwierig, leise Geräusche zu erkennen, welche eine unmittelbar bevorstehende Gefahr andeuten, beispielswei se ein sich näherndes Fahrzeug. Darüber hinaus kann eine lau te Umgebung den Nutzer daran hindern, mit anderen Personen zu sprechen . In industrial environments there are many scenarios in which an employee or user is exposed to a high level of noise at his workplace and the user therefore wears appropriate hearing protection. For example, it may be the case that the user wears appropriate headphones for hearing protection. Due to the high noise level, the user may no longer be able to distinguish between different noises. This can lead to a loss of attention to the work-related noise. For example, this can result in alarm signals from various machines in the area, the approach of vehicles, the starting of drives in the vicinity of the user or the like no longer being perceptible nen. In particular, loud ambient noises make it difficult for a person to recognize quiet noises which indicate an imminent danger, for example an approaching vehicle. In addition, a noisy environment can prevent the user from speaking to other people.
Um diesem Problem zu entgegnen, ist es bekannt, Alarmsignale zusätzlich durch entsprechende Leuchten, die an dem Arbeits platz installiert sind, zu visualisieren. Wenn der Nutzer aber mit seinem Rücken zu der Leuchte steht, wird er nicht erkennen, dass ein Problem vorliegt. Darüber hinaus werden üblicherweise nur wenige Aspekte, welche eine Gefahr mit sich bringen können, durch entsprechende Alarmsysteme überwacht.In order to counter this problem, it is known to additionally visualize alarm signals by means of appropriate lights which are installed in the workplace. However, if the user stands with his back to the lamp, he will not recognize that there is a problem. In addition, there are usually only a few aspects that pose a risk can bring, monitored by appropriate alarm systems.
In diesem Zusammenhang sind beispielsweise Gasdetektoren, Feuerdetektoren und/oder Rauchmelder bekannt . In this context, for example, gas detectors, fire detectors and / or smoke detectors are known.
Darüber hinaus sind aus dem Stand der Technik Augmented- Reality-Einrichtungen bekannt, mit denen dem Nutzer zusätzli che Informationen bereitgestellt werden können. Häufig wird bei dieser erweiterten Realität eine visuelle Darstellung von Informationen vorgenommen, bei denen die Umgebung bzw. Bilder oder Videodaten mit Zusatzinformationen überlagert werden. Darüber hinaus sind Augmented-Reality-Einrichtungen bekannt, mit denen zudem Objekte in der Umgebung erfasst werden kön nen. Hierbei wurden Versuche unternommen, bei denen mittels einer Augmented-Reality-Brille in Echtzeit eine Raum- und Ob jekterkennung durchgeführt wird und hierzu entsprechende Töne ausgegeben werden. Somit kann es beispielsweise blinden Men schen ermöglicht werden, sich in einem Gebäude zu orientie ren. Dies ist beispielsweise in dem Artikel „Augmented Reali ty Powers a Cognitive Prosthesis for the Blind" von Yang Liu, Noelle R. B. Stiles und Markus Meister, 2018 beschrieben. In addition, augmented reality devices are known from the prior art, with which additional information can be provided to the user. In this augmented reality, a visual representation of information is often carried out, in which the surroundings or images or video data are overlaid with additional information. In addition, augmented reality devices are known with which objects in the vicinity can also be detected. Attempts have been made here in which, using augmented reality glasses, space and object recognition is carried out in real time and corresponding tones are output for this purpose. This enables blind people, for example, to orient themselves in a building. This is described, for example, in the article "Augmented Reality Powers a Cognitive Prosthesis for the Blind" by Yang Liu, Noelle R. B. Stiles and Markus Meister, 2018.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzu zeigen, wie ein Nutzer über Geräuschquellen in der Umgebung auf zuverlässige Weise informiert werden kann. It is an object of the present invention to show a solution of how a user can be reliably informed about noise sources in the environment.
Diese Aufgabe wird erfindungsgemäß durch ein System sowie durch ein Verfahren mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorlie genden Erfindung sind in den abhängigen Ansprüchen angegeben. This object is achieved according to the invention by a system and by a method with the features according to the independent claims. Advantageous developments of the vorlie invention are given in the dependent claims.
Ein erfindungsgemäßes System dient zum Visualisieren einer Geräuschquelle in einer Umgebung eines Nutzers. Das System umfasst eine Erfassungseinrichtung zum Bereitstellen eines Audiosignals , welches ein von der Geräuschquelle abgebendes Geräusch beschreibt. Darüber hinaus umfasst das System eine Rechenvorrichtung zum Erkennen des Geräusches und der Ge räuschquelle anhand des Audiosignals sowie zum Bestimmen ei ner Geräuschquelleninformation, welche das Geräusch und/oder die Geräuschquelle beschreibt. Des Weiteren umfasst das Sys tem eine von dem Nutzer tragbare Augmented-Reality-Einrich- tung zum Einblenden der Geräuschquelleninformation. A system according to the invention serves to visualize a noise source in the surroundings of a user. The system comprises a detection device for providing an audio signal which describes a noise emitted by the noise source. In addition, the system comprises a computing device for recognizing the noise and the noise source based on the audio signal and for determining noise source information relating to the noise and / or describes the source of the noise. Furthermore, the system comprises an augmented reality device that can be worn by the user for fading in the noise source information.
Mithilfe des Systems können dem Nutzer Geräuschquellen in der Umgebung angezeigt werden. Das System eignet sich insbesonde re dazu, dem Nutzer die Geräusche zu visualisieren, wenn der Nutzer die Geräusche nicht oder nur schlecht wahrnehmen kann. Dies ist beispielsweise der Fall, wenn in der Umgebung des Nutzers ein hoher Lärmpegel vorhanden ist und/oder der Nutzer einen entsprechenden Gehörschutz trägt. Das System kann ins besondere im industriellen Umfeld, beispielsweise in der Fer tigung oder Montage, eingesetzt werden. Das System umfasst die Augmented-Reality-Einrichtung, welche insbesondere als sogenannte Augmented-Reality-Brille ausgebildet sein kann. Diese Augmented-Reality-Einrichtung kann von dem Nutzer be vorzugt an dem Kopf getragen werden. Diese Augmented-Reality- Einrichtung kann dazu ausgebildet sein, Informationen in das Sichtfeld des Nutzers einzublenden. Darüber hinaus umfasst das System die Erfassungseinrichtung. Diese Erfassungsein richtung kann zumindest ein Mikrofon umfassen, mit dem das Geräusch der Geräuschquelle in der Umgebung erfasst werden kann. Mit der Erfassungseinrichtung kann das Audiosignal aus gegeben werden, welches das Geräusch der Geräuschquelle be schreibt. Ferner umfasst das System die Rechenvorrichtung, mittels welcher das Audiosignal von der Erfassungseinrichtung empfangen werden kann. Mittels der Rechenvorrichtung kann dieses Audiosignal entsprechend ausgewertet werden, um das Geräusch zu erkennen. Darüber hinaus ist die Rechenvorrich tung insbesondere dazu ausgebildet, zudem die Geräuschquelle, von welcher das Geräusch stammt, anhand der Audiodaten zu er kennen. Mit der Rechenvorrichtung kann dann die Geräuschquel leninformation bereitgestellt werden, welche das Geräusch und/oder die Geräuschquelle beschreibt. The system can be used to display sources of noise in the area to the user. The system is particularly suitable for visualizing the noises for the user if the user cannot perceive the noises or only with difficulty. This is the case, for example, if there is a high level of noise in the area surrounding the user and / or the user is wearing appropriate hearing protection. The system can be used in particular in an industrial environment, for example in production or assembly. The system comprises the augmented reality device, which can be designed in particular as so-called augmented reality glasses. This augmented reality device can preferably be worn on the head by the user. This augmented reality device can be designed to display information in the user's field of vision. The system also includes the detection device. This acquisition device can comprise at least one microphone with which the noise of the noise source in the environment can be acquired. With the detection device, the audio signal can be output, which writes the sound of the noise source be. The system also includes the computing device by means of which the audio signal can be received by the detection device. This audio signal can be evaluated accordingly by means of the computing device in order to recognize the noise. In addition, the computing device is designed in particular to also know the source of the noise from which the noise originates on the basis of the audio data. With the computing device, the noise source information can then be provided, which describes the noise and / or the noise source.
Diese Geräuschquelleninformation kann dann von der Rechenvor richtung an die Augmented-Reality-Einrichtung übertragen wer den. Mittels der Augmented-Reality-Einrichtung kann dann dem Nutzer die Geräuschinformation eingeblendet werden. Diese Ge räuschquelleninformation kann also dem Nutzer bzw. dem Träger der Augmented-Reality-Einrichtung insbesondere die Geräusch quelleninformation in das Sichtfeld einblenden. Somit kann dem Nutzer auch bei lauten Umgebungsgeräuschen und/oder beim Tragen eines Gehörschutzes eine Information darüber bereitge stellt werden, dass in der Umgebung eine Geräuschquelle vor handen ist, welche ein Geräusch verursacht. Dadurch, dass diese Geräuschquelleninformation insbesondere in das Sicht feld eingeblendet wird, kann der Nutzer unabhängig von seiner Blickrichtung und/oder seinem Standpunkt auf das Geräusch bzw. die Geräuschquelle hingewiesen werden. This noise source information can then be transmitted from the computer to the augmented reality device. The augmented reality device can then do that The noise information can be shown to users. This Ge noise source information can thus show the user or the wearer of the augmented reality device in particular the noise source information in the field of vision. Thus, the user can be provided with loud ambient noises and / or when wearing hearing protection information that there is a source of noise in the vicinity which causes a noise. Because this noise source information is faded into the field of view in particular, the user can be informed of the noise or the noise source regardless of his viewing direction and / or his point of view.
Bevorzugt ist die Rechenvorrichtung dazu ausgebildet, die Ge räuschquelleninformation anhand des Audiosignals auf Grundla ge von künstlicher Intelligenz und/oder durch einen Vergleich des Audiosignals mit gespeicherten Referenz -Audiosignalen zu bestimmen. Die Rechenvorrichtung kann ein externes Rechner netz bzw. eine Cloud aufweisen, mittels welcher auf Grundlage des Audiosignals eine Klassifizierung der Geräuschquelle vor genommen werden kann. Das Audiosignal oder Teile davon können an dieses externe Rechnernetz übertragen werden. Dort kann dann das Audiosignal mithilfe von künstlicher Intelligenz analysiert werden. Hierzu kann auf dem externen Rechnernetz ein entsprechendes Programm zum Ablauf gebracht werden. Al ternativ oder zusätzlich kann das Audiosignal hierzu mit zu vor gespeicherten Referenz -Audiosignalen verglichen werden. Diese Referenz -Audiosignale können in einem Speicher des ex ternen Rechnernetzes gespeichert sein. Zu diesen Referenz- Audiosignalen können jeweilige Geräuschquellen bzw. Klassen von Geräuschquellen gespeichert sein. Darüber hinaus kann die Rechenvorrichtung eine eingebettete Rechnereinheit aufweisen, welche mit dem externen Rechnernetz bzw. der Cloud zur Daten übertragung verbunden ist. Diese eingebettete Rechnereinheit kann beispielsweise in der Augmented-Reality-Einrichtung an geordnet sein. Alternativ dazu kann die eingebettete Rechner einheit Teil des mobilen Endgeräts des Nutzers, beispielswei se eines Smartphones, sein. Im Betrieb des Systems kann das Audiosignal von der Erfas sungseinrichtung oder dem Mikrofon an die eingebettete Rech nereinheit übertragen werden. Im Anschluss daran kann das Au diosignal oder Teile davon von der eingebetteten Rechnerein heit an das externe Rechnernetz übertragen werden. Die Ge räuschquelleninformation, die mit dem externen Rechnernetz bestimmt wurde, kann dann von dem externen Rechnernetz an die eingebettete Rechnereinheit übertragen werden. Von der einge betteten Rechnereinheit kann dann die Geräuschquelleninforma tion an die Augmented-Reality-Einrichtung übertragen werden und mit dieser dem Nutzer die Geräuschquelleninformation an gezeigt werden. Insgesamt kann somit eine zuverlässige Erken nung des Geräusches und der Geräuschquelle ermöglicht werden. The computing device is preferably designed to determine the noise source information based on the audio signal based on artificial intelligence and / or by comparing the audio signal with stored reference audio signals. The computing device can have an external computer network or a cloud, by means of which the noise source can be classified based on the audio signal. The audio signal or parts thereof can be transmitted to this external computer network. The audio signal can then be analyzed there using artificial intelligence. For this purpose, a corresponding program can be run on the external computer network. Alternatively or additionally, the audio signal can be compared with reference audio signals previously stored. These reference audio signals can be stored in a memory of the external computer network. For these reference audio signals, respective noise sources or classes of noise sources can be stored. In addition, the computing device can have an embedded computing unit which is connected to the external computing network or the cloud for data transmission. This embedded computing unit can, for example, be arranged in the augmented reality device. Alternatively, the embedded computer unit can be part of the user's mobile device, for example a smartphone. In operation of the system, the audio signal can be transmitted from the detection device or the microphone to the embedded computer unit. The audio signal or parts thereof can then be transmitted from the embedded computer unit to the external computer network. The noise source information determined with the external computer network can then be transmitted from the external computer network to the embedded computer unit. The noise source information can then be transmitted from the embedded computer unit to the augmented reality device and the noise source information can be shown to the user with this. Overall, a reliable detection of the noise and the noise source can thus be made possible.
In einer weiteren Ausführungsform ist die Rechenvorrichtung dazu ausgebildet, als die Geräuschquelleninformation eine In formation auszugeben, die besagt, dass sich in der Umgebung eine unbekannte Geräuschquelle befindet, falls die Erkennung der Geräuschquelle mittels der Rechenvorrichtung nicht er folgt ist. Wenn die Rechenvorrichtung beispielsweise auf Grundlage des Audiosignals das dazugehörige Geräusch bzw. die dazugehörige Geräuschquelle nicht identifizieren kann, kann dies dem Nutzer entsprechend mittels der Augmented-Reality- Einrichtung angezeigt werden. So kann beispielsweise als die Geräuschquelleninformation angegeben bzw. angezeigt werden, dass sich in der Umgebung eine unbekannte Geräuschquelle be findet. Damit kann der Nutzer über das Vorhandensein einer unbekannten Geräuschquelle informiert werden. In a further embodiment, the computing device is designed to output, as the noise source information, information which states that there is an unknown noise source in the vicinity if the computing device does not recognize the noise source. If, for example, the computing device cannot identify the associated noise or the associated noise source on the basis of the audio signal, this can be indicated to the user accordingly by means of the augmented reality device. For example, it can be indicated or displayed as the noise source information that there is an unknown noise source in the area. The user can thus be informed of the presence of an unknown noise source.
Ferner ist die Rechenvorrichtung bevorzugt dazu ausgebildet, die unbekannte Geräuschquelle in Abhängigkeit von einer Ein gabe durch den Nutzer zu klassifizieren. In diesem Fall kann der Nutzer eine entsprechende Eingabe bzw. Bedieneingabe tä tigen, mittels welcher er die Geräuschquelle näher identifi zieren bzw. klassifizieren kann. Diese Eingabe kann bei spielsweise mittels einer Spracheingabe, einer Bedieneingabe, einer Bediengeste oder dergleichen erfolgen. Es kann auch vorgesehen sein, dass die Rechenvorrichtung dazu ausgebildet ist, von dem Nutzer eine Eingabe zu empfangen, falls die Ge räuschquelle falsch identifiziert bzw. klassifiziert wurde. Diese Informationen zur Bedieneingabe bzw. zur Klassifizie rung können dann von der Rechenvorrichtung bzw. von dem ex ternen Rechnernetz entsprechend gespeichert werden. Mit die sem Cloud-basierten Ansatz kann ein selbstlernendes System bereitgestellt werden, welches sich im Betrieb schnell ver bessern und an die jeweilige Einsatzsituation anpassen kann. Furthermore, the computing device is preferably designed to classify the unknown noise source as a function of an input by the user. In this case, the user can make a corresponding input or operator input, by means of which he can identify or classify the noise source in more detail. This input can take place, for example, by means of a voice input, an operator input, an operator gesture or the like. It can also it can be provided that the computing device is designed to receive input from the user if the noise source has been incorrectly identified or classified. This information for operator input or for classification can then be stored accordingly by the computing device or by the external computer network. With this cloud-based approach, a self-learning system can be provided, which can quickly improve in operation and adapt to the respective application situation.
Weiterhin ist vorteilhaft, wenn die Rechenvorrichtung dazu ausgebildet ist, anhand des Audiosignals eine Lautstärke des Geräusches zu bestimmen und die Geräuschinformation derart zu bestimmen, dass diese die Lautstärke beschreibt. Auf Grundla ge des Audiosignals, beispielsweise einer Amplitude des Au diosignals, kann mittels der Rechenvorrichtung die Lautstärke des Geräusches bestimmt werden. Dabei beschreibt die Laut stärke insbesondere einen Schalldruckpegel des Geräusches.It is also advantageous if the computing device is designed to determine a volume of the noise on the basis of the audio signal and to determine the noise information in such a way that it describes the volume. On the basis of the audio signal, for example an amplitude of the audio signal, the volume of the noise can be determined by means of the computing device. The volume describes in particular a sound pressure level of the noise.
Auf Grundlage dieser bestimmten Lautstärke kann dann die Ge räuschquelleninformation entsprechend bereitgestellt werden. Beispielsweise kann ein zusätzlicher Indikator eingeblendet werden, welcher die Lautstärke der Geräuschquelle beschreibt. Somit können dem Nutzer zusätzliche Informationen über die Lautstärke bereitgestellt werden. Based on this specific volume, the noise source information can then be provided accordingly. For example, an additional indicator can be shown that describes the volume of the noise source. Additional information about the volume can thus be provided to the user.
Gemäß einer weiteren Ausführungsform ist die Rechenvorrich tung dazu ausgebildet, anhand der Audiodaten eine relative Lage zwischen dem Nutzer und der Geräuschquelle zu bestimmen und die Geräuschquelleninformation derart zu bestimmen, dass diese die relative Lage beschreibt. Wie bereits erläutert, umfasst die Erfassungseinrichtung zumindest ein Mikrofon. Insbesondere ist es vorgesehen, dass die Erfassungseinrich tung eine Mehrzahl von Mikrofonen aufweist. Diese Mikrofone können beispielsweise an der Augmented-Reality-Einrichtung angeordnet sein. Es kann auch vorgesehen sein, dass die Mi krofone verteilt in der Umgebung bzw. in einem Raum angeord net sind. Auf Grundlage der jeweiligen Daten, die mit den Mikrofonen erfasst werden, kann dann die relative Lage zwi- sehen der Geräuschquelle und den jeweiligen Mikrofonen be stimmt werden. Falls die Mikrofone separat zu der Augmented- Reality-Einrichtung angeordnet sind, kann zudem die relative Lage zwischen der Augmented-Reality-Einrichtung bzw. dem Nut zer sowie den Mikrofonen bestimmt werden. Hieraus kann dann die relative Lage zwischen dem Nutzer und der Geräuschquelle bestimmt werden. Auf Grundlage der relativen Lage kann dann die Richtung bestimmt werden, aus welcher das Geräusch ausge sendet wird. Alternativ oder zusätzlich kann der Abstand zwi schen dem Nutzer und der Geräuschquelle bestimmt werden. Die Geräuschquelleninformation kann zudem die Richtung bzw. den Abstand zur Geräuschquelle beschreiben. Hierzu kann dem Nut zer ein entsprechender Indikator eingeblendet werden, der die Richtung, aus welcher das Geräusch kommt, oder die Position der Geräuschquelle beschreibt. Somit können dem Nutzer zu sätzliche Informationen zur Geräuschquelle bereitgestellt werden. Zudem kann der Nutzer beispielsweise auf eine Ge räuschquelle hingewiesen werden, die sich außerhalb des According to a further embodiment, the computing device is designed to use the audio data to determine a relative location between the user and the noise source and to determine the noise source information in such a way that it describes the relative location. As already explained, the detection device comprises at least one microphone. In particular, it is provided that the detection device has a plurality of microphones. These microphones can be arranged on the augmented reality device, for example. It can also be provided that the microphones are arranged in the surrounding area or in a room. On the basis of the respective data that are recorded with the microphones, the relative position between see the noise source and the respective microphones be determined. If the microphones are arranged separately from the augmented reality device, the relative position between the augmented reality device or the user and the microphones can also be determined. The relative position between the user and the noise source can then be determined from this. The direction from which the noise is sent can then be determined on the basis of the relative position. Alternatively or additionally, the distance between the user and the noise source can be determined. The noise source information can also describe the direction or the distance to the noise source. For this purpose, a corresponding indicator can be shown to the user, which describes the direction from which the noise is coming or the position of the noise source. Additional information on the noise source can thus be provided to the user. In addition, the user can be informed, for example, of a noise source that is outside of the
Sichtfelds befindet. Field of view.
Weiterhin ist vorteilhaft, wenn die Rechenvorrichtung dazu ausgebildet ist, anhand des Audiosignals eine Relevanz des Geräusches zu bestimmen. Zum Bestimmen der Relevanz kann zu nächst die Geräuschquelle identifiziert bzw. klassifiziert werden. Hierbei kann beispielsweise ermittelt werden, ob das Geräusch der Geräuschquelle eine hohe Relevanz für die Ar- beitsumgebung aufweist. Beispielsweise kann ermittelt werden, ob es sich bei dem Geräusch um ein Alarmsignal handelt. Al ternativ dazu kann ermittelt werden, ob es sich bei dem Ge räusch um ein nicht relevantes Geräusch, beispielsweise ein Geräusch einer Kaffeemaschine oder dergleichen handelt. Diese Information, ob das Geräusch für den Nutzer relevant ist, kann zudem in einem Speicher hinterlegt sein. Hier kann es zudem vorgesehen sein, dass der Nutzer durch eine entspre chende Eingabe die Relevanz der Geräuschquellen vorgibt bzw. anpasst. Es kann auch vorgesehen sein, dass durch eine Einga be des Nutzers eine Ausgabe der Geräuschquelleninformation bei einer vorbestimmten Geräuschquelle unterbleibt. In einer weiteren Ausführungsform kann die Rechenvorrichtung dazu ausgebildet sein, anhand des Audiosignals einen aktuel len Betriebszustand der Geräuschquelle zu ermitteln. Zudem kann die Geräuschquelleninformation so bestimmt werden, dass diese den Betriebszustand beschreibt. Beispielsweise kann an hand des Audiosignals erkannt werden, dass eine Maschine, welche das Geräusch abgibt, quietscht. Dies kann dem Nutzer beispielsweise als Text mittels der Augmented-Reality-Ein- richtung angezeigt werden. Es kann auch vorgesehen sein, dass auf Grundlage des erkannten Betriebszustands eine Handlungs- anweisung bestimmt wird und an den Nutzer ausgegeben wird. Beispielsweise kann der Nutzer dazu angewiesen werden, die quietschende Maschine zu ölen. Auf diese Weise kann der Be triebszustand von Maschinen oder anderen Geräten in der Umge bung erkannt werden und in Abhängigkeit von dem Betriebszu stand entsprechende Handlungen vorgenommen werden. It is also advantageous if the computing device is designed to determine a relevance of the noise on the basis of the audio signal. To determine the relevance, the noise source can first be identified or classified. In this way, it can be determined, for example, whether the noise from the noise source is highly relevant to the working environment. For example, it can be determined whether the noise is an alarm signal. Alternatively, it can be determined whether the noise is an irrelevant noise, for example a noise from a coffee machine or the like. This information as to whether the noise is relevant to the user can also be stored in a memory. It can also be provided here that the user specifies or adjusts the relevance of the noise sources by means of an appropriate input. It can also be provided that, by inputting the user, the noise source information is not output at a predetermined noise source. In a further embodiment, the computing device can be designed to determine a current operating state of the noise source on the basis of the audio signal. In addition, the noise source information can be determined so that it describes the operating state. For example, it can be recognized from the audio signal that a machine that emits the noise squeaks. This can be displayed to the user, for example, as text using the augmented reality device. Provision can also be made for an instruction to be determined on the basis of the recognized operating state and to be issued to the user. For example, the user can be instructed to oil the squeaky machine. In this way, the operating status of machines or other devices in the area can be recognized and, depending on the operating status, appropriate actions can be taken.
In einer weiteren Ausführungsform ist das System dazu ausge bildet, ein Vorhandensein eines vorbestimmten Geräusches in der Umgebung zu überprüfen und eine Information an den Nutzer auszugeben, falls das vorbestimmte Geräusch nicht vorhanden ist. Wenn in einem Arbeitsumfeld bzw. Arbeitsszenario ein üb licherweise vorhandenes Geräusch nicht vorhanden ist, kann dies dem Nutzer angezeigt werden. Dieses Geräusch kann bei spielsweise von einem Gerät bzw. einer Maschine stammen, die fortlaufend im Betrieb ist. Wenn nun dieses Geräusch nicht mehr vorhanden ist, kann dieses auf einen Ausfall bzw. Defekt dieser Maschine hindeuten. Dies kann dem Nutzer entsprechend angezeigt werden. In a further embodiment, the system is designed to check for the presence of a predetermined noise in the environment and to output information to the user if the predetermined noise is not present. If a noise that is normally present is not present in a work environment or work scenario, this can be displayed to the user. This sound can come from a device or machine that is in continuous operation. If this noise is no longer present, this can indicate a failure or defect of this machine. This can be displayed to the user accordingly.
In einer weiteren Ausführungsform ist das System dazu ausge bildet, die Geräuschquelle in der Umgebung zu erkennen und die Augmented-Reality-Einrichtung ist dazu ausgebildet, zum Bereitstellen der Geräuschquelleninformation die erkannte Ge räuschquelle durch die Einblendung hervorzuheben. Beispiels weise kann die Augmented-Reality-Einrichtung eine entspre chende Kamera und/oder Sensoren aufweisen, mittels welcher Objekte in der Umgebung erkannt werden können. Beispielsweise können mit der Kamera entsprechende Bilddaten bereitgestellt werden, wobei die Objekte mithilfe eines entsprechenden Ob jekterkennungsalgorithmus erkannt werden können. Wenn auf Grundlage der Daten der Mikrofone zudem eine Richtungsinfor mation bzw. die relative Lage zwischen dem Nutzer und der Ge räuschquelle vorhanden ist, kann die Geräuschquelle in der Umgebung bzw. dem Sichtfeld erkannt werden. Zudem können hier die Daten der Klassifizierung der Geräuschquelle herangezogen werden. Durch die Geräuschquelleninformation kann dann die erkannte Geräuschquelle entsprechend hervorgehoben werden. Hierzu kann beispielsweise ein entsprechendes Symbol oder ein Rechteck, welches die Geräuschquelle umgibt, eingeblendet werden. Somit kann der Nutzer auf intuitive Weise auf die Ge räuschquelle hingewiesen werden. In a further embodiment, the system is designed to recognize the noise source in the environment and the augmented reality device is designed to emphasize the recognized noise source by providing the noise source information. For example, the augmented reality device can have a corresponding camera and / or sensors, by means of which objects in the environment can be recognized. For example Corresponding image data can be provided with the camera, the objects being able to be recognized with the aid of a corresponding object recognition algorithm. If, based on the data of the microphones, there is also a directional information or the relative position between the user and the noise source, the noise source in the surroundings or the field of vision can be recognized. In addition, the data of the classification of the noise source can be used here. The recognized noise source can then be highlighted accordingly by the noise source information. For this purpose, for example, a corresponding symbol or a rectangle that surrounds the noise source can be shown. Thus, the user can be made aware of the noise source in an intuitive manner.
Wenn, wie zuvor beschrieben, eine Geräuschquelle aufgrund des Audiosignals nicht eindeutig identifiziert bzw. klassifiziert werden konnte, kann die zuvor beschriebene Objekterkennung ebenfalls genutzt werden. Anhand der Obj ekterkennung, die beispielsweise mit der Kamera durchgeführt wird, sowie einer möglichen Information zur relativen Lage zwischen der Ge räuschquelle und dem Nutzer kann die unbekannte Geräuschquel le in dem Sichtfeld identifiziert werden und dem Nutzer ange zeigt werden. Somit kann der Nutzer die unbekannte Geräusch quelle erkennen und diese durch eine entsprechende Eingabe klassifizieren . If, as described above, a noise source could not be clearly identified or classified on the basis of the audio signal, the previously described object recognition can also be used. On the basis of the object recognition, which is carried out, for example, with the camera, and possible information regarding the relative position between the noise source and the user, the unknown noise source can be identified in the field of view and displayed to the user. Thus, the user can recognize the unknown noise source and classify it by making an appropriate entry.
In einer weiteren Ausführungsform ist das System dazu ausge bildet, eine Lippenbewegung einer Person zu erkennen und eine zu der Lippenbewegung korrespondierende Sprachinformation einzublenden. Mit einer entsprechenden Kamera bzw. anderen optischen Sensoren kann zudem die Lippenbewegung einer Person erkannt werden. Hierzu kann auf der Rechenvorrichtung ein entsprechendes Programm zum Ablauf gebracht werden, welches auf Grundlage der Lippenbewegung eine entsprechende Sprachin- formation ausgeben kann. Diese Sprachinformation beschreibt die von der Person ausgegebene Sprache bei der Lippenbewe gung. Diese Sprachinformation bzw. ein entsprechender Text, der die Sprachinformation beschreibt, kann dem Nutzer mittels der Augmented-Reality-Einrichtung eingeblendet werden. Somit wird es dem Nutzer ermöglicht, sich mit der Person auch bei lauten Umgebungsgeräuschen und/oder bei dem Tragen eines Ge hörschutzes zu unterhalten. In a further embodiment, the system is designed to recognize a lip movement of a person and to display voice information corresponding to the lip movement. The lip movement of a person can also be detected with a corresponding camera or other optical sensors. For this purpose, a corresponding program can be run on the computing device, which can output appropriate speech information on the basis of the lip movement. This language information describes the language output by the person during lip movement. This language information or a corresponding text, describing the voice information can be shown to the user by means of the augmented reality device. This enables the user to talk to the person even when there is loud ambient noise and / or when wearing hearing protection.
Ein erfindungsgemäßes Verfahren dient zum Visualisieren einer Geräuschquelle in einer Umgebung eines Nutzers. Das Verfahren umfasst das Bereitstellen eines Audiosignals , welches ein von der Geräuschquelle abgegebenes Geräusch beschreibt, mittels einer Erfassungseinrichtung. Darüber hinaus umfasst das Ver fahren das Erkennen des Geräusches und der Geräuschquelle an hand des Audiosignals sowie ein Bestimmen einer Geräuschquel leninformation, welche das Geräusch und/oder die Geräusch quelle beschreibt, mittels einer Rechenvorrichtung. Schließ lich umfasst das Verfahren das Einblenden der Geräuschquel leninformation mittels einer von dem Nutzer tragbaren A method according to the invention serves to visualize a noise source in the surroundings of a user. The method comprises providing an audio signal, which describes a noise emitted by the noise source, by means of a detection device. In addition, the method includes recognizing the noise and the noise source on the basis of the audio signal and determining a noise source information which describes the noise and / or the noise source by means of a computing device. Finally, the method comprises fading in the noise source information by means of a user-portable
Augmented-Reality-Einrichtung . Augmented reality facility.
Die mit Bezug auf das erfindungsgemäße System vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten ent sprechend für das erfindungsgemäße Verfahren. The preferred embodiments presented with reference to the system according to the invention and their advantages apply accordingly to the method according to the invention.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprü chen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinati onen sowie die nachfolgend in der Figurenbeschreibung genann ten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebe nen Kombination, sondern auch in anderen Kombinationen ver wendbar, ohne den Rahmen der Erfindung zu verlassen. Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description, as well as the features and combinations of features shown below in the description of the figures and / or shown in the figures alone, can be used not only in the respectively specified combination but also in other combinations without the frame to leave the invention.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbei spielen sowie unter Bezugnahme auf die beigefügten Zeichnun gen näher erläutert. Dabei zeigen: FIG 1 eine schematische Darstellung eines Systems zum Vi- sualisieren einer Geräuschquelle in einer Umgebung eines Nutzers; The invention will now play with reference to preferred Ausführungsbei and explained in more detail with reference to the accompanying drawings. Show: 1 shows a schematic representation of a system for visualizing a noise source in the surroundings of a user;
FIG 2 ein Sichtfeld des Nutzers, in welches mittels einer 2 shows a field of view of the user in which by means of a
Augmented-Reality-Einrichtung eine Geräuschquellen information eingeblendet wird; Augmented reality device a noise source information is displayed;
FIG 3 ein Sichtfeld des Nutzers, in welches eine Ge 3 shows a field of view of the user in which a Ge
räuschquelleninformation gemäß einer weiteren Aus führungsform eingeblendet wird; und noise source information is displayed according to a further embodiment; and
FIG 4 ein Sichtfeld des Nutzers, in welches eine Ge 4 shows a field of view of the user in which a Ge
räuschquelleninformation gemäß einer weiteren Aus führungsform eingeblendet wird. noise source information is shown according to another embodiment.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. Identical or functionally identical elements are provided with the same reference symbols in the figures.
FIG 1 zeigt ein System 1 zum Visualisieren einer Geräusch quelle 2 in einer schematischen Darstellung. Das System 1 um fasst eine Erfassungseinrichtung 3, mittels welcher ein Au- diosignal bereitgestellt werden kann. Die Erfassungseinrich tung 3 umfasst zumindest ein Mikrofon 4. Mittels der Erfas sungseinrichtung 3 kann das Audiosignal bereitgestellt wer den, welches ein Geräusch der Geräuschquelle 2 in einer Umge bung 5 eines Nutzers 6 beschreibt. 1 shows a system 1 for visualizing a noise source 2 in a schematic representation. The system 1 comprises a detection device 3, by means of which an audio signal can be provided. The acquisition device 3 comprises at least one microphone 4. The acquisition device 3 can be used to provide the audio signal which describes a noise of the noise source 2 in an environment 5 of a user 6.
Darüber hinaus umfasst das System 1 eine Rechenvorrichtung 7, welche dazu dient, anhand des Audiosignals das Geräusch sowie die Geräuschquelle 2 zu erkennen. In dem vorliegenden Ausfüh rungsbeispiel umfasst die Rechenvorrichtung 7 eine eingebet tete Rechnereinheit 8. Vorliegend ist die eingebettete Rech nereinheit 8 Teil eines mobilen Endgeräts 9 des Nutzers 6.In addition, the system 1 comprises a computing device 7, which is used to recognize the noise and the noise source 2 on the basis of the audio signal. In the present exemplary embodiment, the computing device 7 comprises an embedded computing unit 8. In the present case, the embedded computing unit 8 is part of a mobile terminal 9 of the user 6.
Das mobile Endgerät 9 kann beispielsweise durch ein Smartpho- ne oder dergleichen gebildet sein. Mittels der eingebetteten Rechnereinheit 8 kann das von der Erfassungseinrichtung 3 be- reitgestellte Audiosignal empfangen werden. Darüber hinaus umfasst die Rechenvorrichtung 7 ein externes Rechnernetz 10 bzw. eine Cloud. Das von der eingebetteten Rechnereinheit 8 empfangene Audiosignal kann von der eingebetteten Rechnerein heit 8 an das externe Rechnernetz 10 übertragen werden. In dem externen Rechnernetz 10 kann das Audiosignal mit zuvor bestimmten Referenz -Audiosignalen verglichen werden. Diese Referenz -Audiosignale sind vorbestimmten Geräuschquellen 2 bzw. Klassen von Geräuschquellen zugeordnet. Insbesondere kann auf dem externen Rechnernetz 10 ein entsprechendes Pro gramm zum Ablauf gebracht werden, mittels welchem durch künstliche Intelligenz anhand des Audiosignals die Geräusch quelle 2 erkannt wird. The mobile terminal 9 can be formed, for example, by a smartphone or the like. The audio signal provided by the detection device 3 can be received by means of the embedded computer unit 8. Furthermore Computing device 7 comprises an external computer network 10 or a cloud. The audio signal received by the embedded computer unit 8 can be transmitted from the embedded computer unit 8 to the external computer network 10. In the external computer network 10, the audio signal can be compared with previously determined reference audio signals. These reference audio signals are assigned to predetermined noise sources 2 or classes of noise sources. In particular, a corresponding program can be executed on the external computer network 10, by means of which the sound source 2 is recognized by artificial intelligence based on the audio signal.
Mittels der Rechenvorrichtung 7 kann dann eine Geräuschquel leninformation 15 bereitgestellt werden, welche die Geräusch quelle 2 und/oder das von ihr abgegebene Geräusch beschreibt. Diese Geräuschquelleninformation 15 kann dann von der Rechen vorrichtung 7 an eine Augmented-Reality-Einrichtung 11 über tragen werden. Diese Augmented-Reality-Einrichtung 11 kann der Nutzer 6 an seinem Kopf 12 tragen. Bei der Augmented- Reality-Einrichtung 11 kann es sich insbesondere um eine Augmented-Reality-Brille bzw. eine Datenbrille handeln. By means of the computing device 7, a noise source information 15 can then be provided which describes the noise source 2 and / or the noise emitted by it. This noise source information 15 can then be transmitted from the computing device 7 to an augmented reality device 11. The user 6 can wear this augmented reality device 11 on his head 12. The augmented reality device 11 can in particular be augmented reality glasses or data glasses.
FIG 2 zeigt ein Sichtfeld 13 des Nutzers 6. Innerhalb dieses Sichtfeldes befinden sich mehrere Objekte 14. Als Objekte 14 befinden sich in dem Sichtfeld vorliegend ein Tisch, eine Bohrmaschine sowie ein Kaffeekocher. Die Augmented-Reality- Einrichtung 11 kann ferner eine Kamera und/oder einen ent sprechenden optischen Sensor aufweisen, mit dem die Objekte 14 in dem Sichtfeld 13 bzw. in der Umgebung 5 erfasst werden können. Mithilfe eines entsprechenden Objekterkennungsalgo rithmus können dann die Objekte 14 erkannt bzw. klassifiziert werden. Des Weiteren ist es bevorzugt vorgesehen, dass die Erfassungseinrichtung 3 mehrere Mikrofone 4 aufweist, sodass auch die Richtung, aus welcher das Geräusch zu dem Nutzer 6 gelangt bzw. die relative Lage zwischen dem Nutzer 6 und der Geräuschquelle 2 erkannt werden kann. Somit kann dem Nutzer 6 in seinem Sichtfeld 13 die Geräuschquelleninformation 15 ein geblendet werden. 2 shows a field of view 13 of the user 6. Within this field of view there are several objects 14. In the field of view, objects 14 include a table, a drill and a coffee maker. The augmented reality device 11 can furthermore have a camera and / or a corresponding optical sensor with which the objects 14 can be detected in the field of view 13 or in the environment 5. With the aid of a corresponding object detection algorithm, the objects 14 can then be recognized or classified. Furthermore, it is preferably provided that the detection device 3 has a plurality of microphones 4, so that the direction from which the noise reaches the user 6 or the relative position between the user 6 and the noise source 2 can also be recognized. Thus, the user 6 in its field of view 13, the noise source information 15 is faded in.
Vorliegend wurde anhand des Audiosignals die Bohrmaschine als die Geräuschquelle 2 erkannt. Darüber hinaus wurde die Ge räuschquelle 2 bzw. die Bohrmaschine in dem Sichtbereich 13 identifiziert. Die Geräuschquelleninformation 15 umfasst vor liegend einen Rahmen 16, durch welchen die Geräuschquelle 2 hervorgehoben wird. Darüber hinaus ist es vorgesehen, dass mittels der Rechenvorrichtung 7 anhand des Audiosignals eine Lautstärke des Geräusches bestimmt wird, das von der Ge räuschquelle 2 abgegeben wird. Vorliegend umfasst die Ge räuschquelleninformation 15 zudem einen Lautstärkeindikator 17, welcher die Lautstärke des Geräusches angibt. In the present case, the drilling machine was recognized as the noise source 2 on the basis of the audio signal. In addition, the Ge noise source 2 or the drill was identified in the viewing area 13. The noise source information 15 comprises a frame 16 lying before it, by means of which the noise source 2 is emphasized. In addition, it is provided that a volume of the noise is emitted by the computing device 7 based on the audio signal, which is emitted by the Ge noise source 2. In the present case, the noise source information 15 also includes a volume indicator 17, which indicates the volume of the noise.
Darüber hinaus ist vorgesehen, dass mittels der Rechenvor richtung 7 anhand des Audiosignals bzw. des Geräusches der Geräuschquelle 2 ein aktueller Betriebszustand der Geräusch quelle 2 ermittelt wird. In dem vorliegenden Beispiel wird anhand des Audiosignals erkannt, dass die Bohrmaschine bzw. die Geräuschquelle 2 quietscht. Ferner wird mittels der Re chenvorrichtung 7 in Abhängigkeit von dem erkannten Betriebs- zustand eine Handlungsanweisung ermittelt und an den Nutzer 6 ausgegeben. Der aktuelle Betriebszustand und/oder die Hand lungsanweisung kann in einem hier nicht näher dargestellten Textblock 18 der Geräuschquelleninformation 15 wiedergegeben werden . In addition, it is provided that a current operating state of the noise source 2 is determined by means of the computing device 7 based on the audio signal or the noise of the noise source 2. In the present example, it is recognized from the audio signal that the drilling machine or the noise source 2 squeaks. Furthermore, an instruction for action is determined by the computing device 7 as a function of the recognized operating state and output to the user 6. The current operating state and / or the handling instruction can be reproduced in a text block 18 of the noise source information 15, which is not shown here.
FIG 3 zeigt das Sichtfeld 13 des Nutzers 6, in welches eine Geräuschquelleninformation 15 gemäß einer weiteren Ausfüh rungsform eingeblendet wird. Hier wurde erkannt, dass sich die Geräuschquelle 2 hinter dem Nutzer 6 befindet. In diesem Fall befindet sich also die Geräuschquelle 2 außerhalb des Sichtfelds 13 des Nutzers 6. Hierbei wird die Position bzw. die relative Lage durch einen Positionsindikator 19 der Ge räuschquelleninformation 15 wiedergegeben. Somit kann der Nutzer auch auf ein Geräusch außerhalb des Sichtfelds 13 hin gewiesen werden. Auch hier umfasst die Geräuschquelleninfor- mation 15 einen entsprechenden Lautstärkenindikator 17. In dem vorliegenden Fall wurde anhand des Audiosignals erkannt, dass als das Geräusch ein Alarmsignal, welches einer Maschine zugeordnet ist, in der Umgebung 5 vorhanden ist. Hier kann dem Nutzer 6 in dem Textfeld 18 die Information eingeblendet werden, dass ein Alarmsignal erkannt wurde und dass die zu geordnete Maschine entsprechende Hilfe benötigt. 3 shows the field of view 13 of the user 6, in which a noise source information 15 according to a further embodiment is shown. It was recognized here that the noise source 2 is located behind the user 6. In this case, the noise source 2 is therefore outside the field of view 13 of the user 6. Here, the position or the relative position is represented by a position indicator 19 of the noise source information 15. The user can thus also be alerted to a noise outside the field of view 13. Here, too, the noise source information includes mation 15 a corresponding volume indicator 17. In the present case, it was recognized from the audio signal that an alarm signal, which is assigned to a machine, is present in the environment 5 as the noise. Here the user 6 can be shown in the text field 18 that an alarm signal has been recognized and that the assigned machine needs appropriate help.
FIG 4 zeigt ein Sichtfeld 13 des Nutzers 6 mit einer Ge- räuschquelleninformation 15 gemäß einer weiteren Ausführungs form. In diesem Fall konnte die Geräuschquelle 2 mittels der Rechenvorrichtung 7 nicht identifiziert werden. Auch in die sem Fall kann dem Nutzer 6 die Geräuschquelle 2 durch den Rahmen 16 hervorgehoben werden. Zudem wird die Lautstärke des Geräusches der Geräuschquelle 2 durch den Lautstärkenindika tor 17 angezeigt. In dem Textfeld 18 kann dem Nutzer ange zeigt werden, dass die Geräuschquelle nicht erkannt wurde. In diesem Fall kann der Nutzer 6 eine entsprechende Eingabe tä tigen, um die Geräuschquelle 2 zu klassifizieren. Dies kann beispielsweise in Form einer entsprechenden Spracheingabe er folgen. In diesem Beispiel kann der Nutzer 6 beispielsweise angeben, dass es sich um einen Teekessel handelt, der ein entsprechendes Pfeifgeräusch abgibt. Diese Information kann dann in einem Speicher der Rechenvorrichtung 7 bzw. dem ex- ternen Rechnernetz 10 hinterlegt werden. Auf diese Weise kann die Funktionsfähigkeit des Systems 1 fortlaufend im Betrieb erweitert bzw. verbessert werden. 4 shows a field of view 13 of the user 6 with noise source information 15 according to a further embodiment. In this case, the noise source 2 could not be identified by means of the computing device 7. In this case too, the user 6 can highlight the noise source 2 by the frame 16. In addition, the volume of the sound of the noise source 2 is indicated by the volume indicator 17. In the text field 18, the user can be shown that the noise source was not recognized. In this case, the user 6 can make an appropriate entry in order to classify the noise source 2. This can be done, for example, in the form of a corresponding voice input. In this example, the user 6 can, for example, indicate that it is a tea kettle that emits a corresponding whistling sound. This information can then be stored in a memory of the computing device 7 or the external computer network 10. In this way, the functionality of the system 1 can be continuously expanded or improved during operation.
Bezugszeichenliste Reference list
1 System 1 system
2 Geräuschquelle 2 noise source
3 Erfassungseinrichtung 3 detection device
4 Mikrofon 4 microphone
5 Umgebung 5 environment
6 Nutzer 6 users
7 Rechenvorrichtung 7 computing device
8 eingebettete Rechnereinheit 8 embedded computing unit
9 mobiles Endgerät 9 mobile device
10 externes Rechnernetz 10 external computer network
11 Augmented-Reality-Einrichtung 12 Kopf 11 augmented reality facility 12 head
13 Sichtfeld 13 field of view
14 Obj ekt 14 objects
15 Geräuschquelleninformation 15 Noise source information
16 Rahmen 16 frames
17 Lautstärkenindikator 17 volume indicator
18 Textfeld 18 text field
19 Positionsindikator 19 position indicator

Claims

Patentansprüche Claims
1. System (1) zum Visualisieren einer Geräuschquelle (2) in einer Umgebung (5) eines Nutzers (6) umfassend: 1. System (1) for visualizing a noise source (2) in an environment (5) of a user (6) comprising:
-eine Erfassungseinrichtung (3) zum Bereitstellen eines Audiosignals , welches ein von der Geräuschquelle (2) ab gegebenes Geräusch beschreibt, a detection device (3) for providing an audio signal which describes a noise emitted by the noise source (2),
-eine Rechenvorrichtung (7) zum Erkennen des Geräusches und der Geräuschquelle (2) anhand des Audiosignals sowie zum Bestimmen einer Geräuschquelleninformation (15) , welche das Geräusch und/oder die Geräuschquelle (2) be schreibt, und - A computing device (7) for recognizing the noise and the noise source (2) on the basis of the audio signal and for determining noise source information (15) which describes the noise and / or the noise source (2), and
- eine von dem Nutzer tragbare Augmented-Reality- Einrichtung (11) zum Einblenden der Geräuschquellenin formation (15) . - An augmented reality device (11) that can be worn by the user to display the noise source information (15).
2. System (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Rechenvorrichtung (7) dazu ausgebildet ist, die Geräusch quelleninformation (15) anhand des Audiosignals auf Grundlage von künstlicher Intelligenz und/oder durch einen Vergleich des Audiosignals mit gespeicherten Referenz -Audiosignalen zu bestimmen . 2. System (1) according to claim 1, characterized in that the computing device (7) is designed to the noise source information (15) based on the audio signal based on artificial intelligence and / or by comparing the audio signal with stored reference audio signals to determine.
3. System (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Rechenvorrichtung (7) dazu ausgebildet, als die Ge räuschquelleninformation (15) eine Information auszugeben, dass sich in der Umgebung (5) eine unbekannte Geräuschquelle (2) befindet, falls die Erkennung der Geräuschquelle (2) mit tels der Rechenvorrichtung (7) nicht erfolgt ist. 3. System (1) according to claim 1 or 2, characterized in that the computing device (7) is designed to output as the Ge noise source information (15) information that there is an unknown noise source (2) in the environment (5) , if the detection of the noise source (2) by means of the computing device (7) has not taken place.
4. System (1) nach Anspruch 3, dadurch gekennzeichnet, dass die Rechenvorrichtung (7) dazu ausgebildet ist, die unbekann te Geräuschquelle (2) in Abhängigkeit von einer Eingabe durch den Nutzer (6) zu klassifizieren. 4. System (1) according to claim 3, characterized in that the computing device (7) is designed to classify the unknown noise source (2) as a function of an input by the user (6).
5. System (1) nach einem der vorhergehenden Ansprüche, da durch gekennzeichnet, dass die Rechenvorrichtung (7) dazu ausgebildet ist, anhand des Audiosignals eine Lautstärke des Geräusches zu bestimmen und die Geräuschquelleninformation (15) derart zu bestimmen, dass diese die Lautstärke be schreibt . 5. System (1) according to any one of the preceding claims, characterized in that the computing device (7) is designed to use the audio signal to adjust the volume of the To determine noise and to determine the noise source information (15) in such a way that it describes the volume.
6. System (1) nach einem der vorhergehenden Ansprüche, da durch gekennzeichnet, dass die Rechenvorrichtung (7) dazu ausgebildet ist, anhand der Audiodaten eine relative Lage zwischen dem Nutzer (6) und der Geräuschquelle (2) zu bestim men und die Geräuschquelleninformation (15) derart zu bestim men, dass diese die relative Lage beschreibt. 6. System (1) according to one of the preceding claims, characterized in that the computing device (7) is designed to use the audio data to determine a relative position between the user (6) and the noise source (2) and the noise source information (15) in such a way that it describes the relative position.
7. System (1) nach einem der vorhergehenden Ansprüche, da durch gekennzeichnet, dass das System (1) dazu ausgebildet ist, ein Vorhandensein eines vorbestimmten Geräusches in der Umgebung (5) zu überprüfen und eine Information an den Nutzer (6) auszugeben, falls das vorbestimmte Geräusch nicht vorhan den ist. 7. System (1) according to one of the preceding claims, characterized in that the system (1) is designed to check for the presence of a predetermined noise in the environment (5) and to output information to the user (6), if the predetermined noise is not present.
8. System (1) nach einem der vorhergehenden Ansprüche, da durch gekennzeichnet, dass das System (1) dazu ausgebildet ist, die Geräuschquelle (2) in der Umgebung (5) zu erkennen und die Augmented-Reality-Einrichtung (11) dazu ausgebildet ist, zum Bereitstellen der Geräuschquelleninformation (15) die erkannte Geräuschquelle (2) durch die Einblendung hervor zuheben . 8. System (1) according to one of the preceding claims, characterized in that the system (1) is designed to recognize the noise source (2) in the environment (5) and the augmented reality device (11) is designed to emphasize the recognized noise source (2) by providing the noise source information (15).
9. System (1) nach einem der vorhergehenden Ansprüche, da durch gekennzeichnet, dass das System (1) dazu ausgebildet ist, eine Lippenbewegung einer Person zu erkennen und eine zu der Lippenbewegung korrespondierende Sprachinformation einzu blenden . 9. System (1) according to one of the preceding claims, characterized in that the system (1) is designed to recognize a lip movement of a person and to fade in a speech information corresponding to the lip movement.
10. Verfahren zum Visualisieren einer Geräuschquelle (2) in einer Umgebung (5) eines Nutzers (6) mit den Schritten: 10. A method for visualizing a noise source (2) in an environment (5) of a user (6) with the steps:
- Bereitstellen eines Audiosignals , welches ein von der Geräuschquelle (2) abgegebenes Geräusch beschreibt, mit tels einer Erfassungseinrichtung (3) , -Erkennen des Geräusches und der Geräuschquelle (2) an hand des Audiosignals sowie Bestimmen einer Geräusch quelleninformation (15) , welche das Geräusch und/oder die Geräuschquelle (2) beschreibt, mittels einer Rechen- Vorrichtung (7), und - Providing an audio signal, which describes a noise emitted by the noise source (2), by means of a detection device (3), -Recognizing the noise and the noise source (2) on the basis of the audio signal and determining a noise source information (15) which describes the noise and / or the noise source (2) by means of a computing device (7), and
-Einblenden der Geräuschquelleninformation (15) mittels einer von dem Nutzer tragbaren Augmented-Reality- Einrichtung (11) . Fading in of the noise source information (15) by means of an augmented reality device (11) that can be carried by the user.
PCT/EP2019/050880 2019-01-15 2019-01-15 System for visualizing a noise source in the surroundings of a user and method WO2020147925A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/050880 WO2020147925A1 (en) 2019-01-15 2019-01-15 System for visualizing a noise source in the surroundings of a user and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/050880 WO2020147925A1 (en) 2019-01-15 2019-01-15 System for visualizing a noise source in the surroundings of a user and method

Publications (1)

Publication Number Publication Date
WO2020147925A1 true WO2020147925A1 (en) 2020-07-23

Family

ID=65236988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/050880 WO2020147925A1 (en) 2019-01-15 2019-01-15 System for visualizing a noise source in the surroundings of a user and method

Country Status (1)

Country Link
WO (1) WO2020147925A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359695A (en) * 1984-01-30 1994-10-25 Canon Kabushiki Kaisha Speech perception apparatus
US20110071830A1 (en) * 2009-09-22 2011-03-24 Hyundai Motor Company Combined lip reading and voice recognition multimodal interface system
US20140172432A1 (en) * 2012-12-18 2014-06-19 Seiko Epson Corporation Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
US20150036856A1 (en) * 2013-07-31 2015-02-05 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
EP3220372A1 (en) * 2014-11-12 2017-09-20 Fujitsu Limited Wearable device, display control method, and display control program
EP3343957A1 (en) * 2016-12-30 2018-07-04 Nokia Technologies Oy Multimedia content
DE112016005648T5 (en) * 2015-12-11 2018-08-30 Sony Corporation DATA PROCESSING DEVICE, DATA PROCESSING PROCESS AND PROGRAM

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359695A (en) * 1984-01-30 1994-10-25 Canon Kabushiki Kaisha Speech perception apparatus
US20110071830A1 (en) * 2009-09-22 2011-03-24 Hyundai Motor Company Combined lip reading and voice recognition multimodal interface system
US20140172432A1 (en) * 2012-12-18 2014-06-19 Seiko Epson Corporation Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
US20150036856A1 (en) * 2013-07-31 2015-02-05 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
EP3220372A1 (en) * 2014-11-12 2017-09-20 Fujitsu Limited Wearable device, display control method, and display control program
DE112016005648T5 (en) * 2015-12-11 2018-08-30 Sony Corporation DATA PROCESSING DEVICE, DATA PROCESSING PROCESS AND PROGRAM
EP3343957A1 (en) * 2016-12-30 2018-07-04 Nokia Technologies Oy Multimedia content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG LIU; NOELLE R. B.: "Stiles und Markus Meister", 2018, article "Augmented Reality Powers a Cognitive Prosthesis for the Blind"

Similar Documents

Publication Publication Date Title
DE102010038341B4 (en) Video surveillance system and method for configuring a video surveillance system
EP3394708B1 (en) Method for operating a virtual reality system, and virtual reality system
EP2220627B1 (en) Monitoring system having status detection module, method for self-monitoring of an observer and computer program
WO2001056017A1 (en) System and method for vision-focussed voice processing
EP3014592A1 (en) Method and device for performing remote control of a function of a vehicle
DE102013207369A1 (en) Method and device for securing a fully automatic movement of a vehicle
EP1590714B1 (en) Projection of synthetic information
EP3435140A1 (en) Working machine with display device
EP2247890A1 (en) Method and device for determining a leak in a system component and/or for determining a state of a system component
WO2020173983A1 (en) Method and device for monitoring an industrial process step
WO2020147925A1 (en) System for visualizing a noise source in the surroundings of a user and method
DE102020204332B4 (en) Method for operating a hearing system and hearing system
DE102005008316B4 (en) Hearing apparatus and method for monitoring the hearing of a minor hearing
DE102018218728A1 (en) System for controlling a machine with a "wearable display"
DE102014206625A1 (en) Positioning of an HMD in the vehicle
DE102017211555A1 (en) Method for monitoring at least one occupant of a motor vehicle, wherein the method is used in particular for monitoring and detecting possible dangerous situations for at least one occupant
DE102016011016A1 (en) Method for operating an assistance system
DE102015006613A1 (en) Operating system and method for operating an operating system for a motor vehicle
EP3649538A1 (en) Assembly and method for communicating by means of two visual output devices
EP4163742B1 (en) Method and system for testing an access device using a mobile terminal
DE102017130693A1 (en) Industrial robot controller
DE102021006389B3 (en) Process for the automatic creation of plant-specific measurement profiles for an insulation monitoring system
WO2018162674A1 (en) Device for monitoring the viewing direction of a person
DE102014205073A1 (en) Motion detector and method therefor
DE102021131028A1 (en) Enhanced human-robot interaction through augmented reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19702005

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19702005

Country of ref document: EP

Kind code of ref document: A1