WO2015132263A1 - Verfahren und vorrichtung zum umwandeln von sprachsignalen in text - Google Patents

Verfahren und vorrichtung zum umwandeln von sprachsignalen in text Download PDF

Info

Publication number
WO2015132263A1
WO2015132263A1 PCT/EP2015/054427 EP2015054427W WO2015132263A1 WO 2015132263 A1 WO2015132263 A1 WO 2015132263A1 EP 2015054427 W EP2015054427 W EP 2015054427W WO 2015132263 A1 WO2015132263 A1 WO 2015132263A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
video signal
text
information
signal
Prior art date
Application number
PCT/EP2015/054427
Other languages
English (en)
French (fr)
Inventor
Achim Gleissner
Original Assignee
Sennheiser Electronic Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sennheiser Electronic Gmbh & Co. Kg filed Critical Sennheiser Electronic Gmbh & Co. Kg
Publication of WO2015132263A1 publication Critical patent/WO2015132263A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics

Definitions

  • the present invention relates to a method and apparatus for converting speech signals to text.
  • AT 066 921 U1 relates to a method for automatically matching audio segments with text elements.
  • a method is shown which enables automatic matching of audio segments contained in an audio recording with text elements in a transcript manually generated from the audio recording.
  • the speech signals are converted into text. This is done by generating an automatic or manual transcript of the audio recording.
  • the audio segments formed into text elements are stored together with a time reference at which point in the audio recording the respective automatically recognized text element is located.
  • This object is achieved by a method for the analysis of speech information, in particular text, in an audio and / or video signal or a file and for the recovery of speech information. a portion of an audio and / or video signal according to claim 1 and by a corresponding device according to claim 5 dissolved.
  • a method for converting speech in an audio signal or an audio / video signal into text. This is done by analyzing a detected or stored audio signal or audio / video signal.
  • the audio signal or the audio / video signal has time information. Speech in the audio signal or in the audio / video signal is converted into text information.
  • the time information of the audio signal or the audio A / video signal is assigned to the converted text information.
  • a unique association of textual information is provided at the time the textual information appears as speech in the audio signal or the audio video signal. This makes it possible to easily search the speech information in audio signals or in audio A / video signals.
  • a conversion of the audio signal or the audio / video signal into text information takes place, for example, by means of a transcription.
  • This transcription can be done manually or automatically.
  • the transcription not only includes the analysis of text but may also include punctuation within the text.
  • the punctuation in the analyzed text information underlying the audio and / or video data may be used to determine a sentence beginning and / or end respectively. For example, if a point is followed by a space and a capital letter in the text, it can be assumed that this represents a sentence beginning.
  • tags relating to a sentence beginning and a sentence ending can be generated and stored or filed. These markers may serve as the beginning and end of a portion of the audio and / or video signals to be reproduced.
  • a text passage is selected, for example, by finding a search term.
  • the text passage is associated with time information of the audio and / or video file.
  • By selecting the text passage is thus also a selection of a Start time and end time of a clip in the audio and / or video file.
  • all information is present in order to play this corresponding part of the audio and / or video file.
  • the selection of the text passages can be achieved by the user, for example by marking the text passages. Based on the associated time information at the beginning and end of the text passage, the corresponding section of the audio and / or video file can be reproduced.
  • a search term has been found, not only the associated time information may be included in the textual information to accurately represent that term in the audio and / or video file, but according to one aspect of the present invention, only entire sentences are captured the corresponding section of the audio and / or video file is reproduced.
  • the beginning and optionally also the end of the section to be displayed can be used by defining a sentence beginning and a sentence end (".”, Space, large letter as sentence beginning and ".”, Space, large letter as sentence end). that the search term is also reproduced in the corresponding context in the audio and / or video file.
  • the beginning of the audio and video to be played may / or video file at an interval before the found text passage and an interval behind the found text passage, ie as x seconds before and y seconds behind the desired text passage or passage.
  • Video signals are embedded as metadata in the textual information, ie, the time information (namely, the information as to when a text appears in the audio signal or in the audio / video signal) is tightly linked to the textual information converted text information in the Hinbli ck on at least one search term.
  • the time information of the search term in the text is output which reflects the time formations of the audio signal or the audio / video signal at the point where this search term appears in the text. If z. For example, if the term "Sennheiser" is entered in the text information, then the associated time information, namely, the time when that term appears in the audio signal or audio -A / video signal appears, output.
  • the invention also relates to an apparatus for converting speech in an audio signal or in audio audio signal into text.
  • the device has an analysis unit for analyzing the acquired or stored audio signal or audio / video signal.
  • the audio signal or the audio video signal has time information (for example, a time code or timestamp).
  • the apparatus further comprises a converting unit for converting the speech in the audio signal or the audio A / video signal into text information.
  • the device has an allocation unit for allocating the time information of the audio signal or of the audio / video signal to the time information.
  • the present invention relates to the idea, in the conversion of speech signals into text, the time information present in the speech signal z. B. embed as metadata in the text data.
  • the text data also includes time information (eg, a time code, timestamp or stopwatch) corresponding to the time information of the audio / video signal.
  • time information eg, a time code, timestamp or stopwatch
  • a location of the converted text can be readily assigned to a location of the audio signal or the audio / video signal.
  • the corresponding location of the audio signal or the audio / video signal can be selected and reproduced based on the timing information.
  • an effective way of timely reproduction of a desired location of the audio A / video signal is made possible.
  • the invention relates to a method for converting speech signals to text.
  • An audio or an audio video signal is detected along with the time information (time code, time stamp, clock, etc.) or the method accesses a stored audio and / or video signal with time information.
  • the speech signals are analyzed by speech and converted into text and optional punctuation, taking into account the time information.
  • the time information of the speech signal is assigned to the converted text so that the converted text has metadata (namely, time information).
  • This metadata (time information) enables a direct assignment tion of a passage to the corresponding location or time in the audio and / or video signal.
  • a method of analyzing an audio signal or an audio A / video signal by voice is provided.
  • speech in the audio signal or in the audio A / video signal is converted into text according to a method described above.
  • a text file can be generated, which metadata z. B. in the form of a time code, timestamp or time information.
  • metadata z. B. in the form of a time code, timestamp or time information.
  • Fig. 1 shows a flowchart of a method of converting
  • Fig. 2 shows a block diagram of a device for converting speech into text
  • FIG. 3A shows an illustration for illustrating the method according to the invention.
  • 1 shows a flowchart of a method of converting speech to text according to a first embodiment.
  • step S1 a detected or stored audio and / or video signal, in particular with regard to speech, z. Words and / or sentences.
  • An analysis of the punctuation contained in the language can also be done.
  • the language in the audio signal or the audio / video signal AS is converted into text T (text information), optionally including the punctuation, in step S2.
  • the audio signal or the audio / video signal has time information ZI, which can represent, for example, a running clock, a time code or a timestamp.
  • step S3 the time information ZI of the audio signal or the audio A / video signal AS is assigned to the converted text T and / or the punctuation as text time information TZI.
  • the timestamp or the time information is taken into account and z. B. as metadata of the text included.
  • each location of the text T is also assigned a time information ZTI.
  • Fig. 2 is a schematic block diagram of an apparatus for converting speech to text.
  • the device has an analysis unit AE, which z. B. performs the step S1 of Fig. 1 and thus the audio signal or the audio A video signal AS analyzed according to speech signals.
  • the device further comprises a conversion unit UE, which converts the speech from the audio signal or audio / video signal AS into text T and punctuation.
  • the device also has an allocation unit ZE which assigns the time information ZI of the audio signal or the audio A / video signal AS to the converted text T as text-time information TZI.
  • FIGS. 3A-3C show an illustration for illustrating the method according to the invention.
  • FIG. 3A shows an audio signal AS with its time information ZI.
  • the time information represents a revolving clock there.
  • the audio signal AS is converted into a text T (lorem ipsum dolor sit amet, consectetur adipisic elit, sed eiusmod temporal incidunt ut labore et dolore).
  • Fig. 3A represents the prior art.
  • FIG. 3B shows the audio signal AS with its time information ZI and the converted text T with the associated time information TZI.
  • the converted text T in FIG. 3B is assigned time information TZI.
  • the on-going clock is associated with this text or embedded as metadata in the text.
  • Fig. 3C shows a text search. For example, the word "labore” was searched for and this word appears at 13 seconds then the audio signal AS is accessed at exactly this point in time, namely at 13 seconds. In this case, the audio signal can then be reproduced.
  • a time signal is embedded in the converted text. This allows a connection between the audio signal and the converted text in the sense of a referencing information.
  • the invention relates to the idea that an audio signal or audio / video signal can not easily be searched for specific terms. However, this is very possible if the speech in the audio signal or the audio / video signal has been converted to text. According to the invention, the converted text metadata z. As regards the time information of the audio signal or audio / video signal. Thus, the time information of the audio signal is transmitted and embedded in the text information and the text file, respectively.
  • certain terms can then be searched and if a term is found in the text T, then it can be deduced from the associated metadata on the time information when that term is present in the audio signal. Subsequently, the audio and / or video signal can be reproduced exactly at this point.
  • a file format may be provided in which a plurality of audio signals or audio / video tracks are provided.
  • a text track can be displayed synchronously. This can for example be done so that the word beginnings are assigned accordingly.
  • an analysis of the speech in the audio and / or video signal takes place with regard to text and punctuation information.
  • the textual information may represent a transcription of the speech in the audio and / or video signals.
  • the punctuation information can be used to determine a sentence beginning and / or a sentence end. A ".”
  • a detected sentence beginning and a detected sentence end can each have a pointer or a marker in the Time information can be assigned. These markers can be used as start and end points for playing the audio and / or video file or signal when a searched term is in that sentence.
  • a user searches for a clipping in an audio and / or video file in which a particular term occurs, then he must search for and select that term in the transcribed text. Based on the time information associated with the searched term, the corresponding location in the audio and / or video file can be accessed and played back. In particular, not only the section from the audio and / or video file can be reproduced on the basis of the markings of a sentence beginning, at which the searched term occurs, but it can be selected and reproduced the entire sentence in which the searched term occurs.
  • the user may first search for a term in the transcribed text as described above.
  • the found text passage is displayed.
  • the user can then select those passages of text that are in the vicinity of the searched term to render the corresponding section in the audio and / or video file.
  • a first and second time interval can be set.
  • the first time interval represents a time interval, which is located before the searched term.
  • the second interval represents a time interval that is behind the searched term.
  • a method of converting speech in an audio signal or an audio video signal into text comprising the steps of:
  • the time information of the audio signal or the audio A / video signal is embedded as metadata in the text information.
  • the speech in the audio signal or in the audio A / video signal is converted into text by a method according to any of embodiments 1 to 3.
  • an analysis unit for analyzing a detected or stored audio signal or audio A / video signal, wherein the audio signal or the audio A / video signal has time information
  • a conversion unit for converting the speech in the audio signal or the audio / video signal into textual information
  • an allocation unit for allocating the time information of the audio signal or the audio A video signal to the text information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Es wird ein Verfahren zum Umwandeln von Sprache in einem Audiosignal oder Audio-/Videosignal in Text vorgesehen. Ein erfasstes oder gespeichertes Audiosignal oder Audio-/Videosignal wird analysiert. Die Sprache in dem Audiosignal oder Audio-/Videosignal wird in Textinformationen umgewandelt. Die Zeitinformationen des Audio- signals oder des Audio-/Videosignals werden den Textinformationen zugeordnet.

Description

Verfahren und Vorrichtung zum Umwandeln von Sprachsignalen in Text
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Umwandeln von Sprachsignalen in Text.
Die Umwandlung von Sprachsignalen in Text ist seit längerem bekannt und wird in vielen Bereichen, z. B. bei einer Diktatsoftware, aber auch zwischenzeitlich bei Smartphones verwendet.
AT 066 921 U1 betrifft ein Verfahren zur automatischen Übereinstimmung von Audio- Segmenten mit Textelementen. Insbesondere wird ein Verfahren gezeigt, welches eine automatische Übereinstimmung von in einer Audioaufnahme enthaltenen Audio- Segmenten mit Textelementen in einem manuell aus der Audioaufnahme erzeugten Transkript ermöglicht. Basierend auf der Audioaufnahme erfolgt eine Umwandlung der Sprachsignale in Text. Dies erfolgt durch Erzeugen eines automatischen oder manuellen Transkripts der Audioaufnahme. Hierbei werden die zu Textelementen geformten Audiosegmente zusammen mit einem Zeitbezug, an welcher Stelle in der Audioaufnahme sich das jeweilige automatisch erkannte Textelement befindet, gespeichert. Bei einer großen Ansammlung von Audio- und/oder Videodateien, wie sie beispielsweise bei Nachrichtensendern vorhanden ist, ist es oftmals schwierig, genau denjenigen Ausschnitt bzw. Abschnitt in einer Audio- und/oder Videodatei zu finden, welcher sich mit einem gewünschten Thema befasst.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Analyse von Sprachinformationen, insbesondere Text, in einem Audio- und/oder Videosignal oder einer Datei und zum Wiedergeben eines Abschnitts eines Audio- und/oder Videosignals, welches einer ausgewählten Textstelle entspricht, vorzusehen.
Diese Aufgabe wird durch ein Verfahren zur Analyse von Sprachinformationen, insbe- sondere Text, in einem Audio- und/oder Videosignal oder einer Datei und zum Wiederge- ben eines Abschnitts eines Audio- und/oder Videosignals nach Anspruch 1 und durch eine entsprechende Vorrichtung nach Anspruch 5 gelöst.
Somit wird ein Verfahren zum Umwandeln von Sprache in einem Audiosignal oder einem Audio-/Videosignal in Text vorgesehen. Dies erfolgt durch Analysieren eines erfassten oder gespeicherten Audiosignals oder Audio-/Videosignals. Das Audiosignal oder das Audio-/Videosignal verfügt über Zeitinformationen. Sprache in dem Audiosignal oder in dem Audio-/Videosignal wird in Textinformation umgewandelt. Die Zeitinformationen des Audiosignals oder des Audio-A/ideosignals werden den umgewandelten Textinformationen zugeordnet. Damit wird eine eindeutige Zuordnung von Textinformationen zu dem Zeitpunkt vorgesehen, an welchem die Textinformationen als Sprache in dem Audiosignal oder dem Audio-A ideosignal auftauchen. Damit wird eine einfache Recherchierbarkeit der Sprachinformationen in Audiosignalen oder in Audio-A/ideosignalen ermöglicht.
Gemäß einem Aspekt der Erfindung ist es möglich, einen Teil des transkribierten Textes auszuwählen und dann die entsprechende Passage oder den Ausschnitt (mit entspre- chenden Zeitinformationen) der aufgezeichneten Audio- und/oder Videodatei wiederzugeben. Gemäß der Erfindung erfolgt eine Umwandlung des Audiosignals oder des Audio- A/ideosignals in Textinformationen beispielsweise mittels einer Transkription. Diese Transkription kann manuell oder automatisch erfolgen. Die Transkription beinhaltet nicht nur die Analyse von Text, sondern kann ebenfalls eine Interpunktion innerhalb des Textes enthalten.
Gemäß einem Aspekt der vorliegenden Erfindung kann anhand der Interpunktion in den analysierten Textinformationen, welche den Audio- und/oder Videodaten zu Grunde liegen (da sie durch eine Transkription der Audio- und/oder Videodaten erhalten wurden) eine Bestimmung eines Satzanfanges und/oder Satzendes erfolgen. So kann beispiels- weise, wenn in dem Text ein Punkt gefolgt wird von einem Leerzeichen und einem Großbuchstaben, davon ausgegangen werden, dass dies einen Satzanfang darstellt. Anhand der Interpunktionsinformationen (z.B. Satzanfang) können Markierungen bezüglich eines Satzanfanges und eines Satzendes erzeugt und gespeichert oder abgelegt werden. Diese Markierungen können als Anfang und Endes eines wiederzugebenden Ausschnitts der Audio- und/oder Videosignale dienen.
Gemäß der Erfindung wird eine Textpassage beispielsweise durch Finden eines Suchbegriffes ausgewählt. Der Textpassage sind Zeitinformationen der Audio- und/oder Videodatei zugeordnet. Durch Auswahl der Textpassage erfolgt somit auch eine Auswahl einer Anfangszeit und einer Endzeit eines Ausschnitts in der Audio- und/oder Videodatei. Damit sind alle Informationen vorhanden, um diesen entsprechenden Teil der Audio- und/oder Videodatei wiedergeben zu können.
Die Auswahl der Textpassagen kann durch den Benutzer beispielsweise durch eine Markierung der Textpassagen erreicht werden. Basierend auf den dazugehörigen Zeitinformationen zum Anfang und Ende der Textpassage kann der entsprechende Abschnitt der Audio- und/oder Videodatei wiedergegeben werden.
Alternativ dazu können, wenn beispielsweise ein Suchbegriff gefunden worden ist, in den Textinformationen nicht nur die dazugehörigen Zeitinformationen berücksichtigt werden, um genau diesen Begriff in der Audio- und/oder Videodatei wiederzugeben, sondern gemäß einem Aspekt der vorliegenden Erfindung werden lediglich ganze Sätze erfasst und der dazugehörige Ausschnitt der Audio- und/oder Videodatei wird wiedergebeben. Der Anfang und optional auch das Ende des wiederzugebenden Abschnittes kann durch die Bestimmung eines Satzanfanges und eines Satzendes (".", Leerzeichen, großer Buchstabe als Satzanfang und „.", Leerzeichen, großer Buchstabe als Satzende) verwendet werden. Somit kann sichergestellt werden, dass der Suchbegriff auch in dem entsprechenden Zusammenhang in der Audio- und/oder Videodatei wiedergegeben wird. Die Kombination„." < Leerzeichen > Großbuchstabe" kann als Referenz für einen Satzanfang bzw. ein Satzende dienen. Gemäß einem weiteren Aspekt kann, wenn eine bestimmte Stelle in dem Text gefunden worden ist, welche für den Anwender interessant ist, der Anfang des wiederzugebenden Ausschnitts der Audio- und/oder Videodatei um ein Intervall vor der gefundenen Textpassage und ein Intervall hinter der gefundenen Textpassage wiedergegeben werden, d.h. als x Sekunden vor und y Sekunden hinter der gewünschten Textpassage oder Textstelle Gemäß einem Aspekt der vorliegenden Erfindung werden die Zeitinformationen des Audiosignals oder des Audio-/Videosignals als Metadaten in die Textinformationen eingebettet, d. h. die Zeitinformationen (nämlich die Information, wann ein Text in dem Audiosignal oder in dem Audio-A/ideosignal auftaucht) werden mit den Textinformationen fest verknüpft. Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt ein Analysieren der umgewandelten Textinformationen im Hinblick auf mindestens einen Suchbegriff. Die Zeitinformationen des Suchbegriffes in dem Text werden ausgegeben, welche den Zeitin- formationen des Audiosignals oder des Audio-/Videosignals an der Stelle entsprechen, wo dieser Suchbegriff im Text auftaucht. Wenn z. B. der Suchbegriff „Sennheiser" eingegeben wird, dann werden die umgewandelten Textinformationen nach diesem Suchbegriff durchsucht. Wenn der Begriff „Sennheiser" in den Textinformationen auftaucht, dann wird die dazugehörige Zeitinformation, nämlich die Zeitangabe, wann dieser Begriff in dem Audiosignal oder dem Audio-A/ideosignal auftaucht, ausgegeben.
Die Erfindung betrifft ebenfalls eine Vorrichtung zum Umwandeln von Sprache in einem Audiosignal oder in einem Audio-A ideosignal in Text. Dazu weist die Vorrichtung eine Analyseeinheit zum Analysieren des erfassten oder gespeicherten Audiosignals oder Audio-/Videosignals auf. Das Audiosignal oder das Audio-A/ideosignal verfügt über Zeitinformationen (beispielsweise ein Zeitcode oder Timestamp). Die Vorrichtung weist ferner eine Umwandlungseinheit zum Umwandeln der Sprache in dem Audiosignal oder dem Audio-A/ideosignal in Textinformationen auf. Ferner weist die Vorrichtung eine Zuordnungseinheit zum Zuordnen der Zeitinformationen des Audiosignals oder des Audio-/Videosignals zu den Zeitinformationen auf.
Die vorliegende Erfindung betrifft den Gedanken, bei der Umwandlung von Sprachsignalen in Text die in dem Sprachsignal vorhandenen Zeitinformationen z. B. als Metadaten in die Textdaten einzubetten. Somit weisen die Textdaten auch eine Zeitinformation (z. B. einen Timecode, Timestamp oder eine Stoppuhr) auf, welche der Zeitinformation des Audio-/Videosignals entspricht. Somit kann eine Stelle des umgewandelten Textes ohne Weiteres einer Stelle des Audiosignals oder des Audio-/Videosignals zugeordnet werden. Wenn somit eine Stelle des umgewandelten Textes ausgewählt wird, dann kann anhand der Zeitinformationen die entsprechende Stelle des Audiosignals oder des Audio- Λ/ideosignals ausgewählt und wiedergegeben werden. Somit wird eine effektive Möglichkeit der zeitgenauen Wiedergabe einer gewünschten Stelle des Audio-A/ideosignals ermöglicht.
Somit betrifft die Erfindung ein Verfahren zum Umwandeln von Sprachsignalen in Text. Ein Audio- oder ein Audio-A/ideosignal wird zusammen mit den Zeitinformationen (time code, time stamp, Uhr etc.) erfasst oder das Verfahren greift auf ein gespeichertes Audio- und/oder Videosignal mit Zeitinformationen zu. Die Sprachsignale werden nach Sprache analysiert und unter Berücksichtigung der Zeitinformationen in Text und optional Interpunktion umgewandelt. Die Zeitinformationen des Sprachsignals werden dem umgewandelten Text zugeordnet, so dass der umgewandelte Text Metadaten (nämlich Zeitinformationen) aufweist. Diese Metadaten (Zeitinformationen) ermöglichen eine direkte Zuord- nung einer Textstelle zu der entsprechenden Stelle bzw. Zeit in dem Audio- und/oder Videosignal. Mit dem erfindungsgemäßen Verfahren ist es somit möglich, den umgewandelten Text nach Stichworten zu recherchieren und dann mit Hilfe der Metadaten (Zeitinformationen) genau an diese Stelle in dem Audio- und/oder Videosignal zu springen und das Audio- und/oder Videosignal dann an dieser Stelle wiederzugeben.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Analysieren eines Audiosignals oder eines Audio-A/ideosignals nach Sprache vorgesehen. Hierbei wird Sprache in dem Audiosignal oder in dem Audio-A/ideosignal in Text gemäß einem oben beschriebenen Verfahren umgewandelt.
Mit dem erfindungsgemäßen Verfahren kann eine Textdatei erzeugt werden, welche Metadaten z. B. in Form von einem Zeitcode, Timestamp oder Zeitinformationen aufweist. Mit dem erfindungsgemäßen Verfahren wird eine neue Referenzierbarkeit von Audio- und/oder Videosignalen ermöglicht. Durch die Recherchierbarkeit des umgewandelten Textes und der damit assoziierten Zeitinformationen lässt sich der Text recherchieren und wenn die entsprechende Textstelle gefunden ist, dann kann anhand der damit assoziierten Zeitinformation die entsprechende Stelle des Audio-/Videosignals gefunden und wiedergegeben werden.
Dies ist insbesondere vorteilhaft, da damit eine Recherchierbarkeit von Audiosignalen oder Audio-A/ideosignalen gegeben ist. Dies kann insbesondere vorteilhaft sein im Broadcast-Bereich, d. h. bei Rundfunk- und TV-Ausstrahlungen.
Weitere Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Vorteile und Ausführungsbeispiele der Erfindung werden nachstehend unter Bezugnahme auf die Zeichnung näher erläutert.
Fig. 1 zeigt ein Flussablaufdiagramm eines Verfahrens zum Umwandeln von
Sprache in Text gemäß einem ersten Ausführungsbeispiel,
Fig. 2 zeigt ein Blockschaltbild einer Vorrichtung zum Umwandeln von Sprache in Text, und
Fig. 3A zeigen eine Darstellung zur Veranschaulichung des erfindungsgemä- - 3C ßen Verfahrens. Fig. 1 zeigt ein Flussablaufdiagramm eines Verfahrens zum Umwandeln von Sprache in Text gemäß einem ersten Ausführungsbeispiel. In Schritt S1 wird ein erfasstes oder gespeichertes Audio- und/oder Videosignal insbesondere im Hinblick auf Sprache, z. B. Wörter und/oder Sätze, analysiert. Eine Analyse der in der Sprache enthaltenen Inter- punktion kann ebenfalls erfolgen. Die Sprache in dem Audiosignal oder dem Audio- Λ/ideosignal AS wird in Text T (Textinformationen), optional inklusive der Interpunktion, in Schritt S2 umgewandelt. Das Audiosignal oder das Audio-A/ideosignal weist Zeitinformationen ZI auf, welche beispielsweise eine mitlaufende Uhr, einen Zeitcode oder Timestamp darstellen können. In Schritt S3 wird die Zeitinformation ZI des Audiosignals oder des Audio-A/ideosignals AS dem umgewandelten Text T und/oder der Interpunktion als Text-Zeit-Information TZI zugeordnet. Bei der Umwandlung der Sprache in Text wird der Timestamp bzw. die Zeitinformation mit berücksichtigt und z. B. als Metadaten des Textes mit aufgenommen. Somit ist jeder Stelle des Textes T auch eine Zeitinformation ZTI zugeordnet. Fig. 2 zeigt ein schematisches Blockschaltbild einer Vorrichtung zum Umwandeln von Sprache in Text. Die Vorrichtung weist eine Analyseeinheit AE auf, welche z. B. den Schritt S1 von Fig. 1 durchführt und damit das Audiosignal oder das Audio-A ideosignal AS nach Sprachsignalen analysiert. Die Vorrichtung weist ferner eine Umwandlungseinheit UE auf, welche die Sprache aus dem Audiosignal oder Audio-A/ideosignal AS in Text T und Interpunktion umwandelt. Die Vorrichtung weist ferner eine Zuordnungseinheit ZE auf, welche die Zeitinformation ZI des Audiosignals oder des Audio-A/ideosignals AS dem umgewandelten Text T als Text-Zeit-Information TZI zuordnet.
Fig. 3A - 3C zeigen eine Darstellung zur Veranschaulichung des erfindungsgemäßen Verfahrens. In Fig. 3A ist ein Audiosignal AS mit seinen Zeitinformationen ZI gezeigt. Die Zeitinformationen stellen dabei eine mitlaufende Uhr da. Das Audiosignal AS wird in einen Text T (Lorem ipsum dolor sit amet, consectetur adipisici elit, sed eiusmod tempor incidunt ut labore et dolore) umgewandelt. Damit stellt Fig. 3A den Stand der Technik dar.
In Fig. 3B ist das Audiosignal AS mit seinen Zeitinformationen ZI und der umgewandelte Text T mit den assoziierten Zeitinformationen TZI gezeigt. In Fig. 3B ist somit erfindungs- gemäß dem umgewandelten Text T eine Zeitinformation TZI zugeordnet. Somit ist die mitlaufende Uhr diesem Text zugeordnet bzw. als Metadaten in den Text eingebettet.
Fig. 3C zeigt eine Textsuche. Hierbei wurde beispielsweise das Wort„labore" gesucht. Dieses Wort taucht bei 13 Sekunden auf. Ausgehend von diesen Zeitinformationen kann dann auf das Audiosignal AS genau bei diesem Zeitpunkt, nämlich bei 13 Sekunden, zugegriffen werden. Hierbei kann dann das Audiosignal wiedergegeben werden.
Somit kann gemäß der Erfindung eine leichte Recherchierbarkeit und Zuordbarkeit der Audiosignale oder Audio-A/ideosignale ermöglicht werden.
Gemäß der Erfindung wird ein Zeitsignal in den umgewandelten Text eingebettet. Damit ist eine Verbindung zwischen dem Audiosignal und dem umgewandelten Text im Sinne einer Referenzierungsinformation möglich.
Die Erfindung betrifft den Gedanken, dass ein Audiosignal oder Audio-A/ideosignal nicht ohne Weiteres nach bestimmten Begriffen recherchiert werden kann. Dies ist jedoch sehr wohl möglich, wenn die Sprache in dem Audiosignal oder dem Audio-/Videosignal in Text umgewandelt worden ist. Gemäß der Erfindung weist der umgewandelte Text Metadaten z. B. hinsichtlich der Zeitinformation des Audiosignals oder Audio-/Videosignals auf. Somit wird die Zeitinformation des Audiosignals in die Textinformation bzw. die Textdatei übertragen und eingebettet.
Gemäß der Erfindung kann wie in Fig. 3C gezeigt dann nach bestimmten Begriffen recherchiert werden und wenn ein Begriff in dem Text T gefunden wird, dann kann anhand der dazugehörigen Metadaten auf die Zeitinformation geschlossen werden, wann dieser Begriff in dem Audiosignal vorhanden ist. Anschließend kann das Audio- und/oder Videosignal genau an dieser Stelle wiedergegeben werden.
Gemäß der Erfindung kann ein Dateiformat vorgesehen werden, bei welchem mehrere Audiosignale oder Audio-/Videospuren vorgesehen sind. Zusätzlich dazu kann eine Textspur zeitsynchron angezeigt werden. Dies kann beispielsweise so erfolgen, dass die Wortanfänge entsprechend zugeordnet sind.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung erfolgt eine Analyse der Sprache in dem Audio- und/oder Videosignal hinsichtlich Text- und Interpunktionsinformationen. Die Textinformationen können eine Transkription der Sprache in dem Audio- und/oder Videosignale darstellen. Die Interpunktionsinformationen können zur Bestimmung eines Satzanfangs und/oder eines Satzendes verwendet werden. Ein „." gefolgt von einem„Leerzeichen" und optional einem Wort mit einem Großbuchstaben wird als ein Hinweis auf einen Satzanfang und ein Satzende angesehen. Einem erfassten Satzanfang und einem erfassten Satzende kann jeweils ein Pointer oder eine Markierung in den Zeitinformationen zugeordnet werden. Diese Markierungen können als Start- und Endpunkte für die Wiedergabe der Audio- und/oder Videodatei oder Signal verwendet werden, wenn ein gesuchter Begriff sich in diesem Satz befindet. Mit anderen Worten, wenn ein Anwender einen Ausschnitt in einer Audio- und/oder Videodatei sucht, in welchem ein bestimmter Begriff vorkommt, dann muss er diesen Begriff in dem transkribierten Text suchen und auswählen. Anhand der Zeitinformationen, die dem gesuchten Begriff zugeordnet sind, kann auf die entsprechende Stelle in der Audio- und/oder Videodatei zugegriffen und wiedergegeben werden. Insbesondere kann anhand der Markierungen eines Satzanfangs nicht nur der Ausschnitt aus der Audio- und/oder Videodatei wiedergegeben werden, an welchem der gesuchte Begriff vorkommt, sondern es kann der gesamte Satz, in welchem der gesuchte Begriff vorkommt, ausgewählt und wiedergegeben werden.
Optional können auch basierend auf den Satzanfangsmarkierungen mehrere Sätze vor und hinter dem gesuchten Begriff wiedergegeben werden. Damit kann erreicht werden, dass der Zusammenhang, in welchem der Begriff vorkommt, wiedergegeben werden kann.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung kann der Anwender zunächst wie oben beschrieben einen Begriff in dem transkribierten Text suchen. Die gefundene Textstelle wird angezeigt. Der Anwender kann dann diejenigen Textpassagen auswählen, die sich in der Umgebung des gesuchten Begriffs befinden, um den entsprechenden Ausschnitt in der Audio- und/oder Videodatei wiederzugeben.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung kann ein erstes und zweites Zeitintervall eingestellt werden. Das erste Zeitintervall stellt dabei ein Zeitintervall dar, welches sich vor dem gesuchten Begriff befindet. Das zweite Intervall stellt dabei ein Zeitintervall dar, das sich hinter dem gesuchten Begriff befindet. Damit kann durch Ein- Stellung des ersten und zweiten Intervalls der Ausschnitt der Audio- und/oder Videodatei, der wiederzugeben ist, ausgewählt werden. Diese Einstellung kann als grundlegende Einstellung einmal vorgenommen werden. Die Einstellungen können natürlich nachträglich verändert werden. Das erste und zweite Intervall beträgt jeweils mindestens 1 Sekunde. Die Erfindung betrifft ebenfalls die folgenden Ausführungsformen oder Kombinationen davon: Ausführungsform 1
Verfahren zum Umwandeln von Sprache in einem Audiosignal oder einem Audio- A ideosignal in Text, mit den Schritten:
Analysieren eines erfassten oder gespeicherten Audiosignals oder eines Audio- A/ideosignals, wobei das Audiosignal oder Audio-A/ideosignal über Zeitinformationen verfügt,
Umwandeln von Sprache in dem Audiosignal oder Audio-A/ideosignal in Textinformationen, und
Zuordnen der Zeitinformationen des Audiosignals oder Audio-A/ideosignals zu den umgewandelten Textinformationen.
Ausführungsform 2
Verfahren nach Ausführungsform 1 , wobei
die Zeitinformationen des Audiosignals oder des Audio-A/ideosignals als Metadaten in die Textinformation eingebettet werden.
Ausführungsform 3
Verfahren nach Ausführungsform 1 oder 2, ferner mit den Schritten:
Analysieren der umgewandelten Textinformationen im Hinblick auf mindestens einen Suchbegriff, und
Ausgeben von Zeitinformationen des Suchbegriffes in dem Text, welche den Zeitinformationen des Audiosignals oder des Audio-A/ideosignals an der Stelle entsprechen, wo dieser Suchbegriff im Text auftaucht.
Ausführungsform 4
Verfahren zum Analysieren eines Audiosignals oder eines Audio-A/ideosignals nach in diesem Signal enthaltenen Sprachinformationen, wobei
die Sprache in dem Audiosignal oder in dem Audio-A/ideosignal mittels eines Verfahrens nach einem der Ausführungsformen 1 bis 3 in Text umgewandelt wird.
Ausführungsform 5
Vorrichtung zum Umwandeln von Sprache in einem Audiosignal oder Audio-A/ideosignal in Text, mit
einer Analyseeinheit (AE) zum Analysieren eines erfassten oder gespeicherten Audiosignals oder Audio-A/ideosignals, wobei das Audiosignal oder das Audio- A/ideosignal über Zeitinformationen verfügt, einer Umwandlungseinheit (UE) zum Umwandeln der Sprache in dem Audiosignal oder dem Audio-/Videosignal in Textinformationen, und
einer Zuordnungseinheit (ZE) zum Zuordnen der Zeitinformationen des Audiosignals oder des Audio-A ideosignals zu den Textinformationen.

Claims

Ansprüche
1 . Verfahren zur Analyse von Sprachinformationen in einem Audio- und/oder Videosignal und zum Wiedergeben eines Ausschnitts eines Audio- und/oder Videosignals, mit den Schritten:
Analysieren eines erfassten oder gespeicherten Audiosignals oder eines Audio- Λ/ideosignals, wobei das Audiosignal oder Audio-A ideosignal über Zeitinformationen verfügt,
Umwandeln von Sprache in dem Audiosignal oder Audio-A/ideosignal in Textinformationen und insbesondere Interpunktionsinformationen,
Zuordnen der Zeitinformationen des Audiosignals oder Audio-A/ideosignals zu den umgewandelten Textinformationen und Interpunktionsinformationen,
Analysieren der umgewandelten Textinformationen im Hinblick auf mindestens einen Suchbegriff, und
Ausgeben von Zeitinformationen des Suchbegriffes in dem Text, welche den Zeitinformationen des Audiosignals oder des Audio-A/ideosignals an der Stelle entsprechen, an welcher der Suchbegriff in dem Audiosignal oder Audio-A/ideosignal auftritt, und
Wiedergeben eines Ausschnitts in dem Audio- und/oder Videosignal, der den Zeitinformationen, an welcher der Suchbegriff auftritt, im Wesentlichen entspricht, wobei die Zeitinformationen des Audiosignals oder des Audio-A/ideosignals als Metadaten in die Textinformation und die Interpunktionsinformationen eingebettet werden.
2. Verfahren nach Anspruch 1 , ferner mit den Schritten
Bestimmen mindestens eines Satzanfangs oder Satzendes eines Satzes, in welchem der Suchbegriff auftritt, basierend auf den Interpunktionsinformationen,
Setzen mindestens einer ersten Markierung an einem Satzanfang und einer zweiten Markierung an einem Satzende mindestens eines Satzes, in welchem der Suchbegriff auftritt.
Wiedergeben eines Ausschnitts in dem Audio- und/oder Videosignal, welches durch Zeitinformationen der ersten und zweiten Markierung begrenzt wird.
3. Verfahren nach Anspruch 1 , ferner mit den Schritten:
Setzen einer ersten Markierung zeitlich vor und einer zweiten Markierung zeitlich hinter den Zeitinformationen, die dem Suchbegriff zugeordnet sind, und
Wiedergeben eines Ausschnitts in dem Audio- und/oder Videosignal, welches durch Zeitinformationen der ersten und zweiten Markierung begrenzt wird.
4. Verfahren nach Anspruch 1 , 2 oder 3, ferner mit den Schritten:
Setzen einer ersten Markierung in dem Text vor und einer zweiten Markierung hinter der Stelle in dem Text, an welcher der Suchbegriff auftritt, und
Wiedergeben eines Ausschnitts in dem Audio- und/oder Videosignal, welches durch Zeitinformationen der ersten und zweiten Markierung begrenzt wird.
5. Vorrichtung zur Analyse von Sprachinformationen in einem Audio- und/oder Videosignal und zum Wiedergeben eines Ausschnitts eines Audio- und/oder Videosignals, mit einer Analyseeinheit (AE) zum Analysieren eines erfassten oder gespeicherten Audiosignals oder Audio-A/ideosignals, wobei das Audiosignal oder das Audio- /Videosignal über Zeitinformationen verfügt und zum Analysieren der umgewandelten Textinformationen im Hinblick auf mindestens einen Suchbegriff,
einer Umwandlungseinheit (UE) zum Umwandeln der Sprache in dem Audiosignal oder dem Audio-/Videosignal in Textinformationen und insbesondere Interpunktionsinformationen und zum Ausgeben von Zeitinformationen des Suchbegriffes in dem Text, welche den Zeitinformationen des Audiosignals oder des Audio-/Videosignals an der Stelle entsprechen, an welcher der Suchbegriff im dem Audiosignal oder Audio- Λ/ideosignal auftritt, und
einer Zuordnungseinheit (ZE) zum Zuordnen der Zeitinformationen des Audiosignals oder des Audio-A ideosignals zu den Textinformationen,
wobei ein Ausschnitt in dem Audio- und/oder Videosignal, der den Zeitinformationen, an welcher der Suchbegriff auftritt, im Wesentlichen entspricht, wiedergegeben wird.
PCT/EP2015/054427 2014-03-03 2015-03-03 Verfahren und vorrichtung zum umwandeln von sprachsignalen in text WO2015132263A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014203818.9 2014-03-03
DE102014203818.9A DE102014203818A1 (de) 2014-03-03 2014-03-03 Verfahren und Vorrichtung zum Umwandeln von Sprachsignalen in Text

Publications (1)

Publication Number Publication Date
WO2015132263A1 true WO2015132263A1 (de) 2015-09-11

Family

ID=52633256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/054427 WO2015132263A1 (de) 2014-03-03 2015-03-03 Verfahren und vorrichtung zum umwandeln von sprachsignalen in text

Country Status (2)

Country Link
DE (1) DE102014203818A1 (de)
WO (1) WO2015132263A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051985A (zh) * 2019-12-26 2021-06-29 深圳云天励飞技术有限公司 信息提示方法、装置、电子设备及存储介质
CN113051985B (zh) * 2019-12-26 2024-07-05 深圳云天励飞技术有限公司 信息提示方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895575B (zh) * 2018-08-24 2023-06-23 阿里巴巴集团控股有限公司 一种音频处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008100037A1 (en) * 2007-02-12 2008-08-21 Egc & C Co., Ltd. The system and method for generating indexing information of multimedia data file using vocal data and retrieving indexing information of multimedia data file

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT6921U1 (de) * 2002-11-28 2004-05-25 Sail Labs Technology Ag Verfahren zur automatischen übereinstimmung von audio-segmenten mit textelementen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008100037A1 (en) * 2007-02-12 2008-08-21 Egc & C Co., Ltd. The system and method for generating indexing information of multimedia data file using vocal data and retrieving indexing information of multimedia data file

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051985A (zh) * 2019-12-26 2021-06-29 深圳云天励飞技术有限公司 信息提示方法、装置、电子设备及存储介质
CN113051985B (zh) * 2019-12-26 2024-07-05 深圳云天励飞技术有限公司 信息提示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102014203818A1 (de) 2015-09-03

Similar Documents

Publication Publication Date Title
DE102004023436B4 (de) Vorrichtung und Verfahren zum Analysieren eines Informationssignals
DE69818930T2 (de) Verfahren zur Ausrichtung von Text an Audiosignalen
DE60202453T2 (de) Synchronisierung eines audio- und eines text-cursors während der editierung
DE60124842T2 (de) Rauschrobuste Mustererkennung
EP0366192A2 (de) Textverarbeitungsvorrichtung
DE10232916A1 (de) Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals
DE10220521B4 (de) Verfahren und System zur Verarbeitung von Sprachdaten und Klassifizierung von Gesprächen
WO2009109169A1 (de) Verfahren zum betrieb eines navigationssystems
EP2047668B1 (de) Verfahren, sprachdialogsystem und telekommunikationsendgerät zur multilingualen sprachausgabe
DE102014200570A1 (de) Verfahren und System zur Erzeugung eines Steuerungsbefehls
DE10022586A1 (de) Verfahren zum Erzeugen einer Sprachdatenbank für einen Zielwortschatz zum Trainieren eines Spracherkennungssystems
WO2015132263A1 (de) Verfahren und vorrichtung zum umwandeln von sprachsignalen in text
DE10311581A1 (de) Verfahren und System zum automatisierten Erstellen von Sprachwortschätzen
DE602004001280T2 (de) Dynamische Aussprache-Unterstützung bei der Lernphase zur Spracherkennung
EP2273383A1 (de) Verfahren und Vorrichtung zur automatischen Suche nach Dokumenten in einem Datenspeicher
DE102006045719B4 (de) Medizinisches System mit einer Spracheingabevorrichtung
DE10010232B4 (de) Verfahren und Vorrichtung zur Spracherkennung
DE102017123068A1 (de) System zum Synchronisieren von Ton- oder Videoaufnahmen
EP3020039B1 (de) Verfahren und einrichtung zur identifizierung und ausgabe des inhalts eines hinweistextes
DE102007018635B4 (de) Abspielwiederholungsvorrichtung und Abspielwiederholungsverfahren
DE60310885T2 (de) Automatische indizierung von audio-textlichen dokumenten in abhängigkeit von ihrer verständnisschwierigkeit
AT6921U1 (de) Verfahren zur automatischen übereinstimmung von audio-segmenten mit textelementen
DE102020123145A1 (de) Trainingssystem
DE102014012111B3 (de) Verfahren zum Testen einer auf einer Anzeige eines Multimedia-Systems darstellbaren aktuellen Spielzeit
WO2022053399A1 (de) Prüfung eines filmvorprodukts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15708788

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15708788

Country of ref document: EP

Kind code of ref document: A1