WO2000016310A1 - Vorrichtung und verfahren zur digitalen sprachbearbeitung - Google Patents

Vorrichtung und verfahren zur digitalen sprachbearbeitung Download PDF

Info

Publication number
WO2000016310A1
WO2000016310A1 PCT/EP1999/006712 EP9906712W WO0016310A1 WO 2000016310 A1 WO2000016310 A1 WO 2000016310A1 EP 9906712 W EP9906712 W EP 9906712W WO 0016310 A1 WO0016310 A1 WO 0016310A1
Authority
WO
WIPO (PCT)
Prior art keywords
generating
melody
speech
generated
modifying
Prior art date
Application number
PCT/EP1999/006712
Other languages
English (en)
French (fr)
Inventor
Hans Kull
Original Assignee
Hans Kull
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hans Kull filed Critical Hans Kull
Priority to AU60813/99A priority Critical patent/AU769036B2/en
Priority to EP99947314A priority patent/EP1110203B1/de
Priority to AT99947314T priority patent/ATE222393T1/de
Priority to DE59902365T priority patent/DE59902365D1/de
Priority to CA002343071A priority patent/CA2343071A1/en
Priority to JP2000570766A priority patent/JP2002525663A/ja
Publication of WO2000016310A1 publication Critical patent/WO2000016310A1/de

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Definitions

  • the present invention relates to an apparatus and a method for digital speech processing or speech generation.
  • Current systems for digital speech output have so far been used in environments in which a synthetic
  • the present invention relates to a system which enables natural-looking speech to be generated synthetically.
  • the commands built into the text stream can also contain information on the characteristics of the speaker (i.e. parameters of the speaker model).
  • EP 0762384 describes a system in which these speaker characteristics can be entered on the screen on a graphical user interface.
  • the speech synthesis is carried out using auxiliary information which is stored in a database (for example as a “waveform sequence” in EP 0831460).
  • a database for example as a “waveform sequence” in EP 0831460.
  • rules for pronunciation must nevertheless be present in the program
  • the composition of the individual sequences leads to distortions and acoustic artifacts if no measures are taken to suppress them.
  • this problem one speaks of "segmental quality” is considered to be largely solved today (cf. eg Volker Kraft: Linking natural language modules to Speech synthesis: requirements, techniques and evaluation (Progr.-Ber.VDI series 10 No. 468, VDI-Verlag 1997), but there are also a number of other problems with modern speech synthesis systems.
  • One problem in digital speech output is, for example, the ability to speak multiple languages.
  • the applications range from the creation of simple texts for multimedia applications to film settings (synchronization), radio plays and audio books.
  • Text generated sentence melody can be modified using an editor.
  • the starting point is the written text. However, in order to achieve sufficient (in particular prosodic) quality and to achieve dramaturgical effects, the user is given extensive options for intervention in a preferred embodiment.
  • the user is in the role of the director, who defines the speakers on the system and specifies the rhythm and sentence melody, pronunciation and emphasis.
  • the present invention also includes generating one
  • Phonetic transcription for a written text and the provision of the possibility to modify the phonetic transcription generated, or to generate the phonetic transcription based on modifiable rules. This can be used, for example, to generate a special accent for a speaker.
  • the invention comprises a dictionary device in which the words of one or more languages are stored together with their pronunciation. In the latter case, this enables multilingual capability, ie the processing of texts in different languages.
  • the generated phonetic transcription or sentence melody is preferably edited using an easy-to-use editor, for example a graphical user interface.
  • Speech processing includes speaker models, which can either be predefined or defined or modified by the user. Characteristics of different speakers can be realized, be it male or female voices, or different accents of a speaker, such as a Bavarian, Swabian or North German accent.
  • the device consists of a dictionary in which the pronunciation of all words is also stored in phonetic transcription (if phonetic transcription is mentioned below, this means any phonetic transcription, such as the SAM PA notation, cf. e.g. "Multilingual speech input / output assessment, methodology and standardization, Standard computer-compatible transscription, pp 29-31, in Esprit Project 2589 (SAM) Fin. Report SAM-UCC-037", or the international phonetic script known from language teaching aids , see e.g. "The Principles of the International Phonetic Association: Adescription of the International Phonetic Alphabet and the Manner of Using it. International Phonetic Association, Dept, Phonetics, Univ.
  • a translator who typed texts in phonetic transcription converts and generates a sentence melody
  • an editor with which texts can be entered and speakers can be assigned and in which both the generated The phonetic spelling as well as the sentence melody can be displayed and changed
  • an input module in which speaker models can be defined a system for digital speech generation that generates signals representing speech or data representing speech together with the sentence melody from the phonetic spelling and that in the Is able to process various speaker models, a system of digital filters and other devices (for reverb, echo, etc.) with which special effects can be generated, a sound archive, and a mixing device in which the generated Speech signals can be mixed together with sounds from the archive and effects can be added.
  • the invention can either be implemented hybrid in software and hardware or entirely in software.
  • the generated digital voice signals can be output via a special device for digital audio or via a PC sound card.
  • FIG. 1 shows a block diagram of a device for digital speech generation according to an exemplary embodiment of the present invention.
  • this consists of several individual components which can be implemented by means of one or more digital computing systems, the functioning and interaction of which is described in more detail below.
  • the dictionary 100 consists of simple tables (one for each language) in which the words of a language are stored together with their pronunciation.
  • the tables can be expanded to include additional words and their pronunciation.
  • additional tables with different phonetic entries can also be created in one language.
  • a table from the dictionary is assigned to each speaker.
  • the translator 110 generates the phonetic script by using the
  • Words of the entered text are replaced by their phonetic counterparts in the dictionary. If in the speaker model modifiers, the later more precisely are described, he uses them to modify the pronunciation.
  • heuristics are e.g. the Fujisaki (1992) model or other acoustic methods, then the perceptual models, e.g. that of d'Aiessandro and Mertens (1995).
  • These, but also older linguistic models are e.g. described in "Gold Dutoit: An Introduction to Text-to-Speech Synthesis, Kluwer 1997".
  • segmentation setting breaks
  • the user has an instrument in his hand with which he can enter and change pronunciation, intonation, emphasis, tempo, volume, pauses, etc.
  • the translator responds to this assignment by adapting the phonetics and, if necessary, the prosody to the speaker model and generating new ones.
  • the phonetics are displayed to the user in phonetic transcription, the prosody e.g. in a symbolism taken from the music (musical notation).
  • the user then has the option of changing these specifications, listening to individual text sections and improving his entries again, etc.
  • Speaker models 130 are, for example, parameterizations for speech generation.
  • the models reproduce the characteristics of the human speech tract.
  • the function of the vocal cords is represented by a pulse train, of which only the frequency (pitch) can be changed.
  • the remaining characteristics (oral cavity, nasal cavity) of the speech tract are realized with digital filters.
  • Your parameters are stored in the speaker model.
  • Standard models are stored (child, young lady, old man, etc.). The user can generate additional models from them by selecting or changing the parameters appropriately and saving the model.
  • the parameters stored here are used together with the prosody information for the intonation during the speech generation, which will be explained in more detail later.
  • a speaker model can, for example, relate to the rules according to which the translator generates the phonetic transcription, different speaker models can operate according to different rules. However, it can also correspond to a specific set of filter parameters in order to process the speech signals in accordance with the speaker characteristics thus specified. Any combination of these two aspects of a speaker model is of course also conceivable.
  • the task of the speech generation unit 140 is to create numerical information from the given text together with the additional phonetic and prosodic information generated by the translator and edited by the user
  • This Data stream can then be converted by an output device 150, for example a digital audio device or a sound card in the PC, into analog sound signals, the text to be output.
  • an output device 150 for example a digital audio device or a sound card in the PC
  • a conventional text-to-speech can be used for speech generation
  • Rule-based synthesizers work with rules for generating the
  • Chain-based synthesizers are easier to use. You work with a database that stores all possible pairs of sounds. These can be easily linked, although high-quality systems require a lot of computing time. Such systems are described in “Gold Dutoit: An Introduction to Text-to-Speech Synthesis, Kluwer 1997” and in “Volker Kraft: Linking Natural Language Building Blocks for Speech Synthesis: Requirements, Techniques and Evaluation. Progress Report VDI Series 10 No. 468 , VDI-Verlag 1997 ".
  • digital filters e.g. Bandpass filters for telephone effect
  • Hall generators etc.
  • Archives 170 contain sounds such as Street noise, railroad, kids shouting, ocean waves, background music etc. saved.
  • the archive can be expanded with your own sounds.
  • the archive can simply be a collection of files with digitized sounds, but it can also be a database in which the sounds are stored as blobs (binary large objects).
  • the generated speech signals are assembled with the background noise.
  • the volume of all signals can be regulated before assembling. It is also possible to add effects to each signal individually or all together.
  • the result of the signal generated in this way can be transferred to a suitable device for digital audio 150, for example a sound card of a PC, and can thus be acoustically checked or output.
  • a suitable device for digital audio 150 for example a sound card of a PC
  • a sound card of a PC for example a sound card of a PC
  • Storage device is provided to store the signal so that it can later be transferred to the target medium in a suitable manner.
  • a device that is classically implemented in hardware can be used as a mixing device, or it can be implemented in software and integrated into the entire program.
  • the output device 150 may be replaced by a further computer which is coupled to the mixing device 180 by means of a network connection.
  • a network connection for example, a Computer network, such as the Internet, the voice signal generated are transferred to another computer.
  • the speech signal generated by the speech generating device 140 can also be transmitted directly to the output device 150, without the detour via the mixing device 180. Further comparable modifications result in a relaxed manner for the person skilled in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

Vorrichtung zur digitalen Sprachbearbeitung, welche aufweist: eine Satzmelodie-Erzeugungseinrichtung zur Erzeugung einer Satzmelodie für einen Text; und eine Editiereinrichtung zum Anzeigen und Modifizieren der erzeugten Satzmelodie.

Description

VORRICHTUNG UND VERFAHREN ZUR DIGITALEN SPRACHBEARBEITUNG
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur digitalen Sprachbearbeitung bzw. Spracherzeugung. Derzeitige Systeme zur digitalen Sprachausgabe werden bisher in Umgebungen eingesetzt, in denen eine synthetische
Stimme akzeptabel oder gar erwünscht ist. Die vorliegende Erfindung dagegen betrifft ein System, das es ermöglicht, natürlich wirkende Sprache synthetisch zu erzeugen.
In derzeitigen Systemen zur digitalen Spracherzeugung werden die Informationen zur Satzmelodie und zur Betonung automatisch erzeugt, wie z. B. beschrieben in EP 0689706. In manchen Systemen ist es möglich, zusätzliche Kommandos in den Textstrom einzubauen, bevor dieser dem Spracherzeuger übergeben wird, z.B. in EP 0598599. Diese Kommandos werden z.B. als (nicht aussprechbare) Sonderzeichen eingegeben, wie etwa beschrieben in EP 0598598.
Die in den Textstrom eingebauten Kommandos können auch Angaben zur Charakteristik des Sprechers (d.h. Parameter des Sprechermodells) enthalten. In EP 0762384 wird ein System beschrieben, in dem am Bildschirm auf einer graphischen Benutzeroberfläche diese Sprechercharakteristiken eingegeben werden können.
Die Sprachsynthese erfolgt unter Verwendung von Hilfsinformationen, die in einer Datenbank gespeichert werden (z.B. als „waveform sequence" in EP 0831460). Für die Aussprache der Wörter, die nicht in der Datenbank gespeichert sind, müssen aber dennoch Regeln zur Aussprache im Programm vorhanden sein. Die Zusammensetzung der einzelnen Sequenzen führt zu Verzerrungen und akustischen Artefakten, wenn keine Massnahmen zu ihrer Unterdrückung getroffen werden. Dieses Problem (man spricht von „segmentaler Qualität) gilt aber heute als weitgehend gelöst (vgl. dazu z.B. Volker Kraft: Verkettung natürlichsprachlicher Bausteine zur Sprachsynthese: Anforderungen, Techniken und Evaluierung. Fortschr.-Ber.VDI Reihe 10 Nr 468, VDI-Verlag 1997). Dennoch besteht auch bei modernen Sprachsynthesesystemen eine Reihe von weiteren Problemen. Ein Problem in der digitalen Sprachausgabe ist beispielsweise die Mehrsprachen-fähigkeit.
Ein weiteres Problem besteht in der Verbesserung der prosodischen
Qualität, d.h. der Güte der Intonation, man vergleiche hierzu etwa "Volker Kraft: Verkettung natürlichsprachlicher Bausteine zur Sprachsynthese: Anforderungen, Techniken und Evaluierung, Fortschr.-Ber.VDI Reihe 10 Nr 468, VDI-Verlag 1997". Die Schwierigkeit ist darauf zurückzuführen, daß die Intonation aus der orthographischen Eingabeinformation nur unzureichend rekonstruiert werden kann. Sie ist auch abhängig von höheren Ebenen wie Semantik und Pragmatik sowie Sprechersituation und Sprechertyp.
Allgemein kann gesagt werden, daß die Qualität der heutigen Sprachausgabesysteme den Anforderungen dort genügen, wo der Zuhörer eine synthetische Stimme erwartet oder akzeptiert. Vielfach wird jedoch die Qualität synthetischer Sprache als nicht ausreichend oder als unbefriedigend empfunden.
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zu digitalen Sprachbearbeitung zu schaffen, das es ermöglicht, synthetische Sprache von besserer Qualität zu erzeugen.
Es ist ein weiteres Ziel der Erfindung, natürlich wirkende Sprache synthetisch zu erzeugen. Die Anwendungen reichen von der Erzeugung einfacher Texte für Multimedia-Applikationen bis hin zu Fiimvertonungen (Synchronisation), Hörspielen, und Hörbüchern .
Selbst wenn die synthetisch erzeugte Sprache natürlich wirkt, sind manchmal Eingriffsmöglichkeiten für die Erzeugung dramaturgischer Effekte erforderlich. Eine weitere Aufgabe der vorliegenden Erfindung besteht daher in der Bereitstellung derartiger Eingriffsmöglichkeiten. Die vorliegende Erfindung ist in den unabhängigen Ansprüche definiert. Die abhängigen Ansprüche definieren besondere Ausführungsbeispiele der Erfindung.
Im wesentlichen wird die Aufgabe der Erfindung gelöst, indem die für einen
Text erzeugte Satzmelodie mittels eines Editors modifiziert werden kann.
Besondere Ausführungsformen der Erfindung ermöglichen neben der Editierung der Satzmelodie eine Editierung weiterer Charakteristiken der synthetisch erzeugten Sprache.
Ausgangspunkt ist dabei der geschriebene Text. Um aber eine ausreichende (insbesondere prosodische) Qualität zu erreichen, sowie zur Erzielung dramaturgischer Effekte werden dem Anwender in einer bevorzugten Ausführungsform weitreichende Möglichkeiten zum Eingreifen gegeben. Der Anwender ist in der Funktion des Regisseurs, der die Sprecher auf dem System definiert und ihnen Sprechrhythmus und Satzmelodie, Aussprache und Betonung vorgibt.
Vorzugsweise umfaßt die vorliegende Erfindung auch das Erzeugen einer
Lautschrift für einen geschriebenen Text, sowie das Vorsehen der Möglichkeit die erzeugte Lautschrift zu modifizieren, bzw. die Lautschrift basierend auf modifizierbaren Regeln zu erzeugen. Dadurch kann beispielsweise ein besonderer Akzent eines Sprechers generiert werden.
In einem weiteren bevorzugten Ausführungsbeispiel umfaßt die Erfindung eine Wörterbucheinrichtung, in der die Wörter einer oder mehrerer Sprachen zusammen mit ihrer Aussprache gespeichert sind. In letzteren Fall ermöglicht dies die Mehrsprachenfähigkeit, d.h. die Bearbeitung von Texten verschiedener Sprache. Vorzugsweise erfolgt die Editierung der erzeugten Lautschrift bzw. Satzmelodie mittels eines leicht bedienbaren Editors, etwa einer grafischen Benutzerschnittstelle.
In einem weiteren bevorzugten Ausführungsbeispiel werden in die
Sprachbearbeitung Sprechermodelle mit einbezogen, die entweder vordefiniert oder vom Benutzer definiert bzw. modifiziert sein können. Dadurch können Charakteristiken verschiedener Sprecher realisiert werden, seien es nun Männer- oder Frauenstimmen, oder aber auch verschiedene Akzente eines Sprechers, etwa ein bayerischer, schwäbischer oder norddeutscher Akzent.
In einer besonders bevorzugten Ausführungsform besteht die Vorrichtung aus einem Wörterbuch, in dem zu allen Wörtern auch die Aussprache in Lautschrift gespeichert sind (wenn nachstehend von Lautschrift die Rede ist, so ist damit eine beliebige Lautschrift gemeint, wie z.B. die SAM PA-Notation, vgl. z.B. "Multilingual speech input/output assessment, methodology and standardization, Standard computer-compatible transscription, pp 29-31 , in Esprit Project 2589 (SAM) Fin. Report SAM-UCC-037", oder die aus Sprachlehrmitteln bekannte internationale phonetische Schrift, vgl. z.B. "The Principles of the International Phonetic Association: Adescription of the International Phonetic Alphabet and the Manner of Using it. International Phonetic Association, Dept, Phonetics, Univ. College of London"), einem Übersetzer, der eingegebene Texte in Lautschrift wandelt und eine Satzmelodie erzeugt, einem Editor, mit dem Texte eingegeben und Sprecher zugeordnet werden können und in dem sowohl die erzeugte Lautschrift als auch die Satzmelodie angezeigt und verändert werden kann, einem Eingabemodul, in dem Sprechermodelle definiert werden können, einem System zur digitalen Spracherzeugung, das aus der Lautschrift zusammen mit der Satzmelodie gesprochene Sprache repräsentierende Signale bzw. solche Signale repräsentierende Daten erzeugt und das in der Lage ist, verschiedene Sprechermodelle zu verarbeiten, einem System von digitalen Filtern und anderen Geräten (für Hall, Echo usw.) mit dem besondere Effekte erzeugt werden können, einem Geräusch-Archiv, sowie einem Misch-Gerät, in dem die erzeugten Sprach-Signale zusammen mit Geräuschen aus dem Archiv zusammen gemischt und mit Effekten versehen werden können.
Die Erfindung kann entweder hybrid in Soft- und Hardware oder ganz in Software realisiert werden. Die erzeugten digitalen Sprachsignale können über ein spezielles Gerät für digital Audio oder über eine PC-Soundkarte ausgegeben werden.
Die vorliegende Erfindung wird nachfolgend anhand mehrerer Ausführungsbeispiele und der Bezugnahme auf die beiliegende Zeichnung in Detail beschrieben.
Figur 1 zeigt ein Blockschaltbild einer Vorrichtung zur digitalen Spracherzeugung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Im nachfolgend beschriebenen Ausführungsbeispiel der vorliegenden
Erfindung besteht diese aus mehreren Einzelkomponenten, die mittels einer oder mehrerer digitaler Rechenanlagen realisiert werden können, und deren Funktionsweise und Zusammenwirken nachfolgend genauer beschrieben wird.
Das Wörterbuch 100 besteht aus einfachen Tabellen (für jede Sprache eine), in der die Wörter einer Sprache zusammen mit ihrer Aussprache gespeichert sind. Die Tabellen können für die Aufnahme zusätzlicher Wörter und ihrer Aussprache beliebig erweitert werden. Für besondere Zwecke, z.B. für das Erzeugen von Akzenten können in einer Sprache auch zusätzliche Tabellen mit unterschiedlichen phonetischen Einträgen erzeugt werden. Den verschiedenen Sprechern wird je eine Tabelle des Wörterbuches zugeordnet.
Der Übersetzer 110 erzeugt einerseits die phonetische Schrift, indem er die
Wörter des eingegebenen Textes durch ihre phonetischen Entsprechungen im Wörterbuch ersetzt. Falls im Sprechermodell Modifikatoren, die später genauer beschrieben werden, hinterlegt sind, so verwendet er sie zur Modifikation der Aussprache.
Zusätzlich erzeugt er die Prosodie unter Verwendung von in der Sprachverarbeitung bekannten Heuristiken. Solche Heuristiken sind z.B. das Modell von Fujisaki (1992) oder andere akustische Methoden, dann die perzeptuellen Modelle, z.B. das von d'Aiessandro und Mertens (1995). Diese, aber auch ältere linguistische Modelle sind z.B. beschrieben in "Thierry Dutoit: An Introduction to Text- to-Speech Synthesis, Kluwer 1997". Dort finden sich auch Verfahren für die Segmentation (setzen von Pausen), welche ebenfalls vom Übersetzer erzeugt wird.
Die Wahl der Verfahren ist dabei von eher untergeordneter Bedeutung, da der Übersetzer lediglich eine Vorgabe der Prosodie erzeugt, welche vom Anwender noch geändert werden kann.
Mit dem Editor 120 hat der Anwender ein Instrument in der Hand, mit dem er Aussprache, Intonation, Betonung, Tempo, Lautstärke, Pausen usw. eingeben und verändern kann.
Zuerst ordnet er den zu verarbeitenden Textabschnitten ein Sprechermodell
130 zu welches später bezüglich Aufbau und Funktionsweise noch genauer erläutert wird. Der Übersetzer reagiert auf diese Zuordnung, indem er die Phonetik und gegebenenfalls die Prosodie dem Sprechermodell anpaßt und neu generiert. Die Phonetik wird dem Anwender in Lautschrift angezeigt, die Prosodie z.B. in einer der Musik entnommenen Symbolik (Notenschrift). Der Anwender hat dann die Möglichkeit, diese Vorgaben zu verändern, sich einzelne Textabschnitte anzuhören und seine Eingaben nochmals zu verbessern usw.
Selbstverständlich können im Editor auch die Texte selbst erfaßt werden, falls sie nicht direkt aus einem anderen Textverarbeitungssystem importiert werden können. Sprechermodelle 130 sind beispielsweise Parametrisierungen für die Spracherzeugung. In den Modellen werden die Charakteristiken des menschlichen Sprechtrakts nachgebildet. Die Funktion der Stimmbänder wird durch einen Impulsfolge dargestellt, von der nur die Frequenz (pitch) verändert werden kann. Die übrigen Charakteristiken (Mundhöhle, Nasenraum) des Sprechtrakts werden mit digitalen Filtern realisiert. Ihre Parameter werden im Sprechermodel hinterlegt. Es werden Standardmodelle hinterlegt (Kind, junge Dame, alter Mann usw.). Der Anwender kann aus ihnen zusätzliche Modelle erzeugen, indem er die Parameter geeignet wählt oder abändert und das Modell abspeichert. Die hier hinterlegten Parameter werden wahrend der Spracherzeugung, die später genauer erläutert wird, zusammen mit der Prosodie-Information für die Intonation verwendet.
Dabei können auch Besonderheiten des Sprechers wie z.B. Akzente oder Sprachfehler eingegeben werden. Diese werden vom Übersetzer zur Modifikation der
Aussprache verwendet. Ein einfaches Beispiel eines solchen Modifikators ist z.B. die
Regel, jeweils (in der Lautschrift) ,,Jt" durch „st" zu ersetzen (für die Erzeugung des
Akzents eines Hamburgers).
Ein Sprechermodell kann also beispielsweise die Regeln betreffen, nach denen der Übersetzer die Lautschrift erzeugt, unterschiedliche Sprechermodelle können dabei nach unterschiedlichen regeln verfahren. Es kann jedoch auch einem bestimmten Satz von Filterparametern entsprechen, um die Sprachsignale entsprechend der dadurch vorgegebenen Sprechercharakteristik zu verarbeiten. Selbstverständlich sind auch beliebige Kombinationen dieser beiden Aspekte eines Sprechermodells denkbar.
Die Aufgabe der Spracherzeugungseinheit 140 besteht darin, aus dem vorgegebenen Text zusammen mit den vom Übersetzer erzeugten und vom Anwender editierten phonetischen und prosodischen Zusatzinformationen einen numerischen
Datenstrom zu erzeugen, welcher digitale Sprachsignale repräsentiert. Dieser Datenstrom kann dann von einem Ausgabegerät 150, etwa einem digitalen Audio-Gerät oder einer Soundkarte im PC, in analoge Tonsignale, den auszugebenden Text, umgewandelt werden.
Für die Spracherzeugung kann ein herkömmliches Text-to-Speech
Konversions-verfahren angewendet werden, wobei allerdings die Aussprache und die Satzmelodie bereits erzeugt worden sind. Im allgemeinen unterscheidet man zwischen regelbasierten und verkettungsbasierten Synthesizern.
Regelbasierte Synthesizer arbeiten mit Regeln für die Generierung der
Laute und die Übergänge dazwischen. Diese Synthesizer arbeiten mit bis zu 60 Parametern, deren Bestimmung sehr aufwendig ist. Dafür können mit ihnen auch sehr gute Ergebnisse erzielt werden. Eine Übersicht über derartige Systeme und Hinweise zu weiterer Literatur findet sich in "Thierry Dutoit: An Introduction to Text-to-Speech Synthesis, Kluwer 1997".
Verkettungsbasierte Synthesizer sind dagegen einfacher zu handhaben. Sie arbeiten mit einer Datenbank, welche alle möglichen Lautpaare speichert. Diese können einfach verkettet werden, wobei allerdings qualitativ gute Systeme hohen Rechenzeitbedarf haben. Derartige Systeme sind beschrieben in "Thierry Dutoit: An Introduction to Text-to-Speech Synthesis, Kluwer 1997" und in "Volker Kraft: Verkettung natürlichsprachlicher Bausteine zur Sprachsynthese: Anforderungen, Techniken und Evaluierung. Fortschr.-Ber. VDI Reihe 10 Nr 468, VDI-Verlag 1997".
Grundsätzlich können beide Systemarten verwendet werden. In den regelbasierten Synthesizern fließt die prosodische Information direkt in das Regelwerk ein, wahrend diese in verkettungsbasierten Systemen in geeigneter Weise überlagert wird.
Für die Erzeugung besonderer Effekte 160 werden bekannte Techniken aus der digitalen Signalverarbeitung eingesetzt, wie z.B. digitale Filter (z.B. Bandpassfilter für Telefon-Effekt), Hallgeneratoren usw. Diese können auch auf in einem Archiv 170 gespeicherte Geräusche angewendet werden.
Im Archiv 170 sind Geräusche wie z.B. Straßenlärm, Eisenbahn, Kindergeschrei, Meereswogen, Hintergrundmusik usw. gespeichert. Das Archiv kann mit eigenen Geräuschen beliebig erweitert werden. Das Archiv kann einfach eine Sammlung von Dateien mit digitalisierten Geräuschen sein, es kann aber auch eine Datenbank sein, in der die Geräusche als Blobs (binary large objects) untergebracht sind.
In der Misch-Einrichtung 180 werden die erzeugten Sprachsignale mit den Hintergrundgeräuschen zusammengebaut. Die Lautstarke aller Signale kann dabei vor dem Zusammensetzten reguliert werden. Zudem ist es möglich, jedes Signal einzeln oder alle zusammen mit Effekten zu versehen.
Das Ergebnis des so erzeugten Signals kann an ein geeignetes Gerät für digitales Audio 150, etwa eine Soundkarte eines PC, übergeben und so akustisch überprüft bzw. ausgegeben werden. Zudem ist eine (nicht gezeigte)
Speichereinrichtung vorgesehen, um das Signal abzuspeichern, damit es später in geeigneter Weise auf das Zielmedium übertragen werden kann.
Als Misch-Einrichtung kann ein klassisch in Hardware realisiertes Gerät verwendet werden, oder es kann in Software realisiert und in das gesamte Programm eingebunden werden.
Für den Fachmann ergeben sich leicht Modifikationen des oben geschriebenen Ausführungsbeispiels. So kann beispielsweise in einem weiteren
Ausführungsbeispiel der vorliegenden Erfindung das Ausgabegerät 150 durch einen weiteren Computer ersetzt sein, der mittels einer Netzwerkverbindung an die Mischeinrichtung 180 angekoppelt ist. So kann beispielsweise über ein Computernetz, etwa das Internet, das erzeugte Sprachsignal auf einen anderen Computer übertragen werden.
In einem weiteren Ausführungsbeispiel kann auch das von der Spracherzeugungs-einrichtung 140 erzeugte Sprachsignal direkt an das Ausgabegerät 150 übertragen werden, ohne den Umweg über die Mischeinrichtung 180. Weitere vergleichbare Modifikationen ergeben sich für den Fachmann auf zwanglose Weise.

Claims

Patentansprüche
1. Vorrichtung zur digitalen Sprachbearbeitung, welche aufweist: eine Satzmelodie-Erzeugungseinrichtung zur Erzeugung einer Satzmelodie für einen Text; und eine Editiereinrichtung zum Anzeigen und Modifizieren der erzeugten Satzmelodie.
2. Vorrichtung nach Anspruch 1 , welche ferner aufweist: eine Übersetzungseinrichtung zur Übersetzung des Textes in eine
Lautschrift; wobei die Editiereinrichtung ferner aufweist: eine Einrichtung zum Anzeigen und Modifizieren der erzeugten Lautschrift.
3. Vorrichtung nach Anspruch 1 oder 2, bei der die Satzmelodie-Erzeugungseinrichtung und/oder die Übersetzungseinrichtung die Satzmelodie und/oder die Lautschrift basierend auf bzw. in Abhängigkeit von einem bestimmten Sprechermodell erzeugen.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, welche ferner aufweist: eine Einrichtung zur Auswahl und/oder Modifikation eines oder mehrerer Sprechermodelle.
5. Vorrichtung nach Anspruch 4, bei der die Einrichtung zur Modifikation von Sprechermodellen aufweist: eine Einrichtung zur Modifikation von Lautschriftelementen zur Erzeugung von Akzenten.
6. Vorrichtung zur Erzeugung digitaler Sprache, welche aufweist: eine Vorrichtung zur digitalen Sprachbearbeitung nach einem der
Ansprüche 1 bis 5; und eine Einrichtung zur Erzeugung von Sprachsignalen basierend auf der gegebenenfalls mittels der Editiereinrichtung modifizierten Lautschrift und/oder Satzmelodie.
7. Vorrichtung nach Anspruch 6, bei der die Sprachsignal- Erzeugungseinrichtung ferner aufweist: eine Sprechermodell-Verarbeitungseinrichtung zur Erzeugung der Sprachsignale basierend auf bzw. in Abhängigkeit von einem bestimmten Sprechermodell.
8. Vorrichtung nach Anspruch 7, bei der die Sprechermodell- Verarbeitungseinrichtung eines oder mehrere der folgenden Merkale aufweist: ein digitales Filtersystem; eine Einrichtung zur Übernahme eines Satzes von Filterparametern, der ein bestimmtes Sprechermodell repräsentiert.
9. Vorrichtung nach Anspruch 7 oder 8, bei der die Sprechermodell- Verarbeitungseinrichtung ferner aufweist: eine Einrichtung Auswahl und/oder Modifikation eines Sprechermodells.
10. Vorrichtung nach einem der Ansprüche 6 bis 9, welche ferner aufweist: eine Effekt-Einrichtung zur Generierung von Toneffekten.
1 1. Vorrichtung nach Anspruch 10, wobei die Effekt-Einrichtung eines oder mehrere der folgenden Merkmale aufweist: eine digitale Filtereinrichtung zur Modifikation der erzeugten Sprachsignale und/oder einen Hallgenerator zur Erzeugung eines Hall-Effekts.
12. Vorrichtung nach einem der Ansprüche 6 bis 11 welche ferner aufweist: eine Archiv-Einrichtung zur Speicherung von Geräuschen; und eine Mischeinrichtung zur Mischung der erzeugten Sprachsignale mit in der 5 Archiv-Einrichtung gespeicherten Geräuschen.
13. Vorrichtung nach einem der vorhergehenden Ansprüche, welche ferner aufweist: eine grafische Benutzerschnittstelle zur Editierung der erzeugten Lautschrift I O und/oder Satzmelodie.
14. Vorrichtung nach einem der vorhergehenden Ansprüche, welche ferner aufweist: eine Einrichtung zur Modifikation von Sprechrythmus und/oder Aussprache 15 und/oder Betonung.
15. Vorrichtung nach einem der vorhergehenden Ansprüche, welche ferner aufweist: eine Anzeigeeinrichtung, welche die Satzmelodie mittels einer 0 Symbolschrift anzeigt.
16. Vorrichtung nach einem der vorhergehenden Ansprüche, welche ferner aufweist: eine Wörterbuch-Einrichtung, in der die Wörter einer oder mehrerer 5 Sprachen zusammen mit ihrer Aussprache gespeichert sind.
17. Vorrichtung nach Anspruch 16, bei der in der Wörterbuch-Einrichtung für mindestens einen Wörterbucheintrag unterschiedliche phonetische Einträge gespeichert sind. 0
18. Vorrichtung nach einem der Ansprüche 6 bis 17, welche ferner aufweist: eine Einrichtung zur Umsetzung der digitalen Sprachsignale in akustische Signale.
19. Verfahren zur digitalen Sprachbearbeitung, welches folgende Schritte aufweist:
Erzeugung einer Satzmelodie für einen Text; Anzeigen der erzeugten Satzmelodie; und Editieren der erzeugten und angezeigten Satzmelodie.
20. Verfahren nach Anspruch 19, welches ferner folgenden Schritt aufweist:
Verwenden einer Vorrichtung gemäß einem der Ansprüche 1 bis 18 zur Erzeugung digitaler Sprache.
21. Computerprogramprodukt, welches aufweist: ein Medium, insbesondere ein Datenträger, zur Speicherung und/oder Übertragung von digitalen von einem Computer lesbaren Daten, wobei die gespeicherten und/oder übertragenen Daten folgendes aufweisen: eine Abfolge von einem Computer ausfürbarer Befehle, welche diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 19 oder 20 auszuführen.
PCT/EP1999/006712 1998-09-11 1999-09-10 Vorrichtung und verfahren zur digitalen sprachbearbeitung WO2000016310A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AU60813/99A AU769036B2 (en) 1998-09-11 1999-09-10 Device and method for digital voice processing
EP99947314A EP1110203B1 (de) 1998-09-11 1999-09-10 Vorrichtung und verfahren zur digitalen sprachbearbeitung
AT99947314T ATE222393T1 (de) 1998-09-11 1999-09-10 Vorrichtung und verfahren zur digitalen sprachbearbeitung
DE59902365T DE59902365D1 (de) 1998-09-11 1999-09-10 Vorrichtung und verfahren zur digitalen sprachbearbeitung
CA002343071A CA2343071A1 (en) 1998-09-11 1999-09-10 Device and method for digital voice processing
JP2000570766A JP2002525663A (ja) 1998-09-11 1999-09-10 ディジタル音声処理装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19841683.0 1998-09-11
DE19841683A DE19841683A1 (de) 1998-09-11 1998-09-11 Vorrichtung und Verfahren zur digitalen Sprachbearbeitung

Publications (1)

Publication Number Publication Date
WO2000016310A1 true WO2000016310A1 (de) 2000-03-23

Family

ID=7880683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1999/006712 WO2000016310A1 (de) 1998-09-11 1999-09-10 Vorrichtung und verfahren zur digitalen sprachbearbeitung

Country Status (7)

Country Link
EP (1) EP1110203B1 (de)
JP (1) JP2002525663A (de)
AT (1) ATE222393T1 (de)
AU (1) AU769036B2 (de)
CA (1) CA2343071A1 (de)
DE (2) DE19841683A1 (de)
WO (1) WO2000016310A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318593A (ja) * 2001-04-20 2002-10-31 Sony Corp 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
US7167824B2 (en) 2002-02-14 2007-01-23 Sail Labs Technology Ag Method for generating natural language in computer-based dialog systems

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10117367B4 (de) * 2001-04-06 2005-08-18 Siemens Ag Verfahren und System zur automatischen Umsetzung von Text-Nachrichten in Sprach-Nachrichten
DE10207875A1 (de) * 2002-02-19 2003-08-28 Deutsche Telekom Ag Parametergesteuerte Sprachsynthese
WO2005088606A1 (en) * 2004-03-05 2005-09-22 Lessac Technologies, Inc. Prosodic speech text codes and their use in computerized speech systems
DE102004012208A1 (de) * 2004-03-12 2005-09-29 Siemens Ag Individualisierung von Sprachausgabe durch Anpassen einer Synthesestimme an eine Zielstimme
DE102008044635A1 (de) 2008-07-22 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bereitstellen einer Fernsehsequenz
US10424288B2 (en) 2017-03-31 2019-09-24 Wipro Limited System and method for rendering textual messages using customized natural voice

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996008813A1 (fr) * 1994-09-12 1996-03-21 Arcadia, Inc. Convertisseur de caracteristiques sonores, dispositif d'association son/marque et leur procede de realisation
US5559927A (en) * 1992-08-19 1996-09-24 Clynes; Manfred Computer system producing emotionally-expressive speech messages
EP0762384A2 (de) * 1995-09-01 1997-03-12 AT&T IPM Corp. Verfahren und Vorrichtung zur Veränderung von Stimmeigenschaften synthetisch erzeugter Sprache
DE19610019A1 (de) * 1996-03-14 1997-09-18 Data Software Gmbh G Digitales Sprachsyntheseverfahren
US5956685A (en) * 1994-09-12 1999-09-21 Arcadia, Inc. Sound characteristic converter, sound-label association apparatus and method therefor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5695295A (en) * 1979-12-28 1981-08-01 Sharp Kk Voice sysnthesis and control circuit
FR2494017B1 (fr) * 1980-11-07 1985-10-25 Thomson Csf Procede de detection de la frequence de melodie dans un signal de parole et dispositif destine a la mise en oeuvre de ce procede
JPS58102298A (ja) * 1981-12-14 1983-06-17 キヤノン株式会社 電子機器
US4623761A (en) * 1984-04-18 1986-11-18 Golden Enterprises, Incorporated Telephone operator voice storage and retrieval system
DE19503419A1 (de) * 1995-02-03 1996-08-08 Bosch Gmbh Robert Verfahren und Einrichtung zur Ausgabe von digital codierten Verkehrsmeldungen mittels synthetisch erzeugter Sprache
JPH08263094A (ja) * 1995-03-10 1996-10-11 Winbond Electron Corp メロディを混合した音声を発生する合成器
JP3616250B2 (ja) * 1997-05-21 2005-02-02 日本電信電話株式会社 合成音声メッセージ作成方法、その装置及びその方法を記録した記録媒体
US6226614B1 (en) * 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559927A (en) * 1992-08-19 1996-09-24 Clynes; Manfred Computer system producing emotionally-expressive speech messages
WO1996008813A1 (fr) * 1994-09-12 1996-03-21 Arcadia, Inc. Convertisseur de caracteristiques sonores, dispositif d'association son/marque et leur procede de realisation
US5956685A (en) * 1994-09-12 1999-09-21 Arcadia, Inc. Sound characteristic converter, sound-label association apparatus and method therefor
EP0762384A2 (de) * 1995-09-01 1997-03-12 AT&T IPM Corp. Verfahren und Vorrichtung zur Veränderung von Stimmeigenschaften synthetisch erzeugter Sprache
DE19610019A1 (de) * 1996-03-14 1997-09-18 Data Software Gmbh G Digitales Sprachsyntheseverfahren

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318593A (ja) * 2001-04-20 2002-10-31 Sony Corp 言語処理装置および言語処理方法、並びにプログラムおよび記録媒体
US7167824B2 (en) 2002-02-14 2007-01-23 Sail Labs Technology Ag Method for generating natural language in computer-based dialog systems

Also Published As

Publication number Publication date
DE59902365D1 (de) 2002-09-19
AU769036B2 (en) 2004-01-15
EP1110203A1 (de) 2001-06-27
DE19841683A1 (de) 2000-05-11
AU6081399A (en) 2000-04-03
EP1110203B1 (de) 2002-08-14
CA2343071A1 (en) 2000-03-23
JP2002525663A (ja) 2002-08-13
ATE222393T1 (de) 2002-08-15

Similar Documents

Publication Publication Date Title
EP0886853B1 (de) Auf mikrosegmenten basierendes sprachsyntheseverfahren
DE60216069T2 (de) Sprache-zu-sprache erzeugungssystem und verfahren
DE69821673T2 (de) Verfahren und Vorrichtung zum Editieren synthetischer Sprachnachrichten, sowie Speichermittel mit dem Verfahren
Jilka The contribution of intonation to the perception of foreign accent
DE60112512T2 (de) Kodierung von Ausdruck in Sprachsynthese
DE60035001T2 (de) Sprachsynthese mit Prosodie-Mustern
DE69909716T2 (de) Formant Sprachsynthetisierer unter Verwendung von Verkettung von Halbsilben mit unabhängiger Überblendung im Filterkoeffizienten- und Quellenbereich
DE60118874T2 (de) Prosodiemustervergleich für Text-zu-Sprache Systeme
DE112004000187T5 (de) Verfahren und Vorrichtung der prosodischen Simulations-Synthese
EP3010014B1 (de) Verfahren zur interpretation von automatischer spracherkennung
EP1105867B1 (de) Verfahren und vorrichtungen zur koartikulationsgerechten konkatenation von audiosegmenten
EP1110203B1 (de) Vorrichtung und verfahren zur digitalen sprachbearbeitung
EP0058130B1 (de) Verfahren zur Synthese von Sprache mit unbegrenztem Wortschatz und Schaltungsanordnung zur Durchführung des Verfahrens
EP1344211B1 (de) Vorrichtung und verfahren zur differenzierten sprachausgabe
DE60311482T2 (de) Verfahren zur steuerung der dauer bei der sprachsynthese
JP2577372B2 (ja) 音声合成装置および方法
DE19837661C2 (de) Verfahren und Vorrichtung zur koartikulationsgerechten Konkatenation von Audiosegmenten
EP3144929A1 (de) Synthetische erzeugung eines natürlich klingenden sprachsignals
EP1212748A1 (de) Digitales sprachsyntheseverfahren mit intonationsnachbildung
WO2023222287A1 (de) Sprachsynthesizer und verfahren zur sprachsynthese
EP2325836A1 (de) Verfahren und System für das Training von Sprachverarbeitungseinrichtungen
Vanderslice et al. Synthetic Intonation.
DE10334105A1 (de) Verfahren zur Generierung von Gesichts-Animationsparametern zur Darstellung gesprochener Sprache mittels graphischer Computermodelle
DE3314674A1 (de) Sprachsynthesator mit variabler rate
DE2306816A1 (de) Sprachgenerator

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AU CA JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
ENP Entry into the national phase

Ref document number: 2343071

Country of ref document: CA

Ref country code: CA

Ref document number: 2343071

Kind code of ref document: A

Format of ref document f/p: F

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2000 570766

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 09786888

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1999947314

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 60813/99

Country of ref document: AU

WWP Wipo information: published in national office

Ref document number: 1999947314

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1999947314

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 60813/99

Country of ref document: AU