WO1999059134A1 - Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung - Google Patents

Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung Download PDF

Info

Publication number
WO1999059134A1
WO1999059134A1 PCT/DE1999/001308 DE9901308W WO9959134A1 WO 1999059134 A1 WO1999059134 A1 WO 1999059134A1 DE 9901308 W DE9901308 W DE 9901308W WO 9959134 A1 WO9959134 A1 WO 9959134A1
Authority
WO
WIPO (PCT)
Prior art keywords
transformation
utterance
speaker
speech
wavelet transformation
Prior art date
Application number
PCT/DE1999/001308
Other languages
English (en)
French (fr)
Inventor
Martin Holzapfel
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to JP2000548866A priority Critical patent/JP2002515608A/ja
Priority to EP99929088A priority patent/EP1078354B1/de
Priority to AT99929088T priority patent/ATE214831T1/de
Priority to DE59901018T priority patent/DE59901018D1/de
Publication of WO1999059134A1 publication Critical patent/WO1999059134A1/de

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Definitions

  • the invention relates to a method and an arrangement for determining spectral speech characteristics in a spoken utterance.
  • a wavelet transformation is known from [1].
  • a wavelet filter ensures that a high-pass component and a
  • Low-pass component of a subsequent transformation stage completely restore a signal of a current transformation stage.
  • the resolution of the high-pass component or low-pass component is reduced from one transformation stage to the next (technical term: "subsampling").
  • the number of transformation levels is finite due to subsampling.
  • the object of the invention is a method and an arrangement for determining spectral
  • a method for determining spectral speech characteristics in a spoken utterance.
  • the spoken utterance is digitized and subjected to a wavelet transformation.
  • the speaker-specific characteristics are determined on the basis of different transformation levels of the wavelet transformation.
  • the utterance is divided in the wavelet transformation by means of a high-pass filter and a low-pass filter and that different high-pass components or low-pass components of different transformation stages contain speaker-specific characteristics.
  • the individual high-pass components or low-pass components of different transformation levels stand for predetermined speaker-specific characteristics, it being possible for both high-pass component and low-pass component of a respective transformation stage, that is to say the respective characteristic, to be modified separately from other characteristics. If, in the case of the inverse wavelet transformation, the original signal is put together again from the respective high-pass and low-pass components of the individual transformation stages, this ensures that exactly the desired signal
  • Characteristic has been changed. It is thus possible to change certain specified characteristics of the utterance without influencing the rest of the utterance.
  • One embodiment consists in that before the wavelet transformation the utterance is windowed, that is to say a predetermined quantity of samples is cut out, and the frequency range is transformed.
  • a Fast Fourier Transform (FFT) is used in particular for this purpose.
  • Another embodiment consists in that a high-pass component of a transformation stage m is a real part and an imaginary part is divided.
  • the high-pass component of the wavelet transformation corresponds to the difference signal between the current low-pass component and the low-pass component of the previous transformation stage.
  • a further development consists in determining the number of transformation stages of the wavelet transformation to be carried out by including a constant component of the utterance in the last transformation stage, which consists of low-pass filters connected in series. Then the signal as a whole can be represented by its wavelet coefficients. This corresponds to the complete transformation of the information of the signal section m into the wavelet space.
  • the difference signal remains as the high-pass component of a transformation stage, as explained above. If one accumulates difference signals (high-pass components) over the transformation stages, the information of the spoken utterance without a constant component is obtained in the last transformation stage as a cumulative high-pass component.
  • the speaker-specific characteristics can be identified as:
  • Transformation reveals the fundamental frequency of the utterance.
  • the basic frequency indicates whether the speaker is a man or a woman.
  • the spectral envelope contains information about a transfer function of the vocal tract during articulation. In a voiced area, the spectral envelope is dominated by the formants. The high-pass component of a higher transformation level of the wavelet transformation contains this spectral envelope.
  • the smokiness in a voice becomes visible as a negative slope in the course of the penultimate low-pass portion.
  • the speaker-specific characteristics a) to c) are of great importance in speech synthesis.
  • concatenative speech synthesis uses large quantities of real uttered utterances, from which excerpts are cut out and later put together to form a new word (synthesized language).
  • Discontinuities between compound sounds are disadvantageous because they are perceived by the human ear as unnatural.
  • An advantage of the invention is that the spectral envelope curve reflects the articulation tract of the speaker and is not based on formants, such as a pole position model. Go further with the wavelet transformation no data is lost as a nonparametric representation, the utterance can always be completely reconstructed.
  • the data resulting from the individual transformation stages of the wavelet transformation are linearly independent of one another, can thus be influenced separately from one another and can later be combined again - without loss - to the influenced utterance.
  • Speech characteristics specified which has a processor unit which is set up such that an utterance can be digitized.
  • the utterance is then subjected to a wavelet transformation and speaker-specific characteristics are determined using different transformation levels.
  • Fig.l a wavelet function
  • Fig.l shows a wavelet function, which is determined by
  • f is the frequency
  • ⁇ is a standard deviation
  • c is a given normalization constant
  • the standard deviation ⁇ is determined by the predeterminable position of the sideband minimum 101 in Fig.l.
  • ⁇ (f) ⁇ (f) + j • H ⁇ (f) ⁇ (2).
  • ⁇ denotes the conjugate complex wavelet function.
  • 3 shows the cascaded application of the wavelet transform.
  • a signal 301 is filtered both by a high pass HP1 302 and by a low pass TP1 305. In particular, subsampling takes place, ie the number of values to be saved is reduced per filter.
  • a mverse wavelet transformation ensures that the original signal 301 can be reconstructed from the low-pass component TP1 305 and the high-pass component HP1 304.
  • HP1 302 is filtered separately for real part Rel 303 and Imagmar part Iml 304.
  • the signal 310 after the low-pass filter TP1 305 is again both by a high-pass HP2 306 and by a
  • the high pass HP2 306 again comprises a real part Re2 307 and an imagemart Im2 308.
  • the signal after the second transformation stage 311 is filtered again, etc.
  • FIG. 4 shows various transformation stages of the wavelet transformation, divided into low-pass components (FIGS. 4A, 4C and 4E) and high-pass components (FIGS. 4B, 4D and 4F).
  • the basic frequency of the spoken utterance can be seen from the high-pass component in accordance with FIG. 4B.
  • the fundamental frequency of the speaker On the basis of the fundamental frequency, it is possible to express one another in the speech synthesis adapt or determine suitable utterances from a database with predefined utterances.
  • the formants of the speech signal section are shown as pronounced Mmima and Maxima (the length of the speech signal section corresponds to m approximately twice the fundamental frequency).
  • the formants represent resonance frequencies in the speaker's vocal tract. The clear representability of the formants enables adaptation and / or selection of suitable phonetic components in concatenative speech synthesis.
  • the smokiness of a voice can be determined in the low-pass portion of the penultimate transformation stage (with 256 frequency values in the original signal: TP7).
  • the descent of the curve between maximum Mx and minimum Mi indicates the degree of smokiness.
  • the three speaker-specific characteristics mentioned are thus identified and can be influenced in a targeted manner for speech synthesis. It is particularly important that the manipulation of a single speaker-specific characteristic only influences this in the case of the verse wavelet transformation; the other perceptually relevant variables remain unaffected. In this way, the basic frequency can be adjusted in a targeted manner without affecting the smokiness of the voice.
  • Another option is to select a suitable sound section for concatenative linking with another sound section, both sound sections originally being recorded by different speakers in different contexts.
  • a suitable sound section to be linked can be found, since criteria are known with the characteristics that allow a comparison of sound sections with each other and thus a selection of the Allow suitable sound section automatically according to certain specifications.
  • a database is created with a predetermined amount of naturally spoken language by different speakers, sound sections in the naturally spoken language being identified and stored. There are numerous representatives for the different sound sections of a language that the database can access.
  • the sound sections are in particular phonemes of a language or a series of such phonemes. The smaller the section of the sound, the greater the possibilities for combining new words. For example, the German language contains a predetermined amount of approximately 40
  • Discontinuities that are perceived by the human ear as unnatural and "synthetic" can be avoided.
  • the sound sections come from different speakers and thus have different speaker-specific characteristics.
  • FIG. 5 shows two sounds A 507 and B 508, each of which has individual sound sections 505 and 506, for example.
  • the sounds A 507 and B 508 each come from a spoken utterance, whereby the sound A 507 clearly is different from the sound B 508.
  • a dividing line 509 indicates where the sound A 507 should be linked with the sound B 508. In the present case, the first three sound sections of sound A 507 are to be concatenated with the last three sound sections of sound B 508.
  • a temporal stretching or compressing (see arrow 503) of the successive sound sections is carried out along the dividing line 509 in order to reduce the discontinuous impression at the transition 509.
  • a variant consists in an abrupt transition of the sounds divided along the dividing line 509. However, this leads to the discontinuities mentioned, which human hearing perceives as disturbing. If, on the other hand, a sound C is put together, the sound sections within a transition area 501 or 502 are taken into account, whereby a spectral distance between two mutually assignable sound sections m is adapted to the respective transition area 501 or 502 (gradual transition between the
  • the Euclidean distance between the coefficients relevant to this area is used as the distance measure, particularly in the wavelet space.

Abstract

Es werden spektrale Sprachcharakteristika in einer natürlichsprachlichen Äußerung bestimmt, wobei die Äußerung digitalisiert und einer Wavelet-Transformation unterzogen wird. Aus den unterschiedlichen Transformationsstufen der Wavelet-Transformation gehen die sprecherspezifischen Charakteristika hervor. Diese Charakteristika können im Rahmen einer Sprachsynthese mit Charakteristika anderer Äußerungen verglichen werden, um ein für das menschliche Ohr kontinuierlich klingendes synthetisches Sprachsignal zu erzeugen. Alternativ können die Charakteristika auch gezielt verändert werden, um einer perzeptiven Dissonanz entgegenzuwirken.

Description

Beschreibung
Verfahren und Anordnung zur Bestimmung spektraler Sprachcharakteristika in einer gesprochenen Äußerung
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Bestimmung spektraler Sprachcharakteristika m einer gesprochenen Äußerung.
Bei einer konkatenativen Sprachsynthese werden einzelne Laute aus Sprachdatenbanken zusammengesetzt. Um dabei einen für das menschliche Ohr natürlich klingenden Sprachverlauf zu erhalten, sind Diskontinuitäten an den Punkten, wo die Laute zusammengesetzt werden (Konkatenationspunkte) zu vermeiden. Die Laute sind dabei insbesondere Phoneme einer Sprache oder eine Zusammensetzung mehrerer Phoneme.
Eine Wavelet-Transformation ist aus [1] bekannt. Bei der Wavelet-Transformation ist durch ein Wavelet-Filter gewährleistet, daß jeweils ein Hochpaßanteil und ein
Tiefpaßanteil einer nachfolgenden Transformationsstufe ein Signal einer aktuellen Transformationsstufe vollständig wiederherstellen. Dabei erfolgt von einer Transformationsstufe zur nächsten eine Reduktion der Auflosung des Hochpaßanteils bzw. Tiefpaßanteils (engl. Fachbegriff: "Subsamplmg" ) . Insbesondere ist durch das Subsamplmg die Anzahl der Transformationsstufen endlich.
Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine Anordnung zur Bestimmung spektraler
Sprachcharakteristika anzugeben, mit deren Hilfe insbesondere eine natürlich wirkende synthetische Sprachausgabe bestimmbar
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Patentansprüche gelost. Im Rahmen der Erfindung wird ein Verfahren angegeben zur Bestimmung spektraler Sprachcharakteristika m einer gesprochenen Äußerung. Dazu wird die gesprochenen Äußerung digitalisiert und einer Wavelet-Transformation unterzogen. Anhand unterschiedlicher Transformationsstufen der Wavelet- Transformation werden die sprecherspezifischen Charakteristika ermittelt.
Dabei ist es insbesondere ein Vorteil, daß bei der Wavelet- Transformation mittels eines Hochpaßfllters und eines Tiefpaßfilters die Äußerung aufgeteilt wird und unterschiedliche Hochpaßanteile bzw. Tiefpaßanteile verschiedener Transformationsstufen sprecherspezifische Charakteristika enthalten.
Die einzelnen Hochpaßanteile bzw. Tiefpaßanteile verschiedener Transformationsstufen stehen für vorgegebene sprecherspezifische Charakteristika, wobei sowohl Hochpaßanteil als auch Tiefpaßanteil einer jeweiligen Transformationsstufe, also das jeweilige Charakteristikum, getrennt von anderen Charakteristika modifiziert werden kann. Setzt man bei der mversen Wavelet-Transformation aus den jeweiligen Hochpaß- und Tiefpaßanteilen der einzelnen Transformationsstufen wieder das ursprungliche Signal zusammen, so ist gewährleistet, daß genau das gewünschte
Charakteristikum verändert worden ist. Es ist somit möglich bestimmte vorgegebene Eigenarten der Äußerung zu verandern, ohne daß dadurch der Rest der Äußerung beeinflußt wird.
Eine Ausgestaltung besteht darin, daß vor der Wavelet- Transformation die ußerung gefenstert, also eine vorgegebene Menge von Abtastwerten ausgeschnitten, und m den Frequenzbereich transformiert wird. Hierzu wird insbesondere eine Fast-Fourier-Transformation (FFT) angewandt.
Eine weitere Ausgestaltung besteht darin, daß ein Hochpaßanteil einer Transformationsstufe m einen Realteil und einen Imagmarteil aufgeteilt wird. Der Hochpaßanteil der Wavelet-Transformation entspricht dem Differenzsignal zwischen dem aktuellen Tiefpaßanteil und dem Tiefpaßanteil der vorhergehenden Transformationsstufe.
Insbesondere besteht eine Weiterbildung darin, die Zahl der durchzuführenden Transformationsstufen der Wavelet- Transformation dadurch zu bestimmen, daß m der letzten Transformationsstufe, die aus hinteremandergeschalteten Tiefpassen besteht, ein Gleichanteil der Äußerung enthalten ist. Dann ist das Signal als Ganzes darstellbar durch seine Wavelet-Koefflzienten. Dies entspricht der vollständigen Transformation der Information des Signalausschnitts m den Wavelet-Raum.
Wird insbesondere nur der jeweilige Tiefpaßanteil weiter transformiert (mittels eines Hochpaß- und eines Tiefpaßfilters), so verbleibt als Hochpaßanteil einer Transformationsstufe das Differenzsignal, wie oben erläutert. Kumuliert man Differenzsignale (Hochpaßanteile) über die Transformationsstufen, erhalt man m der letzten Transformationsstufe als kumulierten Hochpaßanteil die Information der gesprochenen Äußerung ohne Gleichanteil.
Im Rahmen einer zusätzlichen Weiterbildung sind die sprecherspezifischen Charakteristika identifizierbar als:
a) Grundfrequenz :
Die Schwingung des Hochpaßanteils der ersten oder der zweiten Transformationsstufe der Wavelet-
Transformation laßt die Grundfrequenz der ußerung erkennen. Die Grundfrequenz zeigt an, ob der Sprecher ein Mann oder einen Frau ist.
b) Form der spektralen Hullkurve:
Die spektrale Hullkurve enthalt Information über eine Transferfunktion des Vokaltrakts bei der Artikulation. In einem stimmhaften Bereich wird die spektrale Hullkurve von den Formanten dominiert. Der Hochpaßanteil einer höheren Transformationsstufe der Wavelet-Transformation enthalt diese spektrale Hullkurve.
c) Spectral Tilt (Rauchigkeit) :
Die Rauchigkeit m einer Stimme wird als negative Steigung im Verlauf des vorletzten Tiefpaßanteils sichtbar.
Die sprecherspezifischen Charakteristika a) bis c) sind bei der Sprachsynthese von großer Bedeutung. Wie eingangs erwähnt, bedient man sich bei der konkatenativen Sprachsynthese großer Mengen realgesprochener Äußerungen, aus denen Beispiellaute ausgeschnitten und spater zu einem neuen Wort zusammengesetzt werden (synthetisierte Sprache) . Dabei sind Diskontinuitäten zwischen zusammengesetzten Lauten von Nachteil, da diese vom menschlichen Ohr als unnatürlich wahrgenommen werden. Um den Diskontinuitäten entgegenzuwirken ist es von Vorteil, direkt die perzeptiv relevanten Großen zu erfassen und ggf. zu vergleiche und/oder einander anzupassen.
Dies kann geschehen durch direkte Manipulation, indem ein Sprachlaut m mindestens einer seiner sprecherspezifischen Charakteristika angepaßt wird, so daß er m dem akustischen Kontext der konkatenativ verknüpften Laute nicht als störend wahrgenommen wird. Auch ist es möglich, die Auswahl eines passenden Lautes daran auszurichten, daß sprecherspezifische Charakteristika von zu verknüpfenden Lauten möglichst gut zueinander passen, z.B. daß den Lauten gleiche oder ähnliche Rauchigkeit zu eigen ist.
Ein Vorteil der Erfindung besteht darin, daß die spektrale Hullkurve den Artikulationstrakt des Sprechers widerspiegelt und nicht, wie z.B. ein Polstellenmodell, auf Formanten gestutzt ist. Weiterhin gehen bei der Wavelet-Transformation als nichtparametrischer Darstellung keine Daten verloren, die Äußerung kann stets vollständig rekonstruiert werden. Die aus den einzelnen Transformationsstufen der Wavelet- Transformation hervorgehenden Daten sind linear voneinander unabhängig, können somit getrennt voneinander beeinflußt und spater wieder zu der beeinflußten Äußerung - verlustlos - zusammengesetzt werden.
Weiterhin wird eine Anordnung zur Bestimmung spektraler
Sprachcharakteristika angegeben, die eine Prozessoreinheit aufweist, die derart eingerichtet ist, daß eine Äußerung digitalisierbar ist. Daraufhin wird die Äußerung einer Wavelet-Transformation unterzogen und anhand unterschiedlicher Transformationsstufen werden sprecherspezifische Charakteristika ermittelt.
Diese Anordnung ist insbesondere geeignet zur Durchfuhrung des erfmdungsgemaßen Verfahrens oder einer seiner vorstehend erläuterten Weiterbildungen.
Weiterbildungen der Erfindung ergeben sich auch aus den abhangigen Ansprüchen.
Ausfuhrungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung dargestellt und erläutert.
Es zeigen
Fig.l eine Wavelet-Funktion;
Fig.2 eine Wavelet-Funktion, unterteilt nach Realteil und Imagmarteil;
Fig.3 eine kaskadierte Filterstruktur, die die
Transformationsschritte der Wavelet-Transformation darstellt; Fig.4 Tiefpaßanteile und Hochpaßanteile unterschiedlicher Transformationsstufen;
Fig.5 Schritte der konkatenativen Sprachsynthese.
Fig.l zeigt eine Wavelet-Funktion, die bestimmt ist durch
Figure imgf000008_0001
wobei f die Frequenz, σ eine Standardabweichung und c eine vorgegebene Normierungskonstante bezeichnen.
Insbesondere ist die Standardabweichung σ bestimmt durch die vorgebbare Stelle des Seitenbandminimums 101 in Fig.l.
Fig.2 zeigt eine Wavelet-Funktion mit einem Realteil gemäß Gleichung (1) und einer Hilbert-Transformierten H des Realteils als Imaginärteil. Die komplexe Wavelet-Funktion ergibt sich somit zu
Ψ(f) = ψ(f) + j • H{ψ(f)} (2).
Die Konstante c aus Gleichung (1) wird verwendet, um die komplexe Wavelet-Funktion zu normieren:
oo
Figure imgf000008_0002
-oo
wobei Ψ die konjugiert komplexe Wavelet-Funktion bezeichnet. Fig.3 zeigt die kaskadierte Anwendung der Wavelet- Transformation. Ein Signal 301 wird sowohl durch einen Hochpaß HP1 302 als auch durch einen Tiefpaß TP1 305 gefiltert. Dabei findet insbesondere ein Subsamplmg statt, d.h. die Anzahl der abzuspeichernden Werte wird pro Filter reduziert. Eine mverse Wavelet-Transformation gewahrleistet, daß aus dem Tiefpaßanteil TP1 305 und dem Hochpaßanteil HP1 304 wieder das ursprüngliche Signal 301 rekonstruierbar ist.
Im Hochpaß HP1 302 wird getrennt nach Realteil Rel 303 und Imagmarteil Iml 304 gefiltert.
Das Signal 310 nach dem Tiefpaßfilter TP1 305 wird erneut sowohl durch einen Hochpaß HP2 306 als auch durch einen
Tiefpaß TP2 309 gefiltert. Der Hochpaß HP2 306 umfaßt wieder einen Realteil Re2 307 und einen Imagmarteil Im2 308. Das Signal nach der zweiten Transformationsstufe 311 wird wieder gefiltert, usf.
Geht man von einem (FFT-transformierten) Kurzzeitspektrum mit 256 Werten aus, so werden acht Transformationsschritte durchgef hrt (Subsampl grate : 1/2), bis das Signal aus dem letzten Tiefpaßfilter TP8 dem Gleichanteil entspricht.
In Fig.4 sind verschiedene Transformationsstufen der Wavelet- Transformation, unterteilt nach Tiefpaßanteilen (Figuren 4A, 4C und 4E) und Hochpaßanteilen (Figuren 4B, 4D und 4F) dargestellt .
Aus dem Hochpaßanteil gemäß Fιg.4B ist die Grundfrequenz der gesprochenen Äußerung ersichtlich. Neben den Schwankungen m der Amplitude ist deutlich eine überwiegende Periodizitat im wavelet-gefllterten Spektrum zu erkennen, die Grundfrequenz des Sprechers. Anhand der Grundfrequenz ist es möglich, vorgegebene Äußerungen bei der Sprachsynthese einander anzupassen oder passende Äußerungen aus einer Datenbank mit vorgegebene Äußerungen zu bestimmen.
Im Tiefpaßanteil von Fιg.4C sind als ausgeprägte Mmima und Maxima die Formanten des Sprachsignalausschnitts (die Lange des Sprachsignalausschnitts entspricht m etwa der doppelten Grundfrequenz) dargestellt. Die Formanten repräsentieren Resonanzfrequenzen im Vokaltrakt des Sprechers. Die deutliche Darstellbarkeit der Formanten ermöglicht eine Anpassung und/oder Auswahl passender Lautbausteine bei der konkatenativen Sprachsynthese.
Im Tiefpaßanteil der vorletzten Transformationsstufe (bei 256 Frequenzwerten im Originalsignal: TP7), kann die Rauchigkeit einer Stimme ermittelt werden. Der Abstieg des Kurvenverlaufs zwischen Maximum Mx und Minimum Mi kennzeichnet den Grad der Rauchigkeit .
Die erwähnten drei sprecherspezifischen Charakteristika sind somit identifiziert und können für die Sprachsynthese gezielt beeinflußt werden. Dabei ist es insbesondere von Bedeutung, daß bei der versen Wavelet-Transformation die Manipulation eines einzelnen sprecherspezifischen Charakteristikums nur dieses beeinflußt, die anderen perziptiv relevanten Großen bleiben unberührt. Somit kann die Grundfrequenz gezielt verstellt werden, ohne daß dadurch die Rauchigkeit der Stimme beeinflußt wird.
Eine andere Emsatzmoglichkeit besteht m der Auswahl eines geeigneten Lautabschnitts zur konkatenativen Verknüpfung mit einem anderen Lautabschnitt, wobei beide Lautabschnitte ursprünglich von verschiedenen Sprechern m unterschiedlichen Kontexten aufgenommen wurden. Mit Ermittlung spektraler Sprachcharakteristika kann ein geeigneter zu verknüpfender Lautabschnitt gefunden werden, da mit den Charakteristika Kriterien bekannt sind, die einen Vergleich von Lautabschnitten untereinander und somit eine Auswahl des passenden Lautabschnitts automatisch nach bestimmten Vorgaben ermöglichen.
Fig.5 zeigt Schritte einer konkatenativen Sprachsynthese. Eine Datenbank wird mit einer vorgegebenen Menge naturlichgesprochener Sprache verschiedener Sprecher erstellt, wobei Lautabschnitte m der naturlichgesprochenen Sprache identifiziert und abgespeichert werden. Es ergeben sich zahlreiche Repräsentanten für die verschiedenen Lautabschnitte einer Sprache, auf die die Datenbank zugreifen kann. Die Lautabschnitte sind insbesondere Phoneme einer Sprache oder eine Aneinanderreihung solcher Phoneme. Je kleiner der Lautabschnitt, desto großer sind die Möglichkeiten bei der Zusammensetzung neuer Worter. So umfaßt die deutsche Sprache eine vorgegebene Menge von ca. 40
Phonemen, die zur Synthese nahezu aller Worter der Sprache ausreichen. Dabei sind unterschiedliche akustische Kontexte zu berücksichtigen, e nachdem, m welchem Wort das jeweilige Phonem auftritt. Nun ist es wichtig, die einzelnen Phoneme m den akustischen Kontext derart einzubetten, daß
Diskontinuitäten, die vom menschlichen Gehör als unnaturlich und "synthetisch" empfunden werden, vermieden werden. Wie erwähnt stammen die Lautabschnitte von unterschiedlichen Sprechern und weisen somit verschiedene sprecherspezifische Charakteristika auf. Um eine möglichst natürlich wirkende Äußerung zu synthetisieren, ist es wichtig, die Diskontinuitäten zu minimieren. Dies kann erfolgen durch Anpassung der identifizierbaren und modifizierbaren sprecherspezifischen Charakteristika oder durch Auswahl passender Lautabschnitte aus der Datenbank, wobei ebenfalls die sprecherspezifischen Charakteristika bei der Auswahl ein entscheidendes Hilfsmittel darstellen.
In Fig.5 sind beispielhaft zwei Laute A 507 und B 508 dargestellt, die jeweils einzelne Lautabschnitte 505 bzw. 506 aufweisen. Die Laute A 507 und B 508 stammen jeweils aus einer gesprochenen Äußerung, wobei der Laut A 507 deutlich vom Laut B 508 verschieden ist. Eine Trennlinie 509 zeigt an, wo der Laut A 507 mit dem Laut B 508 verknüpft werden soll. Im vorliegenden Fall sollen die ersten drei Lautabschnitte des Lautes A 507 mit den letzten drei Lautabschnitten des Lautes B 508 konkatenativ verknüpft werden.
Es wird entlang der Trennlinie 509 em zeitliches Dehnen oder Stauchen (vergleiche Pfeil 503) der aufeinanderfolgenden Lautabschnitte durchgeführt, um den diskontinuierlichen Eindruck am Übergang 509 zu vermindern.
Eine Variante besteht m einem abrupten Übergang der entlang der Trennlinie 509 geteilten Laute. Dabei kommt es jedoch zu den erwähnten Diskontinuitäten, die das menschliche Gehör als störend wahrnimmt. Fugt man hingegen einen Laut C zusammen, daß die Lautabschnitte innerhalb eines Ubergangsbereichs 501 oder 502 berücksichtigt werden, wobei em spektrales Abstandsmaß zwischen zwei einander zuordenbaren Lautabschnitten m dem jeweiligen Ubergangsbereich 501 oder 502 angepaßt wird (allmählicher Übergang zwischen den
Lautabschnitten) . Als das Abstandsmaß herangezogen wird insbesondere im Wavelet-Raum der euklidische Abstand zwischen den diesem Bereich relevanten Koeffizienten.
Literaturverzeichnis :
[1] I. Daubechies: "Ten Lectures on Wavelets", Siam Verlag 1992, ISBN 0-89871-274-2, Kapitel 5.1, Seiten 129-137.

Claims

Patentansprüche
1. Verfahren zur Bestimmung spektraler Sprachcharakteristika m einer gesprochenen Äußerung, a) bei dem die Äußerung digitalisiert wird, b) bei dem die digitalisierte ußerung einer Wavelet- Transformation unterzogen wird, c) bei dem anhand unterschiedlicher Transformationsstufen der Wavelet-Transformation die sprecherspezifischen Charakteristika bestimmt werden.
2. Verfahren nach Anspruch 1, bei dem vor der Wavelet-Transformation eine gefensterte Transformation der digitalisierten Äußerung einen Frequenzbereich durchgeführt wird.
3. Verfahren nach Anspruch 2, bei dem die Transformation den Frequenzbereich mittels Fast-Fourier-Transformation durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem jeder Stufe der Wavelet-Transformation em Tiefpaßanteil und em Hochpaßanteil eines zu transformierenden Signals ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem em Hochpaßanteil nach einem Realteil und einem
Imagmarteil unterteilt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Wavelet-Transformation mehrere Transformationsstufen umfaßt, wobei die letzte Transformationsstufe einen Gleichanteil der Äußerung m einer der Anzahl Transformationsstufen entsprechenden wiederholten Tiefpaßfilterung liefert.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die sprecherspezifischen Charakteristika bestimmt sind durch: a) eine Grundfrequenz der gesprochenen Äußerung; b) spektrale Hullkurve; c) einer Rauchigkeit der gesprochenen Äußerung.
8. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 7 zur Sprachsynthese, wobei einzelne sprecherspezifische Charakteristika im
Hinblick auf eine natürlich klingende Aneinanderreihung von Sprachlauten angepaßt werden.
9. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 7 zur Sprachsynthese, wobei aus einer vorgegebenen Datenmenge diejenigen Sprachlaute anhand einzelner spektraler Sprachcharakteristika ausgewählt werden, die eine natürlich klingende Aneinanderreihung von Sprachlauten gewährleisten.
10. Anordnung zur Bestimmung spektraler Sprachcharakteristika m einer gesprochenen Äußerung mit einer Prozessoreinheit, die derart eingerichtet ist, daß folgende Schritte durchfuhrbar sind: a) die Äußerung wird digitalisiert; b) die digitalisierte Äußerung wird einer Wavelet- Transformation unterzogen; c) anhand unterschiedlicher Transformationsstufen der
Wavelet-Transformation werden die sprecherspezifischen Charakteristika bestimmt.
PCT/DE1999/001308 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung WO1999059134A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000548866A JP2002515608A (ja) 1998-05-11 1999-05-03 発声された表出のスペクトル的な音声特徴を求める方法および装置
EP99929088A EP1078354B1 (de) 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung
AT99929088T ATE214831T1 (de) 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung
DE59901018T DE59901018D1 (de) 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19821031.0 1998-05-11
DE19821031 1998-05-11

Publications (1)

Publication Number Publication Date
WO1999059134A1 true WO1999059134A1 (de) 1999-11-18

Family

ID=7867382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1999/001308 WO1999059134A1 (de) 1998-05-11 1999-05-03 Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung

Country Status (6)

Country Link
EP (1) EP1078354B1 (de)
JP (1) JP2002515608A (de)
AT (1) ATE214831T1 (de)
DE (1) DE59901018D1 (de)
ES (1) ES2175988T3 (de)
WO (1) WO1999059134A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376563B2 (en) 2000-06-30 2008-05-20 Cochlear Limited System for rehabilitation of a hearing disorder

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600740B2 (en) * 2008-01-28 2013-12-03 Qualcomm Incorporated Systems, methods and apparatus for context descriptor transmission
JP6251145B2 (ja) * 2014-09-18 2017-12-20 株式会社東芝 音声処理装置、音声処理方法およびプログラム
JP2018025827A (ja) * 2017-11-15 2018-02-15 株式会社東芝 対話システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0519802A1 (de) * 1991-06-18 1992-12-23 Sextant Avionique Verfahren zur Sprachsynthese unter Verwendung von Wellenstückchen
EP0703565A2 (de) * 1994-09-21 1996-03-27 International Business Machines Corporation Verfahren und System zur Sprachsynthese
US5528725A (en) * 1992-11-13 1996-06-18 Creative Technology Limited Method and apparatus for recognizing speech by using wavelet transform and transient response therefrom

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0519802A1 (de) * 1991-06-18 1992-12-23 Sextant Avionique Verfahren zur Sprachsynthese unter Verwendung von Wellenstückchen
US5528725A (en) * 1992-11-13 1996-06-18 Creative Technology Limited Method and apparatus for recognizing speech by using wavelet transform and transient response therefrom
EP0703565A2 (de) * 1994-09-21 1996-03-27 International Business Machines Corporation Verfahren und System zur Sprachsynthese

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EVANGELISTA G: "PITCH-SYNCHRONOUS WAVELET REPRESENTATIONS OF SPEECH AND MUSIC SIGNALS", IEEE TRANSACTIONS ON SIGNAL PROCESSING, vol. 41, no. 12, 1 December 1993 (1993-12-01), pages 3313 - 3330, XP000426651, ISSN: 1053-587X *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376563B2 (en) 2000-06-30 2008-05-20 Cochlear Limited System for rehabilitation of a hearing disorder

Also Published As

Publication number Publication date
EP1078354B1 (de) 2002-03-20
JP2002515608A (ja) 2002-05-28
EP1078354A1 (de) 2001-02-28
ATE214831T1 (de) 2002-04-15
ES2175988T3 (es) 2002-11-16
DE59901018D1 (de) 2002-04-25

Similar Documents

Publication Publication Date Title
DE4237563C2 (de) Verfahren zum Synthetisieren von Sprache
DE69932786T2 (de) Tonhöhenerkennung
DE69909716T2 (de) Formant Sprachsynthetisierer unter Verwendung von Verkettung von Halbsilben mit unabhängiger Überblendung im Filterkoeffizienten- und Quellenbereich
DE69534942T2 (de) System zur sprecher-identifizierung und-überprüfung
DE69720861T2 (de) Verfahren zur Tonsynthese
DE69933188T2 (de) Verfahren und Vorrichtung für die Extraktion von Formant basierten Quellenfilterdaten unter Verwendung einer Kostenfunktion und invertierte Filterung für die Sprachkodierung und Synthese
DE69627865T2 (de) Sprachsynthesizer mit einer datenbank für akustische elemente
DE102007001255A1 (de) Tonsignalverarbeitungsverfahren und -vorrichtung und Computerprogramm
WO2002017303A1 (de) Verfahren und vorrichtung zur künstlichen erweiterung der bandbreite von sprachsignalen
EP1280138A1 (de) Verfahren zur Analyse von Audiosignalen
DE60305716T2 (de) Verfahren zum synthetisieren eines nicht stimmhaften sprachsignals
DE69631037T2 (de) Sprachsynthese
EP0285222B1 (de) Verfahren zum Erkennen zusammenhängend gesprochener Wörter
DE3228757A1 (de) Verfahren und vorrichtung zur zeitabhaengigen komprimierung und synthese von hoerbaren signalen
EP1282897B1 (de) Verfahren zum erzeugen einer sprachdatenbank für einen zielwortschatz zum trainieren eines spracherkennungssystems
DE69722585T2 (de) Synthese von wellenformen
EP1435087B1 (de) Verfahren zur erzeugung von sprachbausteine beschreibenden referenzsegmenten und verfahren zur modellierung von spracheinheiten eines gesprochenen testmusters
DE69723930T2 (de) Verfahren und Vorrichtung zur Sprachsynthese und Programm enthaltender Datenträger dazu
EP1078354B1 (de) Verfahren und anordnung zur bestimmung spektraler sprachcharakteristika in einer gesprochenen äusserung
DE4033350A1 (de) Verfahren und vorrichtung fuer die sprachverarbeitung
DE4218623A1 (de) Sprachsynthesizer
DE60305944T2 (de) Verfahren zur synthese eines stationären klangsignals
DE60311482T2 (de) Verfahren zur steuerung der dauer bei der sprachsynthese
EP1062659B1 (de) Verfahren und vorrichtung zur bearbeitung eines tonsignals
DE10033104C2 (de) Verfahren zum Erzeugen einer Statistik von Phondauern und Verfahren zum Ermitteln der Dauer einzelner Phone für die Sprachsynthese

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1999929088

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09700311

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1999929088

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1999929088

Country of ref document: EP