PL207484B1 - System do korekcji mowy i sposób korekcji mowy - Google Patents

Abstract

Wynalazek dotyczy systemów dla osób z zaburzeniami mowy, mającymi trudności z łatwym i płynnym artykułowaniem mowy. Postępująca miniaturyzacja procesorów sygnałowych oraz coraz bardziej powszechny dostęp do komputerów multimedialnych pozwalają na organizowanie treningu mowy dla pacjentów w sposób nie wymagający stałego wspomagania ze strony logopedów. Wspomniana miniaturyzacja układów cyfrowych umożliwia zaimplementowanie niektórych algorytmów korekcji mowy w niewielkich urządzeniach przenośnych, z których pacjenci mogą korzystać w dowolnych sytuacjach z życia codziennego. Wynalazek definiuje nowe zastosowania techniki cyfrowej do celów usprawniania mowy, co jest szczególnie przydatne w przypadkach jąkania się. Cyfrowy korektor mowy według wynalazku składa się ze znanego układu cyfrowego przetwarzania sygnałów fonicznych, podobnego do układów stosowanych w zminiaturyzowanych aparatach słuchowych dla osób niedosłyszących. Istota wynalazku polega na wykorzystaniu odpowiedniego oprogramowania procesora sygnałowego takiego układu w celu dokonywania za jego pomocą modyfikacji sygnałów w pętli zwrotnego sprzężenia audytoryjnego, tzn. w torze od mikrofonu tego aparatu do jego elektroakustycznego przetwornika wyjściowego. Modyfikacje sygnału mowy stosowane w tym celu mogą być dokonywane zarówno sposobami, które były już wcześniej wykorzystywane w urządzeniach do terapii logopedycznej, takimi jak wytwarzanie echa lub przesuwanie widma mowy, jak również sposobami przetwarzania sygnałów, polegającymi na zastosowaniu w tym celu multiplikatywnej kompresji lub ekspansji widma mowy, na wytwarzaniu efektu chóralnego, transpozycji czasowej mowy lub analizy-resyntezy mowy, połączonej z wymianą tonu krtaniowego. Ponadto, wyżej wymienione sposoby modyfikowania sygnałów w pętli zwrotnego sprzężenia audytoryjnego mogą być zastosowane w znanym komputerze multimedialnym, wyposażonym w dwukierunkowy interfejs dźwiękowy wraz dołączonymi do niego mikrofonem i słuchawkami. Komputer ten jest przy tym, zaprogramowany w taki sposób, że jego procesor przetwarza cyfrowo mowę odbieraną przez mikrofon według sposobów modyfikacji sygnałów w pętli zwrotnego sprzężenia audytoryjnego, takich jak zdefiniowane powyżej w odniesieniu do aparatu będącego cyfrowym korektorem mowy. Alternatywnym sposobem korzystania z cyfrowego korektora mowy jest implementacja algorytmów modyfikowania sygnału mowy w pętli słuchowego sprzężenia zwrotnego w układach cyfrowych wchodzących w skład aparatu telefonicznego, w szczególności w układach cyfrowych znajdujących się we wnętrzu znanego telefonu komórkowego lub wchodzących w skład sieci cyfrowej, z którą łączy się ten aparat. Aparat taki, jeżeli zostanie w nim zaprogramowany jeden z opisanych powyżej algorytmów modyfikacji sygnału mowy może być wykorzystywany przez osobę jąkającą się w ten sposób, że mowa współrozmówcy tej osoby jest odtwarzana przez ten aparat w normalny sposób, podczas gdy mowa osoby korzystającej z tego aparatu jako z cyfrowego korektora mowy jest przetwarzana w torze od mikrofonu do słuchawki lub głośnika tego aparatu według wymienionych powyżej algorytmów modyfikujących sygnał mowy. Ponadto wynalazek określa sposoby współpracy cyfrowego korektora mowy ze znanym komputerem osobistym, według których z komputera do tego korektora przesyłane są dane sterujące sposobem działania korektora lub próbki sygnału mowy oraz według których z korektora mowy do komputera przesyłane są dźwięki mowy w celu dokonywania przez ten komputer ich analizy. Wynalazek dotyczy także sposobu użycia w cyfrowym korektorze mowy funkcji tzw. klucza głosowego, czyli algorytmu analizy mowy, powodującego zaprzestanie modyfikowania sygnału mowy przez korektor w okresach następujących po przerwach w artykulacji mowy.

Description

Opis wynalazku

Wynalazek dotyczy systemów dla osób z zaburzeniami mowy, mającymi trudności z łatwym i płynnym artykułowaniem mowy. Postępująca miniaturyzacja procesorów sygnałowych oraz coraz lepszy dostęp do komputerów multimedialnych pozwalają na organizowanie treningu mowy dla pacjentów w sposób nie wymagający stałego wspomagania ze strony logopedów. Wspomniana miniaturyzacja układów cyfrowych umożliwia zaimplementowanie niektórych algorytmów korekcji mowy w niewielkich urządzeniach przenoś nych, z których pacjenci mogą korzystać w dowolnych sytuacjach z ż ycia codziennego. Wynalazek definiuje nowe zastosowania techniki cyfrowej do celów usprawniania mowy, co jest szczególnie przydatne w przypadkach jąkania się.

Znane są liczne rozwiązania elektronicznych sposobów korekcji mowy, w których zastosowano analogowy zespół obwodów elektrycznych do przetwarzania sygnału akustycznego. Rozwiązanie takie jest znane z rosyjskiego opisu patentu nr 66.680, które określa rozwiązanie w postaci elektronicznego echo-korektora mowy, zawierającego połączone szeregowo: mikrofon, wzmacniacz wejściowy, układ do generowania echa, wzmacniacz wyjściowy oraz przetwornik elektroakustyczny w postaci sł uchawek. W systemie według tamtego wynalazku został zastosowany specjalnie zbudowany podsystem do generowania echa, zbudowany z dwudziestu połączonych szeregowo bloków wzbudników-kondensatorów z indywidualnymi wzmacniaczami. System ten uzyskuje opóźnienie sygnału mowy w wartościach dyskretnych w zakresie od 0 do 120 ms. Konieczność zastosowania w tym systemie dużej liczby filtrów opartych na wzbudnikach-kondensatorach oraz pasywnych elementów pośrednich prowadzi do niejednolitej charakterystyki przenoszenia. Urządzenie oparte na wynalazku rosyjskim nie kwalifikuje się do wymogów stawianych przez miniaturyzację i digitalizację.

Znane jest też i powszechnie stosowane rozwiązanie w postaci korektorów wymowy na zasadzie wielokrotnego echa dla osób jąkających się opisane w polskim patencie nr 130.362. Urządzenie to składa się z mikrofonu połączonego z wejściem wzmacniacza wejściowym, którego wyjście jest podłączone do wejścia znanego obwodu wielokrotnego echa z wyjściem podłączonym do wzmacniacza i głośnika. Ważny w tym wynalazku jest fakt, że obwód do generowania echa i jego zwielokrotniania posiada dolnoprzepustowy filtr wejścia, który jest podłączony do przetwornika analogowo-cyfrowego a następnie do binarnego rejestru przesuwnego, który z kolei podaje próbki sygnału do przetwornika cyfrowo-analogowego, połączonego poprzez wyjście filtra dolnoprzepustowego do wyjścia wzmacniacza. Wejście wzmacniacza wejściowego oraz wyjście wzmacniacza wyjściowego są połączone z antylokalnym systemem telefonicznym, umożliwiającym połączenie z siecią telefoniczną. Rozwiązanie opisane w tym patencie jest stosunkowo przedawnione technologicznie, niemniej jednak jego wyjątkowość leży w tym, że proponuje ono dostęp do urządzenia produkującego echo za pomocą publicznie dostępnej sieci telefonicznej. Opisany układ korektora mowy działającego ze zwielokrotnieniem echa, z jednej strony dość dobrze spełnia założenia, posiada jednak wady związane z korzystaniem z tego urządzenia za pośrednictwem linii telefonicznej, co samo w sobie może być rozwiązaniem kosztownym, powodującym też długotrwałe obciążenie linii telefonicznej abonenta.

Amerykański patent nr 4,421,488 zatytułowany Pomoc w leczeniu lub łagodzeniu jąkania się opisuje urządzenie wspomagające leczenie lub łagodzenie skutków jąkania się. Składa się ono z dwóch słuchawek i mikrofonu połączonych ze wzmacniaczem oraz opóźniaczem, w którym sygnał ze wzmacniacza do jednej ze słuchawek jest opóźniony w stosunku do sygnału nadawanego do drugiej słuchawki. Jak wynika z wielu opublikowanych wyników badań nie jest to rozwiązanie optymalne w wię kszoś ci przypadków ją kania się , ponieważ skutek podniesienia pł ynnoś ci jest lepszy, wtedy kiedy oryginalny sygnał mowy jest zamaskowany echem, tak więc nadawanie oryginalnego sygnału do jednego z uszu pacjenta może zmniejszyć spodziewany efekt modyfikacji słuchowego (audytywnego) sprzężenia zwrotnego na płynność mowy.

Podobnie amerykański patent nr 4,662,847 opisuje urządzenie oraz metodę nadawania elektronicznych sygnałów mowy od użytkownika poprzez dwie ścieżki, z których jedna jest synchroniczna a druga asynchroniczna. Synchroniczny sygnał mowy jest nadawany podczas normalnych wypowiedzi mówcy, a przy każdym zatrzymaniu fonacji, urządzenie przełącza się na ścieżkę asynchroniczną i nadaje mowę w trybie opóź nionego audytywnego sprzężenia zwrotnego. Trwa to tak dł ugo aż zajdzie wcześniej wybrana zmiana w mowie użytkownika. Podstawowy problem związany z praktycznym zastosowaniem tego urządzenia to automatyczna detekcja artefaktów jąkania się związanych z zatrzymaniami mowy. Problem bierze się stąd, że zatrzymanie wypowiedzi nie zawsze wiąże się z jąkaniem.

PL 207 484 B1

Amerykański patent nr 4,685,448 wprowadza specyficzne rozwiązanie systemu pobierania mowy, która jest przenoszona do elektro-mechanicznego przetwornika dołączonego do zewnętrznej powierzchni obszaru krtaniowego lub głośni na szyi użytkownika, a następnie jest opóźniana, w podobny sposób jak w wielu innych korektorach mowy dla osób jąkających się.

Polski patent nr 168523 opisuje metodę cyfrowej korekcji mowy osób jąkających się, na drodze elektronicznego przetwarzania sygnału w akustycznej pętli sprzężenia zwrotnego, która dzieli uzyskany przez mikrofon lub mikrofon kontaktowy sygnał akustyczny mowy osoby jąkającej się na pasma częstotliwości, z których pasmo o większych częstotliwościach jest przenoszone w dziedzinie analogowej po wzmocnieniu do wyjścia przetwornika elektroakustycznego a niższe pasmo jest próbkowane i przetwarzane za pomocą konwertera analogowo-cyfrowego o regulowanej częstotliwości próbkowania. Sygnał uzyskany w ten sposób jest cyfrowo przesuwany w dół skali częstotliwości i jednocześnie opóźniany. W taki sposób przetworzony sygnał z niższego pasma częstotliwości jest następnie mieszany z górnopasmowym sygnałem analogowym i jako sygnał wyjściowy jest regulowany w zakresie amplitudy, po czym jest przesyłany do przetwornika elektroakustycznego, na przykład do słuchawek lub wibratora kostnego. Rozwiązanie opisane w tym patencie jest koncepcyjnie zaawansowane, natomiast technologicznie nienowoczesne, głównie z powodu dokonanego w minionym okresie postępu techniki cyfrowej oraz opracowania nowszych architektur systemów cyfrowego przetwarzania sygnałów i urządzeń komunikacyjnych. Ponadto w opisie patentowym jest mowa tylko o znanej metodzie wytwarzania echa oraz o przesuwaniu (transpozycji) widma mowy osoby korzystającej z urządzenia, podczas gdy możliwe jest skuteczne wykorzystanie do tego celu również innych metod przetwarzania sygnału, które dotyczą obecnego wynalazku, zaś nie zostały opisane w omawianym wynalazku i w innych wynalazkach znanych z literatury i opisów patentowych.

Wszystkie wymienione wyżej rozwiązania patentowe nie dotyczą bezpośrednio komputerów multimedialnych ani współczesnej techniki informatycznej i ich zastosowań w dziedzinie terapii mowy. Z kolei, znane programy komputerowe przeznaczone dla osób ją kających się , nie wykorzystują metod przetwarzania mowy w czasie rzeczywistym w celu dokonywania korekcji zaburzeń mowy. Na przykład oprogramowanie pod nazwą Fluency ™ jest skomputeryzowanym programem do celów terapii jąkania, oferowanym przez Speech Therapy Systems Ltd. (www.dfluency.com), natomiast Speak Gentle^® to program opublikowany w roku 1998 przez H. Waldena i W. Eggera. Programy te oferują różne ćwiczenia wymowy dla osób jąkających się i generują materiał do treningu. Natomiast brakuje im rozwiązań umożliwiających bezpośrednią elektroniczną korekcję mowy, dokonywaną na drodze modyfikowania audytywnej pętli sprzężenia zwrotnego oraz systemy te nie wykorzystują możliwości dokonywania komputerowej analizy mowy.

System do korekcji mowy zawierający mikrofon i przetwornik elektroakustyczny oraz środki do elektronicznego przetwarzania sygnału mowy według wynalazku charakteryzuje się tym, że składa się z komputera multimedialnego z dostępem do sieci komputerowej i z interfejsem fonicznym sprzężonego za pomocą cyfrowego złącza transmisyjnego z przenośnym cyfrowym korektorem mowy połączonym z mikrofonem i przetwornikiem elektroakustycznym oraz z zestawu algorytmów do cyfrowej analizy i do cyfrowej modyfikacji sygnałów mowy.

W korzystnym wariancie przenośny cyfrowy korektor mowy jest procesorem sygnałowym wyposażonym w pamięć z konwerterem analogowo-cyfrowym na wejściu i wzmacniaczem sygnału na wyjściu.

W jednym z wariantów przenoś ny cyfrowy korektor mowy umieszczony jest w obudowie aparatu słuchowego.

W innym wariancie przenośny cyfrowy korektor mowy umieszczony jest w aparacie telefonicznym.

W systemie zestaw algorytmów ma postać programów komputerowych zainstalowanych w komputerze multimedialnym.

W innym wariancie systemu zestaw algorytmów ma postać programów komputerowych udostępnianych w sieci komputerowej.

W kolejnym wariancie zestaw algorytmów ma postać programów komputerowych zainstalowanych w pamięci przenośnego cyfrowego korektora mowy.

Sposób korekcji mowy polegający na elektronicznej modyfikacji sygnałów mowy za pomocą jednej z metod przetwarzania sygnału fonicznego według wynalazku charakteryzuje się tym, że próbki mowy użytkownika odbierane przez mikrofon poddaje się analizie cyfrowej za pomocą aplikacji programowej zainstalowanej w komputerze multimedialnym i na podstawie jej wyników dokonuje się wyboru algorytmu modyfikacji sygnału fonicznego i jego parametrów. Następnie uruchamia się aplikację programową wybranego algorytmu modyfikacji sygnału fonicznego, za pomocą której modyfikuje się

PL 207 484 B1 sygnał mowy w czasie rzeczywistym w pętli słuchowego sprzężenia zwrotnego w torze od mikrofonu do wyjściowego przetwornika elektroakustycznego.

W sposobie według wynalazku próbki mowy użytkownika mogą być rejestrowane się w pamięci przenośnego cyfrowego korektora mowy, a następnie transmituje się je do komputera multimedialnego.

Aplikację programową wybranego algorytmu modyfikacji sygnału fonicznego uruchamia się na komputerze multimedialnym.

W innym wariancie sposobu według wynalazku, na podstawie analizy cyfrowej próbek mowy użytkownika programuje się przenośny cyfrowy korektor mowy i uruchamia w nim aplikację programową wybranego algorytmu modyfikacji sygnału fonicznego.

W korzystnym wariancie na podstawie analizy cyfrowej próbek mowy użytkownika implementuje się wybrany algorytm modyfikacji sygnału fonicznego w układach cyfrowych aparatu telefonicznego i przy jego użyciu przetwarza się w czasie rzeczywistym mowę użytkownika aparatu telefonicznego w torze od jego mikrofonu do jego przetwornika elektroakustycznego.

Możliwy jest też wariant sposób według wynalazku, w którym do pamięci przenośnego cyfrowego korektora mowy transmituje się z komputera multimedialnego materiał słowny przeznaczony do treningu mowy.

Wynalazek umożliwia oferowanie nowego rodzaju pomocy logopedycznych osobom z wadami wymowy, które to pomoce wykorzystują współczesne zdobycze technologii miniaturyzacji układów cyfrowych oraz możliwości wynikające z zastosowania do tego celu techniki komputerowej. W szczególności zminiaturyzowany przenośny cyfrowy korektor mowy dla osób jąkających się, możliwy jest do realizacji w kilku odmianach technologicznych, tzn. w formie aparatu przeznaczonego do noszenia w kieszeni koszuli, aparatu zausznego lub aparatu umieszczanego wewną trz przewodu sł uchowego. Wszystkie odmiany takiego aparatu mogą komunikować się z komputerem osobistym, w celu pobrania nastaw zmieniających ich tryb funkcjonowania. Rozwiązanie to jest szczególnie istotne w przypadku daleko idącej miniaturyzacji korektora mowy, gdyż w takim przypadku utrudniona jest jego bezpośrednia regulacja ręczna.

Przykład realizacji wynalazku zilustrowany jest rysunkiem, na którym fig. 1 przedstawia schemat blokowy systemu, a fig. 2 przedstawia schemat blokowy przenośnego cyfrowego korektora mowy.

System według wynalazku składa się z przenośnego cyfrowego korektora mowy 1 oraz z odpowiednio dostosowanego i zaprogramowanego komputera multimedialnego 2 sprzężonego z przenośnym cyfrowym korektorem mowy 1 za pomocą cyfrowego złącza transmisyjnego 3 i wyposażonego w interfejs foniczny 4. Przenośny cyfrowy korektor mowy 1 zaopatrzony jest w mikrofon 5 i przetwornik elektroakustyczny 6, którym mogą być słuchawki lub głośnik. Mikrofon 5 i przetwornik elektroakustyczny 6 mogą też być zestawem mikrofonowo-słuchawkowym. Interfejs foniczny 4 komputera multimedialnego 2 umożliwia podłączenie mikrofonu i przetwornika elektroakustycznego, w szczególnym przypadku może to być zestaw mikrofonowo-słuchawkowy wykorzystywany dla przenośnego cyfrowego korektora mowy 1.

Komputer multimedialny 2 wyposażony jest ponadto w narzędzia sprzętowe i programowe zapewniające dostęp do sieci komputerowej 7, za pomocą której może przesyłać do innych komputerów lub pobierać z nich próbki mowy, bądź nastawy algorytmów do modyfikowania mowy w zwrotnej pętli sprzężenia słuchowego. Głównym elementem przenośnego cyfrowego korektora mowy 1 jest procesor sygnałowy 8 połączony z pamięcią 9. Do jego wejścia dołączony jest mikrofon 5, za pośrednictwem konwertera analogowo-cyfrowego 10, natomiast do jego wyjścia dołączony jest, poprzez wzmacniacz sygnału 11, przetwornik elektroakustyczny 6, w przykładowym rozwiązaniu w postaci słuchawek. Przenośny cyfrowy korektor mowy 1 jest dodatkowo zaopatrzony w regulator głośności 12, umożliwiający jego użytkownikowi ustawienie odpowiedniego poziomu dźwięku.

Sposób korekcji mowy w przykładowej realizacji przebiega w następujących krokach. Próbki mowy użytkownika odbierane za pomocą mikrofonu 5 dołączonego do komputera multimedialnego 2 za pośrednictwem interfejsu fonicznego 4 poddaje się analizie cyfrowej za pomocą jednej z aplikacji programowych zainstalowanych na tym komputerze multimedialnym 2. Na podstawie wyników tej analizy, komunikowanych użytkownikowi w dowolnej formie, podejmuje on decyzję o wyborze algorytmu modyfikacji sygnału fonicznego. Następnie aplikacja programowa wybranego algorytmu transmitowana jest za pośrednictwem cyfrowego złącza transmisyjnego 3 do pamięci 9 przenośnego cyfrowego korektora mowy 1, na którym jest uruchamiana. Sygnał mowy osoby używającej przenośnego cyfrowego korektora mowy 1 jest pobierany za pomocą mikrofonu 5 i przetwarzany za pomocą wybranego algorytmu w czasie rzeczywistym w pętli słuchowego sprzężenia zwrotnego, tj. w torze od mikroPL 207 484 B1 fonu 5 do przetwornika elektroakustycznego 6 w postaci słuchawek dołączonych do wyjścia przenośnego korektora.

Najbardziej istotnym elementem rozwiązania według wynalazku jest programowane za pośrednictwem komputera miniaturowe urządzenie do elektronicznej korekcji mowy stanowiące przenośny cyfrowy korektor mowy 1. Urządzenie to, które dzięki miniaturyzacji, może być noszone przez pacjenta w kieszeni, za uchem lub wewną trz przewodu słuchowego, dokonuje modyfikacji sygnału mowy w pętli słuchowego sprzężenia zwrotnego, tzn. na drodze od mikrofonu odbierającego mowę pacjenta do zminiaturyzowanej słuchawki umieszczonej w uchu pacjenta lub słuchawek, które pacjent nosi w obojgu uszach.

Przenośny cyfrowy korektor mowy 1 może być umieszczony w obudowie stosowanej w znanych aparatach słuchowych. W niektórych wykonaniach konwerter analogowo-cyfrowy 2, procesor sygnałowy 3, pamięć 4 i wyjściowy wzmacniacz sygnału 5 mogą wchodzić w skład jednej struktury scalonej.

W systemie, a zwłaszcza we wchodzącym w jego skład procesorze sygnałowym 8, mogą być implementowane algorytmy modyfikujące sygnał w słuchowej pętli sprzężenia zwrotnego, w tym algorytmy, które dotychczas nie były stosowane w urządzeniach dla osób z wadami mowy. Algorytmy te i zwłaszcza parametry i nastawy określające sposób ich działania mogą być przekazywane do procesora sygnałowego 3 lub poprzez ten procesor do pamięci 9 przenośnego cyfrowego korektora mowy 1 w postaci danych binarnych nadawanych z zewnę trznego komputera multimedialnego 2, poprzez cyfrowe złącze transmisyjne 3, które może mieć postać złącza przewodowego lub bezprzewodowego. Złącze to może być także wykorzystywane według wynalazku do odbierania z komputera multimedialnego 2 i przekazywania do procesora sygnałowego 8 lub do jego pamięci 9 sygnałów dźwiękowych w postaci próbek binarnych, w szczególności sygnału mowy w postaci cyfrowej. Moż liwy jest także w rozwiązaniu według wynalazku odwrotny do powyższego kierunek transmisji próbek dźwiękowych poprzez cyfrowe złącze transmisyjne 3, tzn. sygnały odbierane przez mikrofon 5 po ich przetworzeniu na postać cyfrową w konwerterze analogowo-cyfrowym 10, są kierowane przez procesor sygnałowy 8 do złącza lub najpierw przechowywane są w pamięci 9, a później kierowane do cyfrowego złącza transmisyjnego 3, skąd trafiają do zewnętrznego komputera multimedialnego 2 w celu ich zapisania, analizy, odtworzenia lub przesłania do innych komputerów w sieci komputerowej 7 lub elektronicznych urządzeń do analizy, rejestracji lub odtwarzania dźwięku.

Przenośny cyfrowy korektor mowy może tworzyć według wynalazku zestaw współpracujący z komputerem osobistym, dzięki czemu możliwe staje się bardziej efektywne korzystanie z elektronicznej protetyki mowy. W związku z powyższym, zakłada się, że użytkownik korektora mowy ma do dyspozycji typowy komputer multimedialny, wyposażony dodatkowo w złącze transmisyjne, pozwalające na sprzęganie tego komputera z cyfrowym korektorem mowy. Złącze to, zrealizowane jako przewodowe lub bezprzewodowe, może transmitować sygnały cyfrowe na podczerwieni lub na falach radiowych, przykładowo w oparciu o znany standard dwukierunkowej transmisji sygnałów BlueTooth^TM. Na komputerze, z którym połączony jest cyfrowy korektor mowy uruchamiane jest oprogramowanie lokalne lub sieciowe, spełniające określone funkcje. Przenośny cyfrowy korektor mowy wraz z komputerem, do którego może być dołączany, tworzy zaawansowany system pomocy logopedycznej.

Pierwszą w kolejności funkcją systemu według wynalazku jest komputerowa analiza sygnału mowy artykułowanej przez pacjenta, dokonywana wówczas, gdy pacjent czyta głośno fragmenty odpowiednio dobranego tekstu wyświetlanego na ekranie monitora komputerowego. W celu zrealizowania tej funkcji w komputerze uruchomione zostaje oprogramowanie do analizy mowy odbieranej za pośrednictwem typowego mikrofonu lub z mikrofonu cyfrowego korektora mowy. W tym drugim przypadku, kiedy analizowany sygnał odbierany jest przez miniaturowy cyfrowy korektor mowy, korektor ten połączony jest z komputerem za pośrednictwem złącza transmisyjnego. Oprogramowanie komputera jest wyposażone w funkcję detekcji nieprawidłowo artykułowanych elementów mowy. Na podstawie analizy głosu pacjenta komputer może podejmować automatyczną diagnozę, dotyczącą występowania ewentualnej wady wymowy i stopnia jej nasilenia. Analiza mowy, stosowana w tym celu, może obejmować detekcję i zliczanie powtórzeń fonemów lub sylab lub wyrazów, ponadto może uwzględniać automatyczną detekcję i zliczanie przerw w fonacji oraz detekcję i zliczanie przedłużeń samogłosek występujących w mowie osób jąkających się. Z kolei komputer może informować pacjenta, u którego zdiagnozowana została potencjalna wada wymowy o liczbie i o rodzaju wykrytych nieprawidłowości. Ponadto, co jest istotne z punktu widzenia wynalazku, użytkownik cyfrowego korektora mowy i oprogramowania komputerowego ma do dyspozycji moż liwość zaprogramowania za pomocą komputera sposobu działania używanego przez siebie korektora mowy, poprzez wybór algorytmu jego dzia6

PL 207 484 B1 łania i wybór parametrów (nastaw) tego algorytmu. Programowanie to odbywa się na zasadzie wyboru przez użytkownika rodzaju algorytmu modyfikacji pętli słuchowego sprzężenia zwrotnego i ustawienia wartości jego parametrów oraz przesłania tych nastaw z komputera do korektora mowy.

W przypadku występowania wady mowy polegaj ą cej na ją kaniu się , zasadniczym elementem terapii jest ćwiczenie płynnej wymowy przy zastosowaniu algorytmu modyfikacji sygnałów dokonywanej w pętli słuchowego sprzężenia zwrotnego, a więc w torze sygnałowym prowadzącym od mikrofonu używanego przez pacjenta do używanych przez niego słuchawek. Modyfikatorem sygnałów w tej pętli może być według wynalazku cyfrowy korektor mowy albo komputer wyposażony w znaną kartę dźwiękową wraz ze znanym zestawem mikrofonowo-słuchawkowym, na którym to komputerze uruchomiono program powodujący w czasie rzeczywistym modyfikację sygnału mowy, odbieranego za pomocą mikrofonu. W ten sposób wspomaganie mowy osoby jąkającej się może być dokonywane zarówno przez miniaturowy aparat wspomagający mowę, jak i przez znany komputer osobisty, za pomocą którego dokonywane jest przetwarzanie sygnału według podobnych algorytmów, jakie używane są w wyspecjalizowanym aparacie, czyli w cyfrowym korektorze mowy.

Algorytmy modyfikacji mowy w pętli audytywnego sprzężenia zwrotnego mogą polegać na znanym opóźnianiu sygnału, o wartość wynosząca typowo od 20 ms do 200 ms albo na generowaniu wielokrotnego echa lub na przesuwaniu widma sygnału wzdłuż skali częstotliwości, typowo w dół tej skali o wartość od 1/8 oktawy do 1 oktawy. Ponadto, korzystne jest według wynalazku zastosowanie innych, nie stosowanych wcześniej w urządzeniach wspomagających artykulację mowy, metod przetwarzania sygnału, takich jak: multiplikatywna kompresja widma lub wytwarzanie efektu chóralnego lub przedłużanie czasu trwania mowy (transpozycja czasowa) lub wytwarzanie głosu innego mówcy, na drodze prowadzenia analizy głosu użytkownika i dokonywania w oparciu o jej wyniki resyntezy nowego głosu, o zmienionym brzmieniu. Wykorzystanie dowolnej spośród powyżej określonych metod zmierza do zmiany warunków, w jakich odbywa się kontrola słuchowa własnej mowy przez osobę jąkającą się. Wymienione powyżej nowe zastosowania metod modyfikacji mowy w pętli audytywnego sprzężenia zwrotnego odznaczają się korzystnymi własnościami z punktu widzenia skuteczności wpływu ma poprawę płynności mowy osób jąkających się.

Wymieniona powyżej nowa metoda modyfikacji słuchowej pętli sprzężenia zwrotnego, polegająca na multiplikatywnej kompresji lub ekspansji widma różni się w sposób istotny od znanej metody przesunięcia (transpozycji) widma mowy tym, że w metodzie multiplikatywnej kompresji lub ekspansji widma, częstotliwość każdej składowej widmowej zostaje podzielona przez liczbę, z przedziału typowo od 0,2 do 2, podczas gdy w metodzie przesunięcia widma od każdej składowej zostaje odjęta pewna stała wartość częstotliwości. Wynik metody multiplikatywnej kompresji lub ekspansji widma różni się, zatem, w sposób istotny od wyniku przesunięcia widma, m.in. tą korzystną cechą, że po dokonaniu operacji multiplikatywnej kompresji lub ekspansji, widmo mowy zachowuje pierwotne wartości stosunków częstotliwości zawartych w nim składowych, podczas kiedy po przeprowadzeniu operacji przesunięcia widma, istniejące stosunki harmoniczne w widmie mowy zostają zmienione. W związku z tym, metoda multiplikatywnej kompresji lub ekspansji widma może bardziej skutecznie oddziaływać na mechanizm wytwarzania mowy osoby jąkającej się, niż metoda przesuwania widma, gdyż sygnał zwrotny otrzymywany tą metodą może być przez osobę jąkającą się wykorzystany w lepszym stopniu do samokontroli procesu mówienia.

Wytwarzanie zwielokrotnionego brzmienia mowy, czyli efektu chóralnego, pozwala według wynalazku na poprawę płynności artykułowania mowy przez osoby korzystające z cyfrowego korektora mowy lub z komputera używanego do wspomagania procesu artykułowania mowy. Efekt chóralny wytwarzany jest według wynalazku poprzez wprowadzenie do sygnału mowy, odbieranej przez mikrofon cyfrowego korektora mowy, niewielkich opóźnień o wartości zmieniającej się w sposób losowy typowo w przedziale wartości od 100 mikrosekund do 10 milisekund. Opóźnienia te są generowane i wprowadzane do sygnał u mowy przez zaprogramowany w tym celu procesor sygnał owy korektora mowy lub komputera.

Kolejną metodą modyfikowania słuchowej pętli sprzężenia zwrotnego według wynalazku, możliwą i korzystną do zastosowania w cyfrowym korektorze mowy, jest transpozycja czasowa mowy. Transpozycja ta jest realizowana w ten sposób, że próbki sygnału odbieranego przez mikrofon korektora mowy są zapisywane w pamięci buforowej procesora sygnałowego wchodzącego w skład układu elektronicznego korektora mowy. Następnie, zapisane pakiety próbek, zawierające typowo od 128 do 4096 kolejnych próbek sygnału, podlegają znanej analizie algorytmicznej, której celem jest określanie, czy zapisany pakiet próbek reprezentuje sygnał mowy dźwięcznej użytkownika, czy reprezentuje chwiPL 207 484 B1 lową pauzę w artykulacji, względnie odebrane przez mikrofon sygnały odpowiadające bezdźwięcznym fonemom mowy. W przypadku, gdy na podstawie takiej analizy zostanie określone, że w danej chwili nie jest artykułowana mowa dźwięczna, to procesor cyfrowego korektora mowy może ponownie przesłać na swoje wyjście ostatnio zapisane w pamięci buforowej fragmenty mowy dźwięcznej. Sposób ten prowadzi w praktyce do przedłużania odtwarzania fragmentów mowy dźwięcznej, które jest odbierane słuchowo jako wrażenie spowolnienia artykulacji mowy, korzystne z punktu widzenia zastosowań w cyfrowym aparacie lub w programie komputerowym do wspomagania mowy osób ją kają cych się .

Jeszcze jedną metodą modyfikowania słuchowej pętli sprzężenia zwrotnego, możliwą według wynalazku do zastosowania w cyfrowym korektorze mowy, jest aplikacja znanej analizy-resyntezy mowy w odniesieniu do sygnałów odbieranych przez mikrofon cyfrowego korektora mowy lub sygnałów poddawanych przetwarzaniu przez program komputerowy przeznaczony do wspomagania procesu artykułowania mowy. Analiza sygnału mowy polega przy tym na podzieleniu pasma akustycznego na podzakresy częstotliwości, typowo o liczbie tych podzakresów częstotliwości wynoszącej od dwóch do dwudziestu czterech i na wykonaniu w każdym podzakresie znanej ekstrakcji formantów mowy. Następnie dane o częstotliwościach i poziomach tych formantów mowy są wykorzystywane do amplitudowego zmodulowania tymi przebiegami formantowymi przebiegu okresowego lub prawieokresowego lub szumowego, który pełni rolę sztucznego tonu krtaniowego. Otrzymany w ten sposób przetworzony cyfrowo sygnał mowy ma zmienione w stosunku do pierwotnego brzmienie, tak jak gdyby mowę artykułowała inna osoba, niż oryginalny mówca, lub mowa ta była artykułowana jako bezdźwięczna, czyli jako szept. Zmiana tonu krtaniowego w pętli słuchowego sprzężenia zwrotnego również może wpływać korzystnie na proces artykulacji.

Cyfrowy korektor mowy według wynalazku może automatycznie wstrzymywać przetwarzanie sygnałów sposobami według opisanych powyżej algorytmów modyfikacji sygnałów w zwrotnej pętli sprzężenia audytywnego, gdy jego użytkownik przestaje mówić. W ten sposób realizowana jest funkcja klucza głosowego w cyfrowym korektorze mowy, który w okresach, gdy użytkownik milczy, przełącza korektor w tryb przekazywania na swoje wyjście sygnału odbieranego przez mikrofon, bez dokonywania modyfikacji tego sygnału, względnie wyłącza zasilanie części swoich obwodów, w celu zaoszczędzenia poboru energii ze źródła zasilania

Wybrany i dopasowany do potrzeb pacjenta algorytm modyfikowania sygnału mowy, w szczególności znany i stosowany wcześniej do tego celu algorytm opóźnieniowy lub algorytm przesuwania widma mowy albo jeden z innych algorytmów możliwych do zastosowania do celu modyfikowania słuchowej pętli sprzężenia zwrotnego, zostaje przesłany z komputera do cyfrowego korektora mowy. Cyfrowy korektor mowy według wynalazku może być następnie używany przez pacjenta w warunkach życia codziennego, a więc bez potrzeby stałego korzystania przez niego z rozpatrywanego stanowiska komputerowego. Użytkownik może także korzystać z oprogramowania komputerowego, które przetwarza sygnał mowy w pętli słuchowego sprzężenia zwrotnego bez potrzeby używania korektora w formie aparatu, jeżeli wykorzystywany komputer jest wyposażony w mikrofon i słuchawki i odpowiednie oprogramowanie.

Alternatywnym sposobem korzystania z cyfrowego korektora mowy jest według wynalazku implementacja algorytmów modyfikowania sygnału mowy w pętli słuchowego sprzężenia zwrotnego w układach cyfrowych wchodzących w skład aparatu telefonicznego, w szczególności w układach cyfrowych znajdujących się we wnętrzu znanego telefonu komórkowego lub wchodzących w skład sieci cyfrowej, z którą łączy się ten aparat. Aparat taki, jeżeli zostanie w nim zaprogramowany jeden z opisanych powyżej algorytmów modyfikacji sygnału mowy, może być według wynalazku wykorzystywany przez osobą jąkającą się w ten sposób, że mowa współrozmówcy tej osoby jest odtwarzana przez ten aparat w normalny sposób, podczas gdy mowa osoby korzystającej z tego aparatu jako z cyfrowego korektora mowy jest przetwarzana w torze od mikrofonu do sł uchawki lub gł o ś nika tego aparatu według algorytmów modyfikujących sygnał mowy.

W przypadku pacjentów mających trudności z rozumieniem mowy lub pragnących ćwiczyć powtarzanie określonego materiału fonetycznego na podstawie wzorców, do pamięci cyfrowego korektora mowy według wynalazku może być także przetransmitowany materiał słowny do prowadzenia treningu, który to materiał pacjent może systematycznie odsłuchiwać w celach treningowych. Ponadto przenośny cyfrowy korektor mowy może być używany także do rejestracji sygnału mowy jego użytkownika w pamięci wewnętrznej, która to zarejestrowana mowa może być także przetransmitowana do komputera w celu jej odsłuchiwania lub prowadzenia analiz umożliwiających określanie poprawności jej artykułowania.

PL 207 484 B1

Wynalazek dotyczy poszerzonego i bardziej efektywnego wykorzystania dostępnej technologii miniaturowych procesorów sygnałowych oraz komputerów osobistych do budowy elektronicznych pomocy logopedycznych, w których stosowane jest cyfrowe przetwarzanie sygnałów w czasie rzeczywistym oraz wykorzystywane są właściwości współczesnych komputerów multimedialnych.

Ponadto, wyżej określony cyfrowy korektor mowy może pobierać z pamięci komputera do własnej pamięci materiał fonetyczny do ćwiczeń logopedycznych a także przesyłać próbki mowy do komputera w celu ich analizy. Miniaturowy korektor mowy, wykonany w formie kieszonkowej lub przypominający swoją budową znane aparaty słuchowe, wykonywane w technologii ITC (In-The-Canal) lub CIC (Completely-In-the-Canal), jest programowany jako układ wytwarzający echo, względnie dokonujący znanej transpozycji widmowej mowy lub przetwarzający sygnał mowy w oparciu o jeden z algorytmów modyfikacji sygnału mowy w pętli audytywnego sprzężenia zwrotnego.

Oprogramowanie komputerowe, działające według koncepcji systemu będącej przedmiotem wynalazku, może być instalowane lokalnie lub udostępniane poprzez sieć komputerową. Oprogramowanie to w sposób istotny wspomaga podstawowe zadania logopedy, w zakresie diagnostyki i rehabilitacji wad wymowy oraz nieprawidłowego artykułowania mowy, w szczególności wady mowy polegającej na jąkaniu się.

System diagnostyczno-rehabilitacyjny, oparty na rozwiązaniach będących przedmiotem obecnego wynalazku, znacząco ułatwia diagnostykę wad mowy i problemów związanych z rozumieniem mowy. Ponadto zapewnia on bezpośredni dostęp do narzędzi elektronicznego korygowania wad mowy, szczególnie mowy osób jąkających się, które to narzędzia ułatwiają bezpośrednie dopasowanie nastaw elektronicznej protezy mowy, czyli cyfrowego korektora mowy, do aktualnych potrzeb pacjenta. Rozwiązania będące przedmiotem wynalazku tworzą nową jakość w dziedzinie terapii logopedycznej i foniatrycznej.

Claims (13)

1. Zastrzeżenia patentowe

   1. System do korekcji mowy zawierający mikrofon i przetwornik elektroakustyczny oraz środki do elektronicznego przetwarzania sygnału mowy, znamienny tym, że składa się z komputera multimedialnego (2) z dostępem do sieci komputerowej (7) i z interfejsem fonicznym (4) sprzężonego za pomocą cyfrowego złącza transmisyjnego (3) z przenośnym cyfrowym korektorem mowy (1) połączonym z mikrofonem (5) i przetwornikiem elektroakustycznym (6) oraz z zestawu algorytmów do cyfrowej analizy i do cyfrowej modyfikacji sygnałów mowy.
2. 2. System według zastrz. 1, znamienny tym, że przenośny cyfrowy korektor mowy (1) jest procesorem sygnałowym (8) wyposażonym w pamięć (9) z konwerterem analogowo-cyfrowym (10) na wejściu i wzmacniaczem sygnału na wyjściu (11).
3. 3. System według zastrz. 2, znamienny tym, że przenośny cyfrowy korektor mowy (1) umieszczony jest w obudowie aparatu słuchowego.
4. 4. System według zastrz. 2, znamienny tym, że przenośny cyfrowy korektor mowy (1) umieszczony jest w aparacie telefonicznym.
5. 5. System według zastrz. 1, albo 2, albo 3, albo 4, znamienny tym, że zestaw algorytmów ma postać programów komputerowych zainstalowanych w komputerze multimedialnym.
6. 6. System według zastrz. 1, albo 2, albo 3, albo 4, znamienny tym, że zestaw algorytmów ma postać programów komputerowych udostępnianych w sieci komputerowej.
7. 7. System według zastrz. 1, albo 2, albo 3, albo 4, znamienny tym, że zestaw algorytmów ma postać programów komputerowych zainstalowanych w pamięci (9) przenośnego cyfrowego korektora mowy (1).
8. 8. Sposób korekcji mowy polegający na elektronicznej modyfikacji sygnałów mowy za pomocą jednej z metod przetwarzania sygnału fonicznego, znamienny tym, że próbki mowy użytkownika odbierane przez mikrofon (5) poddaje się analizie cyfrowej za pomocą aplikacji programowej zainstalowanej w komputerze medialnym (2) i na podstawie jej wyników dokonuje się wyboru algorytmu modyfikacji sygnału fonicznego i jego parametrów, a następnie uruchamia się aplikację programową wybranego algorytmu modyfikacji sygnału fonicznego, za pomocą której modyfikuje się sygnał mowy w czasie rzeczywistym w pę tli sł uchowego sprzężenia zwrotnego w torze od mikrofonu (5) do wyjściowego przetwornika elektroakustycznego (6).

   PL 207 484 B1
9. 9. Sposób według zastrz. 8, znamienny tym, ż e próbki mowy użytkownika rejestruje się w pamię ci przenoś nego cyfrowego korektora mowy (1), a nastę pnie transmituje do komputera multimedialnego (2) wybranego algorytmu modyfikacji sygnału fonicznego uruchamia się na komputerze multimedialnym (2).
10. 10. Sposób według zastrz. 8 albo 9, znamienny tym, że aplikację programową wybranego algorytmu modyfikacji sygnału fonicznego uruchamia się na komputerze multimedialnym (2).
11. 11. Sposób według zastrz. 8 albo 9, znamienny tym, że na podstawie analizy cyfrowej próbek mowy użytkownika programuje się przenośny cyfrowy korektor mowy (1) i uruchamia w nim aplikację programową wybranego algorytmu modyfikacji sygnału fonicznego.
12. 12. Sposób według zastrz. 8 albo 9, znamienny tym, że na podstawie analizy cyfrowej próbek mowy użytkownika implementuje się wybrany algorytm modyfikacji sygnału fonicznego w układach cyfrowych aparatu telefonicznego i przy jego użyciu przetwarza się w czasie rzeczywistym mowę użytkownika aparatu telefonicznego w torze od jego mikrofonu do jego przetwornika elektroakustycznego.
13. 13. Sposób według zastrz. 8, znamienny tym, że do pamięci (9) przenośnego cyfrowego korektora mowy (1) transmituje się z komputera multimedialnego (2) materiał słowny przeznaczony do treningu mowy.