PL240238B1 - Sposób i układ do bezkontaktowej interakcji z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym - Google Patents

Description

PL 240 238 B1

Opis wynalazku

Przedmiotem wynalazku jest sposób i układ do bezkontaktowej interakcji z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym.

Z opisu patentowego US 20070130547 znany jest sposób rozpoznawania ruchów palca dłoni w powietrzu i generowania akcji przekazywanej przez wykonywane gesty. W jednym z wariantów wynalazku gesty rozpoznawane są za pośrednictwem kamery zawartej w urządzeniu mobilnym oraz generowania dźwięków słyszalnych jako potwierdzenie odebrania gestu typowym sygnałem dźwiękowym.

Z opisu patentowego US 20080089587 znany jest sposób użycia intuicyjnych gestów dynamicznych i statycznych do aktywacji kursora myszy, emulowania kliknięcia przycisków myszy. W opisanym sposobie wykorzystano metodę przetwarzania obrazu opartą na odejmowaniu ramek.

Z opisu patentowego US20090181724 A1 znane jest wykorzystanie ultradźwięków w kontekście generowania sprzężenia czuciowego, w ten sposób, że ultradźwięki generują drgania na powierzchni urządzenia mobilnego, lecz nie wywołują wrażenia dotyku za pośrednictwem fali akustycznej w otoczeniu, a ponadto urządzenie nie wykorzystuje wizyjnego systemu rozpoznawania gestów.

Z opisu patentowego US20060187215 znany jest sposób wywoływania wrażenia czuciowego podczas używania touchpad'a albo innych urządzeń poprzez drgania, pulsacje i wibracje generowane elektro-mechanicznie przez układy znajdujące się pod urządzeniem. Wynalazek ten nie dotyczy wizyjnego systemu rozpoznawania gestów.

Z opisu patentowego US20070085828 znane jest urządzenie dotyczące zdalnego sterowania komputerem z wykorzystaniem matrycy przetworników ultradźwiękowych. Pozycja palca wskazującego jest przeliczana na pozycję kursora myszy na ekranie.

Wynalazek umożliwia poprawę sterowania komputerem. Gesty rozpoznawane są z wykorzystaniem modalności ultradźwiękowej. Wynalazek nie umożliwia wykorzystania modalności wizyjnej.

Z opisu patentowego US20070236450 znane jest urządzenie do generowania dotykowego wrażenia podczas korzystania z urządzenia. Wynalazek dotyczy modulowania drgań ultradźwiękowych odczuwalnych na powierzchni danego przycisku wyświetlanego na ekranie, przy czym sprzężenie zwrotne powstaje podczas fizycznego kontaktu użytkownika z przyciskiem na urządzeniu.

Z opisu patentowego US5760530 znana jest matryca zbudowana z przetworników piezoelektrycznych. Wrażenie dotykowe generowane jest po dotknięciu matrycy lub ekranu, w wyniku drgań przetworników mających odpowiednio wysoką amplitudę w miejscu kontaktu użytkownika z powierzchnią urządzenia, co stymuluje odpowiednie wrażenie czuciowe. Powstałe drgania nie są na tyle silne, aby odczuwanie wrażenia mogło odbywać się bez fizycznego kontaktu z urządzeniem.

Nie są znane sposoby ani urządzenia wykorzystujące łącznie układ rozpoznawania gestów oraz ultradźwiękowy generator bezkontaktowego sprzężenia czuciowego, zwłaszcza w zastosowaniach w urządzeniach mobilnych.

Wynalazek dotyczy bezdotykowej interakcji z urządzeniami mobilnymi, ze zwrotnym sprzężeniem czuciowym, charakteryzujący się połączeniem modalności wizyjnej i ultradźwiękowej. Część wizyjna wynalazku charakteryzuje się możliwością rozpoznawania gestów wykonywanych przez użytkownika na przykład dłońmi wykonywanych przed urządzeniem mobilnym. Gesty dłoni interpretowane są tak, jak gdyby użytkownik wykonywał typowe gesty palcem dotykając powierzchni ekranu dotykowego. Na podstawie danych uzyskanych w części wizyjnej, część ultradźwiękowa generuje skoncentrowaną wiązkę ultradźwiękową skierowaną w kierunku ciała użytkownika. Drgania powietrza i ciśnienie akustyczne wynikające z propagowania fal ultradźwiękowych powodują bodźce czuciowe odbierane przez użytkownika pomimo braku fizycznego kontaktu z tym urządzeniem.

Sposób bezkontaktowej interakcji użytkownika z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym, charakteryzuje się według wynalazku tym, że z odebranego z kamery sygnału wizyjnego, za pomocą układu do przetwarzania wstępnego, uzyskuje się pierwszy wstępnie przetworzony sygnał, zawierający reprezentację gestu manualnego w obrazie, który następnie przesyła się do układu rozpoznawania gestów manualnych, w którym w układzie do detekcji obiektów sterujących, z wykorzystaniem zaimplementowanego pierwszego algorytmu służącego do detekcji obiektów sterujących w obrazie, rozdziela się na pierwszy sygnał deskrypcyjny i drugi sygnał deskrypcyjny. W pierwszym sygnale deskrypcyjnym wykrywa się gesty statyczne za pomocą układu do detekcji gestów statystycznych, z wykorzystaniem drugiego algorytmu rozpoznawania gestów statycznych, korzystnie opartego o zasadę wektorów nośnych. Uzyskany pierwszy sygnał wynikowy przesyła się do układu decyzyjne

PL 240 238 B1 go. W drugim sygnale deskrypcyjnym wykrywa się gesty dynamiczne za pomocą układu do detekcji gestów dynamicznych, z wykorzystaniem trzeciego algorytmu rozpoznawania gestów dynamicznych, korzystnie opartego na analizie prędkości i kierunku wektorów ruchu. Uzyskany drugi sygnał wynikowy przesyła się do układu decyzyjnego, w którym z wykorzystaniem czwartego algorytmu wykorzystującego dane i funkcje przypisane poszczególnym gestom, uzyskuje się sygnał decyzyjny. Uzyskany sygnał decyzyjny przesyła się do układu sprzężenia czuciowego, w którym przy pomocy układu przetwarzania sygnału, przy wykorzystaniu piątego algorytmu służącego do koncentrowania wiązki ultradźwiękowej, generuje się pierwszy sygnał sterujący i drugi sygnał sterujący. Pierwszy sygnał sterujący przesyła się do modulatorów, po czym modulujący sygnał oraz drugi sygnał sterujący przesyła się do generatora częstotliwości ultradźwiękowej, zaś zmodulowany sygnał wzmacnia się przy pomocy wzmacniacza. Uzyskany sygnał wzmocniony przesyła się do przetworników ultradźwiękowych, z których sygnał informacyjny w postaci wiązki ultradźwięków kieruje się w stronę obiektu sterującego, korzystnie dłoni użytkownika. Wiązkę ultradźwiękową sygnału informacyjnego formuje się, w ten sposób, aby pojedyncze wiązki generowane przez poszczególne przetworniki ultradźwiękowe zbiegały się w jednym punkcie ogniskowym, korzystnie na dłoni użytkownika.

Korzystnie z układu przetwarzania wstępnego z wykorzystaniem szóstego algorytmu zaimplementowanego w układzie konwersji formatów obrazów wykorzystującego występujące zależności w przestrzeni barwowej, formuje się drugi wstępnie przetworzony sygnał, zawierający reprezentację gestu manualnego w obrazie, który następnie przesyła się do układu rozpoznawania gestów manualnych, w którym w drugim układzie do detekcji gestów dynamicznych z wykorzystaniem zaimplementowanego siódmego algorytmu służącego do detekcji gestów dynamicznych w obrazie, rozdziela się na trzeci sygnał deskrypcyjny i czwarty sygnał deskrypcyjny. Z układu do detekcji gestów dynamicznych, z wykorzystaniem trzeciego algorytmu rozpoznawania gestów dynamicznych uzyskuje się piąty sygnał deskrypcyjny, po czym czwarty sygnał deskrypcyjny porównuje się z piątym sygnałem deskrypcyjnym w drugim układzie decyzyjnym, z wykorzystaniem ósmego algorytmu podejmowania wspólnej decyzji. Następnie uzyskany trzeci sygnał wynikowy oraz trzeci sygnał deskrypcyjny przesyła się do pierwszego układu decyzyjnego, w którym z wykorzystaniem czwartego algorytmu wykorzystującego dane i funkcje przypisane poszczególnym gestom uzyskuje się sygnał decyzyjny, który przesyła się do układu sprzężenia czuciowego.

Korzystnie, w układzie do detekcji obiektów sterujących z wykorzystaniem zaimplementowanego pierwszego algorytmu służącego do detekcji obiektów sterujących w obrazie, rozdziela się na pierwszy sygnał deskrypcyjny i drugi sygnał deskrypcyjny oraz szósty sygnał deskrypcyjny. Szósty sygnał deskrypcyjny przesyła się do układu sprzężenia czuciowego, w którym przy pomocy układu przetwarzania sygnału, przy wykorzystaniu piątego algorytmu służącego do formowania i koncentrowania wiązki ultradźwiękowej w oparciu o współrzędne X, Y, oraz korzystnie Z, położenia obiektu sterującego, generuje się pierwszy sygnał sterujący i drugi sygnał sterujący.

Układ do bezkontaktowej interakcji z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym, charakteryzuje się według wynalazku tym, że układ do rozpoznawania gestów manualnych składa się z układu do detekcji obiektów sterujących, w którym zaimplementowany jest pierwszy algorytm służący do detekcji obiektów sterujących w obrazie. Pierwszy układ do detekcji obiektów sterujących połączony jest z układem decyzyjnym poprzez układ do detekcji gestów statystycznych, w którym zaimplementowany jest drugi algorytm rozpoznawania gestów statycznych, oraz poprzez układ do detekcji gestów dynamicznych, w którym zaimplementowany jest trzeci algorytm rozpoznawania gestów dynamicznych. W układzie decyzyjnym zaimplementowany jest czwarty algorytm wykorzystujący dane i funkcje przypisane poszczególnym gestom. Układ decyzyjny połączony jest z układem przetwarzania sygnału znajdującym się w układzie sprzężenia czuciowego, w którym zaimplementowany jest piąty algorytm służący do koncentrowania wiązki ultradźwiękowej. Układ przetwarzania sygnału połączony jest z modulatorami, a także z generatorem częstotliwości ultradźwiękowej, który połączony jest ze wzmacniaczem, do którego dołączone są przetworniki ultradźwiękowe.

Korzystnie, układ decyzyjny połączony jest bezpośrednio z drugim układem do detekcji gestów dynamicznych, w którym zaimplementowany jest siódmy algorytm służący do detekcji gestów dynamicznych w obrazie. Układ do detekcji gestów dynamicznych połączony jest z pierwszym układ decyzyjnym pośrednio poprzez drugi układ decyzyjny. Drugi układ do detekcji gestów dynamicznych połączony jest z drugim układem decyzyjnym, w którym zaimplementowany jest ósmy algorytm rozpoznawania gestów dynamicznych. Układ do detekcji gestów dynamicznych korzystnie połączony jest

PL 240 238 B1 z układem przetwarzania wstępnego poprzez układ konwersji formatów obrazów, w którym zaimplementowany jest szósty algorytm wykorzystujący występujące zależności w przestrzeni barwowej.

Korzystnie, układ do detekcji obiektów sterujących połączony jest z układem przetwarzania sygnału, w którym zaimplementowany jest piąty algorytm służący do formowania i koncentrowania wiązki ultradźwiękowej w oparciu o współrzędne X,Y oraz korzystnie Z, położenia obiektu sterującego.

Wynalazek jest bliżej przedstawiony w przykładach wykonania i na rysunku na którym na fig. 1 przedstawiono ogólny schemat układu według wynalazku, na fig. 2-5 warianty realizacji wynalazku, na fig. 6 schemat rozmieszczenia przetworników ultradźwiękowych na obwodzie urządzenia mobilnego, fig. 7 schemat emisji sygnałów ultradźwiękowych, a na fig. 8 przedstawiono przykładowo wykonywane gesty za pomocą dłoni użytkownika.

P r z y k ł a d 1

Jak pokazano na fig. 1, urządzenie mobilne UM, w postaci telefonu komórkowego, zaopatrzone jest w kamerę KA i ekran EK oraz zawiera układ do przetwarzania wstępnego UW, układ do rozpoznawania gestów manualnych UG i układ sprzężenia czuciowego US.

Jak pokazano na fig. 2, układ do przetwarzania wstępnego UW składa się z komponentu pozyskiwania obrazów 13 uzyskanych z kamery KA i przesyłanych do buforu 14, który połączony jest szeregowo poprzez układ do konwersji formatów obrazu 12 i układ segmentacji tła/dłoni 15 z układem filtracji szumów w obrazie 16.

W układzie do rozpoznawania gestów manualnych UG, wykonywanych przez obiekt sterujący OS, którym są dłonie użytkownika, znajduje się pierwszy układ do detekcji obiektów sterujących 1. Pierwszy układ do detekcji obiektów sterujących 1 połączony jest poprzez układ do detekcji gestów statystycznych 2 i niezależnie poprzez układ do detekcji gestów dynamicznych 3 z pierwszym układem decyzyjnym 4.

Pierwszy układ decyzyjny 4 połączony jest z układem przetwarzania sygnału 5 znajdującym się w układzie sprzężenia czuciowego US. Układ przetwarzania sygnału 5 połączony jest poprzez modulatory 6 z generatorem częstotliwości ultradźwiękowej 7. Układ przetwarzania sygnału 5 połączony jest także poprzez generator częstotliwości ultradźwiękowej 7 ze wzmacniaczem 8. Do wzmacniacza 8 dołączone są przetworniki ultradźwiękowe 9.

W układzie do detekcji obiektów sterujących 1 implementuje się pierwszy algorytm AL1 służący do detekcji w obrazie obiektu sterującego OS, którymi są dłonie użytkownika ukształtowane w formie różnych gestów. W układzie do detekcji gestów statystycznych 2 implementuje się drugi algorytm AL2 do rozpoznawania gestów statycznych wykonywanych przez użytkownika wykorzystujący zasadę wektorów nośnych.

W układzie do detekcji gestów dynamicznych 3 implementuje się trzeci algorytm AL3 rozpoznawania gestów dynamicznych wykonywanych obiektem sterującym OS oparty na analizie prędkości i kierunku wektorów ruchu.

W układzie decyzyjnym 4 implementuje się czwarty algorytm AL4 wykorzystujący dane i funkcje przypisane poszczególnym gestom wykonywanym przez obiekt sterujący OS.

W układzie przetwarzania sygnału 5 implementuje się piąty algorytm AL5 służący do koncentrowania wiązki ultradźwiękowej.

Dookoła ekranu EK urządzenia mobilnego UM rozmieszcza się przetworniki ultradźwiękowe 9. Przetworniki ultradźwiękowe 9 rozmieszcza się tak, aby zostało wykorzystane zjawisko kolimacji wiązki ultradźwiękowej pozwalające na skoncentrowanie energii akustycznej emitowanej przez wszystkie przetworniki ultradźwiękowe 9 w punkcie ogniskowym P nad urządzeniem mobilnym UM. W punkcie ogniskowym P poziom ultradźwiękowego ciśnienia akustycznego generowanego przez wszystkie przetworniki ultradźwiękowe 9 jest odpowiednio wysoki i stanowi 140 dB SPL - 200 Pa.

W trakcie używania urządzenia mobilnego UM kamera KA rejestruje ruch obiektu sterującego OS, którymi są dłonie użytkownika.

Strumień wizyjny O pozyskany przez komponent pozyskiwania obrazów 13 z kamery KA zapisywany jest w postaci poszczególnych klatek w buforze 14. W zależności od przestrzeni barwowej, w jakiej operuje kamera KA, klatka obrazu pozyskana z bufora 14 poddawana jest konwersji do odpowiedniej przestrzeni barwowej z wykorzystaniem układu konwersji formatów obrazu 12. Następnie obraz podawany jest na układ segmentacji tła/dłoni 15. Wynik podawany jest do układu filtracji zniekształceń szumów w obrazie 16.

Uzyskany przetworzony sygnał A1 z układu do przetwarzania wstępnego UW przesyła się do układu rozpoznawania gestów manualnych UG.

PL 240 238 B1

W układzie do detekcji gestów manualnych 1, z wykorzystaniem zaimplementowanego pierwszego algorytmu AL1, służącego do detekcji obiektów sterujących w obrazie, rozdziela się przetworzony sygnał A1 na pierwszy sygnał deskrypcyjny B1 i drugi sygnał deskrypcyjny B2.

W pierwszym sygnale deskrypcyjnym B1 wykrywa się gesty statyczne za pomocą układu do detekcji gestów statystycznych 2, z wykorzystaniem drugiego algorytmu AL2, służącego do rozpoznawania gestów statycznych. W wyniku tej operacji uzyskiwana jest informacja o geście statycznym wykonanym przez użytkownika tj. kształt, w jaki uformował dłoń. Uzyskany pierwszy sygnał wynikowy C1 przesyła się do pierwszego układu decyzyjnego 4.

W drugim sygnale deskrypcyjnym B2 wykrywa się gesty dynamiczne za pomocą układu do detekcji gestów dynamicznych 3, z wykorzystaniem trzeciego algorytmu AL3 rozpoznawania gestów dynamicznych. Wynikiem jest informacja o geście dynamicznym wykonanym za pomocą dłoni użytkownika tj. o sekwencji ruchów o określonej trajektorii.

Uzyskany drugi sygnał wynikowy C2 przesyła się do pierwszego układu decyzyjnego 4, w którym z wykorzystaniem czwartego algorytmu AL4 wykorzystującego dane i funkcje przypisane poszczególnym gestom uzyskuje się sygnał decyzyjny D.

Pierwszy układ decyzyjny 4 umożliwia powiązanie gestu dynamicznego z określonym gestem statycznym.

Następnie uzyskany sygnał decyzyjny D przesyła się do układu sprzężenia czuciowego US, w którym przy pomocy układu przetwarzania sygnału 5, przy wykorzystaniu piątego algorytmu AL5 służącego do koncentrowania wiązki ultradźwiękowej, generuje się pierwszy sygnał sterujący E1 i drugi sygnał sterujący E2.

Pierwszy sygnał sterujący E1 przesyła się do modulatorów 6, po czym zmodulowany sygnał F oraz drugi sygnał sterujący E2 przesyła się do generatora częstotliwości ultradźwiękowej 7. Zmodyfikowany sygnał H wzmacnia się przy pomocy wzmacniacza 8, a uzyskany wzmocniony sygnał J przesyła się do przetworników ultradźwiękowych 9, z których sygnał informacyjny K w postaci wiązki ultradźwięków kieruje się w stronę użytkownika.

Wiązkę ultradźwiękową sygnału informacyjnego K formuje się w ten sposób, aby pojedyncze wiązki generowane przez poszczególne przetworniki ultradźwiękowe 9 zbiegały się w jednym punkcie ogniskowym P na obiekcie sterującym OS, czyli na dłoni użytkownika.

Odebrany przez dłoń użytkownika sygnał ultradźwiękowy stanowi potwierdzenie wykonanej akcji za pomocą gestu. Potwierdzenie wykonanego gestu uwidocznione jest również na ekranie EK urządzenia mobilnego UM poprzez wykonanie akcji.

W celu wykonania połączenia telefonicznego użytkownik wykonuje gesty statyczne za pomocą dłoni tj. poprzez ich uformowanie dłoni w kształt przedstawiony na fig. 8.

Fakt rozpoznania gestu zostaje potwierdzony wygenerowaniem w kierunku dłoni użytkownika impulsu ultradźwiękowego, co uwidocznione zostaje na ekranie EK. Jednocześnie uruchomiona zostaje aplikacja umożliwiająca realizowanie połączeń telefonicznych z aktywną zakładką ostatnio zrealizowanych połączeń. Użytkownik wykonujący gest dynamiczny polegający na ruchu ręki w prawo z dłonią uformowaną w kształt przedstawiony na fig. 6a powoduje przejście do następnej w kolejności zakładki kontaktów. Użytkownik dłonią uformowaną w dalszym ciągu w kształt pokazany na fig. 8a powoduje przewinięcie ruchem do góry listy kontaktów. Użytkownik zatrzymuje przewijanie listy kontaktów poprzez uformowanie dłoni w kształt pokazany na fig. 8b i trzymanie jej nieruchomo. Punkt lokalizujący dłoń odzwierciedlany jest na ekranie EK urządzenia mobilnego UM w postaci koła podświetlającego osobę, do której zamierza zadzwonić użytkownik. Przytrzymanie przez użytkownika dłoni uformowanej w kształt pokazany na fig. 8c przez określony czas, który definiowany jest w urządzeniu mobilnym UM w oknie ustawień aplikacji zarządzającej, powoduje zainicjowanie połączenia telefonicznego z wybraną osobą. Jednocześnie przetworniki ultradźwiękowe 9 generują zmodulowany sygnał ultradźwiękowy, który jest odczuwalny przez obiekt sterujący OS tj. dłoń użytkownika jako drgania.

Bezkontaktowe sprzężenie czuciowe informuje użytkownika, że gest, który wykonał został poprawnie odczytany, a także daje użytkownikowi wrażenie fizycznego kontaktu z urządzeniem mobilnym UM pomimo, że kontakt był bezdotykowy.

P r z y k ł a d 2

Układ zbudowany jest jak opisano w przykładzie 1 i pokazano na fig. 4, z tym że do pierwszego układu decyzyjnego 4 dołączony jest bezpośrednio drugi układ do detekcji gestów manualnych 10, a ponadto do pierwszego układu decyzyjnego 4 dołączony jest pośrednio drugi układ do detekcji ge-

Claims (6)

1. PL 240 238 B1 stów dynamicznych 10 poprzez drugi układ decyzyjny 11. Drugi układ do detekcji gestów dynamicznych 10 połączony jest z układem konwersji formatów 12. Układ do detekcji gestów dynamicznych 3 połączony jest z drugim układem decyzyjnym 11.

   W drugim układzie do detekcji gestów dynamicznych 10 implementuje się siódmy algorytm AL7 służący do detekcji gestów dynamicznych w obrazie. W drugim układzie decyzyjnym 11 implementuje się ósmy algorytm AL8 podejmowania decyzji o rozpoznanym geście dynamicznym. W układzie konwersji formatów 12 implementuje się szósty algorytm AL6 wykorzystujący występujące zależności w przestrzeni barwowej.

   Przepływ sygnałów w układzie odbywa się tak jak opisano w przykładzie 1, z tym, że z układu przetwarzania wstępnego UW z wykorzystaniem szóstego algorytmu AL6 w układzie konwersji formatów obrazów 12, formuje się drugi wstępnie przetworzony sygnał A2, zawierający reprezentację gestu manualnego w obrazie, który następnie przesyła się do układu rozpoznawania gestów manualnych UG.

   W drugim układzie do detekcji gestów dynamicznych 10 z wykorzystaniem zaimplementowanego siódmego algorytmu AL7 służącego do detekcji gestów dynamicznych w obrazie, rozdziela się na trzeci sygnał deskrypcyjny B3 i czwarty sygnał deskrypcyjny B4.

   Z układu do detekcji gestów dynamicznych 3, z wykorzystaniem trzeciego algorytmu AL3 rozpoznawania gestów dynamicznych uzyskuje się piąty sygnał deskrypcyjny B5.

   Czwarty sygnał deskrypcyjny B4 porównuje się z piątym sygnałem deskrypcyjnym B5 w drugim układzie decyzyjnym 11, z wykorzystaniem ósmego algorytmu AL8 podejmowania wspólnej decyzji.

   Uzyskany trzeci sygnał wynikowy C3 oraz trzeci sygnał deskrypcyjny B3 przesyła się do pierwszego układu decyzyjnego 4. W układzie decyzyjnym 4 z wykorzystaniem czwartego algorytmu AL4 wykorzystującego dane i funkcje przypisane poszczególnym gestom uzyskuje się sygnał decyzyjny D, który przesyła się do układu sprzężenia czuciowego US.

   Po czym postępuje dalej jak opisano w przykładzie 1.

   P r z y k ł a d 3

   Układ zbudowany jest jak opisano w przykładzie 1 i pokazano na fig. 3, z tym, że układ przetwarzania sygnału 5 połączony jest z układem do detekcji obiektów sterujących 1.

   W układzie do detekcji obiektów sterujących 1 z wykorzystaniem zaimplementowanego pierwszego algorytmu AL1 służącego do detekcji obiektów sterujących w obrazie, rozdziela się na pierwszy sygnał deskrypcyjny B1 i drugi sygnał deskrypcyjny B2 oraz szósty sygnał deskrypcyjny B6. Uzyskany sygnał decyzyjny D oraz szósty sygnał deskrypcyjny B6 przesyłany z układu do detekcji obiektów sterujących, przesyła się do układu sprzężenia czuciowego US, w którym przy pomocy układu przetwarzania sygnału 5, przy wykorzystaniu piątego algorytmu AL5' służącego do formowania i koncentrowania wiązki ultradźwiękowej w oparciu o współrzędne X, Y, korzystnie Z, położenia obiektu sterującego - dłoni użytkownika, generuje się pierwszy sygnał sterujący E1 i drugi sygnał sterujący E2.

   P r z y k ł a d 4

   Układ zbudowany jest jak opisano w przykładzie 2 i pokazano na fig. 5, z tym, że układ przetwarzania sygnału 5 połączony jest z układem do detekcji obiektów sterujących 1.

   W układzie do detekcji obiektów sterujących 1 z wykorzystaniem zaimplementowanego pierwszego algorytmu AL1 służącego do detekcji obiektów sterujących w obrazie, rozdziela się na pierwszy sygnał deskrypcyjny B1 i drugi sygnał deskrypcyjny B2 oraz szósty sygnał deskrypcyjny B6. Uzyskany sygnał decyzyjny D oraz szósty sygnał deskrypcyjny B6 przesyłany z układu do detekcji obiektów sterujących, przesyła się do układu sprzężenia czuciowego US, w którym przy pomocy układu przetwarzania sygnału 5, przy wykorzystaniu piątego algorytmu AL5' służącego do formowania i koncentrowania wiązki ultradźwiękowej w oparciu o współrzędne X, Y, korzystnie Z, położenia obiektu sterującego - dłoni użytkownika, generuje się pierwszy sygnał sterujący E1 i drugi sygnał sterujący E2.

   Zastrzeżenia patentowe

   1. Sposób bezkontaktowej interakcji użytkownika z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym, polegający na rozpoznawaniu obiektu sterującego, korzystnie gestów manualnych, korzystnie wykonywanych dłońmi przed kamerą, analizowaniu uzyskanych sygnałów przez układ przetwarzania i generowaniu sygnałów wykonawczych i informacyjnych, znamienny tym, że z odebranego z kamery (KA) sygnału wizyjnego (O), za pomocą układu

   PL 240 238 B1 do przetwarzania wstępnego (UW), uzyskuje się pierwszy wstępnie przetworzony sygnał (A1), zawierający reprezentację gestu manualnego w obrazie, który następnie przesyła się do układu rozpoznawania gestów manualnych (UG), w którym w układzie do detekcji obiektów sterujących (1) z wykorzystaniem zaimplementowanego pierwszego algorytmu (AL1) służącego do detekcji obiektów sterujących w obrazie, rozdziela się na pierwszy sygnał deskrypcyjny (B1) i drugi sygnał deskrypcyjny (B2), po czym w pierwszym sygnale deskrypcyjnym (B1) wykrywa się gesty statyczne za pomocą układu do detekcji gestów statystycznych (2), z wykorzystaniem drugiego algorytmu (AL2) rozpoznawania gestów statycznych, korzystnie opartego o zasadę wektorów nośnych, po czym uzyskany pierwszy sygnał wynikowy (C1) przesyła się do układu decyzyjnego (4), a w drugim sygnale deskrypcyjnym (B2) wykrywa się gesty dynamiczne za pomocą układu do detekcji gestów dynamicznych (3), z wykorzystaniem trzeciego algorytmu (AL3) rozpoznawania gestów dynamicznych, korzystnie opartego na analizie prędkości i kierunku wektorów ruchu, po czym uzyskany drugi sygnał wynikowy (C2) przesyła się do układu decyzyjnego (4), w którym z wykorzystaniem czwartego algorytmu (AL4) wykorzystującego dane i funkcje przypisane poszczególnym gestom, uzyskuje się sygnał decyzyjny (D), po czym uzyskany sygnał decyzyjny (D) przesyła się do układu sprzężenia czuciowego (US), w którym przy pomocy układu przetwarzania sygnału (5), przy wykorzystaniu piątego algorytmu (AL5) służącego do koncentrowania wiązki ultradźwiękowej, generuje się pierwszy sygnał sterujący (E1) i drugi sygnał sterujący (E2), przy czym pierwszy sygnał sterujący (E1) przesyła się do modulatorów (6), po czym modulujący sygnał (F) oraz drugi sygnał sterujący (E2) przesyła się do generatora częstotliwości ultradźwiękowej (7), zaś zmodulowany sygnał (H) wzmacnia się przy pomocy wzmacniacza (8), a uzyskany sygnał wzmocniony (J) przesyła się do przetworników ultradźwiękowych (9), z których sygnał informacyjny (K) w postaci wiązki ultradźwięków kieruje się w stronę obiektu sterującego (OS), korzystnie dłoni użytkownika, przy czym wiązkę ultradźwiękową sygnału informacyjnego (K) formuje się, w ten sposób, aby pojedyncze wiązki generowane przez poszczególne przetworniki ultradźwiękowe zbiegały się w jednym punkcie ogniskowym (P), korzystnie na dłoni użytkownika.
2. 2. Sposób według zastrz. 1, znamienny tym, że z układu przetwarzania wstępnego (UW) z wykorzystaniem szóstego algorytmu (AL6) zaimplementowanego w układzie konwersji formatów obrazów (12) wykorzystującego występujące zależności w przestrzeni barwowej, formuje się drugi wstępnie przetworzony sygnał (A2), zawierający reprezentację gestu manualnego w obrazie, który następnie przesyła się do układu rozpoznawania gestów manualnych (UG), w którym w drugim układzie do detekcji gestów dynamicznych (10) z wykorzystaniem zaimplementowanego siódmego algorytmu (AL7) służącego do detekcji gestów dynamicznych w obrazie, rozdziela się na trzeci sygnał deskrypcyjny (B3) i czwarty sygnał deskrypcyjny (B4), zaś z układu do detekcji gestów dynamicznych (3), z wykorzystaniem trzeciego algorytmu (AL3) rozpoznawania gestów dynamicznych uzyskuje się piąty sygnał deskrypcyjny (B5), po czym czwarty sygnał deskrypcyjny (B4) porównuje się z piątym sygnałem deskrypcyjnym (B5) w drugim układzie decyzyjnym (11), z wykorzystaniem ósmego algorytmu (AL8) podejmowania wspólnej decyzji, a następnie uzyskany trzeci sygnał wynikowy (C3) oraz trzeci sygnał deskrypcyjny (B3) przesyła się do pierwszego układu decyzyjnego (4), w którym z wykorzystaniem czwartego algorytmu (AL4) wykorzystującego dane i funkcje przypisane poszczególnym gestom uzyskuje się sygnał decyzyjny (D), który przesyła się do układu sprzężenia czuciowego (US).
3. 3. Sposób według zastrz. 1 albo 2, znamienny tym, że w układzie do detekcji obiektów sterujących (1) z wykorzystaniem zaimplementowanego pierwszego algorytmu (AL1) służącego do detekcji obiektów sterujących w obrazie, rozdziela się na pierwszy sygnał deskrypcyjny (B1) i drugi sygnał deskrypcyjny (B2) oraz szósty sygnał deskrypcyjny (B6), zaś szósty sygnał deskrypcyjny (B6) przesyła się do układu sprzężenia czuciowego (US), w którym przy pomocy układu przetwarzania sygnału (5), przy wykorzystaniu piątego algorytmu (AL5') służącego do formowania i koncentrowania wiązki ultradźwiękowej w oparciu o współrzędne X, Y, oraz korzystnie Z, położenia obiektu sterującego (OS), generuje się pierwszy sygnał sterujący (E1) i drugi sygnał sterujący (E2).
4. 4. Układ do bezkontaktowej interakcji z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym, składający się z kamery, układu do przetwarzania wstępnego oraz układu rozpo

   PL 240 238 B1 znawania gestów manualnych, znamienny tym, że układ do rozpoznawania gestów manualnych (UG) składa się z układu do detekcji obiektów sterujących (1), w którym zaimplementowany jest pierwszy algorytm (AL1) służący do detekcji obiektów sterujących w obrazie, zaś pierwszy układ do detekcji obiektów sterujących (1) połączony jest z układem decyzyjnym (4) poprzez układ do detekcji gestów statystycznych (2), w którym zaimplementowany jest drugi algorytm (AL2) rozpoznawania gestów statycznych, oraz poprzez układ do detekcji gestów dynamicznych (3), w którym zaimplementowany jest trzeci algorytm (AL3) rozpoznawania gestów dynamicznych, zaś w układzie decyzyjnym (4) zaimplementowany jest czwarty algorytm (AL4) wykorzystujący dane i funkcje przypisane poszczególnym gestom, zaś układ decyzyjny (4) połączony jest z układem przetwarzania sygnału (5) znajdującym się w układzie sprzężenia czuciowego (US), w którym zaimplementowany jest piąty algorytm (AL5) służący do koncentrowania wiązki ultradźwiękowej, przy czym układ przetwarzania sygnału (5) połączony jest z modulatorami (6), a także z generatorem częstotliwości ultradźwiękowej (7), który połączony jest ze wzmacniaczem (8), do którego dołączone są przetworniki ultradźwiękowe (9).
5. 5. Układ według zastrz. 4, znamienny tym, że układ decyzyjny (4) połączony jest bezpośrednio z drugim układem do detekcji gestów dynamicznych (10), w którym zaimplementowany jest siódmy algorytm (AL7) służący do detekcji gestów dynamicznych w obrazie, zaś układ do detekcji gestów dynamicznych (10) połączony jest z pierwszym układ decyzyjnym (4) pośrednio poprzez drugi układ decyzyjny (11), przy czym drugi układ do detekcji gestów dynamicznych (3) połączony jest z drugim układem decyzyjnym (11), w którym zaimplementowany jest ósmy algorytm (AL8) rozpoznawania gestów dynamicznych, przy czym układ do detekcji gestów dynamicznych (10) korzystnie połączony jest z układem przetwarzania wstępnego (UW) poprzez układ konwersji formatów obrazów (12), w którym zaimplementowany jest szósty algorytm (AL6) wykorzystujący występujące zależności w przestrzeni barwowej.
6. 6. Układ według zastrz. 4 albo 5, znamienny tym, że układ do detekcji obiektów sterujących (1) połączony jest z układem przetwarzania sygnału (5), w którym zaimplementowany jest piąty algorytm (AL5') służący do formowania i koncentrowania wiązki ultradźwiękowej w oparciu o współrzędne X, Y oraz korzystnie Z, położenia obiektu sterującego (OS).