PL230604B1 - Sposob i uklad do bezdotykowej interakcji uzytkownika z urzadzeniami elektronicznymi i maszynami, zwlaszcza z telefonami i terminalami mobilnymi - Google Patents

Description

Opis wynalazku

Przedmiotem wynalazku jest sposób i układ do bezdotykowej interakcji użytkownika z urządzeniami elektronicznymi i maszynami, zwłaszcza z telefonami i terminalami mobilnymi.

Z opisu zgłoszenia wynalazku US20090181724 znany jest dotykowy wyświetlacz działający ze sprzężeniem wibracyjnym zwrotnym, który opiera się na zastosowaniu ultradźwięków w kontekście generowania sprzężenia czuciowego. Wynalazek umożliwia generację drgania na powierzchni urządzenia mobilnego, a nie wywołują wrażenia dotyku w otoczeniu. Wynalazek nie wykorzystuje wizyjnego systemu rozpoznawania gestów.

Z opisu zgłoszenia wynalazku US20100188327 znany jest elektroniczne urządzenie ze sprzężeniem zwrotnym, opierający się na generowaniu wrażenia dotykowego w czytniku ebooków, przy czym wrażenia czuciowe są generowane za pomocą pola magnetycznego, drgań silnika oraz przetworników piezoelektrycznych drgania przenoszone przez powierzchnię urządzenia.

Z opisu zgłoszenia wynalazku US20060187215 ujawniono sposób wywoływania wrażenia czuciowego podczas używania touchpad'a albo innych urządzeń poprzez drgania, pulsacje i wibracje generowane elektro-mechanicznie przez układy znajdujące się pod urządzeniem.

Ze zgłoszenia wynalazku US20070085828 znana jest ultradźwiękowa wirtualna mysz do zdalnego sterowania komputerem z wykorzystaniem matrycy przetworników ultradźwiękowych. Wynalazek wykorzystuje efekt Dopplera, tak, że pozycja palca wskazującego jest przeliczana na pozycję kursora myszy na ekranie. Wynalazek opiera się na sterowaniu komputerem. Wynalazek nie obejmuje zastosowania ultradźwięków do generowania sprzężenia dotykowego. Wynalazek nie umożliwia wykorzystania modalności wizyjnej.

Z opisu US5760530 znany jest piezoelektryczny dotykowy czujnik, w którym wykorzystuje się matryce zbudowaną z przetworników piezoelektrycznych. Wrażenie dotykowe generowane jest po dotknięciu matrycy/ekranu, drgania przetworników mają odpowiednio wysoką amplitudę w miejscu kontaktu użytkownika z powierzchnią urządzenia, co stymuluje odpowiednie wrażenie czuciowe. Sprzężenie generowane jest poprzez drgającą powierzchnię urządzenia. Wynalazek nie wykorzystuje ultradźwięków, ani drgań na tyle silnych, aby odczuwanie wrażenia mogło odbywać się bez fizycznego kontaktu z urządzeniem.

Z opisu zgłoszenia wynalazku US 2007/0130547 znany jest sposób i system bezdotykowej sterowania interfejsu opierający się na rozpoznawaniu ruchów palca dłoni w powietrzu - rysowanie liter, cyfr, i generowaniu akcji wpisywania treści. Gesty są rozpoznawane są za pośrednictwem kamery zawartej w urządzeniu mobilnym.

Z opisu zgłoszenia wynalazku US 2008/0089587 znany jest sposób rozpoznawania gestów dla telefonów komórkowych polegający na użyciu intuicyjnych gestów dynamicznych i statycznych do aktywacji kursora myszy.

Z opisu zgłoszenia wynalazku US 20130182539 znany jest sposób rozpoznawania gestów polegający na pozycjonowaniu obiektów - dłoni i/lub placów użytkownika z wykorzystaniem analizy sygnału ultradźwiękowego. Analiza oparta jest o porównanie zależności czasowych pomiędzy sygnałem odbitym bezpośrednio od obiektu a sygnałami odbitymi od innych obiektów i docierający ch do odbiornika wielodrożnie.

W opisie zgłoszenia wynalazku US 20120001875 ujawniono sposób i układ pozycjonowania obiektów - dłoni i/lub placów użytkownika oraz detekcji prostych gestów w oparciu o analizę sygnału pochodzącego z pojedynczego nadajnika ultradźwiękowego, który dochodzi do grupy odbiorników ultradźwiękowych rozmieszczonych w urządzeniu.

Nie są znane rozwiązania umożliwiające jednocześnie rozpoznawanie gestów na podstawie analizy fal ultradźwiękowych oraz sposób bezkontaktowego sprzężenia czuciowego, wykorzystujące ultradźwięki, zwłaszcza na platformach mobilnych.

Sposób bezkontaktowej interakcji użytkownika z urządzeniami mobilnymi, z wykorzystaniem gestów statycznych, charakteryzuje się według wynalazku tym, że formuję się matrycę w kształcie prostokąta w postaci wyprofilowanej półsferycznie płaszczyzny, przy czym wewnątrz prostokąta w układzie heksagonalnym, szeregowo i równolegle rozmieszcza się pojedyncze przetworniki, zaś przetworniki ultradźwiękowe typu nadajnik/odbiornik C umieszcza się stycznie do dwóch przeciwległych boków prostokąta, a przetworniki ultradźwiękowe typu nadajniki N rozmieszcza się na pozostałej powierzchni prostokąta, tak aby utworzyć strukturę kolumnową złożoną z równoległych kolumn. Implementuje się w pamięci urządzenia algorytm przyporządkujący poszczególne gesty i akcję dłoni i/lub palców, do sygnałów

PL 230 604 Β1 ultradźwiękowych odbieranych z przetworników ultradźwiękowych. Nad matrycą wykonuje się gesty dłońmi i/lub palcami, przy czym przy wykonaniu każdego pojedynczego gestu z przetworników ultradźwiękowych generuje się sondującą wiązkę ultradźwiękową o zadanych parametrach elektroakustycznych przez jedną z wybranych kolumn przetworników ultradźwiękowych, a wygenerowaną wiązkę ultradźwiękową kieruje się na dłonie i/lub palce. Następnie ponawia się wybór kolumny generującej wiązkę ultradźwiękową do chwili odbioru odbitej wiązki przez przetworniki ultradźwiękowe typu nadajnik/odbiornik C w kolumnie Kx i dokonuje się co najmniej trzech pomiarów do otrzymania danych do obliczeń zgodnych z zasadami triangulacji. Pierwszego pomiaru dokonuje się przy użyciu przetwornika typu nadajnik/odbiornik C, którym jest pomiar sumarycznego czasu przejścia wiązki ultradźwiękowej od nadajnika ultradźwiękowych typu nadajnik N z kolumny Kx do dłoni/palców i od dłoni/palców do nadajników ultradźwiękowych typu nadajnik /odbiornik C z kolumn Kx-1 lub Kx lub Kx+1 i w oparciu o zależność:

gdzie:

dx - odległość obiektu od przetwornika x, vus - prędkość ultradźwięku w powietrzu, t_n - moment zakończenia nadawania impulsu ultradźwiękowego przez przetwornik typu nadajnik/odbiornik C z kolumny K_x, tx - moment zakończenia odbierania impulsu ultradźwiękowego przez przetwornik typu nadajnik/odbiornik C,

K - współczynnik zależny od miejsca położenia przetworników ultradźwiękowych odbiorczych C względem przetwornika nadawczego N, przy czym w przypadku pierwszego pomiaru przyjmuje wartość 2, a w przypadku drugiego pomiaru i trzeciego pomiaru przyjmuje wartość 1.

Następnie dokonuje się drugiego pomiaru, zgodnie ze sposobem według pierwszego pomiaru z wyłączeniem przetwornika typu nadajnik-odbiornik C, wykorzystanego w pierwszym pomiarze. Dokonuje się trzeciego pomiaru zgodnie ze sposobem według pierwszego pomiaru z wyłączeniem kolumn wykorzystanych w pierwszym i drugim pomiarze, a na podstawie uzyskanych pomiarów metodami triangulacyjnymi ustala się położenie dłoni/palców. Po cyfrowej analizie gestów wykonanych dłońmi/palcami, na podstawie zaimplementowanego w pamięci urządzenia mobilnego algorytmu, przesyła sprzężenie zwrotne w postaci wiązki ultradźwiękowej w kierunku dłoni i/lub palców.

Układ do bezkontaktowej interakcji użytkownika z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym, charakteryzuje się tym, że centralny układ przetwarzania sygnałów połączony jest z generatorem częstotliwości nośnej, a także połączony jest poprzez modulatory z generatorem częstotliwości nośnej, który połączony jest z komutatorem sygnałów ultradźwiękowych. Komutator sygnałów ultradźwiękowych połączony jest poprzez sekcję wzmacniaczy sygnałowych z przetwornikami ultradźwiękowymi typu nadajnik oraz z przełącznikiem funkcji przetworników ultradźwiękowych typu nadajnik/odbiornik. Ponadto centralny układ przetwarzania sygnałów połączony jest zwrotnie z układem lokalizacji obiektu sterującego, który połączony poprzez blok akwizycji danych analogowych z filtrem górnoprzepustowym, który połączony jest przełącznikiem funkcji przetworników ultradźwiękowych. Centralny układ przetwarzania sygnałów połączony jest z bezpośrednio z komutatorem sygnałów ultradźwiękowych oraz przełącznikiem funkcji przetworników ultradźwiękowych, który połączony jest z przetwornikami ultradźwiękowymi typu nadajnik/odbiornik. W centralnym układzie przetwarzania sygnałów zaimplementowany jest pierwszy algorytm, realizujący generację sygnału sondującego i drugi algorytm wykorzystywany do detekcji i klasyfikacji gestów oraz trzeci algorytm służący do generacji sprzężenia czuciowego. W układzie lokalizacji obiektu sterującego zaimplementowany jest czwarty algorytm służący do lokalizacji obiektów sterującego w przestrzeni.

Wynalazek umożliwia bezdotykowy kontakt z urządzeniami mobilnymi ze zwrotnym sprzężeniem czuciowym. Wynalazek wykorzystuje modalność ultradźwiękową. Gesty palców są interpretowane w taki sposób, jak gdyby użytkownik fizycznie ingerował w urządzenie mobilne.

Wynalazek opisany jest bliżej w przykładzie wykonania i na rysunku, na którym fig. 1 przedstawia schemat układu, fig. 2 położenie przetworników w matrycy, fig. 3 matrycę w rzucie aksonometrycznym z widocznym heksagonalnym ułożeniem przetworników ultradźwiękowych w matrycy, fig. 4 widok urządzenia mobilnego z zamontowaną matrycą, fig. 5 widok okna aplikacji z klawiaturą z literami (a) i klawiaturą z liczbami i symbolami (b), fig. 6 widok okna aplikacji z zaznaczonymi klawiszami, nad którymi

PL 230 604 B1 znajdują się opuszki palców, fig. 7 widok okna aplikacji z zaznaczonymi klawiszami, nad którymi znajdują się opuszki palców i zaznaczoną opuszką palca, którym wybrano literę, fig. 8 widok okna aplikacji z zaznaczonymi klawiszami, nad którymi znajdują się opuszki palców: wskazującego i kciuka lewej ręki oraz wskazującego prawej ręki.

P r z y k ł a d

1. Budowa układu

Centralny układ przetwarzania sygnałów 1 połączony jest z generatorem częstotliwości nośnej 3, a także połączony jest poprzez modulatory 2 z generatorem częstotliwości nośnej 3. Generator częstotliwości nośnej 3 połączony jest z komutatorem sygnałów ultradźwiękowych 4. Komutator sygnałów ultradźwiękowych 4 połączony jest poprzez sekcję wzmacniaczy sygnałowych 5 z przetwornikami ultradźwiękowymi 6 typu nadajnik N oraz z przełącznikiem funkcji przetworników ultradźwiękowych 7 typu nadajnik/odbiornik C.

Centralny układ przetwarzania sygnałów 1 ponadto połączony jest zwrotnie z układem lokalizacji obiektu sterującego 10, który połączony poprzez blok akwizycji danych analogowych 9 z filtrem górnoprzepustowym 8, który połączony jest przełącznikiem funkcji przetworników ultradźwiękowych 7.

Centralny układ przetwarzania sygnałów 1 połączony jest bezpośrednio z komutatorem sygnałów ultradźwiękowych 4 oraz przełącznikiem funkcji przetworników ultradźwiękowych 7, który połączony jest z przetwornikami ultradźwiękowymi 6 typu kombinacyjnego C. W centralnym układzie przetwarzania sygnałów 1 zaimplementowany jest pierwszy algorytm AL1, realizujący generację sygnału sondującego i drugi algorytm AL2 wykorzystywany do detekcji i klasyfikacji gestów oraz trzeci algorytm AL3 służący do generacji sprzężenia czuciowego, w układzie lokalizacji obiektu sterującego 10 zaimplementowany jest czwarty algorytm AL4 służący do lokalizacji obiektów sterującego w przestrzeni.

2. Generowanie sygnału sondującego

Centralny układ przetwarzania sygnałów 1 w oparciu o pierwszy algorytm AL1 przesyła sygnał sondujący poprzez przełącznik funkcji 7 do przetworników ultradźwiękowych 6, które generują niesłyszalny i nieodczuwalny przez użytkownika sygnał ultradźwiękowy. Sygnał ten po odbiciu od obiektu sterującego OS tj. dłoni użytkownika wraca do centralnego układu przetwarzania sygnałów 1, który realizuje detekcję i klasyfikację gestów w oparciu o drugi algorytm AL2.

Centralny układ przetwarzania sygnałów 1 adaptacyjnie konfiguruje nastawy potrzebne do realizacji pierwszego algorytmu AL1 na podstawie danych otrzymanych w wyniku działania drugiego algorytmu AL2. Rozdzielczość sondowania pierwszego algorytmu AL1 jest zmniejszana w miejscach, w których drugi algorytm nie wykrył interakcji z użytkownikiem, natomiast zwiększana w tych sytuacjach, w których nastąpiła detekcja obiektu sterującego OS.

Pierwszy algorytm AL1 do poprawnego działania rezerwuje zasoby generatora częstotliwości nośnej 3, komutatora sygnałów ultradźwiękowych 4, sekcji wzmacniaczy sygnałowych 5, przetworników ultradźwiękowych 6, przy czym przetworniki 6 typu kombinacyjnego nadajnik odbiornik C są podłączone do sekcji wzmacniaczy sygnałowych 5 za pośrednictwem przełącznika funkcji przetworników 7, który ustawiony jest w tryb nadawania. Po zakończeniu działania pierwszego algorytmu AL 1 centralny układ przetwarzania 1 automatycznie rezerwuje zasoby i uruchamia drugi algorytm AL2.

3. Detekcja i analiza odbić sygnału sondującego

W momencie zakończenia realizacji pierwszego algorytmu AL1, automatycznie zostaje uruchomiony drugi algorytm AL2, którego podstawowa konfiguracja wymaga ustawienia przełącznika funkcji przetworników 7 w tryb odbioru. Sondujący sygnał ultradźwiękowy odbity od obiektu sterującego trafia do przetworników ultradźwiękowych typu kombinacyjnego i za pośrednictwem skonfigurowanego przełącznika funkcji przetworników 7 jest podawany do układu filtrującego 8, który tłumi sygnały nie należące do zakresu analizowanego pasma ultradźwiękowego. Przefiltrowany sygnał analogowy jest przekazywany do bloku akwizycji danych analogowych 9, w którym jest wzmacniany i dokonywana jest konwersja sygnału analogowego na postać cyfrową. W bloku akwizycji danych analogowych 9 realizowane jest również przetwarzanie wstępne, którego głównym celem jest bramkowanie szumów oraz przekazywanie sygnału do dalszej analizy przez układ lokalizacji obiektu sterującego 10, jedynie pod warunkiem przekroczenia określonego progu detekcji. Jeżeli sygnał cyfrowy spełnia określone parametry zostaje przekazany w formie cyfrowej do układu lokalizacji obiektu sterującego 10, który realizuje czwarty algorytm AL4. Wyniki działania czwartego algorytmu AL4 przekazywane są w formie deskryptorów do centralnego układu przetwarzania sygnałów 1, gdzie poddawane są klasyfikacji i analizie logicznej. Na podstawie przetwarzania deskryptorów zostaje podjęta decyzja o rodzaju wykrytego gestu, który został wykonany w trakcie sterowania. Wyróżniane są dwa typy gestów aktywujące i nieaktywujące sprzężenie czuciowe. Gesty aktywujące są to gesty, które po wykonaniu uruchamiają trzeci algorytm AL3 generacji

PL 230 604 Β1 sprzężenia czuciowego. Gesty nieaktywujące nie uruchamiają trzeciego algorytmu AL3, natomiast zmieniają nastawy pierwszego algorytmu AL1 w celu zwiększenia rozdzielczości detekcji w obrębie ustalonej lokalizacji obiektu sterującego.

4. Generacja sprzężenia czuciowego

W momencie detekcji gestu aktywującego sprzężenie zwrotne automatycznie uruchamiany jest trzeci algorytmu AL3, którego konfiguracja wymaga ustawienia przełącznika funkcji przetworników 7 w tryb nadawania. Informacja o lokalizacji obiektu sterującego zostaje wyekstrahowana z sygnału deskrypcyjnego pochodzącego z układu lokalizacji obiektu sterującego 10, który realizuje czwarty algorytm AL4.

Na podstawie oszacowanych współrzędnych X, Y i Z obiektu sterującego obliczane są opóźnienia fazowe sygnałów poszczególnych kanałów i modyfikowane są nastawy parametrów modulatorów 2, generatora częstotliwości ultradźwiękowej 3. Zmodulowany sygnał ultradźwiękowy trafia do komutatora sygnałów ultradźwiękowych 4, a następnie do wybranej części sekcji wzmacniaczy sygnałowych 5, wzmocniony sygnał ultradźwiękowy trafia do wybranych przetworników ultradźwiękowych 6, z tym, że przetworniki typu nadajnik/odbiornik połączone są z sekcją wzmacniaczy sygnałowych 5 przez przełącznik funkcji przetworników 7 ustawiony w tryb nadawania. Po zakończeniu realizacji trzeciego algorytmu AL3, zostają zmienione nastawy pierwszego algorytmu AL1 w celu zwiększenia rozdzielczości detekcji w obrębie ustalonej lokalizacji obiektu sterującego i ponownie uruchomiony zostaje pierwszy algorytm AL1.

5. Lokalizacja obiektu sterującego

Integralną częścią funkcjonowania algorytmu detekcji i analizy odbić sygnału sondującego AL2 jest czwarty algorytm AL4 realizujący lokalizację obiektu sterującego w przestrzeni w oparciu o pomiary danych służących do obliczeń triangulacyjnych.

Pierwszego pomiaru dokonuje się przy użyciu przetwornika 6 typu nadajnik odbiornik C, którym jest pomiar sumarycznego czasu przejścia wiązki ultradźwiękowej od nadajnika ultradźwiękowych 6 typu N z kolumny Kx do dłoni/palców OS i od dłoni/palców OS do nadajników ultradźwiękowych 6 typu C z kolumn Kx-1 lub Kx lub Kx+1 i w oparciu o zależność:

gdzie:

dx - odległość obiektu od przetwornika x, vus- prędkość ultradźwięku w powietrzu, t_n - moment zakończenia nadawania impulsu ultradźwiękowego przez przetwornik typu nadajnik/odbiornik C z kolumny Kx, tx - moment zakończenia obierania impulsu ultradźwiękowego przez przetwornik typu nadajnik odbiornik C.

Następnie dokonuje się drugiego pomiaru odległości dx2, według zależności:

dx2=/tn-tx/Vus, zgodnie ze sposobem według pierwszego pomiaru z wyłączeniem przetwornika 6 typu C wykorzystanego w pierwszym pomiarze. Dokonuje się trzeciego pomiaru odległości dx3 według zależności: dx3=/tn-tx/*Vus, zgodnie ze sposobem według pierwszego pomiaru z wyłączeniem kolumn wykorzystanych w pierwszym i drugim pomiarze. Na podstawie uzyskanych pomiarów metodami triangulacyjnymi ustala się położenie dłoni/palców OS, i po cyfrowej analizie gestów wykonanych dłońmi/palcami OS, na podstawie zaimplementowanego w pamięci urządzenia mobilnego algorytmu, przesyła sprzężenie zwrotne w postaci wiązki ultradźwiękowej w kierunku dłoni i palców OS.

6. Opis użycia ultradźwiękowego interfejsu człowiek/maszyna

Użytkownik w standardowy sposób, poprzez dotknięcie odpowiedniej ikony na ekranie, uruchamia na urządzeniu mobilnym aplikację współpracującą z urządzeniem według wynalazku. Aplikacja zawiera widok klawiatury, okno, w którym pojawia się wprowadzany tekst oraz przyciski oznaczone „ABC...” i „123...”, służące do zmiany klawiatury, odpowiednio na klawiaturę z literami lub klawiaturę z cyframi i symbolami (fig. 5).

W omawianym przykładzie, użytkownik korzystając z urządzenia według wynalazku zamierza wprowadzić w sposób bezkontaktowy do aplikacji na urządzeniu mobilnym adres Politechniki Gdańskiej: ul. Narutowicza 11/12

80-233 Gdańsk.

PL 230 604 Β1

W tym celu ustawia dłonie nad matrycą przetworników skierowane opuszkami palców w stronę matrycy. Punkty lokalizujące poszczególne opuszki palców wykryte przez układ odzwierciedlane są w postaci kół podświetlających klawisze na widoku klawiatury w oknie aplikacji. Aby wprowadzić literę „u” użytkownik wykonuje palcem wskazującym prawej dłoni szybki ruch symulujący uderzenie w klawisz. W momencie zakończenia ruchu palca wysyłany jest w kierunku jego opuszki impuls wygenerowany za pomocą generatora sygnałów ultradźwiękowych. Jednocześnie wybranie litery sygnalizowane jest na widoku klawiatury. W oknie wprowadzania tekstu pojawia się litera „u”.

Użytkownik w analogiczny sposób wprowadza pozostałe litery i kropkę. Aby wprowadzić liczby oraz znaki „/” i użytkownik kieruje wybrany palec nad przycisk „123...” i wirtualnie wciska go identycznym ruchem, jak przy wprowadzaniu tekstu. Powoduje to wyświetlenie widoku klawiatury z cyframi i symbolami (fig. 5b).

Nad matrycą przetworników nie muszą znajdować się wszystkie palce użytkownika, aby możliwe było wprowadzanie treści. Przykładowo użytkownik może wprowadzić cyfrę pierwszym palcem wskazującym lewej dłoni.

Litera „ń” w słowie „Gdańsk”, pomimo wprowadzenia przez użytkownika litery „n”, pojawia się automatycznie po wprowadzeniu całego słowa.

Claims (2)

Zastrzeżenia patentowe

1. Sposób bezkontaktowej interakcji użytkownika z urządzeniami elektronicznymi i maszynami, zwłaszcza z telefonami i terminalami mobilnymi, z wykorzystaniem gestów statycznych, polegający na rozpoznawaniu gestów manualnych, korzystnie wykonywanych dłońmi i/lub palcami w okolicach urządzenia mobilnego, analizowaniu uzyskanych sygnałów przez układ przetwarzania i generowaniu sygnałów wykonawczych i informacyjnych, znamienny tym, że formuje się matrycę (M) w kształcie prostokąta (P) w postaci wyprofilowanej półsferycznie płaszczyzny, przy czym wewnątrz prostokąta (P) w układzie heksagonalnym, szeregowo i równolegle rozmieszcza się pojedyncze przetworniki (6), zaś przetworniki ultradźwiękowe (6) typu nadajnik/odbiornik (C) umieszcza się na stycznie do dwóch przeciwległych boków (a-i, a2) prostokąta (P), a przetworniki ultradźwiękowe (6) typu nadajniki (N) rozmieszcza się na pozostałej powierzchni prostokąta (P), tak aby utworzyć strukturę kolumnową złożoną z równoległych kolumn (Κ1, K2, Kn), przy czym implementuje się w pamięci urządzenia algorytm przyporządkowujący poszczególne gesty i akcje dłoni i/lub palców (OS), do sygnałów ultradźwiękowych odbieranych z przetworników ultradźwiękowych (6), przy czym przyporządkowuje się w ten sposób, że przypisuje się do gestów i akcji poszczególne kolumny przetworników ultradźwiękowych (6) oraz parametry modulacji częstotliwości nośnej, po czym nad matrycą (M) wykonuje się gesty dłońmi i/lub palcami (OS), przy czym przy wykonaniu każdego pojedynczego gestu z przetworników ultradźwiękowych (6) generuje się sondująca wiązkę ultradźwiękową o zadanych parametrach elektroakustycznych przez jedną z wybranych kolumn (K1...n) przetworników ultradźwiękowych, a wygenerowaną wiązkę ultradźwiękową kieruje się na dłonie i/lub palce (OS), po czym ponawia się wybór kolumny generującej wiązkę ultradźwiękową do chwili odbioru odbitej wiązki przez przetworniki ultradźwiękowe (6) typu (C) w kolumnie (Kx) i dokonuje się co najmniej trzech pomiarów do otrzymania danych do obliczeń zgodnych z zasadami triangulacji, przy czym pierwszego pomiaru dokonuje się przy użyciu przetwornika (6) typu (C), którym jest pomiar sumarycznego czasu przejścia wiązki ultradźwiękowej od nadajnika ultradźwiękowych (6) typu C z kolumny Kx do dłoni/palców (OS) i od dłoni/palców (OS) do nadajników ultradźwiękowych (6) typu (C) z kolumn Kx-1 lub Kx lub Kx+1 i w oparciu o zależność: gdzie:

dx - odległość obiektu od przetwornika x, vus - prędkość ultradźwięku w powietrzu, t_n - moment zakończenia nadawania impulsu ultradźwiękowego przez przetwornik C z kolumny Kx, tx - moment zakończenia obierania impulsu ultradźwiękowego przez przetwornik C,

PL 230 604 B1

K - współczynnik zależny od miejsca położenia przetworników ultradźwiękowych odbiorczych (C) względem przetwornika nadawczego (N), przy czym w przypadku pierwszego pomiaru przyjmuje wartość 2, a w przypadku drugiego pomiaru i trzeciego pomiaru przyjmuje wartość 1, a następnie dokonuje się drugiego pomiaru, zgodnie ze sposobem według pierwszego pomiaru z wyłączeniem przetwornika ultradźwiękowego (6) typu nadajnik-odbiornik (C) wykorzystanego w pierwszym pomiarze, po czym dokonuje się trzeciego pomiaru zgodnie ze sposobem według pierwszego pomiaru z wyłączeniem kolumn wykorzystanych w pierwszym i drugim pomiarze, a na podstawie uzyskanych pomiarów metodami triangulacyjnymi ustala się położenie dłoni/palców (OS), i po cyfrowej analizie gestów wykonanych dłońmi/palcami (OS), na podstawie zaimplementowanego w pamięci urządzenia mobilnego algorytmu, przesyła sprzężenie zwrotne w postaci wiązki ultradźwiękowej w kierunku dłoni i/lub palców (OS).

2. Układ do bezkontaktowej interakcji użytkownika z urządzeniami mobilnymi, zwłaszcza telefonem komórkowym, znamienny tym, że centralny układ przetwarzania sygnałów (1) połączony jest z generatorem częstotliwości nośnej (3), a także połączony jest poprzez modulatory (2) z generatorem częstotliwości nośnej (3), który połączony jest z komutatorem sygnałów ultradźwiękowych (4), przy czym komutator sygnałów ultradźwiękowych (4) połączony jest poprzez sekcję wzmacniaczy sygnałowych (5) z przetwornikami ultradźwiękowymi (6) typu nadajnik (N) oraz z przełącznikiem funkcji przetworników ultradźwiękowych (7) typu nadajnik/odbiornik (C), a ponadto centralny układ przetwarzania sygnałów (1) połączony jest zwrotnie z układem lokalizacji obiektu sterującego (10), który połączony poprzez blok akwizycji danych analogowych (9) z filtrem górnoprzepustowym (8), który połączony jest przełącznikiem funkcji przetworników ultradźwiękowych (7), a także centralny układ przetwarzania sygnałów (1) połączony jest z bezpośrednio z komutatorem sygnałów ultradźwiękowych (4) oraz przełącznikiem funkcji przetworn ików ultradźwiękowych (7), który połączony jest z przetwornikami ultradźwiękowymi (6) typu kombinacyjnego (C), przy czym w centralnym układzie przetwarzania sygnałów (1) zaimplementowany jest pierwszy algorytm (AL1), realizujący generację sygnału sondującego i drugi algorytm (AL2) wykorzystywany do detekcji i klasyfikacji gestów oraz trzeci algorytm (AL3) służący do generacji sprzężenia czuciowego, zaś w układzie lokalizacji obiektu sterującego (10) zaimplementowany jest czwarty algorytm (AL4) służący do lokalizacji obiektów sterującego w przestrzeni.