PL230872B1

PL230872B1 - Method and the system for recognizing gestures, preferably by hand of a person simulating the touchless typing on a keyboard

Info

Publication number: PL230872B1
Application number: PL410002A
Authority: PL
Inventors: Andrzej Czyżewski; Janusz CICHOWSKI; Janusz Cichowski; Michał Lech
Original assignee: () Twórca(Y) Wynalazku Andrzej Czyzewski; Janusz Cichowski; Michal Lech; Politechnika Gdanska
Priority date: 2014-10-31
Filing date: 2014-10-31
Publication date: 2018-12-31
Also published as: PL410002A1

Description

Opis wynalazkuDescription of the invention

Znane są rozwiązania związane z zagadnieniem rozpoznawania gestów wykonywanych dłonią przez użytkowników urządzeń mobilnych.There are known solutions related to the issue of recognizing hand gestures by users of mobile devices.

Z opisu zgłoszenia wynalazku US 20100104134 znany jest sposób rozpoznawania ruchów palca dłoni w powietrzu i generowania akcji wpisywania treści. W jednym z wariantów użycia. Rozwiązanie nie opiera się na generowaniu ultradźwięków, ale sygnałów słyszalnych, wykorzystanych do potwierdzenia odebrania gestu typowym sygnałem dźwiękowym.From the description of the patent application US 20100104134 a method of recognizing the movements of a finger in the air and generating an action of entering content is known. In one of the variants of use. The solution is not based on generating ultrasounds, but audible signals, used to confirm receipt of the gesture with a typical sound signal.

Z opisu patentowego US 7,042,442 znany jest sposób i system rozpoznawania gestów naśladujących pisanie na klawiaturze, przy czym system pozyskuje obraz z kamery, a klawiatura może być wyświetlana za pomocą projektora zaś bodźcem zwrotnym jest dźwięk i obraz.From the patent description US 7,042,442 a method and a system for recognizing gestures imitating typing on a keyboard is known, the system acquires an image from the camera, and the keyboard can be displayed by a projector, and the feedback stimulus is sound and image.

Z opisu zgłoszenia wynalazku US 20080089587 znany jest sposób użycia intuicyjnych gestów dynamicznych i statycznych do aktywacji kursora myszy, emulowania kliknięcia lewego przycisku myszy i prawego przycisku myszy.From the description of the application of the invention US 20080089587 a method of using intuitive dynamic and static gestures to activate a mouse cursor, emulate a click of the left mouse button and the right mouse button is known.

Znane są rozwiązania związane z zagadnieniem wirtualnego dotykowego sprzężenia zwrotnego.There are known solutions related to the problem of virtual tactile feedback.

Z opisu zgłoszenia wynalazku US20090181724 A1 znane jest wykorzystanie ultradźwięków w kontekście generowania sprzężenia czuciowego, z tym, że ultradźwięki generują drgania na powierzchni urządzenia mobilnego, a nie wywołują wrażenia dotyku za pośrednictwem fali akustycznej w otoczeniu, a ponadto urządzenie nie wykorzystuje wizyjnego systemu rozpoznawania gestów.From the description of the application of the invention US20090181724 A1, it is known to use ultrasound in the context of generating sensory feedback, but the ultrasounds generate vibrations on the surface of the mobile device, and do not cause a touch sensation through an acoustic wave in the environment, and the device does not use a visual gesture recognition system.

Z opisu zgłoszenia wynalazku US20100188327 A1 znany jest sposób generowania wrażenia dotykowego w czytniku ebooków, z tym, że wrażenia czuciowe są generowane za pomocą pola magnetycznego, drgań silnika oraz przetworników piezoelektrycznych drgania przenoszone przez powierzchnię urządzenia. Rozwiązanie nie wykorzystuje ultradźwięków.From the description of the patent application US20100188327 A1, a method of generating a tactile impression in an e-book reader is known, but the sensory impressions are generated by means of a magnetic field, vibration of the motor and piezoelectric transducers, vibrations transmitted through the surface of the device. The solution does not use ultrasound.

Z opisu zgłoszenia wynalazku US20060187215 A1 znany jest sposób wywoływania wrażenia czuciowego podczas używania touchpad'a albo innych urządzeń poprzez drgania, pulsacje i wibracje generowane elektro-mechanicznie przez układy znajdujące się pod urządzeniem. Wynalazek nie wykorzystuje ultradźwięków oraz wizyjnego systemu rozpoznawania gestów.From the description of the patent application US20060187215 A1 there is known a method of creating a sensory impression when using a touchpad or other devices by vibrations, pulsations and vibrations generated electro-mechanically by systems located under the device. The invention does not use ultrasound and a visual gesture recognition system.

Z opisu zgłoszenia wynalazku US20070085828 A1 znane jest zdalne sterowanie komputerem z wykorzystaniem matrycy przetworników ultradźwiękowych. Z wykorzystaniem efektu Dopplera, pozycja palca wskazującego jest przeliczana na pozycję kursora myszy na ekranie. Rozwiązanie nie polega na zastosowaniu ultradźwięków do generowania sprzężenia dotykowego.From the description of the application of the invention US20070085828 A1 it is known to remotely control a computer using an array of ultrasonic transducers. Using the Doppler effect, the position of the index finger is converted to the position of the mouse cursor on the screen. The solution is not to use ultrasound to generate tactile feedback.

Z opisu zgłoszenia wynalazku US20070236450 A1 znany jest sposób oparty jest na modulowaniu drgań ultradźwiękowych odczuwalnych na powierzchni danego przycisku wyświetlanego na ekranie urządzenia, sprzężenie zwrotne powstaje podczas fizycznego kontaktu użytkownika z przyciskiem na urządzeniu. W rozwiązaniu nie jest generowane wirtualne wrażenie dotyku w wolnej przestrzeni z wykorzystaniem ultradźwięków, nie zostałwykorzystany wizyjny system rozpoznawania gestów.From the description of the patent application US20070236450 A1, a method is known based on the modulation of ultrasonic vibrations felt on the surface of a given button displayed on the screen of the device, the feedback is generated during the physical contact of the user with the button on the device. The solution does not generate a virtual touch sensation in free space with the use of ultrasounds, and the visual system for recognizing gestures is not used.

Z opisu patentowego US5760530 ujawniono matrycę zbudowaną z przetworników piezoelektrycznych. Wrażenie dotykowe generowane jest po dotknięciu matrycy/ekranu, drgania przetworników mają odpowiednio wysoką amplitudę w miejscu kontaktu użytkownika z powierzchnią urządzenia, co stymuluje odpowiednie wrażenie czuciowe. Sprzężenie generowane jest poprzez drgającą powierzchnię urządzenia, nie zastosowano ultradźwięków, ani drgań na tyle silnych, aby odczuwanie wrażenia mogło odbywać się bez fizycznego kontaktu z urządzeniem, nie ma zaznaczenia dotyczącego zastosowania wizyjnego systemu rozpoznawania gestów.The patent specification US5760530 discloses a matrix made of piezoelectric transducers. The tactile sensation is generated after touching the matrix / screen, the vibrations of the transducers have a sufficiently high amplitude at the point of contact of the user with the surface of the device, which stimulates the appropriate sensory impression. The coupling is generated by the vibrating surface of the device, no ultrasound or vibrations strong enough to feel the sensation can take place without physical contact with the device, there is no indication of the use of the visual gesture recognition system.

Z opisu wzoru użytkowego CN2003418539U znany jest system rozpoznawania gestów, w którym wykorzystuje się kamerę, dzięki której podczas śledzenia gestów dokonuje się wykrywania krawędzi palców, a także wykorzystuje się generator sygnału ultradźwiękowego o określonej częstotliwości.From the description of utility model CN2003418539U, a gesture recognition system is known, which uses a camera to detect the edges of the fingers during gesture tracking, and also uses an ultrasonic signal generator with a specific frequency.

Z opisu patentowego KR20130069085A znany jest system rozpoznawania gestów, w którym generuje się sygnał wykonawczy na podstawie przetworzonych gestów. W systemie tym sprzężenie zwrotne uzyskuje się poprzez sprężanie powietrza, zaś strumień powietrza jest kierowany na dłoń użytkownika za pomocą ultradźwięków.From the patent description KR20130069085A, a gesture recognition system is known, in which an executive signal is generated on the basis of processed gestures. In this system, feedback is achieved by compressing the air and the airflow is directed to the user's hand by means of ultrasound.

Nie są znane urządzenia wykorzystujące łącznie układ rozpoznawania gestów oraz ultradźwiękowy generator bezkontaktowego sprzężenia czuciowego, zwłaszcza w kontekście technologii mobilnych.There are no known devices that use jointly a gesture recognition system and an ultrasonic generator of non-contact sensory feedback, especially in the context of mobile technologies.

Wynalazek umożliwia bezdotykowe pisanie na wirtualnej klawiaturze, ze zwrotnym sprzężeniem czuciowym. Wynalazek wykorzystuje połączenie modalności wizyjnej i ultradźwiękowej. Część wizyjnaThe invention enables non-contact typing on a virtual keyboard with feedback. The invention uses a combination of visual and ultrasonic modality. Vision part

PL 230 872 Β1 charakteryzuje się możliwością rozpoznawania gestów palców wykonywanych w powietrzu przed urządzeniem. Gesty palców są interpretowane w taki sposób, jak gdyby użytkownik fizycznie dotykał poszczególnych klawiszy lub widgetów na ekranie urządzenia mobilnego. Na podstawie danych uzyskanych w części wizyjnej, część ultradźwiękowa generuje skoncentrowaną wiązkę ultradźwiękową skierowaną w stronę wybranych opuszek palców użytkownika. Drgania powietrza i ciśnienie akustyczne wynikające z propagowania fal ultradźwiękowych powodują bodźce czuciowe odbierane przez użytkownika urządzenia, pomimo braku fizycznego z nim kontaktu.The PL 230 872 Β1 features the ability to recognize finger gestures in the air in front of the device. The finger gestures are interpreted as if the user is physically touching individual keys or widgets on the screen of the mobile device. Based on the data obtained in the vision part, the ultrasound part generates a concentrated ultrasound beam directed at the selected fingertips of the user. Air vibrations and acoustic pressure resulting from the propagation of ultrasonic waves cause sensory stimuli perceived by the user of the device, despite the lack of physical contact with it.

Sposób rozpoznawania gestów, zwłaszcza ruchu dłonią symulującego bezdotykowe pisanie na klawiaturze polegający na rozpoznawaniu gestów wykonywanych dłońmi przed kamerą, w szczególności ruchów palców, analizowaniu uzyskanych sygnałów przez układ przetwarzania i generowaniu ultradźwiękowych sygnałów wykonawczych i informacyjnych, charakteryzuje się według wynalazku charakteryzuje się według wynalazku tym, że z odebranego sygnału wizyjnego z kamery, za pomocą układu do przetwarzania wstępnego, uzyskuje się wstępnie przetworzony sygnał, zawierający reprezentację gestu manualnego w obrazie. Obraz następnie przesyła się do układu do detekcji opuszek palców, w którym z wykorzystaniem zaimplementowanego pierwszego algorytmu służącego do detekcji opuszek palców w obrazie uzyskuje się pierwszy sygnał deskrypcyjny i drugi sygnał deskrypcyjny, które korzystnie koryguje się w układzie eliminacji błędnych detekcji pozycji opuszek palców. Pierwszy sygnał deskrypcyjny przesyła się do układu rozpoznawania ruchu palców, zaś drugi sygnał deskrypcyjny przesyła się do układu przetwarzania sygnałów. W układzie rozpoznawania ruchu palców z wykorzystaniem drugiego algorytmu rozpoznawania ruchu palców, podejmuje się akcję wprowadzenia określonej litery w aplikacji wprowadzania tekstu, w postaci sygnału akcji. Sygnał akcji kieruje się na ekran urządzenia mobilnego. Również uzyskany sygnał wynikowy przesyła się do układu przetwarzania sygnałów, w którym z wykorzystaniem zaimplementowanego trzeciego algorytmu, w oparciu o współrzędne X,Y i korzystnie Z, które określają położenie dłoni, korzystnie palców, obliczającego opóźnienia fazowe sygnału, uzyskuje się pierwszy sygnał sterujący, drugi sygnał sterujący, oraz trzeci sygnał sterujący. Pierwszy sygnał sterujący przesyła się do modulatorów, a drugi sygnał sterujący przesyła się do generatora częstotliwości ultradźwiękowej. Uzyskany modulujący sygnał z modulatorów przesyła się do generatora częstotliwości ultradźwiękowej, w którym na podstawie pierwszego sygnału sterującego oraz drugiego sygnału sterującego uzyskuje się zmodulowany sygnał. Zmodulowany sygnał przesyła się do wzmacniacza. Trzeci sygnał sterujący przesyła się do wzmacniacza oraz do komutatora. Wzmocniony sygnał ze wzmacniacza kieruje się poprzez komutator do przetworników ultradźwiękowych w matrycy. Stosuje się matrycę mającą postać wyprofilowanej półsferycznie płaszczyzny, na której rozmieszczone są szeregowo i równolegle pojedyncze przetworniki ultradźwiękowe, w ten sposób, że nad matrycą utworzona jest centralna linia ogniskowania ultradźwięków. Uzyskany sygnał ultradźwiękowy kieruje się na dłoń użytkownika.The method of recognizing gestures, in particular hand movements simulating non-contact typing on the keyboard, consisting in recognizing hand gestures in front of the camera, in particular finger movements, analyzing the signals obtained by the processing system and generating ultrasonic executive and informational signals, according to the invention, is characterized according to the invention by the fact that that from the received video signal from the camera, a pre-processed signal is obtained by means of a pre-processing circuit, comprising a representation of the manual gesture in the image. The image is then sent to the fingertip detection system, where a first descriptive signal and a second descriptive signal are obtained in the image using the implemented first algorithm for detecting the fingertips, which are preferably corrected in the finger pad position eradication system. The first descriptive signal is sent to the finger movement recognition system and the second descriptive signal is sent to the signal processing system. In the finger movement recognition system using the second finger movement recognition algorithm, an action is taken to enter a specific letter in the text input application as an action signal. The action signal is directed to the screen of the mobile device. Also, the obtained result signal is sent to the signal processing system, in which, by means of the implemented third algorithm, based on the coordinates X, Y and preferably Z, which determine the position of the hand, preferably fingers, calculating the phase delays of the signal, the first control signal is obtained, the second a control signal; and a third control signal. The first control signal is sent to the modulators and the second control signal is sent to the ultrasonic frequency generator. The obtained modulating signal from the modulators is sent to an ultrasonic frequency generator, where a modulated signal is obtained from the first control signal and the second control signal. The modulated signal is sent to the amplifier. The third control signal is sent to the amplifier and to the commutator. The amplified signal from the amplifier is routed through a commutator to the ultrasonic transducers in the matrix. A matrix is used in the form of a semi-spherically profiled plane on which individual ultrasonic transducers are arranged in series and parallel, in such a way that a central line of ultrasound focusing is formed above the matrix. The resulting ultrasonic signal is directed to the user's hand.

Korzystnie wstępnie przetworzony sygnał uzyskuje się z dwóch kamer w procesie konkatenacji obrazów, prowadzonym w układzie do przetwarzania wstępnego, przy czym z pierwszej kamery uzyskuje się pierwszy obraz, który zapisuje się w postaci poszczególnych klatek w pierwszym buforze, a z drugiej kamery uzyskuje się drugi obraz, który zapisuje się w postaci ramek w drugim buforze.Preferably, the pre-processed signal is obtained from two cameras by an image concatenation process carried out in a preprocessing system, the first camera obtaining a first image which is stored as individual frames in the first buffer, and a second image from the second camera. which are stored as frames in the second buffer.

Układ do rozpoznawania gestów, zwłaszcza ruchu dłonią symulującego bezdotykowe pisanie na klawiaturze, składający się z układu przetwarzania wstępnego zawierającego kamerę oraz układu rozpoznawania gestów charakteryzuje się według wynalazku tym, że układ do przetwarzania wstępnego połączony jest z układem do detekcji opuszek palców, w którym zaimplementowany jest pierwszy algorytm służący do detekcji opuszek palców w obrazie, który połączony jest z układem rozpoznawania ruchu palców poprzez układ eliminacji błędnych detekcji pozycji opuszek palców. W układzie rozpoznawania ruchu palców zaimplementowany jest drugi algorytm służący do rozpoznawania ruchu palców i do podejmowania akcji wprowadzenia określonej litery w aplikacji wprowadzania tekstu na ekran urządzenia mobilnego. Układ rozpoznawania ruchu palców połączony jest z układem przetwarzania sygnałów, w którym zaimplementowany jest trzeci algorytm, służący do obliczania opóźnienia fazowego sygnału w oparciu o współrzędne X, Y i korzystnie Z, które określają położenia dłoni, korzystnie palców. Układ przetwarzania sygnałów połączony jest równolegle poprzez modulatory z generatorem częstotliwości ultradźwiękowej, a także szeregowo z generatorem częstotliwości ultradźwiękowej. Generatorem częstotliwości ultradźwiękowej przyłączony jest do przetworników ultradźwiękowych w matrycy poprzez wzmacniacz oraz komutator. Matryca ma postać wyprofilowanej półsferycznie płaszczyzny, na której rozmieszczone są szeregowo i równolegle pojedyncze przetworniki ultradźwiękowe. Przetworniki ultradźwiękowe w matrycy połączone są poprzez układ kalibracji z układem przetwarzania sygnałów.A system for recognizing gestures, in particular a hand movement simulating non-contact typing on a keyboard, consisting of a pre-processing system containing a camera and a gesture recognition system, is characterized according to the invention in that the pre-processing system is connected to a finger pad detection system in which it is implemented. the first algorithm for detecting the fingertips in the image, which is connected to the finger movement recognition system through the system for eliminating erroneous detection of the position of the fingertips. The finger movement recognition system implements a second algorithm to recognize the movement of the fingers and to take the action of entering a specific letter in the text input application on the screen of the mobile device. The finger motion recognition system is connected to the signal processing system in which a third algorithm is implemented to calculate the signal phase delay based on the X, Y and preferably Z coordinates which define the positions of the hands, preferably the fingers. The signal processing system is connected in parallel with the ultrasonic frequency generator through modulators, and also in series with the ultrasonic frequency generator. The ultrasonic frequency generator is connected to the ultrasonic transducers in the matrix through an amplifier and a commutator. The matrix is in the form of a semi-spherically profiled plane on which individual ultrasonic transducers are arranged in series and parallel. The ultrasonic transducers in the matrix are connected via a calibration system with a signal processing system.

PL 230 872 Β1PL 230 872 Β1

Korzystnie w układzie przetwarzania wstępnego pierwsza kamera połączona jest do pierwszego bufora, oraz druga kamera połączona jest do drugiego bufora.Preferably, in the preprocessing system, the first camera is connected to the first buffer, and the second camera is connected to the second buffer.

Pierwszy bufor oraz drugi bufor poprzez układ konkatenacji wyników i układ kluczujący połączone są z układem do detekcji opuszek palców.The first buffer and the second buffer are connected to the fingertip detection system via the result concatenation and keyer.

Wynalazek przedstawiony jest bliżej w przykładzie wykonania i na rysunku na którym fig. 1 przedstawia schemat blokowy układu, fig. 2 przedstawia schemat blokowy rozwiniętej wersji układu, fig. 3 matrycę w rzucie aksonometrycznym z widocznym heksagonalnym ułożeniem przetworników ultradźwiękowych w matrycy, fig. 4 - widok urządzenia mobilnego z zamontowaną matrycą, a fig. 5 przedstawia widok kolejnych okien prowadzonej aplikacji, - fig. 5a - widok okna aplikacji z klawiaturą z literami i fig. 5b - klawiaturą z liczbami i symbolami, fig. 6 - widok okna aplikacji z zaznaczonymi klawiszami, nad którymi znajdują się opuszki palców, fig. 7 - widok okna aplikacji z zaznaczonymi klawiszami, nad którymi znajdują się opuszki palców i zaznaczoną opuszką palca, którym wybrano literę, fig. 8 - widok okna aplikacji z zaznaczonymi klawiszami, nad którymi znajdują się opuszki palców: wskazującego i kciuka lewej ręki oraz wskazującego prawej ręki.The invention is presented in more detail in the embodiment and in the drawing in which Fig. 1 shows a block diagram of the system, Fig. 2 shows a block diagram of an expanded version of the system, Fig. 3 the matrix in an axonometric view with a visible hexagonal arrangement of the ultrasonic transducers in the matrix, Fig. 4 - view of the mobile device with the matrix mounted, and fig. 5 shows the view of successive windows of the running application, - fig. 5a - view of the application window with a keyboard with letters and fig. 5b - keyboard with numbers and symbols, fig. 6 - view of the application window with marked with the buttons above which there are fingertips, fig. 7 - view of the application window with the buttons marked with the fingertips above and the fingertip marked with the letter, fig. 8 - view of the application window with the keys above which there are the pads of the fingers: the index and thumb of the left hand and the index finger of the right hand.

Przykład 1Example 1

Układ przetwarzania wstępnego UW składa się z kamery K1 typu RGB, która połączona jest szeregowo z komponentem pozyskiwania obrazu 11, buforem 12, układem konwersji formatów obrazu 13, układem segmentacji tła obiektów sterujących 14, czyli dłoni użytkownika OS, układu filtracji szumów w obrazie 15.The UW pre-processing system consists of an RGB camera K1, which is connected in series with the image acquisition component 11, the buffer 12, the image format conversion system 13, the background segmentation system of the control objects 14, i.e. the hand of the OS user, the noise filtering system in the image 15.

Układ przetwarzania wstępnego połączony jest z układem do detekcji opuszek palców 1, który połączony jest z układem rozpoznawania ruchu palców 3 poprzez układ eliminacji błędnych detekcji pozycji opuszek palców 2. Układ do detekcji opuszek palców 1 i układ rozpoznawania ruchu palców 3 połączone są z układem przetwarzania sygnałów 4.The pre-processing system is connected to the fingertip detection system 1, which is connected to the finger movement recognition system 3 through the fingertip position elimination system 2. The fingertip detection system 1 and the finger movement recognition system 3 are connected to the signal processing system 4.

Układ przetwarzania sygnałów 4 połączony jest z ekranem EK urządzenia mobilnego.The signal processing circuit 4 is connected to the EK screen of the mobile device.

Układ przetwarzania sygnałów 4 połączony jest poprzez połączenie równoległe poprzez modulatory 5 oraz poprzez połączenie szeregowe z generatorem częstotliwości ultradźwiękowej 6, który z kolei połączony jest z matrycą z przetwornikami ultradźwiękowymi 9 poprzez wzmacniacz 7 i komutator 8.The signal processing system 4 is connected by parallel connection through modulators 5 and by serial connection to the ultrasonic frequency generator 6, which in turn is connected to the matrix with ultrasonic transducers 9 via an amplifier 7 and a commutator 8.

W układzie do detekcji opuszek palców 1 implementuje się pierwszy algorytm ALI służący do detekcji opuszek palców w obrazie.In the fingertip detection system 1, the first ALI algorithm is implemented to detect the fingertips in the image.

W układzie rozpoznawania ruchu palców 3 implementuje się drugi algorytm AL2 służący do rozpoznawania ruchu palców.In the finger movement recognition system 3, a second algorithm AL2 is implemented to recognize the movement of the fingers.

W układzie przetwarzania sygnałów 4 implementuje się trzeci algorytm AL3, służący do obliczania opóźnienia fazowego sygnału, w oparciu o współrzędne X, Y, Z położenia palców użytkownika OS.In the signal processing circuit 4, a third algorithm AL3 is implemented to calculate the signal phase delay based on the X, Y, Z coordinates of the finger position of the user OS.

Matryca M z przetwornikami ultradźwiękowymi 9 stanowi układ zbudowany w płaszczyźnie prostokątnej, z rozmieszczonymi tymi przetwornikami w strukturze heksagonalnej, w celu koncentracji energii ultradźwiękowej nad obszarem wirtualnej klawiatury. Kolimacje uzyskuje się poprzez półsferyczne wyprofilowanie płaszczyzny matrycy M.The matrix M with ultrasonic transducers 9 is a system built in a rectangular plane with these transducers arranged in a hexagonal structure in order to concentrate the ultrasonic energy over the area of the virtual keyboard. Collimations are obtained by semi-spherical profiling of the plane of the M matrix.

Sygnał wizyjny O pozyskany przez komponent pozyskiwania obrazu 11 z kamery K1 zapisywany jest w postaci poszczególnych klatek w buforze 12. W zależności od przestrzeni barwowej, w jakiej operuje kamera K1, klatka obrazu pozyskana z bufora 12 poddawana jest konwersji do odpowiedniej przestrzeni barwowej z wykorzystaniem układu konwersji formatów obrazu 13. Następnie obraz podawany jest na układ segmentacji tła z obiektów sterujących 14, czyli dłoni użytkownika OS. Układ segmentacji tła z obiektów sterujących 14 przetwarza sygnał według metody Codebook. Wynik działania komponentu 14 podawany jest na układ filtracji szumów w obrazie 15. Układ filtracji szumów w obrazie 15 przetwarza sygnał zgodnie z metodą filtru medianowego i uzyskuje się wstępnie przetworzony sygnał A, zawierający reprezentację gestu manualnego w obrazie.The video signal O obtained by the image acquisition component 11 from the camera K1 is saved in the form of individual frames in the buffer 12. Depending on the color space in which the camera K1 operates, the image frame obtained from the buffer 12 is converted to the appropriate color space using the system converting image formats 13. Next, the image is fed to the background segmentation system from the controls 14, i.e. the hand of the OS user. The background segmentation circuit of the controls 14 processes the signal according to the Codebook method. The result of component 14 is applied to the image noise filtering circuit 15. The image noise filtering circuit 15 processes the signal according to the median filter method, and a pre-processed signal A is obtained, containing a representation of the manual gesture in the image.

Wstępnie przetworzony sygnał A przesyła się do układu do detekcji opuszek palców 1, w którym z wykorzystaniem zaimplementowanego pierwszego algorytmu AL1 uzyskuje się pierwszy sygnał deskrypcyjny B1 i drugi sygnał deskrypcyjny B2.The pre-processed signal A is sent to the fingertip detection system 1, which obtains the first descriptive signal B1 and the second descriptive signal B2 by the implemented first algorithm AL1.

Pierwszy sygnał deskrypcyjny B1 przesyła się do układu rozpoznawania ruchu palców 3 poprzez układ eliminacji błędnych detekcji pozycji opuszek palców 2, który funkcjonuje zgodnie z metodą filtru Kalmana.The first descriptive signal B1 is transmitted to the finger movement recognition system 3 via the fingertip misdetection system 2, which operates according to the Kalman filter method.

W układzie rozpoznawania ruchu palców 3 z wykorzystaniem drugiego algorytmu AL2 rozpoznawania ruchu palców, podejmuje się akcję wprowadzenia określonej litery w aplikacji wprowadzania tekstu, w postaci sygnału akcji J, który kieruje się na ekran EK urządzenia mobilnego. Informacja o akcji, w postaci sygnału wynikowego C wraz z drugim sygnałem deskrypcyjnym B2, zawierającym informacjęIn the finger movement recognition system 3 using the second finger movement recognition algorithm AL2, an action is taken to enter a specific letter in the text input application, in the form of an action signal J, which is directed to the EK screen of the mobile device. Action information, in the form of a result signal C together with a second descriptive signal B2 containing the information

PL 230 872 Β1 o lokalizacji opuszków palców, jest pobierana przez układ przetwarzania sygnałów 4, który na podstawie współrzędnych X, Y i Z, z wykorzystaniem zaimplementowanego trzeciego algorytmu AL3, oblicza opóźnienia fazowe sygnałów.PL 230 872 Β1 with the location of the fingertips is taken by the signal processing system 4, which, on the basis of the coordinates X, Y and Z, using the implemented third algorithm AL3, calculates the phase delays of the signals.

Z układu przetwarzania sygnału 4 uzyskuje się pierwszy sygnał sterujący D1, drugi sygnał sterujący D2, oraz trzeci sygnał sterujący D3. Pierwszy sygnał sterujący D1 przesyła się do modulatorów 5, a uzyskany modulujący sygnał E przesyła się do generatora częstotliwości ultradźwiękowej 6. W generatorze częstotliwości ultradźwiękowej 6 na podstawie pierwszego sygnału sterującego D1 oraz drugiego sygnału sterującego D2 uzyskuje się zmodulowany sygnał F.From the signal processing circuit 4, the first control signal D1, the second control signal D2, and the third control signal D3 are obtained. The first control signal D1 is sent to the modulators 5 and the obtained modulating signal E is sent to the ultrasonic frequency generator 6. In the ultrasonic frequency generator 6, a modulated signal F is obtained from the first control signal D1 and the second control signal D2.

Trzeci sygnał sterujący D3 przesyła się do wzmacniacza 7 oraz do komutatora 8.The third control signal D3 is sent to the amplifier 7 and to the commutator 8.

Zmodulowany sygnał F przesyła się do wzmacniacza 7, a uzyskany wzmocniony sygnał G kieruje się poprzez komutator 8, do przetworników ultradźwiękowych 9.The modulated signal F is sent to the amplifier 7, and the resulting amplified signal G is directed through the commutator 8 to the ultrasonic transducers 9.

Układ przetwarzania sygnałów 4 steruje nastawami modulatorów 5. Zmodulowany sygnał ultradźwiękowy trafia do wzmacniacza sygnału ultradźwiękowego 8, który jest sterowany przez układ przetwarzania sygnałów 4, co umożliwia płynne kontrolowanie pobieranej energii elektrycznej. Wzmocniony sygnał G po wyjściu ze wzmacniacza 7 jest przekazywany do wybranej części matrycy M przetworników ultradźwiękowych 9 przez komutator 8, który jest sterowany przez układ przetwarzania sygnałów 4. Komutator 8 umożliwia generowanie przez przetworniki ultradźwiękowe wielopunktowego sprzężenia czuciowego w co najmniej 2 punktach przestrzeni nad urządzeniem mobilnym.The signal processing system 4 controls the settings of the modulators 5. The modulated ultrasonic signal goes to the ultrasonic signal amplifier 8, which is controlled by the signal processing system 4, which enables smooth control of the electricity consumed. After the output of the amplifier 7, the amplified signal G is transmitted to a selected part of the matrix M of the ultrasonic transducers 9 by the commutator 8, which is controlled by the signal processing system 4. The commutator 8 enables the ultrasonic transducers to generate a multi-point sensory coupling in at least 2 points in the space above the mobile device .

Nad matrycą M utworzona jest centralna linia ogniskowania ultradźwięków.A central focus line of the ultrasound is formed above the M matrix.

Uzyskany sygnał ultradźwiękowy H kieruje się na dłoń użytkownika OS.The resulting ultrasonic signal H is directed to the hand of the OS user.

Do poprawnego działania układu konieczne jest przeprowadzenie procesu kalibracji, którego celem jest zdefiniowanie fizycznych parametrów przetworników ultradźwiękowych 9. Dane uzyskane w procesie kalibracji są przechowywane w układzie kalibracji 10, który jest połączony zwrotnie z układem przetwarzania sygnałów 4. Dokładne dane kalibracyjne są niezbędne do prawidłowego działania układu przetwarzania sygnałów 4 w kontekście formowania wiązki ultradźwiękowej. Dane kalibracyjne definiują rozmiary fizyczne urządzenia, jego orientację względem interfejsu wizyjnego oraz parametry elektroakustyczne przetworników ultradźwiękowych 9.For the proper operation of the system, it is necessary to carry out a calibration process, the purpose of which is to define the physical parameters of the ultrasonic transducers 9. The data obtained in the calibration process is stored in the calibration system 10, which is back-connected to the signal processing system 4. Accurate calibration data are necessary for proper operation signal processing unit 4 in the context of ultrasonic beam forming. The calibration data defines the physical dimensions of the device, its orientation relative to the visual interface, and the electro-acoustic parameters of the ultrasonic transducers 9.

Nad matrycą 10 utworzona jest centralna linia ogniskowania ultradźwięków, po czym sygnał ultradźwiękowy H kieruje się na dłoń użytkownika OS.A central ultrasound focus line is formed above the matrix 10, whereupon the ultrasonic signal H is directed to the hand of the user OS.

Użytkownik w standardowy sposób poprzez dotknięcie dłonią OS odpowiedniej ikony uruchamia na urządzeniu mobilnym aplikację, która zawiera widok klawiatury, okno, w którym pojawia się wprowadzany tekst oraz przyciski oznaczone „ABC...” i „123...”, służące do zmiany klawiatury, odpowiednio na klawiaturę z literami lub klawiaturę z cyframi i symbolami, jak pokazano na fig. 5.The user in a standard way, by touching the OS hand with the appropriate icon, starts the application on the mobile device, which includes the keyboard view, the window in which the entered text appears and buttons marked with "ABC ..." and "123 ...", used to change the keyboard , respectively, to a keyboard with letters or a keyboard with numbers and symbols as shown in Fig. 5.

Użytkownik zamierza wprowadzić w sposób bezkontaktowy do aplikacji na urządzeniu mobilnym adres Politechniki Gdańskiej:The user intends to enter the address of Gdańsk University of Technology in a non-contact manner into the application on a mobile device:

ul. Narutowicza 11/12ul. Narutowicza 11/12

80-233 Gdańsk80-233 Gdańsk

W tym celu ustawia dłonie nad matrycą M skierowane opuszkami w stronę obiektywu kamery K1. Punkty lokalizujące poszczególne opuszki palców widoczne w kadrze odzwierciedlane są w postaci kół podświetlających klawisze na widoku klawiatury w oknie aplikacji, co przedstawiono na fig. 6. Aby wprowadzić literę „u” użytkownik wykonuje palcem wskazującym prawej dłoni szybki ruch symulujący uderzenie w klawisz. W momencie zakończenia ruchu palca wysyłany jest w kierunku jego opuszki impuls wygenerowany za pomocą generatora sygnałów ultradźwiękowych 9. Jednocześnie wybranie litery sygnalizowane jest na widoku klawiatury, co przedstawiono na fig. 7. W oknie wprowadzania tekstu pojawia się litera „u”.For this purpose, he places his hands over the M matrix, pointing with his fingertips towards the lens of the K1 camera. The points locating the individual fingertips visible in the frame are reflected in the form of circles illuminating the keys on the keyboard view in the application window, as shown in Fig. 6. To enter the letter "u", the user makes a quick movement with the index finger of his right hand, simulating a keystroke. At the end of the movement of the finger, an impulse generated by the ultrasonic signal generator 9 is sent towards the fingertip. At the same time, the selection of the letter is signaled on the keyboard view, as shown in Fig. 7. The letter "u" appears in the text input window.

Użytkownik OS w analogiczny sposób wprowadza pozostałe litery i kropkę. Aby wprowadzić liczby oraz znaki „/” i użytkownik kieruje wybrany palec nad przycisk „123...” i wirtualnie wciska go identycznym ruchem, jak przy wprowadzaniu tekstu. Powoduje to wyświetlenie widoku klawiatury z cyframi i symbolami.The OS user enters the remaining letters and the point in the same way. To enter numbers and characters "/" and the user points the selected finger over the "123 ..." button and virtually presses it with the same movement as when entering text. This brings up a keyboard view with numbers and symbols.

W kadrze nie muszą znajdować się wszystkie palce użytkownika, aby możliwe było wprowadzanie treści. Przykładowo użytkownik może wprowadzić cyfrę 1 palcem wskazującym lewej dłoni. W takiej sytuacji palce lewej ręki: mały, serdeczny i środkowy, mogą nie być widoczne w kadrze, co pokazano na fig. 8.Not all of the user's fingers need to be in the frame to be able to enter content. For example, the user may enter the number 1 with the index finger of his left hand. In this case, the fingers of the left hand: small, ring and middle fingers may not be visible in the frame, as shown in Fig. 8.

Litera „ń” w słowie „Gdańsk”, pomimo wprowadzenia przez użytkownika litery „n”, pojawia się automatycznie po wprowadzeniu całego słowa.The letter "ń" in the word "Gdańsk", despite the user entering the letter "n", appears automatically after entering the whole word.

PL 230 872 Β1PL 230 872 Β1

Przykład 2Example 2

Układ zbudowany jak w przykładzie 1, z tym że z układu przetwarzania wstępnego UW uzyskuje się przetworzony sygnał A w procesie konkatenacji obrazów z dwóch kamer tj. z obrazu Ol z pierwszej kamery KI typu RGB oraz z obrazem 02 z drugiej kamery K2 typu ToF.The system is built as in example 1, except that the processed signal A is obtained from the UW pre-processing system in the process of concatenating the images from two cameras, i.e. from the image Ol from the first KI RGB camera and with the image 02 from the second K2 ToF camera.

Z drugiej kamery K2 za pomocą układu pozyskiwania danych reprezentujących głębię 16 pozyskiwany jest strumień danych, który zapisywany jest w postaci poszczególnych ramek danych w buforze 17. Dane o głębi pozyskane z bufora podawane są na układ progowania głębi 18.From the second camera K2, by means of the data acquisition system representing the depth 16, a data stream is obtained, which is stored in the form of individual data frames in the buffer 17. The depth data obtained from the buffer is fed to the depth thresholding system 18.

Układ filtracji szumów w obrazie 15 przetwarza sygnał zgodnie z metodą filtru medianowego i uzyskuje się wstępnie przetworzony sygnał A, zawierający reprezentację gestu manualnego w obrazie.The picture noise filtering circuit 15 processes the signal according to the median filter method, and a pre-processed signal A is obtained having a representation of the manual gesture in the picture.

Wynik działania układu filtracji szumów 15 kierowany jest wraz z wynikiem działania układu 18 na układ konkatenacji wyników 19. Wynik działania układu konkatenacji 19 oraz wyniki działania układu filtracji szumów w obrazie 15 i układu progowania głębi 18 podawane są na układ kluczujący 20 dokonujący wyboru wyniku. Dzięki temu możliwe jest operowanie jedynie na przetworzonym strumieniu z kamery RGB, bądź jedynie na przetworzonym strumieniu z kamery ToF, bądź na strumieniu połączonym. Strumień łączący w sobie przetworzone strumienie z obu kamer dostarcza dokładniejszej reprezentacji obrazu palców.The result of the operation of the noise filtering circuit 15, along with the result of the operation of the circuit 18, is directed to the result concatenation circuit 19. The result of the concatenation circuit 19 and the noise filtering circuit 15 and the depth thresholding circuit 18 are fed to the selection keyer 20. Thanks to this, it is possible to operate only on the processed stream from the RGB camera, or only on the processed stream from the ToF camera, or on the combined stream. The stream combining the processed streams from both cameras provides a more accurate representation of the finger image.

Wynik wybrany w układzie kluczującym 20 w postaci wstępnie przetworzonego sygnału A podawany jest na układ detekcji opuszek palców 1.The result selected in the keyer 20 in the form of pre-processed signal A is fed to the fingertip detection system 1.

Dalej postępuje się jak w przykładzie 1.The next steps are as in example 1.

Claims

Patent claims

1. A method of recognizing gestures, especially hand movements simulating non-contact typing on the keyboard, consisting in recognizing hand gestures in front of the camera, in particular finger movements, analyzing the signals obtained by the processing system and generating ultrasonic executive and informational signals, characterized by the fact that from the received video signal (O) from the camera (K1), using the pre-processing system (UW), a pre-processed signal (A) is obtained, containing a representation of a manual gesture in the image, which is then sent to the system for detecting the fingertips (1), which, using the implemented first algorithm (AL1) for detecting the fingertips in the image, obtains the first descriptive signal (B1) and the second descriptive signal (B2), which are preferably corrected in the system for eliminating erroneous detection of fingertip positions (2), and then the first descriptive signal (B1) is transmitted to the recognition circuit finger movement (3), and the second descriptive signal (B2) is sent to the signal processing system (4), where the finger movement recognition system (3) uses the second finger movement recognition algorithm (AL2) to enter a specific letter in the text input application, in the form of an action signal J, which is directed to the screen (EK) of the mobile device, and then the resulting signal (C) is also sent to the signal processing system (4), in which, using the implemented third algorithm (AL3 ), based on the X, Y and preferably Z coordinates that define the position of the hand, preferably the fingers, calculating the phase delays of the signal, a first control signal (D1), a second control signal (D2) and a third control signal (D3) are obtained, wherein the first control signal (D1) is sent to the modulators (5) and the second control signal (D2) is sent to the ultrasonic frequency generator (6), and the resulting modulating signal (E) from the modulators (5) is sent to an ultrasonic frequency generator (6), where a modulated signal (F) is obtained on the basis of the first control signal (D1) and the second control signal (D2), and then the modulated signal (F) is sent to the amplifier (7), the third control signal (D3) is sent to the amplifier (7) and to the commutator (8), and the amplified signal (G) from the amplifier (7) is sent through the commutator (8) to ultrasonic transducers (9) in the matrix (M), where the matrix (M) is used in the form of a semi-spherically profiled plane, on which individual ultrasonic transducers (9) are arranged in series and parallel, in such a way that a central line is formed over the matrix ultrasound focusing, then the obtained ultrasonic signal (H) is directed to the user's hand (OS).

PL 230 872 Β1

2. The method according to p. The method of claim 1, characterized in that the pre-processed signal (A) is obtained from two cameras in an image concatenation process performed in a pre-processing system (UW), wherein a first image (01) is obtained from the first camera (K1), which it records in the form of individual frames in the first buffer (12), and from the second camera (K2) a second image (02) is obtained, which is stored in the form of frames in the second buffer (17).

3. A system for recognizing gestures, especially hand movement simulating non-contact typing on the keyboard, consisting of a pre-processing system containing a camera and a gesture recognition system, characterized in that the pre-processing system (UW) is connected to the fingertip detection system (1 ), in which the first algorithm (AL1) for detecting the fingertips in the image is implemented, which is connected to the finger movement recognition system (3) through the system for eliminating erroneous detection of the fingertip position (2), while in the finger movement recognition system ( 3) the second algorithm (AL2) is implemented to recognize the movement of fingers and to take the action of entering a specific letter in the text input application on the screen (EK) of the mobile device, and the finger movement recognition system (3) is connected with the signal processing system (4) which implements a third algorithm (AL3) for computing the phase delay on the basis of the signal based on the coordinates Χ, Υ and preferably Z, which define the position of the hand, preferably the fingers, and the signal processing system (4) is connected in parallel through modulators (5) with the ultrasonic frequency generator (6) and also in series with the frequency generator ultrasonic (6), which in turn is connected to the ultrasonic transducers (9) in the matrix (M) through the amplifier (7) and the commutator (8), the matrix (M) in the form of a semi-spherically profiled plane on which they are arranged in series and parallel, individual ultrasonic transducers (9), and ultrasonic transducers (9) in the matrix (M) are connected through the calibration system (10) with the signal processing system (4).

4. The system according to p. The method of claim 3, characterized in that in the preprocessing circuit (UW) the first camera (K1) is connected to the first buffer (12), and the second camera (K2) is connected to the second buffer (17), the first buffer (12) and the second buffer being (17) through the results concatenation system (19) and the keying system (20) are connected to the fingertip detection system (1).