RO127779A0 - Metodă de urmărire a degetelor mâinii şi mijloc de comunicare om-calculator - Google Patents

Abstract

Invenţia se referă la o metodă de urmărire a degetelor mâinii şi la un mijloc de comunicare om-calculator, bazat pe gesturi efectuate cu mâna. Metoda conform invenţiei constă într-o succesiune de operaţii de prelucrare numerică a semnalului generat de o cameră (1) video monoculară, conectată sau inclusă în componenţa unui calculator PC, ce permite urmărirea degetelor extinse ale unei mâini, care gesticulează pe un fundal complex, la o distanţă variabilă în raport cu camera (1) video, iniţializarea sistemului se realizează automat, la expunerea mâinii deschise în faţa camerei (1) video; pentru fiecare deget, se generează un set de patru parametri, ce permit generarea unor traiectorii 4D, pe baza secvenţelor de imagini 2D.

Description

METODĂ DE URMĂRIRE A DEGETELOR MÂINII Șl MIJLOC DE COMUNICARE OM-CALCULATOR

Invenția se referă la o metodă de urmărire a degetelor mâinii și un mijloc de comunicare om-calculator bazat pe gesturi efectuate cu mâna.

Urmărirea degetelor mâinii este o componenta esențiala a sistemelor de comunicare om-calculator bazate pe gesturi efectuate cu mana. Sunt cunoscute mai multe metode de urmărire a mâinii. Metodele („model based”) bazate pe modele articulate si analiza prin sinteza [B. Stenger, A. Thayananthan, P. H. S. Torr, and R. Cipolla. Model-based hand tracking using a hierarchical bayesian filter. IEEE Trans. Pattern Analysis and Machine Intell., 28(9):1372-1384, 2006],[ IVI. de la Gorce, D. Fleet & N. Paragios. Model-based 3D Hand Pose Estimation from Monocular Video. IEEE Transactions on Pattern Analysis and Machine Intelligence, Voi 33 (9), 2011, pp 1793-1805] permit caracterizarea cea mai nuanțată a posturii mâinii, în particular a poziției degetelor si au o robustețe bună la acțiuni perturbatoare, cum sunt camuflajul sau ocluziile parțiale, dar au un cost de calcul ridicat, ceea ce a împiedicat până în prezent răspândirea lor în aplicații în timp real. Metodele („view based”) bazate pe aspect sunt eficiente din punctul de vedere al calculelor, conducând la implementări de timp real. Intre acestea, unele detectează o poziție globala a mâinii [C. Shan, T. Tan, Y. Wei, Real-time hand tracking using a mean shift embedded partide filter, in Pattern Recognition No. 40, 2007, pp 1958-1970][ M. Kolsch and M. Turk, “Fast 2D hand tracking with flocks of features and multi-cue integration,” in IEEE Workshop on Real-Time Vision for Human-Computer Interaction, 2004, pp. 158-165], ceea ce conduce la o definiție golbala, mai puțin exacta a posturii, limitând aria de aplicații posibile. Asemenea metodei ce face obiectul invenției, în [K. Oka, Y. Sato, and H. Koike. Real-time fingertip tracking and gesture recognition. IEEE Computer Graphics and Applications, 22(6):64-71, 2002] si [Song P., Winkler S., Gilani S. O. & Zhou Z. (2007). Vision-Based Projected Tabletop Interface for Finger Interactions. In Lecture Notes in Computer Science, 4796, 49-58], postura mâinii se definește pe baza poziției degetelor. Ambele se bazează pe detecția vârfurilor degetelor. Niciuna din ele nu este invarianta la scara, ceea ce le face impracticabile in aplicațiile la care distanța între persoana care gesticulează și camera se modifica apreciabil pe durata comunicației. Metoda [K. Oka, Y. Sato, and H. Koike. Real-time fingertip tracking and gesture recognition. IEEE Computer Graphics and Applications,

201 2 - 00126-2 7 -02- 2012

22(6):64-71, 2002] are dezavantajul ca presupune cunoașterea fundalului, care este un panou informatic. Metoda [Song P., Winkler S., Gilani S. O. & Zhou Z. (2007). Vision-Based Projected Tabletop Interfacefor Finger Interactions. In Lecture Notes in Computer Science, 4796, 49-58] se bazează pe detecția vârfurilor și folosește segmente de dreapta pentru a detecta prezența degetului în vecinătatea vârfului, în scopul eliminării detecțiilor fals pozitive, dar este are dezavantajul ca este vulnerabilă la ocluzii parțiale pe porțiunea superioară a degetului deoarece metoda de detecție a segmentelor este secvențială.

Scopul invenției este de a obține o metodă de urmărire a degetelor mâinii, ce poate fi utilizată pentru o interfață pentru comunicare om-calculator bazată pe gesturi efectuate cu mâna, care să înlăture dezavantajele identificate, permițând urmărirea în timp real a degetelor deschise ale mâinii, efectuate pe un fundal variabil, în condiții de ocluzie parțială, de la o distanță variabilă față de cameră, generând vectori de date 4D pentru fiecare deget detectat.

Metoda propusă are la bază detecția maximelor funcției densitate de probabilitate ale unor caracteristici special concepute pentru caracterizarea locațiilor din imagine care conțin degete și care sunt prezente în număr mare în regiunea degetelor. Denumim aceste caracteristici „fingerlets”. Robustețea este conferită de faptul că pozițiile maximelor de densitate a caracteristicilor nu sunt afectate de pierderea unor eșantioane sau de prezenta unor eșantioane deviate, ce nu aparțin țintei reale. Definim în continuare caracteristicile „fingerlet” pentru scanare orizontală. Pentru scanare verticala, se procedează similar. Presupunem ca la momentul detecției este disponibilă o estimație a grosimii degetului, l_e.

Conform invenției, o caracteristica „fingerlet” este prezenta la coordonata B = (xs.ys) a unei imagini, daca exista șase puncte, A,B,C,A’,B’,C’, ilustrate în Fig. 1, pentru care sunt întrunite simultan următoarele condiții:

1. Punctele A,B,C aparțin aceleiași linii de imagine.

2. Distanta între A și C, /, nu se abate de la grosimea estimata a degetului, /_e, cu mai mult decât un procent p% (valorile uzuale sunt ± 50% din valoarea estimată a grosimii degetului /_e).

3. Punctele A si C sunt puncte de tranziție complementare, caracterizate prin gradienți orizontali de semn contrar.

4. Punctul B, aflat la jumătatea segmentului AC, nu este un punct de tranziție.

Ο 1 2 - Ο ί) 1 2 6 - 2 7 -02- 2012

5. Pe linia decalata vertical cu jumătate din lungimea segmentului AC, exista trei puncte A’,B’,C’ care întrunesc condițiile 1,2,3 si 4 și decalajul orizontal între cei doi tripleți nu depășește grosimea estimată a degetului.

Caracteristica detectată este descrisă prin vectorul (x,y,/,cp), cu χ=Χβ,Υ=Υβ, I=Ib, φ=ψβ, în care φ_β reprezintă unghiul dintre dreapta determinata de punctele BB’ si o linie de scanare.

Pentru inițializare, utilizatorul stabilește grosimile minime si maxime ale degetului, exprimate in pixeli, /mm, /max, în funcție de rezoluția camerei, parametrii sistemului optic și gama distanțelor la care se presupune a se afla utilizatorul sistemului. Inițializarea sistemului de urmărire se realizează automat, conform invenției, prin următoarele operații de prelucrare a imaginii cu utilizatorul prezentând palma în postura cu toate degetele extinse, în plan vertical:

1. Segmentare prim plan/fundal.

2. Extragere de caracteristici „fingerlets” din imaginea binara rezultata, cu parametrul de grosime a degetului, /, cuprins in intervalul [/_mj_n, /max]·

3. Determinarea histogramelor parametrilor, x, y si / ale caracteristicilor „fingerlets”.

4. Extragerea modului grosimii l_e, folosind estimarea nonparametrică a densității de probabilitate in histograma parametrului /, cu fereastra rectangulara având lățimea egală cu q% din intervalul |/_max-/min| (valorile uzuale sunt în intervalul ± 50%).

5. Validarea modului si a prezentei mâinii, dacă numărul eșantioanelor asociate modului raportat la grosimea estimata a degetului depășește un prag de detecție.

6. Definirea regiunii de interes, ROI, prin centrul (x_e,y_e) reprezentat de modurile parametrilor x si y ale caracteristicilor „fingerlet” asociate modului grosimii prin algoritmul mean shift și prin dimensiuni (înălțime și lățime) egale cu un multiplu al grosimii degetului, n*l_e.

Validarea prezenței mâinii determină trecerea sistemului în regimul de urmărire a mâinii.

Urmărirea mâinii, conform invenției, presupune următorii pași de prelucrare pentru fiecare cadru de imagine:

1. Segmentarea prim plan / fundal in regiunea de interes.

2. Extragerea de caracteristici „fingerlets” in imaginea rezultata.

3. Detecția si segmentarea degetelor folosind caracteristicile „fingerlets”.

fii 9 1 2 - O ϋ 1 2 δ - 2 7 -02- 2012

G

4. Actualizarea modului grosimii /_e, folosind estimarea nonparametrică a densității de probabilitate in histograma parametrului /, cu fereastra rectangulara având lățimea egala cu q% din intervalul |/_max-/min| (valorile uzuale sunt în intervalul ± 50%).

5. Actualizarea regiunii de interes, ROI, prin centrul (x_e,y_e) reprezentat de modurile parametrilor x si y ale caracteristicilor „fingerlet” asociate modului grosimii și prin lățimea egală cu un multiplu al grosimii degetului, n*l_e.

în ambele situații, de inițializare și urmărire, alternativ, la pasul 1 se poate utiliza o segmentare bazată pe culoarea pielii sau detecție de muchii.

Extragerea eficienta a caracteristicilor „fingerlets”, conform invenției, constă în operațiile următoare:

1. Se calculează /_max = le (1+ε) si /_min = le (Te), unde ε este un număr subunitar, reprezentând toleranța abaterilor de grosime, ce definesc fereastra de detecție de caracteristici „fingerlets”.

2. Se scanează regiunea de interes, în ordine lexicografica, până la identificarea primei tranziții fundal-prim plan. Fie (xa , Ya) coloana și linia primei tranziții, ce definesc un punct de tip A.

3. Daca s-a găsit un punct de tip A, se continuă scanarea liniei curente, până la identificarea unei tranziții prim plan - fundal, la locația C(xc , Ya)· Dacă distanța între C si A, l_B = | xc - xa | se încadrează în intervalul [/_min, /max], se determina poziția punctului de mijloc, B(x_s , y_s), cu ys = Ya , Xe = ( xe + xc)/2 si se salvează, pe o listă asociată liniei Ya , segmentul candidat corespunzător punctului B, definit prin parametrii (x_s , y_s, /)

4. Se continuă scanarea regiunii de interes de la ultimul punct de tip C, pentru detectarea de noi segmente candidat.

5. Se parcurg in ordinea generata listele conținând parametri de segmente candidat. Pentru fiecare segment candidat, (Χβ , ys, /β), se caută segmente candidat pe lista segmentelor asociate liniei ye+ Ib/2. Daca linia respectiva conține un segment candidat, corespunzător punctului, B’, de coordonate (xb· , ys·, /β), cu decalajul | x_sx_s | < Ib , celor două segmente li se asociază o caracteristica „fingerlet” validă, cu vectorul de parametri (χβ,Υβ,Ιβ,Ψβ)·

Detecția si segmentarea degetelor folosind caracteristicile „fingerlets”, conform invenției, se realizează prin succesiunea următorilor pași de prelucrare:

1. Se parcurge lista caracteristicilor „fingerlet”, în ordinea generată.

(Χ~2 Ο 1 2 - 0 ϋ 1 2 6 - 2 7 -02- 2012

2. Prima caracteristica identificata „fingerlet”, având parametrii (xs,ys,/,(ps), definește un segment de deget candidat si se marchează. Se reține poziția curenta în lista. Se continuă parcurgerea listei, începând de la linia următoare și i se asociază degetului candidat toate caracteristicile fingerlet nemarcate pentru care direcția locala, φ, satisface condiția de similaritate | φ - (ps | < q>r, unde φ_Γ reprezintă o valoare de prag pentru similaritatea orientării. Se continuă de la poziția curentă în listă, pentru extragerea tuturor degetelor candidat, la fel ca mai sus.

3. Degetele candidat cu un număr de caracteristici „fingerlets” mai mici decât, un prag definit ca un multiplu al grosimii estimate a degetului, kx/_e, se consideră nevalide.

4. Caracteristicile fiecărui segment de deget valid se grupează folosind propagare morfologica pe lista coordonatelor asociate segmentului. Dacă se identifică mai multe sub-segmente, pentru fiecare se calculează parametrii (ρ,φ) corespunzători reprezentării în coordonate polare a dreptei definite de segment. Daca diferența razelor, p, este mai mare decât grosimea unui deget, sub-segmentele valide definesc degete distincte.

5. Fiecare deget detectat, este caracterizat printr-un vector din spațiul 4D de forma (x,y,q>,/), unde (x,y) sunt coordonatele spațiale ale primei caracteristici „fingerlet” asociate degetului, φ reprezintă valoarea medie a orientărilor locale ale caracteristicilor „fingerlet” asociate degetului și / grosimea medie a degetului.

Invenția prezintă următoarele avantaje:

Prin faptul ca majoritatea operațiilor implicate în detecția și urmărirea mâinii se realizează pe lista de caracteristici „fingerlet” și nu la nivel de pixeli ai imaginii, invenția permite obținerea unui timp de execuție extrem de redus în comparație cu timpii raportați în literatură. In consecință, este posibilă rularea cu camere video de viteza mare și evitarea distorsiunilor de mânjire a imaginii la mișcare rapidă („motion blur”) ce pot determina pierderea țintei. In același timp, rămâne timp de prelucrare mai mare pentru sistemul de interpretare a informației furnizate de sistemul de urmărire. Alternativ, permite rularea în timp real pe procesoare lente, specifice aplicațiilor mobile.

In raport cu sistemele de urmărire bazate pe aspect („view based”), care furnizează doar coordonate ale vârfurilor degetelor, metoda de urmărire a degetelor

C\- 2 Ο 1 2 - Ο ϋ 1 2 O - 2 7 -02- 2012

mâinii furnizează informație 4D pentru fiecare deget extins. In consecință, gama gesturilor ce pot Fi definite și diferențiate fără erori se extinde semnificativ.

Datorita faptului ca detecția degetelor se bazează pe o tehnica de grupare robusta a caracteristicilor „fingerlet, ce nu presupune conectivitatea spațială a acestora, metoda este rezistenta la erori de segmentare produse de ocluzie parțiala sau camuflaj.

Se dă în continuare un exemplu de aplicare a invenției.

Un exemplu mijloc de comunicare om-calculator bazat pe gesturi care folosește metoda de urmărire a degetelor mâinii, ce face obiectul propunerii de brevet este ilustrat în Fig. 2. Blocul 1 este o camera video, conectată sau inclusă în componența unui calculator PC, pe care se implementează componentele software reprezentate prin blocurile de prelucrare succesive 2, 3 si 4. Blocul 2 realizează preprocesarea si segmentarea imaginii de prim plan. Poate fi realizat prin substracție de fundal, detecție de piele bazata pe culoare, detecție de muchii sau orice combinație a acestor operații. Blocul 3 este sistemul de urmărire a mâinii. Acesta extrage caracteristici „fingerlet” din punctele de discontinuitate generate de Blocul 2, detectează degete și generează traiectorii în spațiul 4D. Blocul 4 exploatează informația furnizata de blocul 3 si determină acțiuni. Este în esența un clasificator de > » J >

forma.

O aplicație posibilă a invenției constă în comanda prin gesturi efectuate cu mana a unui panou informatic de mari dimensiuni, pentru selecția de informație. Panoul poate fi amplasat intr-un muzeu, o stație de tren sau metrou, aerogara, magazin etc. Coordonatele indexului pot servi pentru selecția informației, înclinația lui sau numărul de degete extinse pot servi pentru confirmare sau infirmare de acțiuni, revenire la acțiunea anterioară, inițierea unei noi comenzi etc. Pentru fiecare deget extins, conform invenției, se generează o traiectorie în spațiul 4D. In Fig. 3 se exemplifica traiectoriile in subspațiul 3D, conținând informațiile de poziție și orientare, fără componenta de grosime, ce furnizează informații referitoare la modificarea distanței mâinii față de cameră. In figură, coordonatele x si y semnifica poziții ale vârfului degetului, măsurate în pixeli , în timp ce coordonata z semnifică unghiul de înclinație al degetului în plan vertical, măsurat în grade. Primul gest dinamic pentru care s-a extras traiectoria, redată in Fig. 3a, corespunde unei mișcări circulare. Următoarele două gesturi, compuse din mișcări cu traiectorii liniare pe porțiuni, au

Ο 1 2 - Ο υ 1 2 6 - 2 7 -02- 2012 traiectoriile reprezentate în Fig. 3b și Fig. 3c. Spre deosebire de primele trei gesturi, efectuate cu o orientare a degetului aproximativ constantă, la ultimul gest cu traiectoria prezentată în Fig. 3d, utilizatorul execută, cu degetul activ, o mișcare asemănătoare celei efectuate de un ștergător de parbriz, degetul pivotând în jurul vârfului. Se remarcă variația în limite largi a unghiului de înclinație și mișcarea redusa a vârfului. Traiectoriile exemplificate au fost extrase folosind un calculator de uz personal de tip laptop, cu tactul de 2,26 GHz, dotat cu camera web ce furnizează imagini cu rezoluția de 640x480 pixeli. Timpul consumat de sistemul de urmărire ce face obiectul invenției, a fost de 1,4 ms pe cadru. Substracția de fundal a necesitat un timp mediu de 4.5 ms pe cadru, ceea ce a condus la un timp mediu de prelucrare de 5.9 ms pe cadru. Folosind o camera video rapidă, sistemul poate rula la frecvențe mai mari de 150 de cadre pe secundă. Alternativ, se poate obține funcționarea în timp real cu procesoare mai puțin performante.

Claims (1)

1. Metodă de urmărire a degetelor mânii, caracterizată prin utilizarea caracteristicii „fingerlet” orizontală respectiv verticală pentru detecția și urmărirea degetelor mânii în timp real într-un sistem de comunicare om-calculator. Caracteristica „fingerlet” poate fi extrasă din imaginea binara obținută prin: segmentarea prim plan/fundal, segmentarea piele/non-piele, detecția de muchii sau orice combinație a acestor metode. Caracteristica este definită în spațiul (x, y, /, φ) și este considerată prezentă la coordonata B = (χβ,Υβ) a unei imagini, dacă există șase puncte, A, B, C, A’, B’, C’, pentru care sunt întrunite simultan următoarele condiții: punctele A, B, C aparțin aceleiași linii respectiv coloane de imagine; distanța între A și C, /b, nu se abate de la grosimea estimată a degetului, l_e, cu mai mult decât un procent p%; punctele A și C sunt puncte de tranziție complementare, caracterizate prin gradienți orizontali respectiv verticali de semn contrar; punctul B, aflat la jumătatea segmentului AC, nu este un punct de tranziție; pe linia respectiv coloana decalată cu jumătate din lungimea segmentului AC, există alte trei puncte A’, B’, C’ care întrunesc condițiile enunțate mai sus și decalajul orizontal respectiv vertical între cei doi tripleți de puncte nu depășește grosimea estimată a degetului. Parametrul ψβ al caracteristicii reprezintă unghiul dintre dreapta determinată de punctele BB’ și o linie respectiv o coloană de scanare. Extragerea caracteristicilor „fingerlet” în timp real se realizează prin operațiile următoare: se calculează /_max = le (1+ε) si /_mj_n = le (1-ε), unde ε este un număr subunitar, reprezentând toleranța abaterilor de grosime, ce definesc fereastra de detecție de caracteristici „fingerlets”; se scanează regiunea de interes, în ordine lexicografică, până la identificarea primei tranziții fundal-prim plan, ce definește un punct de tip A, de coordonate (xa, ya)', dacă s-a găsit un punct de tip A, se continuă scanarea liniei curente, până la identificarea unei tranziții prim plan - fundal, la locația C(xc, Va); dacă distanța între C și A, Ib = | xc - I se încadrează în intervalul [/min, /max], se determină poziția punctului de mijloc, B(x_s , y_s), cu yb = Ya , xb = ( xb + Xc)l2 Și se salvează, pe o lista asociată liniei Ya , segmentul candidat corespunzător punctului B, definit prin parametrii (x_s , y_s, /_e); se continuă scanarea regiunii de interes de la ultimul punct de tip C, pentru detectarea de noi segmente candidat; se parcurg în ordinea generată listele conținând parametrii de segmente candidat; pentru fiecare segment candidat, (xb , ys, /b), se caută segmente candidat pe lista segmentelor asociate liniei ys+ Ib/2.; dacă linia respectivă conține un ev 2 Ο 1 2 - Οϋ 1 2 6 - 2 7 -02- 2012 η

   segment candidat, Β’, de coordonate (x_B’ , Υβ·, Ib), cu decalajul | χ_Β· - xb I < Ib , punctului B i se asociază o caracteristica „fingerlet” validă, cu vectorul de parametri (xb, Yb, Ib, <Pb)·

   Mijloc de urmărire a mâinii pentru mijloc de comunicare om-calculator bazat pe gesturi, caracterizat prin aceea că extrage caracteristici „fingerlet” și generează pentru fiecare deget extins traiectorii în spațiul 4D definit de (x, y, /, φ).