RO127779B1 - Metodă de urmărire a degetelor mâinii pentru mijloace de comunicare om-calculator - Google Patents

Description

Invenția se referă la o metodă de urmărire a degetelor mâinii și un mijloc de comunicare om-calculator bazat pe gesturi efectuate cu mâna.

Urmărirea degetelor mâinii este o componentă esențială a sistemelor de comunicare om-calculator bazate pe gesturi efectuate cu mâna. Sunt cunoscute mai multe metode de urmărire a mâinii. Metodele („model based”) bazate pe modele articulate și analiza prin sinteza [B. Stenger, A. Thayananthan, P H. S. Torr, and R. Cipolla. Model-based hand tracking using a hierarchical bayesian filter. IEEE Trans. Pattern Analysis and Machine Intell., 28(9):1372-1384, 2006],[ IVI. de la Gorce, D. Fleet& N. Paragios. Model-based 3D Hand Pose Estimation from Monocular Video. IEEE Transactions on Pattern Analysis and Machine Intelligence, Voi 33 (9), 2011, pp 1793-1805] permit caracterizarea cea mai nuanțată a posturii mâinii, în particular a poziției degetelor și au o robustețe bună la acțiuni perturbatoare, cum sunt camuflajul sau ocluziile parțiale, dar au un cost de calcul ridicat, ceea ce a împiedicat până în prezent răspândirea lor în aplicații în timp real. Metodele („view based”) bazate pe aspect sunt eficiente din punctul de vedere al calculelor, conducând la implementări de timp real. între acestea, unele detectează o poziție globală a mâinii [C. Shan, T. Tan, Y. Wei, Real-time hand tracking using a mean shift embedded partide filter, in Pattern Recognition No. 40, 2007, pp 1958-1970][M. Kolschand M. Turk, “Fast2D hand tracking withflocks offeaturesand multi-cue integration,” in IEEE Workshopon Real-Time Vision for Human-Computerlnteraction, 2004, pp. 158-165], ceea ce conduce la o definiție golbală, mai puțin exactă a posturii, limitând aria de aplicații posibile. Asemenea metodei ce face obiectul invenției, în [K. Oka, Y. Sato, and H. Koike. Real-time fingertip tracking and gesture recognition. IEEE Computer Graphics and Applications, 22(6):64-71, 2002] si [Sorig P., Winkler S., Gilani S. O. & Zhou Z. (2007). Vision-Based ProjectedTabletop IriterfaceforFingerlnteractions. In Lecture Notes in Computer Science, 4796, 49-58], postura mâinii se definește pe baza poziției degetelor. Ambele se bazează pe detecția vârfurilor degetelor. Niciuna din ele nu este invariantă la scara, ceea ce le face impracticabile în aplicațiile la care distanța între persoana care gesticulează și camera se modifică apreciabil pe durata comunicației. Metoda [K. Oka, Y. Sato, and H. Koike. Real-time fingertip tracking and gesture recognition. IEEE Computer Graphics and Applications, 22(6):64-71,2002] are dezavantajul că presupune cunoașterea fundalului, care este un panou informatic. Metoda [Song P., Winkler S., Gilani S. O. &Zhou Z. (2007). Vision-Based Projected Tabletop Interface for Finger Interactions. In Lecture Notes in Computer Science, 4796, 49-58] se bazează pe detecția vârfurilor și folosește segmente de dreapta pentru a detecta prezența degetului în vecinătatea vârfului, în scopul eliminării detecțiilor fals pozitive, dar este are dezavantajul că este vulnerabilă la ocluzii parțiale pe porțiunea superioară a degetului deoarece metoda de detecție a segmentelor este secvențială.

Scopul invenției este de a obține o metodă de urmărire a degetelor mâinii, ce poate fi utilizată pentru o interfață pentru comunicare om-calculator bazată pe gesturi efectuate cu mâna, care să înlăture dezavantajele identificate, permițând urmărirea în timp real a degetelor deschise ale mâinii, efectuate pe un fundal variabil, în condiții de ocluzie parțială, de la o distanță variabilă față de cameră, generând vectori de date 4D pentru fiecare deget detectat.

Metoda propusă are la bază detecția maximelor funcției densitate de probabilitate ale unor caracteristici special concepute pentru caracterizarea locațiilor din imagine care conțin degete și care sunt prezente în număr mare în regiunea degetelor. Denumim aceste caracteristici „fingerlets”. Robustețea este conferită de faptul că pozițiile maximelor de densitate a caracteristicilor nu sunt afectate de pierderea unor eșantioane sau de prezența unor eșantioane deviate, ce nu aparțin țintei reale. Definim în continuare caracteristicile „fingerlet” pentru scanare orizontală. Pentru scanare verticală, se procedează similar. Presupunem că la momentul detecției este disponibilă o estimație a grosimii degetului, /_e.

RO 127779 Β1

Conform invenției, o caracteristică „fingerlet” este prezentă la coordonata B = (x_B,y_B) a 1 unei imagini, dacă există șase puncte, A,B,C,A’,B’,C’, ilustrate în fig. 1, pentru care sunt întrunite simultan următoarele condiții: 3

1. Punctele A,B,C aparțin aceleiați linii de imagine.

2. Distanțaîntre A și C, /, nu se abate de la grosimea estimată a degetului,_/e, cu mai mult 5 decât un procent p% (valorile uzuale sunt ± 50% din valoarea estimată a grosimii degetului /_e).

3. Punctele A și C sunt puncte de tranziție complementare, caracterizate prin gradienți 7 orizontali de semn contrar.

4. Punctul B, aflat la jumătatea segmentului AC, nu este un punct de tranziție. 9

5. Pe linia decalată vertical cu jumătate din lungimea segmentului AC, există trei puncte A’,B’,C’ care întrunesc condițiile 1,2,3 și 4 și decalajul orizontal între cei doi tripleți nu depășește 11 grosimea estimată a degetului.

Caracteristica detectată este descrisă prin vectorul (χ,γ,/,φ), cu x=x_B,y=y_B, Ι=Ι_Β, φ=φ_Β, 13 în care φ_Β reprezintă unghiul dintre dreapta determinată de punctele BB’ și o linie de scanare.

Pentru inițializare, utilizatorul stabilește grosimile minime și maxime ale degetului, 15 exprimate în pixeli, /_min, /_max, în funcție de rezoluția camerei, parametrii sistemului optic și gama distanțelor la care se presupune a se afla utilizatorul sistemului. Inițializarea sistemului de 17 urmărire se realizează automat, conform invenției, prin următoarele operații de prelucrare a imaginii cu utilizatorul prezentând palma în postura cu toate degetele extinse, în plan vertical: 19

1. Segmentare prim plan/fundal.

2. Extragere de caracteristici „fingerlets” din imaginea binară rezultată, cu parametrul 21 de grosime a degetului, /, cuprins în intervalul [/_min, /_maJ.

3. Determinarea histogramelor parametrilor, x, y și / ale caracteristicilor „fingerlets. 23

4. Extragerea modului grosimii /_e, folosind estimarea nonparametrică a densității de probabilitate în histograma parametrului /, cu fereastra rectangulară având lățimea egală cu q% 25 din intervalul |/_max-/_min| (valorile uzuale sunt în intervalul ± 50%).

5. Validarea modului și a prezentei mâinii, dacă numărul eșantioanelor asociate modului 27 raportat la grosimea estimată a degetului depășește un prag de detecție.

Definirea regiunii de interes, ROI, prin centrul (x_e,y_e) reprezentat de modurile para- 29 metrilor x și y ale caracteristicilor „fingerlet” asociate modului grosimii prin algoritmul mean shift și prin dimensiuni (înălțime și lățime) egale cu un multiplu al grosimii degetului, n^xl_e. 31

Validarea prezentei mâinii determină trecerea sistemului în regimul de urmărire a mâinii.

Urmărirea mâinii, conform invenției, presupune următorii pași de prelucrare pentru 33 fiecare cadru de imagine:

1. Segmentarea prim plan / fundal în regiunea de interes. 35

2. Extragerea de caracteristici „fingerlets” în imaginea rezultată.

3. Detecția și segmentarea degetelor folosind caracteristicile „fingerlets”. 37

4. Actualizarea modului grosimii /_e, folosind estimarea nonparametrică a densității de probabilitate în histograma parametrului /, cu fereastra rectangulară având lățimea egală cu q% 39 din intervalul |/_max-/_min| (valorile uzuale sunt în intervalul ± 50%).

5. Actualizarea regiunii de interes, ROI, prin centrul (x_e,y_e) reprezentat de modurile 41 parametrilor x și y ale caracteristicilor „fingerlet” asociate modului grosimii și prin lățimea egală cu un multiplu al grosimii degetului, n^x/_e. 43

RO 127779 Β1 în ambele situații, de inițializare și urmărire, alternativ, la pasul 1 se poate utiliza o segmentare bazată pe culoarea pielii sau detecție de muchii.

Extragerea eficientă a caracteristicilor „fingerlets”, conform invenției, constăîn operațiile următoare:

1. Se calculează l_maY = Λ (1+ε) și /_min = L (1 -ε), unde ε este un număr subunitar, reprezentând toleranța abaterilor de grosime, ce definesc fereastra de detecție de caracteristici „fingerlets.

2. Se scanează regiunea de interes, în ordine lexicografică, până la identificarea primei tranziții fundal-prim plan. Fie (x_A, y_A) coloana și linia primei tranziții, ce definesc un punct de tip A.

3. Dacă s-a găsit un punct de tip A, se continuă scanarea liniei curente, până la identificarea unei tranziții prim plan - fundal, la locația C(x_c, y_A). Dacă distanța între C și A, l_B = | x_c - x_A | se încadrează în intervalul [/_min, /_max], se determină poziția punctului de mijloc, B(x_b , y_B), cu y_B = y_A, x_B= (x_B + x_c)/2 și se salvează, pe o listă asociată liniei y_A, segmentul candidat corespunzător punctului B, definit prin parametrii (x_B, y_B, /).

4. Se continuă scanarea regiunii de interes de la ultimul punct de tip C, pentru detectarea de noi segmente candidat.

5. Se parcurg în ordinea generată listele conținând parametri de segmente candidat. Pentru fiecare segment candidat, (x_B, y_B, /_B), se caută segmente candidat pe lista segmentelor asociate liniei y_B+ /b/2. Dacă linia respectivă conține un segment candidat, corespunzător punctului, B’, de coordonate (x_B., y_B.,l_B), cu decalajul | x_B,- x_B | < l_B, celor două segmente li se asociază o caracteristică „fingerlet” validă, cu vectorul de parametri (x_B,y_B, Ι_Β,Φ_Β).

Detecția și segmentarea degetelorfolosind caracteristicile „fingerlets”, conform invenției, se realizează prin succesiunea următorilor pași de prelucrare:

1. Se parcurge lista caracteristicilor „fingerlet”, în ordinea generată.

2. Prima caracteristică identificata „fingerlet”, având parametrii (x_B,y_B,/,Φ_Β), definește un segment de deget candidat și se marchează. Se reține poziția curentă în listă. Se continuă parcurgerea listei, începând de la linia următoare și i se asociază degetului candidat toate caracteristicile fingerlet nemarcate pentru care direcția locală, φ, satisface condiția de similaritate | φ - φ_Β | <φ_τ, unde φ_τ reprezintă ο valoare de prag pentru similaritatea orientării. Se continuă de la poziția curentă în lista, pentru extragerea tuturor degetelor candidat, la fel ca mai sus.

3. Degetele candidat cu un număr de caracteristici „fingerlets” mai mici decât, un prag definit ca un multiplu al grosimii estimate a degetului, k^xl_e, se consideră nevalide.

4. Caracteristicile fiecărui segment de deget valid se grupează folosind propagare morfologică pe lista coordonatelor asociate segmentului. Dacă se identifică mai multe sub-segmente, pentru fiecare se calculează parametrii (ρ,φ) corespunzători reprezentării în coordonate polare a dreptei definite de segment. Dacă diferența razelor, p, este mai mare decât grosimea unui deget, sub-segmentele valide definesc degete distincte.

5. Fiecare deget detectat, este caracterizat printr-un vector din spațiul 4D de forma (χ^,φ,/), unde (x,y) sunt coordonatele spațiale ale primei caracteristici „fingerlet” asociate degetului, φ reprezintă valoarea medie a orientărilor locale ale caracteristicilor „fingerlet” asociate degetului și / grosimea medie a degetului.

Invenția prezintă următoarele avantaje:

Prin faptul că majoritatea operațiilor implicate în detecția și urmărirea mâinii se realizeaăa pe lista de caracteristici „fingerlet” și nu la nivel de pixeli ai imaginii, invenția permite obținerea unui timp de execuție extrem de redus în comparație cu timpii raportați în literatură, în consecință, este posibilă rularea cu camere video de viteză mare și evitarea

RO 127779 Β1 distorsiunilor de mânjire a imaginii la mișcare rapidă („motion blur”) ce pot determina pierderea 1 țintei. în același timp, rămâne timp de prelucrare mai mare pentru sistemul de interpretare a informației furnizate de sistemul de urmărire. 3

Alternativ, permite rularea în timp real pe procesoare lente, specifice aplicațiilor mobile, în raport cu sistemele de urmărire bazate pe aspect („view based”), care furnizează doar 5 coordonate ale vârfurilor degetelor, metoda de urmărire a degetelor mâinii furnizează informație 4D pentru fiecare deget extins. în consecință, gama gesturilor ce pot fi definite și diferențiate 7 fără erori se extinde semnificativ.

Datorită faptului că detecția degetelor se bazează pe o tehnică de grupare robustă a 9 caracteristicilor „fingerlet, ce nu presupune conectivitatea spațială a acestora, metoda este rezistentă la erori de segmentare produse de ocluzie parțiala sau camuflaj. 11

Se da în continuare un exemplu de aplicare a invenției.

Un exemplu mijloc de comunicare om-calculator bazat pe gesturi care folosește metoda 13 de urmărire a degetelor mâinii, ce face obiectul propunerii de brevet este ilustrat în fig. 2. Blocul 1 este o cameră video, conectată sau inclusă în componența unui calculator PC, pe care se 15 implementează componentele software reprezentate prin blocurile de prelucrare succesive 2, 3 și 4. Blocul 2 realizează preprocesarea și segmentarea imaginii de prim plan. Poate fi realizat 17 prin substracție de fundal, detecție de piele bazată pe culoare, detecție de muchii sau orice combinație a acestor operații. 19

Blocul 3 este sistemul de urmărire a mâinii. Acestă extrage caracteristici „fingerlet” din punctele de discontinuitate generate de Blocul 2, detectează degete și generează traiectorii în 21 spațiul 4D. Blocul 4 exploatează informația furnizată de blocul 3 și determină acțiuni. Este în esență un clasificator de formă. 23

O aplicație posibilă a invenției constă în comanda prin gesturi efectuate cu mana a unui panou informatic de mari dimensiuni, pentru selecția de informație. Panoul poate fi amplasat 25 într-un muzeu, o stație de tren sau metrou, aerogară, magazin etc.

Coordonatele indexului pot servi pentru selecția informației, înclinația lui sau numărul 27 de degete extinse pot servi pentru confirmare sau infirmare de acțiuni, revenire la acțiunea anterioară, inițierea unei noi comenzi etc. Pentru fiecare deget extins, conform invenției, se 29 generează o traiectorie în spațiul 4D. în fig. 3 se exemplifică traiectoriile în subspațiul 3D, conținând informațiile de poziție și orientare, fără componenta de grosime, ce furnizează informații 31 referitoare la modificarea distanței mâinii față de cameră. în figură, coordonatele x și y semnifică poziții ale vârfului degetului, măsurate în pixeli, în timp ce coordonata z semnifică unghiul de 33 înclinație al degetului în plan vertical, măsurat în grade. Primul gest dinamic pentru care s-a extras traiectoria, redată în fig. 3a, corespunde unei mișcări circulare. Următoarele două gesturi, 35 compuse din mișcări cu traiectorii liniare pe porțiuni, au traiectoriile reprezentate în fig. 3b și fig. 3c. Spre deosebire de primele trei gesturi, efectuate cu o orientare a degetului aproximativ 37 constanta, la ultimul gest cu traiectoria prezentata în Fig. 3d, utilizatorul execută, cu degetul activ, o mișcare asemănătoare celei efectuate de un ștergător de parbriz, degetul pivotând în 39 jurul vârfului. Se remarcă variația în limite largi a unghiului de înclinație și mișcarea redusă a vârfului. Traiectoriile exemplificate au fost extrase folosind un calculator de uz personal de tip 41 laptop, cu tactul de 2,26 GHz, dotat cu camera web ce furnizează imagini cu rezoluția de 640*480 pixeli. Timpul consumat de sistemul de urmărire ce face obiectul invenției, a fost de 43 1,4 ms pe cadru. Substracția de fundal a necesitat un timp mediu de 4.5 ms pe cadru, ceea ce a condus la un timp mediu de prelucrare de 5.9 ms pe cadru. Folosind o cameră video rapidă, 45 sistemul poate rula la frecvențe mai mari de 150 de cadre pe secundă. Alternativ, se poate obține funcționarea în timp real cu procesoare mai puțin performante. 47

Claims (1)

1. Revendicare

   Metoda de urmărire a degetelor mâinii și mijloc de comunicare om-calculator, care folosește pentru identificarea degetelor, a poziției acestora și prelucrarea informației, un sistem de urmărire bazat pe aspect compus dintr-o cameră video integrată în sistemul de calcul, sau conectată printr-o interfață cablată sau fără fir și un sistem de calcul programabil care identifică în imagini binare furnizate de camera video a sistemului de urmărire caracteristici de tip segmente de degete cvadrimensionale, definite de coordonatele carteziene, x, y, lățime deget, /, și unghiul dintre segmente, φ, definite prin intermediul a minim șase puncte A, B, C, A', B' C, care întunesc următoarele condiții: A, B, C aparțin aceleiași linii sau coloane din imagine, A și B sunt puncte de tranziție complementare caracterizate de gradienți orizontali sau verticali, cu semne contrare, B este mijlocul segmentului AC și nu este punct de tranziție, iar distanța dintre AC notată cu l_B nu se abate de la grosimea estimată a degetului l_e cu mai mult de un anumit procent iar pe linia sau coloana decalată cu maxim l_B/2 există alte 3 puncte A', B', C care întrunesc condițiile de mai sus, astfel încât decalajul dintre cei doi tripleți de puncte pe orizontală sau verticală nu depășește grosimea estimată a degetului, l_e, locul geometric a mijloacelor segmentelor definește o dreaptă caracterizată de panta tg(φ) cu o anumită abatere prestabilită sau echivalent cu decalajul pe orizontal |XB'-XB |< IB, caracterizată prin aceea că, toate caracteristicile segmente de degete sunt preluate din imaginea binară și utilizate pentru detecția și segmentarea degetelor prin parcurgerea următoarelor etape:

   - se calculează l_maY = L(1+s) și l_min = L(1-s), unde ε este un număr subunitar, reprezentând toleranța abaterilor de grosime, ce definesc fereastra de detecție de caracteristici tip segmente de degete;

   - se scanează regiunea de interes, în ordine lexicografică, până la identificarea primei tranzțtii fundal-prim plan, X_A și Y_A fiind coloana și linia primei tranziții, asociate lui A;

   - după identificarea unui punct de tip A, se continuă scanarea liniei curente, până la identificarea unei tranziții prim plan-fundal, la locația C(X_c, Y_A), dacă distanța între C și A, l_B=|Xc-X_A | se încadrează în intervalul [l_min, l_maJ se determină poziția punctului de mijloc, B(XB, Y_B), cu Y_B =Y_A, X_B = (X_b+X_c)/2 și se salvează, pe o listă asociată liniei Y_A, segmentul candidat corespunzător punctului B, definit prin parametrii (X_B, Y_B, I);

   - se continuă scanarea regiunii de interes de la ultimul punct de tip C, pentru detectarea de noi segmente candidat;

   - se parcurg în ordinea generată listele conținând parametri de segmente candidat, pentru fiecare segment candidat, (X_b,Y_bJb) ^se caută segmente candidat pe lista segmentelor asociate liniei YB+lB/2, dacă linia respectivă conține un segment candidat, corespunzător punctului, B¹ de coordonate (XB.,Y_B,I_B), cu decalajul ΙΧβ-ΧεΠ l_B> θθΙθΓ două segmente li se asociază o caracteristică de tip segmente de degete validă, cu vectorul de parametri (X_B, Y_B, Ι_Β. φΒ);

   - detecția și segmentarea degetelor folosind caracteristici de tip segmente de degete se face începând cu prima caracteristică identificată de tip segmente de degete, având parametrii (X_B, Yb > Ib> Φβ) definite ca un segment de deget candidat și se marchează și se reține poziția curentă în listă, se continuă parcurgerea listei, începând de la linia următoare și i se asociază degetului candidat toate caracteristicile de tip segmente de degete nemarcate pentru care direcția locală,φ , satisface condiția de similaritate |φ-φ_Β|<φ_τ, unde φ_τ reprezintă o valoare de prag pentru similaritatea orientării, se continuă de la poziția curentă în listă, pentru extragerea tuturor degetelor candidat, la fel ca mai sus;

   RO 127779 Β1

   - degetele candidat cu un număr de caracteristici de tip segmente de degete mai mici 1 decât un prag definit ca un multiplu al grosimii estimate a degetului, k^xl_e, se consideră nevalide;

   - caracteristicile fiecărui segment de deget valid se grupează folosind propagare 3 morfologică pe lista coordonatelor asociate segmentului, daca diferența razelor, φ, este mai mare decât grosimea unui deget, sub-segmentele valide definesc degete distincte; 5

   - fiecărui deget astfel detectat i se asociază un vector din spațiul 4D de forma (X ,Υ, φ, I) unde (x,y) sunt coordonatele spațiale ale primei caracteristici de tip segmente de degete 7 asociate degetului, φ, reprezintă valoarea medie a orientărilor locale ale caracteristicilor asociate degetului și /, grosimea medie a degetului. 9