RO126601A2 - Senzor laser pentru determinarea non-contact a distanţelor, poziţiei şi a mişcării diferitelor obiecte - Google Patents

Abstract

Invenţia se referă la un senzor laser, destinat determinării noncontact a distanţelor, poziţiei şi a mişcării diferitelor obiecte, destinat aplicaţiilor robotice, medicale/biomedicale, de tip realitate virtuală, sistemelor de interfaţare om-calculator şi aplicaţiilor multimedia. Senzorul conform invenţiei este alcătuit dintr-un sistem de generare cel puţin a unui plan (3) laser, ce face un unghi constant cu planul (2) orizontal, dintr-o cameră video (9), ce achiziţionează două imagini, prima imagine (10) fiind achiziţionată cu planul laser activ, iar cea de-a doua imagine (11) - cu planul laser inactiv, şi dintr-un sistem electronic de procesare a imaginilor, ce extrage proiecţia (8) planului laser pe obiectele din imediata vecinătate, printr-un algoritm de comparare a celor două imagini (10 şi 11).

Description

OFICIUL DE STAT PENTRU INVENȚII Șl MĂRCIÎ

Cerere de brevet de inveiMie |

Data depozit..... I

Senzor laser pentru determinarea non-contact a distanțelor, poziției și a mișcării diferitelor obiecte

Prezenta invenție se referă la un nou tip de senzor bazat pe o metodă optică, noncontact, de determinare a distanțelor, poziției și a mișcării diferitelor obiecte. Acest senzor este destinat aplicațiilor robotice, medicale/biomedicale, de tip realitate virtuală, sistemelor de interfațare om-calculator, precum și aplicațiilor multimedia.

în prezent, se cunosc diferite tipuri de traductoare, senzori și sisteme de senzori ce urmăresc determinarea mișcării, poziției și distanțelor către: diferite obiecte (statice sau în mișcare), sisteme vii sau părți ale sistemelor vii (așa cum sunt, de exemplu, membrele corpului uman). Utilizarea acestor senzori sau sisteme de senzori este dată de domenii precum robotică, medicină, realitate virtuală sau de diferite domenii interdisciplinare ce derivă din acestea, precum telemedicină, chirurgie asistată robotic etc. Pentru determinarea mișcării și/sau a poziției diferitelor părți ale corpului subiecților sau a diferitelor obiecte se folosesc în prezent senzori atașați de respectivele extremități, obiecte sau zone, aceștia fiind, în general, senzori de tip: accelerometrici, giroscopici, goniometrici, sesizori ai câmpului terestru electromagnetic, ce utilizează cuplajele în câmp magnetic între bobine fixe și bobine fixate pe obiectul sau corpul sistemului viu măsurat, ultrasonici sau combinații între acești senzori în vederea obținerii de rezultate superioare.

Dintre senzorii menționați mai sus, senzorii accelerometricicunoscuți și folosiți la ora

0^-2 0 0 9 - 0 1 0 4 7 -- ί/

5 -12- 2009 actuală sunt de tipul piezo-rezistiv, ei furnizând o acuratețe în determinări de aproximativ ±0.05g. Acești senzori furnizează o informație care este proporțională cu accelerația mișcărilor dar și cu poziționarea relativă a senzorului fața de pământ - senzorul fiind influențat de gravitație. Dezavantajul acestui tip de senzor ține de imposibilitatea distingerii între componenta de orientare relativă a senzorului în câmpul gravitațional terestru și componenta proporțională cu accelerația mișcării.

Se cunosc de asemenea metode de măsurare a distanțelor pe baza senzorilor giroscopici. Spre deosebire de senzorii accelerometrici, senzorii de tip giroscop măsoară viteza unghiulară pe baza principiului Coriolis. Datorită dezavantajelor pe care acești din urmă senzori le au (sunt mai zgomotoși decât cei accelerometrici și au un bias de aproximativ 97s) în aplicațiile destinate analizei mișcărilor nu se folosesc singuri, ci doar în combinație cu senzorii accelerometrici. In această combinație eroarea sistemului tinde să se apropie de cea a sistemelor optice.

Sunt cunoscute de asemenea și metode oprice de măsurare a distanței, poziției și mișcării. Această categorie importantă de senzori optici se bazează pe algoritmi de procesare a imaginilor în vederea extragerii informațiilor de poziție, mișcare și distanță a diferitelor obiecte și sisteme vii. Aceste sisteme de monitorizare a activității motorii umane pe baza analizei optice a mișcării sunt unele dintre cele mai comune. Aceste sisteme de senzori au acuratețea cea mai bună, fiind extrem de precise și având o rezoluție de identificare medie de 0.1 mm în plan orizontal și una puțin mai slabă în plan vertical (0.15 mm) - acestea reprezintă performanțe aferente unei distanțe analizate de 2.25 m. Parte din aceste sisteme utilizează markeri activi. Avantajul unui astfel de sistem este dat de utilizarea unui număr mare de markeri (deci a existenței unui număr mare de puncte de analiză) care pot fi identificate ușor fără nici o problemă. Dezavantajul principal al acestui tip de senzori este însă generat de necesitatea conectării subiectului la sistemul de măsură. Pentru a înlătura acest dezavantaj alte sisteme utilizează markeri pasivi, constând în sfere acoperite cu un strat reflectorizant. în acest caz, identificarea tuturor markerilor, mai ales în cazul mișcărilor complexe, se dovedește uneori a fi însă una foarte dificilă, ea necesitând o mare putere de calcul. Cu toate acestea, principalul dezavantaj al acestor sisteme rămâne prețul lor ridicat și, deci, gradul lor redus de accesibilitate către publicul larg.

ÎV 2 Ο Ο 9 - Ο 1 Ο 4 7 - 1 5 -12- 2009

Sintetizând, vom spune aici doar că toate aceste sisteme prezintă unele dezavantaje care le limitează aplicabilitatea în unul, altul sau în toate dintre domeniile menționate deja. Printre aceste dezavantaje se numără:

necesitatea existenței unui contact între senzor și obiectul sau sistemul viu măsurat;

- prețul ridicat;

imposibilitatea sesizării prezenței sau a mișcării corpurilor într-un spațiu de dimensiuni mari. Acești senzori restrâng foarte mult spațiul în care pot realiza determinările sau spațiul în care eroarea este acceptabilă aplicației este unul foarte mic;

influența negativă a gravitației terestre, senzorii neputând distinge între componenta de orientare relativă a senzorului în câmpul gravitațional terestru și componenta proporțională cu accelerația mișcării;

influența negativă exercitată de existența diferitelor câmpuri magnetice externe;

existența unei influențe negative generată de prezența unor obiecte cu proprietăți magnetice sau bune conductoare a sarcinilor electrice;

necesitatea existenței unei puteri mari de calcul pentru determinarea distanțelor, poziției și a mișcării diferitelor corpuri;

fiabilitate redusă.

Problemele pe care le rezolvă senzorul propus în cele ce urmează, conform invenției, sunt cele menționate mai sus. Mai exact, prin utilizarea unui traductor pentru determinarea distanțelor, poziției și a mișcării diferitelor obiecte - traductor ce utilizează o metodă de determinare non-contact, bazată pe un plan laser -, se înlătură o parte din deficiențele anterior menționate. în acest mod, metoda de implementare propusă este una capabilă să opereze în zone extinse din spațiu și să nu fie influențată de proprietățile obiectelor din vecinătate, precum și de diferiți factori externi precum temperatura, forța de atracție gravitațională etc.

De asemeni, problema încărcării computaționale a sistemului este rezolvată și ea prin utilizarea unei metode simple, de extracție a proiecției planului laser, de tip „diferență”, metodă care nu implică operații costisitoare din punct de vedere computațional.

Problema costurilor este rezolvată, la rândul ei, prin utilizarea unui senzor optic ieftin - de exemplu, acesta poate fi o cameră web -, în timp ce sistemul generator al planului laser ίΝΓ 2 Ο Ο 9 - Ο 1 ο 4 7 - 1 5 Ί2- 2009 de asemenea, și el unul ieftin -, poate fi unul implementat cu ajutorul unei diode și al unei oglinzi convexe (sau cu un sistem mecanic rotativ, un sistem electromecanic oscilant etc.).

Senzorul, conform invenției (destinat aplicațiilor robotice, medicale/biomedicale, de tip realitate virtuală, sistemelor de interfațare om-calculator și aplicațiilor multimedia) prezintă următoarele avantaje:

utilizează o metodă non-contact de determinare a distanțelor, poziției și a mișcării diferitelor obiecte;

oferă capabilități de operare în zone extinse din spațiu;

are o sensibilitate ridicată, direct proporțională cu sensibilitatea senzorului optic;

costurile sistemului sunt reduse;

fiabilitatea este ridicată;

nu este perturbat de câmpurile electromagnetice externe;

- nu este influențat de proprietățile de bun conductor sau de proprietățile magnetice, respectiv, capacitive ale obiectelor din vecinătate;

în momentul în care informația furnizată de acest senzor este utilizată, ea permite unui calculator, unui sistem embedded, microcontroler etc. (sisteme ce pot fi înglobate, de exemplu, într-un autoturism) adaptarea acestora la starea subiectului;

- poate fi utilizat în aplicații biomedicale/medicale în vederea evaluării gravității simptomelor bolii Parkinson sau a oricărei afecțiuni motorii.

Se prezintă, în continuare, trei exemple de realizare, implementare și utilizare practică a invenției în legătură cu figurile 1-4, care redau, după cum urmează:

figura 1 - principiul fundamental al senzorului și al metodei de măsurare, conform invenției;

figura 2 - (a) rezultatele obținute în cazul utilizării senzorului în cadrul aplicațiilor de identificare a limbajului nonverbal; (b) schița blocului de identificare a diferitelor posturi ale unui subiect;

figura 3 - fluxul de date și pașii necesari a fi urmați în vederea realizării unui sistem de interfațare om-calculator, utilizat în domeniul comunicării între persoane cu deficiențe în vorbire, precum și fără aceste deficiențe;

figura 4 - modalitatea de plasare a unui ansamblu de senzori laser în vederea <V2 Ο Ο 9 - Ο 1 Ο 47 - 1 5 -12- 2009 evaluării gravității simptomelor bolii Parkinson.

Senzorul laser, conform invenției, este alcătuit dintr-un scanner laser 1, un senzor optic 9 și un program software care rulează pe un microcontroler, DSP sau procesor de uz general și care controlează scannerul, achiziționează imaginile 10 și 11 și extrage informația privind distanța/poziția unui obiect sau a corpului unei persoane 6 sau 7, figura 1. Principiul de funcționare al întregului sistem se bazează pe generarea de către scanner a unui plan laser 1, la un unghi constant față de planul orizontal 2. Atunci când planul laser 3 lovește ținta 6 sau 7, un contur luminos generat de planul laser apare pe aceasta 8. Sistemul utilizează un singur senzor optic 9 (cameră video convențională, webcam, camcorder etc) care achiziționează imagini din zona proiecției planului laser 8 pe ținta dorită 6 sau 7. Ținta poate fi reprezentată, spre exemplu, de: obiectele din imediata vecinătate (pentru cazul aplicațiilor robotice), trunchiul unui subiect (pentru sistemele de interfață non-verbală om-calculator), respectiv, capul pacientului (în cazul în care dorim determinarea poziției și a semnalului de tremur al acestuia - cu utilitate directă în evaluarea gravității simptomelor bolii Parkinson). Cu ajutorul senzorului optic 9, software-ul achiziționează două imagini consecutive: prima imagine se obține cu dioda laser aprinsă (moment în care o proiecție laser de lumină apare pe țintă, 10) și, a doua imagine se obține cu dioda laser stinsă, 11. Făcând diferența dintre cele două imagini obținem, ca rezultat, doar proiecția planului laser 8 pe corpurile din imediata vecinătate. Utilizându-se acest principiu simplu de operare, extragerea conturului laser 8 este foarte rapidă; acesta constituie, de altfel, unul dintre avantajele majore ale senzorului, chiar dacă se utilizează imagini pentru determinarea distanțelor. într-un ultim pas al analizei, un simplu algoritm parcurge imaginea rezultantă 12 și extrage conturul laser ca o serie „temporală” 15, figura 2; pe axa orizontală sunt reprezentați numărul de pixeli generați de planul laser pe obiectul de studiu, în timp ce informația extrasă de pe axa verticală este una proporțională cu distanța până la poziția respectivului obiect în spațiul tri-dimenional de observabilitate al senzorului optic.

Atât conceptul senzorului cât și metoda de implementare, conform invenției (prezentată mai sus) au fost verificate folosind o variantă constructivă similară cu cea prezentată în figura 1. Blocurile de procesare a semnalelor, în acest caz, sunt cele prezentate în figura 2a și ele adresează aplicația particulară de identificare a limbajului nonverbal al unui c+-2 0 0 9 - 0 1 0 4 7 - - Π

5 -12- 2009 subiect, precum și a stării acestuia prin intermediul dinamicii mișcării subiectului. Identificarea unor posturi specifice ale unui subiect - precum unele ce sunt generate de plictiseală (față de o anumită problemă sau activitate și care pot fi caracterizate, spre exemplu, de susținerea capului subiectului cu ajutorul mâinii pe o perioadă mai lungă de timp) sau precum cea prezentată în figura 2a (în care se remarcă o lipsă a interesului, dorința de a pleca, de a fi în altă parte) - pot aduce informații fundamentale despre starea emoțională a subiectului; - acest lucru este posibil, în principal, datorită faptului că toate aceste posturi, precum și multe altele, au un echivalent în starea emoțională a oricărui subiect uman. Pentru identificarea acestor posturi suntem obligați să caracterizăm seriile de timp extrase din proiecția laser 16 obținută pe trunchiul subiectului în discuție, figura 2c. Deoarece seria de timp rezultată 16 va avea, în general, un număr mare de eșantioane (de exemplu 768 - acest număr de eșantioane este dat de rezoluția pe orizontală a sistemului de achiziție video) și datorită faptului că, în plus, sistemul utilizat pentru clasificare rulează pe un sistem impus de noi ca fiind cât mai ieftin (de exemplu un DSP), apare de aici, imediat, și necesitatea stringentă a diminuării dimensionalității setului de date de intrare. Pentru atingerea acestui obiectiv seria de date este modelată cu ajutorul unui model autoregresiv (AR) blocul 14. Acest bloc de extragere a trăsăturilor 14, precum și sistemul de clasificare a acestora 15 sunt doar exemple nelimitative utilizate în implementarea practică abordată aici pentru testarea performanțelor senzorului non-contact laser; în locul acestor blocuri se pot folosi, bineînțeles, orice tip de algoritm de extragere a trăsăturilor și orice tip de clasificator statistic, neuronal, fuzzy etc. care pot îmbunătăți într-o formă sau alta performanțele sistemului. Blocul clasificator 15 a fost implementat în aplicația de față în două moduri distincte, respectiv, cu ajutorul unor sisteme neuronale artificiale: (i) de tip perceptron multistrat (MLP - multilayer perceptron) și (ii) de tip RBF (radial basis function). Ambele structuri neuronale au fost capabile să identifice, în mod corect, diferite clase ce caracterizează diferite posturi ale unui subiect uman, dovedind astfel atât funcționarea corectă conceptuală a noului senzor propus, cât și fiabilitatea sistemului global de identificare a diferitelor posturi umane.

Acest senzor, conform invenției, a fost testat și într-o aplicație de interfațare omcalculator ce a urmărit convertirea diferitelor semne ale mâinii (utilizate, de exemplu, de către persoanele mute) într-un corespondent vocal al lor, sintetizat de un sistem programabil

Λ-2 Ο Ο 9 - Ο 1 Ο 4 7 - 1 5 -12- 2009 (microcontroler, DSP sau procesor de uz general), figura 3. In mod similar aplicației de identificare a limbajului nonverbal și aici, într-un prim pas al analizei, se achiziționează imaginea mâinii, cu planul laser activ 10 și, respectiv, cu planul laser inactiv 11; în pasul următor 17 se extrage doar imaginea proiecției acestui plan laser pe mâna subiectului, imaginea astfel obținută 12 fiind una prelucrată mai departe. Prin intermediul unui algoritm simplu 18 se extrage din imaginea 12 o serie de “timp” ce caracterizează informația de adâncime a imaginii 16. In pasul următor 18 aceste valori sunt trimise către blocul de extragere de trăsături 14 și ulterior, vectorul de trăsături obținut 19 este prezentat la intrarea clasificatorului 15. Ieșirile acestui clasificator 15 sunt preluate de către un sintetizator vocal care va pronunța echivalentul vocal al semnului identificat de către sistem.

într-o ultimă aplicație, conform invenției, senzorul a fost testat în vederea evaluării cantitative și/sau calitative a gravității simptomelor pacienților Parkinsonieni. Deoarece pacienții Parkinsonieni sunt caracterizați de diskinezie - de mișcări involuntare, anormale ale extremităților (cap, membre) - se poate înregistra activitatea motorie a capului acestora și apoi caracteriza seriile de timp astfel obținute (care sunt direct proporționale cu această activitate motorie) într-un mod precis, nesupus subiectivității factorului uman. Sistemul propus în cazul acestui nou tip de aplicație este caracterizat de un ansamblu de doi astfel de senzori 21 și 22; aceștia înregistrează practic dinamica motorie a poziției capului 23 subiectului în două plane ortogonale. Prin înregistrarea și caracterizarea acestei dinamici se poate evalua eficiența tratamentului medicamentos și chirurgical precum și evoluția stării pacientului în timp, într-un mod exact și nesubiectiv.

Prin aplicarea invenției rezultă mai multe avantaje comparativ cu soluțiile cunoscute până la ora actuală; dintre acestea unele sunt generale, în timp ce alte avantaje sunt particulare acestui senzor, fiind generate de conceptele ce stau la baza funcționării corecte a lui.

Senzorul propus prezintă toate avantajele menționate la început, comparativ cu senzorii accelerometrici, de tip giroscop sau cu cei bazați pe markeri activi sau pasivi. în plus, prin utilizarea acestui tip de senzor se permite identificarea și cuantizarea stărilor emoționale exprimate prin limbajului nonverbal exprimat prin gesturi, posturi și prin intermediul dinamicii mișcării unui subiect. Acest limbaj nonverbal, corporal este puțin utilizat, dacă nu chiar deloc, în cadrul sistemelor actuale de interfațare om calculator.

ÎK-2009-01047-- J/

5 -12- 2009

La ora actuală cea mai comună metodă de evaluare a gravității simptomelor bolii pacienților Parkinsonieni sunt scalele de evaluare clinică care atribuie un scor afecțiunii fiecărui pacient în parte. Dezavantajul acestor metode este dat, în principal, de subiectivismul lor, diferiți medici atribuind scoruri diferite aceluiași pacient, neexistând astfel o reproductibilitate a măsurătorilor. Această dispersie în evaluarea pacienților este datorată, în principal, experienței diferite a medicilor și faptului că la un moment dat ei pot privi numai o cros-secțiune a pacientului. Datorită necesității unor evaluări obiective a:

rezultatelor obținute în urma intervențiilor chirurgicale, evoluției bolii, stabilirii dozajului corect medicamentos pentru fiecare individ în parte, alegerii metodei optime de tratament, cât și din dorința determinării momentului optim de aplicare a tratamentului medicamentos, metode de determinare cantitativă a progresului stării pacientului capătă o importanță din ce în ce mai mare. Utilizarea acestui senzor, conform acestei invenții, figura 4, înlătură dezavantajele prezentate anterior, constituindu-se astfel într-o metodă de evaluare cantitativă, nesubiectivă și, totodată, noncontact a stării și evoluției bolii Parkinson.

Claims (7)

1. Revendicări

   1. Senzorul laser destinat determinării non-contact a distanțelor, poziției și a mișcării diferitelor obiecte, cu aplicații robotice, medicale/biomedicale, de tip realitate virtuală, sistemelor de interfațare om-calculator și aplicațiilor multimedia și caracterizat prin aceea că: este alcătuit dintr-un sistem de generare a cel puțin unui plan laser (3) ce face un unghi constant cu planul orizontal (2), dintr-o cameră video (9) ce achiziționează două imagini, prima imagine cu planul laser pornit (10) iar cea de a doua cu planul laser stins (11), dintr-un sistem electronic de procesare a imaginilor ce extrage proiecția planului laser (8) printr-un algoritm „substractiv” de comparare a celor două imagini (10) și (li)·
2. 2. Sistem conform revendicării 1, caracterizat prin aceea că sistemul de generare a planului laser (1) poate genera un număr arbitrar de planuri laser, toate paralele între ele și care fac un unghi constant cu planul orizontal (2).
3. 3. Sistem conform revendicării 1, caracterizat prin aceea că emisia planului laser se poate realiza în spectrul vizibil sau nu, pe diferite lungimi de undă.
4. 4. Sistem conform revendicării 1, caracterizat prin aceea că senzorul optic poate fi de tip CCD sau CMOS, sensibil la diferite lungimi de undă sau având diferite rezoluții.
5. 5. Senzor laser conform revendicării 1, caracterizat prin aceea că este utilizat în identificarea posturilor umane și a dinamicii comportamentale ale unui subiect.
6. 6. Senzor laser conform revendicării 1, caracterizat prin aceea că este utilizat în identificarea diferitelor semne ale mâinii și a generării unui corespondent vocal al lor.
7. 7. Senzor laser conform revendicării 1, caracterizat prin aceea că este utilizat într-o combinație cu unul sau mai mulți senzori similari, utilizați în cuantizarea dinamicii motorii a unui pacient, cu aplicații biomedicale și în medicină.