RO127350A0 - Metodă de segmentare automată pentru determinarea punctelor de prehensare a obiectelor uniform colorate - Google Patents

Abstract

Invenţia se referă la o metodă de segmentare automată a imaginilor color, pentru determinarea punctelor de prehensare a obiectelor uniform colorate, cu aplicare în domeniul roboţilor articulaţi redundanţi, dotaţi cu elemente de prehensare. Metoda conform invenţiei cuprinde o primă etapă de achiziţie (1) a unei imagini color, urmată, într-o a doua etapă, de segmentarea imaginii (2) folosind modelul de culoare HSI (Nuanţă, Saturaţie, Intensitate). Prin segmentarea planelor nuanţă şi saturaţie, ele conţinând informaţia de culoare, se obţine o separare a obiectului de interes de fundalul imaginii. Cele două imagini binare rezultate sunt fuzionate prin aplicarea unei operaţii ŞI logic. Pentru obţinerea unei segmentări optime, adică a unui obiect cât mai bine separat de fundal, parametrii operaţiei de segmentare sunt adaptaţi automat, folosind un algoritm de control bazat pe căutarea extremului. Variabila controlată (I), denumită şi mărime de incertitudine, reprezintă o cuantificare a conectivităţii pixelilor obiect din imaginea segmentată. Optimul operaţiei de segmentare este dat de minimul mărimii de incertitudine (I). Imaginea binară obţinută este furnizată blocurilor de extragere de atribute (3) şi clasificare (4), utilizate pentru determinarea punctelor cheie ale obiectului vizualizat. În final, aceste puncte cheie sunt folosite în calculul (5) punctelor de prehensare ale obiectului.

Description

într-o aplicație robotică scopul sistemului de vedere artificială este de a percepe și înțelege mediul de operare al robotului prin achiziționarea de informații vizuale. în cazul roboților de serviciu dotați cu elemente de manipulare (e.g. brațe robotice redundante), obiectivul sistemului de procesare de imagini este de a extrage punctele de prehensare ale obiectelor vizualizate [Al, A2, A3]. Invenția se referă la un sistem de vedere artificială robust, cu schema-bloc ilustrată în figura 1, destinat extragerii punctelor de prehensare mai sus menționate.

Primul bloc al sistemului reprezentat în figura 1 este acela al achiziției de imagine, în funcție de tipul de sistem vizual, imaginile pot fi achiziționate de la camere mono, ce sunt dotate cu un singur senzor vizual, sau de la camere stereo. Avantajul folosirii camerelor stereo este acela că, prin utilizare constrângerilor geometriei epipolare [A4], se poate determina și poziția 3D a punctelor de prehensare [A5, A6]. Cu toate acestea, principiul prezentat în cadrul invenției se poate aplica în egală măsură ambelor tipuri de camere.

Elementele de noutate din schema ilustrată în figura 1 sunt reprezentate în special de sistemul de segmentare automată bazat pe o metodă de căutare a extremului în buclă închisă și de utilizarea rezultatului operației de segmentare în determinarea punctelor de prehensare a obiectului vizualizat. Aceste puncte sunt determinate din combinații ale punctelor cheie ale obiectelor vizualizate. Exemple de puncte cheie sunt ilustrate în Figura 2, din care, se poate observa că, în funcție de tipul obiectului vizualizat, punctele cheie diferă.

1. Stadiul actual al tehnicii mondiale în cazul manipulării obiectelor cu ajutorul brațelor robot redundante, segmentarea optimă [A7] este necesară pentru extragerea proprietăților obiectelor vizualizate. Aceste proprietăți sunt folosite la calcularea punctului optim de prehensare și la planificarea mișcării brațului robot. în Figura 2 este ilustrată segmentarea și extragerea punctelor cheie a trei obiecte. Problema principală întâlnită la sistemele robotice bazate pe arhitecturi de vedere artificială [A8] este scena complexă în care operează. Această complexitate este, în special, introdusă de mediul de lucru nestructurat și de iluminarea variabilă [A9], O manipulare optimă a obiectelor de interes este dată de o detecție precisă a lor, invariantă la condițiile stohastice mai sus menționate.

Λ.-2 0 1 1 - O Of f 5 - 1 8 -07- Ζβη

în sistemele robotice sunt cunoscute metode de reconstrucție 3D ale obiectelor de interes utilizându-se sisteme de vedere activă [Bl] ce proiectează pe suprafața vizualizată, în spectrul infraroșu, un raster codat pseudo-aleator. Distanța dintre cameră și obiect este determinată prin măsurarea timpului de parcurgere a razelor infraroșii. Dezavantajele principale ale acestor metode sunt necesitatea elementului activ de generare și recepție a datelor din spectrul infraroșu, cât și distanța relativ mică (aproximativ 3m) de funcționare precisă.

Este cunoscută o metodă, și anume a Transformării Invariante la Scală (S1FT¹) [A10], metodă utilizată într-o gamă largă de aplicații, precum, de exemplu, controlul robotic [AII] și procesarea de imagini medicale [A12], Cu toate că metoda este relativ robustă în raport cu iluminarea variabilă, dezavantajul acesteia este că nu poate reda la un nivel de precizie ridicat punctele cheie de prehensare ale unui obiect de interes uniform colorat. Acest fenomen se datorează faptului că metoda SIFT exploatează textura obiectelor vizualizate pentru a detecta colțuri cheie ce pot fi apoi recunoscute în imagini. Astfel, în cazul obiectelor uniform colorate, lipsa colțurilor cheie împiedică o localizare robustă a obiectelor de interes. Aceleași dezavantaje se regăsesc în cazul tuturor metodelor ce exploatează variația pixelilor obiectului de interes pentru calculul punctelor cheie, metode precum detectoarele de colțuri Moravec [Al 3] respectiv Harris [A 14].

în această invenție, detectarea punctelor de prehensare este realizată cu ajutorul operației de segmentare pe regiuni. în cazul obiectelor uniform colorate, segmentarea regiunilor este efectuată prin gruparea pixelilor cu o valoare similară a culorii, așa cum se poate vedea în exemplele din figura 2. Rezultatul segmentării pe regiuni este reprezentat de aglomerări de pixeli ce separă obiectul de fundalul scenei. Din literatura de specialitate se cunosc o serie de metode robuste specializate în segmentarea culorii, precum algoritmul Mean-Shift [Al5], partiționarea prin grafuri [A16], sau contururi active [Al7]. De asemenea, o metodă dezvoltată inițial pentru imagini de nivel gri [Al8], extinsă apoi și asupra imaginilor color [Al9], este algoritmul Otsu [Al8], Principiul metodei Otsu este de a separa imaginea de intrare în două clase, obiect și fundal, pe baza varianței interclasă obținută din histograma imaginii.

Un obiectiv al invenției este de a segmenta cât mai precis imaginile color. Acest tip de partiționare robustă este făcută prin controlul operației de segmentare și va fi prezentată în cele ce urmează. în mod obișnuit, tehnicile de reglare utilizate în vederea ¹ Eng. Scale Invariant Feattire Transform

0-2011-00689-1 8 -07- 2011 artificială sunt asociate cu conceptele de “vedere activă’'² [A20], respectiv visual servoing [A21J. Vederea activă se referă la controlul parametrilor senzorilor vizuali și a dispozitivelor de orientare folosindu-se informația vizuală [A20]. Prin visual servoing se înțelege controlul unui robot utilizându-se informație vizuală de reacție [Al, A22]. Ideea controlului operațiilor de procesare de imagini este întâlnită în literatura de specialitate într-o serie de lucrări [A23, A24, A25, A26, A27], In [A27] se găsește una dintre primele abordări ce tratează aplicarea principiilor și tehnicilor reglării automate la sistemele de procesare de imagini. In lucrare a fost utilizată o metodă de învățare automată pentru maparea parametrilor optimi de segmentare în funcție de imaginea de intrare. în [A23], a fost dezvoltată o metodă de generare și verificare a ipotezelor obiectelor cu scopul calculului unor operatori de interes ce pot fi utilizați la localizarea în imagini a anumitor obiecte, în cazul respectiv poduri. De asemenea, în [A24], este utilizată o strategie de control în adaptarea automată a unui sistem de recunoaștere a formelor. Un algoritm de control optim al sistemelor de vedere artificială, având la bază o lege de reglare care utilizează evaluarea gradientului, a fost prezentat în [A25], Controlul unui sistem de evaluare a calității unor produse industriale este prezentat în [A26]. Tehnici de reglare pentru lanțurile de procesare de imagini, inspirate din ingineria reglării, sunt utilizate în [A28, A29, A30], atât pentru adaptarea unui sistem de recunoaștere a caracterelor, cât și pentru controlul calității. De asemenea, în [B2], se regăsește un sistem ce utilizează informație statistică de reacție pentru îmbunătățirea detecției de obiecte în supravegherea video.

în invenția de față, este propusă o metodă de control a operației de segmentare a obiectelor uniform colorate inspirată din domeniul ingineriei sistemelor automate. După cum s-a menționat anterior, scopul reglării este acela de a adapta parametrii acestei operații în așa fel încât detectarea punctelor de prehensare a obiectelor vizualizate să se facă optim, crescând astfel stabilitatea și încrederea în platforma autonomă de manipulare.

2. Segmentarea imaginilor color

Problema pe care o rezolvă invenția este de a îmbunătății rezultatele segmentării pe regiuni a obiectelor vizualizate, astfel facilitând extragerea punctelor de prehensare și manipularea acestor obiecte de către sisteme robotice autonome.

O metoda naturală de segmentare a imaginilor color se bazează pe modelul de culoare HSI³ (Hue, Saturation, Intensity), ilustrat în figura 3. Acest model stochează ² Eng. Active t'ision ³ Nuanță, Saturație, Intensitate .

ί\-2 01 1-00689-1 8 -07- 2011 informația de culoare în planuri de imagini separate, reprezentate de planul de culoare, sau de nuanță, f_H(x,y) ȘÎ de planul saturației fs(x>y)·

In planul de nuanță, informația este descrisă de pixeli ce iau valori în intervalul [0,2π], sau [0°, 360°]. Având în vedere că nuanța este reprezentată de unghiul H, definit pe cercul unitate din figura 3, fiecare pixel din intervalul [0°, 360°] corespunde unei anumite nuanțe. Deoarece în anumite arhitecturi de calcul imaginile sunt stocate în vectori de 8 biți (255 de valori ale pixelilor), intervalul de nuanță a fost împărțit în așa fel încât să facă față acestei reprezentări. Astfel, împărțind intervalul inițial în două, nuanța va varia în final în intervalul [0, ° 180°].

Pentru a putea diferenția între culorile obiectelor, componenta de nuanță este de regulă împărțită în clase de culori ce iau valori într-un anumit interval notat cu [7)_ovv, Thigh]·

Ci [Tjou Thigh]’ 0) unde l reprezintă numărul de clase de nuanțe, iar T_low și T_high minimul respectiv maximul de valori de nuanțe ale pixelilor obiect. Un pixel este considerat că aparține unei anumite clase dacă valorile nuanțelor sale aparțin intervalului [7)_ow, T_high],

Această diferențiere între diferitele clase de nuanțe se poate efectua prin partiționarea planului de imagine ce conține informația de nuanță și anume prin f_H(x,y)· Din punct de vedere matematic acest tip de segmentare este descris prin ecuația următoare:

îl, dacă f_H(x,y) e C_b (O, dacă f_H(x,y) £ Q, (2) unde t_H(x,y) reprezintă imaginea binară partiționată a planului de nuanță. Pentru simplificarea expunerii, o clasă de culoare C_L a unui obiect va fi numită în această invenție ca intervalul de partiționare al obiectului [T(_0W, .

Componenta saturație este folosită în segmentarea de culoare ca o mască ce izolează regiuni de interes în imaginea de culoare. în mod clasic, imaginea saturație este partiționată folosindu-se o valoare de prag egală cu 10% din valoarea maximă a pixelilor din imaginea saturație [A31], rezultând astfel imaginea binară t$-(x,y). Rezultatul final al segmentării de culoare este o imagine binară obținută prin aplicarea operației ȘI logic (produsul logic) între imaginile t_H(x,y) și t_s(x,y);

t(x,y) = și t$(Xy)> (3)

Sfî 6m'« t=2 α - - e o f 1 ii -ca 0<1 // unde t(x,y) este imaginea binară de ieșire a segmentării de culoare. Tabela de adevăr a operației ȘI logic este redată în figura 4(a). Un exemplu de segmentare de culoare folosind procedura descrisă mai sus este ilustrat în figura 4(b).

3. Abordarea segmentării robuste de culoare

Aplicarea directă, cu un interval de partiționare constant, a operației de segmentare a obiectelor uniform colorate prezintă o serie de dezavantaje. Cel mai important dintre acestea este că valoarea nuanțelor obiectelor se schimbă odată, cu iluminarea. Cu alte cuvinte, valoarea intervalului de partiționare [T_low, se schimbă și ea odată cu iluminarea. Acest fenomen poate fi observat în figura 5, unde sunt ilustrate histogramele nivelurilor de gri ale imaginii de nuanță pentru două imagini color ale aceleiași scene iluminată în condiții diferite. Aceste imagini au fost achiziționate pentru cazurile iluminării artificiale (v. figura 5(a)) respectiv naturale (v. figura 5(b)), având planurile de nuanță prezentate în figura 5(c,d), împreună cu histogramele lor din figura 5(e,f). Utilizându-se metoda de segmentare a culorii expusă în capitolul precedent, se poate observa că intervalul optim de segmentare a obiectelor uniform colorate diferă pentru cele două cazuri considerate. Cu alte cuvinte, distribuția nivelurilor de gri reprezentând diferitele clase de culori C_Î este diferită pentru cele două histograme prezentate [A32]. Astfel, odată cu deplasarea distribuției nivelurilor de gri, se poate observa și deplasarea intervalului optim de segmentare a diferitelor obiecte colorate. Acest fenomen este descris și în figura 6, unde pot fi văzute diferite rezultate obținute prin segmentarea unei imagini cu mai multe intervale de partiționare. După cum se poate observa, doar alegerea corectă a intervalul de partiționare, și anume [T_min,T_max] = [27,52], poate facilita o segmentare optimă a obiectului vizualizat. în contrast cu această alegere, celelalte intervale livrează la ieșire o segmentare eronată. Aceste rezultate false corespund unor imagini binare în care pixelii de fundal sunt segmentați.

Pentru a se putea realiza un sistem robust de segmentare a obiectelor uniform colorate, operația de partiționare, descrisă de ecuația (3), a fost controlată folosindu-se o structură care se bazează pe o tehnică de optimizare cu reacție. Schema-bloc principială a sistemului de segmentare propus în invenție este prezentată în figura 7. Având la bază o imagine de intrare și un set inițial de parametri de prelucrare, este analizat rezultatul segmentării, urmând ca prin bucla de reglare din figură să fie adaptat în mod automat spre rezultatul optim. într-un asemenea sistem de reglare, semnalul de comandă u este un parametru al operației de segmentare, iar variabila controlată y este un indice de calitate a segmentării. în cazul invenției de față, rezultatul optim al segmentării este reprezentat de cu.

C\-2 Ο 1 1 - Ο 0 6 8 9 - 1 8 -07- 2011

acele imagini binare în care obiectul vizualizat este bine separat de fundalul imaginii, iar pixelii săi sunt cât mai conectați.

Procesul de sinteză al unui sistem de control pentru procesarea de imagini, în cazul de față al segmentării bazate pe culoare, diferă substanțial față de cel al sistemelor de reglare clasice”. Acest lucru se datorează gradului de neliniaritate ridicat al unui astfel de sistem, el fiind modelat în schemele de control cu vedere activă printr-un element cu timp mort. De asemenea, o diferență majoră față de sistemele clasice este dată de lipsa dinamicii într-un astfel de sistem. în continuare, se vor prezenta pașii efectuați în proiectarea unui sistem de reglare a segmentării obiectelor colorate, cu scopul obținerii unei segmentări optime în contextul rezultatului optim descris mai sus.

4. Stabilirea variabilei de comandă

Primul pas în dezvoltarea algoritmului de control este acela de determinare a perechii variabilă de comandă - variabilă controlată. Luându-se în considerare observațiile care pot fi făcute în urma studierii imaginilor prezentate în figura 6, scopul sistemului de reglare propus este de a controla operația de partiționare descrisă de ecuația (3). La o analiză atentă a modelului de culoare HSI, se poate observa că o nuanță depinde atât de componenta de culoare H, cât și de cea a saturației S. Cercul de nuanță al planului HSI este reprezentat separat în figura 8. O clasă de nuanță C_t este determinată de unghiul H măsurat de la axa de referință reprezentând culoarea roșie. De vreme ce un obiect uniform colorat poate conține pixeli ce diferă printr-o mică variație a unghiului H, este normal ca o clasă de culoare să fie definită printr-o mulțime de valori adiacente ale lui H. Pe cercul de nuanțe din figura 7, C_z este definit ca reprezentând intervalul:

(4) sau:

(5) unde K_hw este o constantă reprezentând lățimea intervalului clasei de nuanță, în cazul invenției propuse fiind adoptat cu o valoare de K_hw = 60°. în cazul de față, obiectivul sistemului de reglare este de a controla poziția unghiului H în așa fel încât să se obțină o segmentare optimă într-un spectru larg de condiții de iluminare. Deoarece culorile obiectelor variază odată cu iluminarea într-o anumită plajă de valori, se pot stabili anumite domenii de variație ale intervalului de partiționare.

Componenta saturație este considerată, în segmentarea culorii, ca o mască ce respinge pixelii care conțin informație de culoare redusă. Pentru a se putea obține o

Λ-2 Ο 1 1 - Ο Ο 6 8 9 - 1 8 -07- 2011 partiționare optimă, mărimea componentei S este controlată în corelație cu reglarea unghiului H ce indică clasa de nuanță C_t. S variază de la extremitatea cercului de culoare, având valoarea 255, până în interiorul cercului. în principiu, scopul sistemului de control este să determine valorile nuanței și saturației ce oferă o segmentare optimă. Acest proces implică doi pași:

• determinarea clasei de nuanță optimă (fi;

• pentru clasa de nuanță calculată, determinarea intervalului optim de segmentare a saturației.

Variabila de comandă implicată în segmentarea colorii conține două elemente și anume, nuanța și saturația. Pentru determinarea clasei de nuanță optime, unghiul //trebuie ajustat automat la valoarea sa ideală. Acest lucru este realizat prin adăugarea unei variabile încremeni u_h la valoarea inițială a intervalului de partiționare:

[fiow T U/j, (fi ow F Khw) F tfii] , (6) unde u_h este un încremeni adăugat intervalului inițial de segmentare a culorii [fi_ow, T_high\.

Variabila de comandă pentru controlul saturației este definită ca o valoare increment u_s ce corespunde distanței dintre exteriorul (S_max = 255) și centrul cercului din figura 8:

(7)

Exemple de segmentare a culorii, folosind diferite valori ale nuanței și saturației, pot fi văzute în figura 9. în figură, intervalul de partiționare a nuanței a fost setat manual la valorile de [104,164], După cum se poate observa, doar o combinație optimă de intervale de segmentare a imaginilor de nuanță și saturație poate furniza un obiect segmentat optim.

5. Stabilirea variabilei de control

Pentru a se putea obține o segmentare optimă prin bucla de reglare propusă, este necesară definirea unei variabile controlate. Această variabilă trebuie să fie corespunzătoare atât din punctul de vedere al ingineriei reglării, cât și din cel al procesării de imagini. Astfel, din punctul de vedere al prelucrării imaginilor, o variabilă controlată trebuie să asigure o calitate cât mai bună a segmentării. Cele două cerințe care trebuie respectate din partea ingineriei reglării sunt, pe de o parte, ca variabila măsurată să poată fi calculată ușor iar, pe de altă parte, ca bucla de reglare să satisfacă condițiile control abilității intrare-ieșire. în acest context, controlabilitatea intrare-ieșire se referă, în primul rând, la intensitatea efectului pe care variabila de comandă o are asupra modificării

CV- 2 Ο 1 1-00689-1 8 -07- 2011

variabilei controlate. Cu alte cuvinte, controlabilitatea poate fi descrisă aici prin sensibilitatea variabilei de reacție la variațiile variabilei de comandă.

Extragerea precisă a punctelor de prehensare poate fi obținută doar printr-o segmentare optimă a scenei vizualizate. O imagine binară segmentată prin partiționarea regiunilor, cum este cazul de față, este optimă atunci când aceasta conține pixeli ai obiectului de interes ce sunt conectați și formează un obiect “plin”, neîntrerupt. Luându-se în considerare definiția calitativă a unei imagini segmentate optim, a fost propusă următoarea variabilă controlată, variabilă ce măsoară incertitudinea pixelilor obiect:

(8) unde p₈ este frecvența relativă a pixelilor segmentați înconjurați de 8 pixeli segmentați în vecinătatea lor:

Pb = numărul de pixeli segmentați înconjurați de 8 pixeli segmentați numărul total de pixeli din imagine (9)

Avându-se în vedere că o bună segmentare produce imagini ce conțin obiecte “pline” (fără “găuri”), este evident, din ecuația 6, că o valoare scăzută a probabilității p₈ corespunde unei incertitudini I_m crescute în imaginea segmentată. Astfel, scopul sistemului de reglare propus este de a atinge segmentarea optimă utilizându-se în acest scop minimizarea, prin intermediul structurii în buclă închisă, a incertitudinii I_m.

Avându-se în vedere capitolele anterioare, se poate spune că problema originală, de determinare a intervalului de partiționare optim pentru calculul punctelor de prehensare, poate fi interpretată și convertită într-o problemă de căutare a minimelor incertitudinii I_m. Având în vedere plaja de valori efective [u_Î0W,u_hiâh], cu u_iow,u_hi5h E [0,255], incrementul optim adăugat unui interval de partiționare u_opt poate fi exprimat după cum urmează:

u_opt = arg min (7)

Deoarece segmentarea culorii se bazează pe două variabile, anume a nuanței și a saturației, optimul segmentării este dat de mulțimea {u_h,u_s}.

Segmentarea optimă este calculată cu ajutorul metodei de căutare a extremului [A33J. Datorită zgomotului prezent în datele de intrare, cât și pentru a nu se bloca algoritmul de căutare într-un minim local, metoda de optimizare în buclă închisă este aplicată unei caracteristici intrare-ieșire filtrate cu ajutorul unui filtru de netezire, descris de relația:

(8) ^-2 9 1 1 - 9 O f ? £ - 1 Β “(17 τη unde C este caracteristica filtrată, X caracteristica de intrare nefiltrată, j este un i ndex al datelor de intrare, iar i indexul ferestrei mobile m.

în figura 10(a,b) se pot vedea caracteristicile de intrare-ieșire obținute prin variația variabilei de comandă u_h, pentru cazul imaginilor de intrare din figura 5(a,b). Obiectivul sistemului de control este de a determina valorile optime u_{h opt} și u_{i: opt} pentru obiectele prezente în imagini, și anume cele două recipiente împreună cu mânerul roșu al dispozitivului din imagine. Comportarea optimă a variabilei de control alese I_m, se poate observa din figura 10(b.c), unde minimele corespunzătoare obiectelor considerate se pot determina relativ simplu. Spre comparație, în figura 10(c,d) sunt ilustrate caracteristicile intrare-ieșire a aceleiași variabile de comandă u_h, însă față de entropia bidimensională S a imaginii segmentate [A.30]:

(9) unde reprezintă frecvența relativă a perechilor de pixeli (1, i), adică a pixelilor segmentați 1 înconjurați de i pixeli segmentați din imediata lor vecinătate. în cazul entropiei, se poate observa un număr crescut de minime ce reprezintă valori eronate ale variabilei u_h.

Pentru simplificarea expunerii, variația saturației este ilustrată în figura 10(e,f) doar pentru un număr de minime ale caracteristicii lui u_h ce corespund obiectelor colorate în verde, albastru și roșu. Curbele prezentate au fost procesate cu ajutorul filtrului descris de ecuația (8). în caracteristicile intrare-ieșire a ambelor seturi de curbe prezentate se poate observa că valorile optime de segmentare, adică a minimelor caracteristicilor de intrareieșire, sunt diferite pentru cele două cazuri de iluminare considerate. Acest fenomen este în concordanță cu deplasarea nivelurilor de gri ale pixelilor de nuanță din histogramele ilustrate în figura 5.

6. Structura sistemului de control

Având în vedere forma caracteristicii din figura 10(b), care prezintă diferite minime locale corespunzătoare diferitelor culori ale obiectelor vizualizate, căutarea parametrilor optimi de segmentare este legată de definiția plajei de valori efective [u_iow, u_{h ίθΛ}] în concordanță cu metoda de căutare a extremului. Cazul caracteristicii saturației din figura 10(d) este mai simplu, deoarece parametrul optim de partiționare a saturației corespunde minimului global. în acest caz, plaja de căutare a saturației este dată de intervalul [0,255],

G- 2 Ο 1 1 - Ο ο ^{6 8 9} ?

8 -07- 2011

Controlul operației de segmentare a culorii este efectuat prin structura de reglare în cascadă din figura 11. Valoarea mărimii de referință a sistemului de control nu este dată explicit, ea fiind definită ca valoarea minimă a variabilei I_m. Bucla exterioară de reglare din figura 11 este responsabilă pentru determinarea valorii optime u_hopt a intervalului de partiționare reprezentând clasa de culoare C_t. Pe de altă parte, obiectivul buclei interioare de reglare este de a obține valoarea optimă u_sopt corespunzătoare intervalului de partiționare a saturației. De asemenea, plaja de valori efective [u_Zow,ii_hiph] poate fi aleasă în interiorul cercului de culoare, adică în intervalul [0°, 360°]. Pe de altă parte, plaja de valori efective poate fi determinată în mod automat în scopul extragerii obiectelor multiple din imaginea de intrare, așa cum s-a prezentat în figura 10. Pseudo-codul algoritmului de segmentare a culorii propus este detaliat în Tab. 1.

Invenția prezintă avantajele unei segmentări robuste a obiectelor vizualizate, astfel facilitând calculul punctelor de prehensare și manipularea obiectelor de către platformele robotice dotate cu sistemul propus în această lucrare.

7. Calculul punctelor de prehensare

Calculul punctele de prehensare ale obiectelor vizualizate este efectuat pe baza imaginii robust segmentate obținute prin aplicarea algoritmului de segmentare propus. După cum sa menționat anterior, determinarea punctele de prehensare ale diferitelor obiecte diferă în funcție de tipul de obiect, ele fiind calculate cu ajutorul punctelor cheie ilustrate în imaginile binare din figura 2. De exemplu, pentru cazul unui recipient (v. figura 2(a,b)) punctele cheie sunt reprezentate de vârful, respectiv fundul recipientului, în timp ce, pentru o carte (v. figura 2(c)), aceste puncte sunt cele patru colțuri ale sale. Diferența dintre tipurile de obiecte vizualizate este făcută la nivelul modulele de extragere de atribute și de clasificare din figura 1.

Blocul de extragere a atributelor are rolul de a determina conturul obiectului segmentat. în cazul de față, acela al segmentării de regiuni, obiectele din imaginea binară sunt reprezentate de aglomerări de pixeli obiect. Aceste mulțimi de pixeli sunt în continuare grupate în contururi obiect prin așa numita metodă Freeman de codare a lanțurilor [A31 ]. Din conturul astfel obținut sunt extrase următoarele atribute:

• axele majoră și minoră', • excentricitatea (raportul dintre axele majoră și minoră).

Atributele mai sus menționate sunt utilizate pentru clasificarea obiectelor segmentate (e.g. recipiente, pahare, cărți etc.). în invenția de față s-a optat pentru

0-2011-00689-1 8 -07- 2011

Tab. 1. Pseudo-codul algoritmului robust de segmentare a culorii.

Inițializare i = O, j — 0;

for U[_OW; 1: do

1. Segmentează imaginea de culoare cu intervalul de partiționare [u^Uf, +

2. Stochează imaginea segmentată în t_h(x,y);

for u_s = 0:1: 255 do

3. Segmentează imaginea saturație f_s(x,y) cu intervalul de partiționare [u_s, 255];

4. Stochează imaginea segmentată în t_s(x,y);

5. Fuzionează imaginile segmentate de culoare și saturație ca t(x,y) = t_k(x,y) ȘI t_s(x,y);

6. Calculează incertitudinea l_m(i,j) a imaginii binare t(x,y); j — j + 1;

end for

7. i = i + 1;

end for

Găsește minI_m(i, j).

implementarea unui clasificator simplu bazat pe evaluarea distanței minime dintre atributele claselor de obiecte. Deoarece metoda de segmentare propusă livrează la ieșire obiecte “bine” segmentate, se poate utiliza un clasificator simplu, precum cel propus în invenție, avându-se în vedere că distribuția atributelor calculate din diferite eșantioane de probă nu variază considerabil.

Modulul de calcul al punctelor de prehensare din figura 1 are la bază determinarea punctelor cheie prin analiza conturului extras la nivelul blocului de extragere a atributelor. Astfel, pentru cazul unui recipient, punctul de prehensare este reprezentat de media distanței dintre vârful și fundul obiectului. în cazul unei cărți, punctul de prehensare este dat de intersecția diagonalelor ce unesc cele patru colțuri ale sale.

Punctul de prehensare odată obținut este trimis mai departe către sistemul de calcul al cinematicii inverse a brațului robot redundant ce utilizează sistemul de vedere artificială propus în invenție.

8. Domenii de aplicabilitate ale invenției

Domeniul principal de aplicare al invenției este acela al roboților de serviciu ce au ca scop prehensarea anumitor obiecte de interes prezente în mediul ambiant. Aceste tipuri de sisteme robotice sunt, în special, reprezentate de acei roboți ce operează autonom sau semiautonom în imediata apropiere a oamenilor. Exemple de aplicații ale unor astfel de sisteme robotice, unde detecția obiectelor de interes este crucială în prehensarea lor, sunt:

• roboții de reabilitare a persoanelor cu handicap (de ex. FRIEND (Funcțional Robot with dexlerous arm and user-frlENdly interface for Disabled people) [A34], KARES (KAISTRehabilitation Engineering Service Systern) [A35], etc.);

Ο - 2 ο 1 1 - 0 0 β 8 9 - 1 8 -07- 2011 • roboții de asistență în mediile umane (de ex. PR2 [A36], Care-O-Bot [A37, A38], Armar [A39], etc.);

• roboții de serviciu cu sarcini specifice predefinite (de ex. robotul bibliotecar UJI [A40], etc.).

Una dintre problemele majore cu care se confruntă sistemele robotice expuse mai sus este aceea de detectare a punctelor de prehensare a obiectelor în condiții de iluminare variabilă. Scopul invenției propuse este acela de a înlătura acest impediment, crescând astfel gradul de autonomie și stabilitate a acestor tipuri de sisteme robotice.

De asemenea, invenția propusă poate fi la fel de bine aplicată și în cazul proceselor industriale, unde detecție robustă de obiecte reprezintă o necesitate. Pot fi enumerate două astfel de aplicații industriale:

• automatizarea liniilor flexibile de fabricație, avându-se în vedere în special operațiile de prindere și manipulare a unor piese și subansamble din domeniul construcției de mașini;

• controlul calității (e.g. sortarea produselor pe o bandă conveior).

Claims (2)

1. Sistem automat de calcul a punctelor de prehensare ale obiectelor uniform colorate bazat pe o metodă de segmentare automată în buclă închisă, caracterizat prin aceea că utilizează o cameră video (1) ce furnizează imagini color necesare extragerii informației de nuanță și saturație a obiectelor uniform colorate; utilizează o metodă de control automat a operației de segmentare a culorii (2), cu scopul obținerii de imagini binare segmentate optim; utilizează un modul de calcul a punctelor de prehensare (5) ale obiectelor vizualizate, bazat pe blocurile de extragere a atributelor (3) și de clasificare de obiecte (4).

2. Metodă de segmentare automată în buclă închisă, bazată pe o mărime de incertitudine, a obiectelor uniform colorate, caracterizată prin reglarea în buclă închisă a operației de segmentare a culorii, avându-se la bază principiul de căutare a extremului utilizat cu precădere în ingineria reglării sistemelor automate; utilizarea planurilor de nuanță și saturație extrase din imagini color pentru implementarea unei structuri de adaptare automată a parametrilor de segmentare; calculul unei mărimi statistice de incertitudine a imaginilor binare folosindu-se conectivitatea pixelilor obiect; utilizarea unei mărimi de incertitudine ca variabilă de reacție în structura de adaptare a parametrilor operației de segmentare a culorii.