RO132640B1

RO132640B1 - Sistem şi metodă pentru monitorizarea video automată a unui braţ robotic telecomandat

Info

Publication number: RO132640B1
Application number: ROA201700960A
Authority: RO
Inventors: Petru-Lucian Milea; Eduard Dan Franţi; Monica Dascălu
Original assignee: Institutul De Cercetări Pentru Inteligenţă Artificială "Mihai Drăgănescu" (Icia); Solaris Consult S.R.L.
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2019-08-30
Also published as: RO132640A2

Description

Invenția se referă la un sistem și o metodă pentru monitorizarea video automată a unui braț robotic telecomandat. Sistemul este folosit pentru monitorizarea video 3D a acționării unui braț robotic telecomandat, aflat în medii periculoase, ostile sau inaccesibile pentru operatorul uman, pentru manipularea diferitelor obiecte specifice unor aplicații diverse. Sistemul include o cameră video 3D pentru monitorizare, o cameră video IR auxiliară, solidară cu prima, și 3 surse de radiație IR montate pe circumferința extremității distale a brațului robotic care este monitorizat. Metoda de monitorizare video automată este implementată în unitatea de procesare video și comandă ce face parte, de asemenea, din sistem. Această metodă rezolvă problema menținerii contactului vizual tridimensional al operatorului cu brațul robotic, atunci când acesta se mișcă în spațiul de lucru. Sistemul, pe baza metodei de monitorizare automată, va urmări în timp real brațul robotic, prin orientarea după două axe a camerei video 3D și modificarea factorului optic de amplificare (zoom) al acesteia. Astfel, operatorul va avea în permanență terminalul brațului robotic (mână robotică, clește etc.) și obiectele manipulate în câmpul său vizual, prin intermediul unei căști video 3D.

în prezent, sistemele de teleprezență folosesc fie comanda de la distanță a orientării și factorului de mărire al camerei (acestea fiind comandate fie manual, fie pe baza altor mișcări ale operatorului), fie metodele de recunoaștere a unor simboluri geometrice, ce se realizează pe baza imaginii de bază.

Problema tehnică pe care o rezolvă invenția constă în monitorizarea unui braț robotic.

Sistemul de monitorizare video automată a unui braț robotic telecomandat este compus din:

- o cameră video 3D - pentru captura video a imaginilor utile din spațiul de lucru al unui braț robotic. Camera 3D este prevăzută cu un sistem de mărire și focalizare comandat electronic;

- o cameră video în infraroșu (IR) - pentru captura imaginii unor surse de radiație IR de referință, utilizate pentru poziționare. Camera IR este solidară cu cea video 3D și vizează aceeași direcție. Este prevăzută, de asemenea, cu sistem de mărire și focalizare comandat electronic;

- un sistem electromecanic de orientare (SEO) după două axe (X și Y) - pentru repoziționarea sistemului de camere în scopul urmăririi mișcărilor brațului robotic și a terminalului acestuia;

- o unitate de procesare video și comandă (UPVC) - ce analizează informația de la camera IR, o prelucrează pentru extragerea informațiilor privind poziția surselor de radiație IR și distanța dintre acestea, apoi comandă SEO și sistemele de mărire și focalizare ale camerelorîn scopul orientării și vizualizării optime a brațului robotic și a terminalului acestuia;

- un sistem de comunicații - ce transmite informația video 3D către operator și recepționează date de configurare a sistemului de monitorizare automată;

- un braț robotic - ce poate fi comandat de la distanță printr-un canal de comunicații neinclus;

- un terminal robotic - utilizat pentru manipularea diferitelor obiecte;

- un set de 3 surse de radiație IR (LED-uri IR) - montate pe extremitatea distală a brațului robotic, înainte de terminalul acesteia. Acestea sunt active în permanență, putând fi „văzute de camera IR.

Metodă pentru monitorizarea video automată a unui braț robotic telecomandat, conform invenției, constă în urmărirea cu camera IR a surselor de radiație IR de pe brațul robotic, folosind o unitate de procesare video și comandă pentru a calcula distanța dintre imaginea IR între cele două surse de radiație IR și poziția lor mediană, și pentru a comanda sistemele de mărire și orientare ale camerelor, astfel încât sursele de radiație IR să fie

RO 132640 Β1 vizibile în spațiul central al imaginii IR, pentru ca terminalul brațului robotic și obiectele 1 manipulate de acesta să fie vizibile în spațiul central al camerei video 3D, la o rezoluție optimă. 3

Principalul avantaj al sistemului și metodei este acela că se permite menținerea automată a vizualizării optime a terminalului brațului robotic fără intervenția (directă sau 5 indirectă) a operatorului. Astfel, operatorul va configura fracția k și timpul τ în funcție de specificul aplicației, apoi va comanda mișcările brațului robotic, iar imaginea video va urmări 7 fidel mișcările acestuia, centrându-se și mărindu-se automat la poziția și dimensiunea optimă. 9

Datorită reglajului automat, realizat local (pe sistemul de camere atașat brațului robotic), apare un alt avantaj important al utilizării sistemului. Acesta constă în eliminarea 11 traficului de date de la operator la camera 3D, minimalizându-se astfel traficul global de date de la operator spre sistem, iar utilizarea camerei auxiliare IR și a surselor de radiație IR 13 plasate adecvat pe circumferința terminației distale a brațului robotic, permit separarea spectrală a informației de poziționare de informația utilă. Astfel, imaginea ce trebuie 15 prelucrată pentru poziționare este mult mai simplă și necesită un efort de calcul minim. Totodată, nu mai este necesară plasarea pe obiectul țintă a markerilor geometrici de 17 poziționare, astfel că și imaginea 3D se simplifică.

Descrierea fig. 1...7 este următoarea: 19

- fig. 1 reprezintă schema bloc a sistemului de monitorizare video automată a unui braț robotic telecomandat; 21

- fig. 2 prezintă ansamblul de camere video și sistemul de orientare a acestora; în stânga este prezentată o vedere din față (spre obiectivele camerelor), iar în dreapta este o 23 vedere laterală;

- fig. 3 prezintă amplasarea pe suportul brațului robotic a camerelor video 1 și 2 și a 25 celorlalte componente ale sistemului de monitorizare video 3, 4 și 5, respectiv a surselor de radiație IR 8 pe brațul robotic 6, înainte de terminal 7; 27

- fig. 4 arată modul de amplasare a surselor de radiație IR 8 pe circumferința extremității brațului robotic 6; imaginea din stânga prezintă o secțiune transversală prin brațul 29 robotic și cele 3 surse de radiație IR, împreună cu proiecțiile pe planul orizontal de dedesubt, plan paralel cu cele ale obiectivelor celor două camere; imaginea din dreapta prezintă o 31 vedere laterală din dreapta a extremității brațului robotic 6 și a începutului terminalului 7, împreună cu cele două surse de radiație IR vizibile din această direcție (L2 și L3 - 8); 33

- fig. 5 prezintă o imagine de la camera IR 9 cu două surse IR vizibile L1 și L2, distanța D dintre acestea și punctul C, aflat la jumătatea distanței dintre ele; spațiul central 35 10, delimitat cu linie întreruptă, reprezintă zona din imagine în care trebuie să se încadreze punctul central C pentru a avea o imagine completă și suficient de detaliată; M este punctul 37 median al imaginii 9 și al spațiului central 10; pe cele două axe sunt reprezentate coordonatele tuturor punctelor și zonelor menționate; 39

- fig. 6 prezintă o imagine de la camera IR 9 cu o singură sursă IR vizibilă L; spațiul central 10 și punctul M au aceeași semnificație ca în fig. 5; pe cele două axe sunt 41 reprezentate coordonatele tuturor punctelor și zonelor din figură;

- fig. 7 conține organigrama algoritmului de ajustare a factorului de mărire și a 43 orientării camerelor.

Metoda de monitorizare video automată a unui braț robotic telecomandat este 45 implementată în UPVC 3 și se bazează pe prelucrarea imaginii surselor de radiație IR 9, oferită de camera IR 2, pentru ajustarea factorilor de mărire optică și orientarea automată, 47 în timp real a camerelor 3D 1 și IR 2, cu ajutorul SEO (4), în scopul menținerii automate în

RO 132640 Β1 câmpul vizual 3D al operatorului aflat la distanță a terminalului brațului robotic și a obiectelor manipulate de acesta. Pentru a aplica reglajele automate, se definește un spațiu central 10 al imaginii IR 9, cu rol de perimetru în care se permite mișcarea imaginii surselor IR. Dimensiunea spațiului central 10 este calculată astfel încât laturile sale să reprezinte o fracție k din laturile imaginii IR 9, date de rezoluția acesteia (X x Y): χ_ή - x₀ = k-X, - y₀ = k · Y; valoarea fracției k se stabilește de operator, în funcție de dimensiunea terminalului 7 și a obiectelor manipulate cu ajutorul acestuia (astfel încât acestea să fie vizibile integral în spațiul XOY), putând avea valori k e (0 , 0,75]. Așa cum am arătat, sistemul este calculat astfel încât probabilitatea ca în imagine să fie identificabile două surse IR să fie maximă. De aceea, metoda se bazează în special pe acest caz general. Deci, atunci când în imaginea IR 9 sunt vizibile două surse IR L1 și L2, se determină distanța dintre ele D, cu relația: D = [(x_L1 - x_L2)² + (yL1 - yL2)²]’^/2, apoi se verifică dacă D se încadrează între k-Y/2 și k-Y, astfel încât elementele de interes din imaginea 3D să se vadă cât mai mari și totodată să fie vizibile integral. Atunci când se constată o părăsire a gamei, se comandă mărirea, respectiv micșorarea Z până se obține valoarea optimă, Do = 3-k-Y/2. După verificarea distanței D și ajustarea factorului de mărire, se calculează media pozițiilor celor două surse identificate (punctul C, cu coordonatele x_c și y_c), cu relațiile: x_c = (x_L1 + x_L2)/2 și y_c = (y_L1 + y_L2)/2, apoi se verifică dacă acest punct C este situat în interiorul spațiului central 10. Verificarea încadrării punctului C în spațiul central se face prin compararea succesivă a coordonatelor lui C cu cele ale colțurilor spațiului central 10. Dacă o comparație evidențiază ieșirea lui C din spațiul central, se comandă SEO pentru a corecta abaterea; în caz contrar se trece la următoarea comparație, sau se reia algoritmul, conform organigramei. La fiecare corecție se ajustează unghiul respectiv astfel încât noua coordonată să coincidă cu cea a punctului M (x_M sau y_M), fiind aplicate următoarele modificări: Δχ = x_M - x_c, Ay = y_M - y_c. Corecțiile unghiulare aplicate prin SEO țin seama de factorul de mărire curent al camerelor (zoom), Z și se calculează cu relațiile: Δα_ή « Δχ · a_h/(X-Z) și Δα_ν « Δγ · α_ν/(Υ · Z). Astfel, de fiecare dată când C iese din spațiul central, UPVC va comanda sistemul de orientare (SEO) al camerelor video astfel încât C să se suprapună peste M.

Metoda de monitorizare video automată a unui braț robotic telecomandat prezintă o variantă ce se aplică în cazul în care în imaginea IR apare o singură sursă de radiație IR sau nu apare niciuna. Dacă imaginea IR nu conține două surse IR, se verifică dacă există una. în cazul în care, dintr-o eroare sau o interpunere temporară a unui obiect între camera IR și sursele de radiație IR, nu se poate identifica nicio sursă de radiație IR în imaginea IR 9, se preia o nouă imagine. Dacă există o singură sursă IR în imagine, se așteaptă un timp τ (preconfigurat de către operator), apoi se preia o nouă imagine IR și se reia verificarea. în situația foarte puțin probabilă în care această situație se repetă de 5 ori, se ajustează factorii de mărire ai camerelor la valoarea minimă, ce corespunde unui unghi de vedere maxim al camerelor, apoi se aplică pașii de verificare a încadrării sursei IR identificate L în spațiul central 10. Dacă imaginea sursei IR nu se află în spațiul central (10) al imaginii IR 9, se ajustează coordonatele camerelor astfel încât L să se suprapună peste M. Astfel, se va păstra continuitatea monitorizării video de calitate, chiar și în situațiile, puțin probabile, în care nu se văd două surse de radiație IR.

- o cameră video 3D - (1), pentru captura video a imaginilor utile din spațiul de lucru al unui braț robotic. Camera 3D este prevăzută cu un sistem de mărire și focalizare comandat electronic;

RO 132640 Β1

- o cameră video în infraroșu (IR) - 2, pentru captura imaginii unor surse de radiație 1 IR de referință, utilizate pentru poziționare. Camera IR este solidară cu cea video 3D și vizează aceeași direcție. Este prevăzută, de asemenea, cu sistem de mărire și focalizare 3 comandat electronic;

- un sistem electromecanic de orientare (SEO) după două axe (X și Y) - (4), pentru 5 repoziționarea sistemului de camere în scopul urmăririi mișcărilor brațului robotic și a terminalului acestuia;7

- o unitate de procesare video și comandă (UPVC) - 3, ce analizează informația de la camera IR, o prelucrează pentru extragerea informațiilor privind poziția surselor de radiație9

IR și distanța dintre acestea și apoi comandă SEO și sistemele de mărire și focalizare ale camerelorîn scopul orientării și vizualizării optime a brațului robotic și a terminalului acestuia; 11

- un sistem de comunicații - 5, ce transmite informația video 3D către operator și recepționează date de configurare a sistemului de monitorizare automată;13

- un braț robotic - 6, ce poate fi comandat de la distanță printr-un canal de comunicații neinclus;15

- un terminal robotic - 7, utilizat pentru manipularea diferitelor obiecte;

- un set de 3 surse de radiație IR (LED-uri IR) - 8, montate pe extremitatea distală a 17 brațului robotic, înainte de terminalul acesteia. Acestea sunt active în permanență, putând fi „văzute de camera IR.19

Cele 3 surse de radiație IR 8 sunt plasate echidistant pe circumferința brațului robotic

6, la un unghi de 120° una de cealaltă. Distanța A, dintre proiecțiile extremităților circum- 21 ferinței brațului pe planul frontal al camerelor, distanța B, dintre proiecțiile surselor L1 și L2 pe același plan, precum și înălțimea b a surselor IR L1, L2 și L3 față de circumferința brațului 23 robotic sunt corelate prin relația B=2-(A/2+b)-sin(n/6). Din poziția în care sunt plasate camerele video se pot vedea în mod normal două surse IR și în mod excepțional una 25 singură. Pentru a elimina posibilitatea de a vedea cu camera IR toate cele 3 surse, este necesar ca B < A, astfel încât cel puțin una să se afle în spatele brațului robotic. Pe de altă 27 parte, pentru a maximiza probabilitatea de a vedea două surse cu camera IR, este necesar ca B să fie cât mai mare. Alegând valoarea maximă B = A, rezultă 29 b=A-(1 /sin(π/6)-1 )/2=0,0773-A. Funcționarea sistemului presupune urmărirea brațului robotic atunci când acesta se deplasează în spațiul de lucru, pentru a putea transmite operatorului 31 o imagine cât mai relevantă (de la camera 3D - 1). în acest scop, unitatea de procesare video și comandă 3 analizează și evaluează imaginea oferită de camera IR 2 în timp real, 33 apoi comandă SEO 4 pentru reorientarea ansamblului de camere video și modifică coeficientul de mărire optică al camerelor, pentru vizualizarea optimă a brațului robotic și a 35 obiectelor manipulate.

Claims

3. Metodă pentru monitorizarea video automată a unui braț robotic telecomandat, conform revendicării 2, caracterizat prin aceea că în situația în care imaginea IR conține o singură sursă de radiație IR, unitatea de procesare (3) comandă sistemul de orientare al camerelor, astfel încât sursa de radiație IR să fie centrată în mijlocul spațiului central (10) al imaginii IR (9) și sistemele de mărire ale camerelor, astfel încât factorii de mărire să fie configurați la valoarea minimă și imaginile IR și 3D să aibă cuprinderea maximă.