RO132640A2 - Sistem şi metodă pentru monitorizarea video automată a unui braţ robotic telecomandat - Google Patents

Abstract

Invenţia se referă la un sistem şi la o metodă pentru monitorizarea video automată a unui braţ robotic telecomandat. Sistemul conform invenţiei cuprinde: o cameră (1) video 3D şi o cameră (2) video în infraroşu, care sunt solidare una cu cealaltă, fiind orientate în aceeaşi direcţie, şi având funcţii de mărire comandate electronic, un sistem (4) electromecanic de orientare a celor două camere (1 şi 2) după două axe (X şi Y), o unitate (3) de procesare video şi comandă, şi un set de trei surse (8) de radiaţie IR montate pe extremitatea distală a braţului (6) robotic, pe circumferinţa acestuia, la un unghi de 120° una faţă de cealaltă, şi la o înălţime b=0,0773 A faţă de suprafaţa braţului (6) robotic. Metoda de monitorizare video, conform invenţiei, constă în urmărirea, cu ajutorul camerei (2) în infraroşu, a surselor (8) de radiaţie IR, utilizarea unităţii (3) de procesare video şi comandă pentru a calcula, din imaginea IR, distanţa (D) între două surse de radiaţie IR şi poziţia (C) lor mediană, şi pentru a comanda sistemele de mărire şi orientare a camerelor (1 şi 2) video astfel încât sursele (8) de radiaţie IR să fie vizibile într-un spaţiu central al imaginii IR şi, în consecinţă, terminalul braţului (6) robotic şi obiectele manipulate de acesta să fie vizibile în spaţiul central al camerei (1) video 3D, la o rezoluţie optimă.

Description

Invenția se referă la un sistem și o metodă pentru monitorizarea video automată a unui braț robotic telecomandat. Sistemul este folosit pentru monitorizarea video 3D a acționării unui braț robotic telecomandat, aflat în medii periculoase, ostile sau inaccesibile pentru operatorul uman, pentru manipularea diferitelor obiecte specifice unor aplicații diverse. Sistemul include o cameră video 3D pentru monitorizare, o cameră video IR auxiliară, solidară cu prima și 3 surse de radiație IR montate pe circumferința extremității distale a brațului robotic ce este monitorizat. Metoda de monitorizare video automată este implementată în unitatea de procesare video și comandă, ce face parte, de asemenea, din sistem. Această metodă rezolvă problema menținerii contactului vizual tridimensional al operatorului cu brațul robotic, atunci când acesta se mișcă în spațiul de lucru. Sistemul, pe baza metodei de monitorizare automată, va urmări în timp real brațul robotic, prin orientarea după două axe a camerei video 3D și modificarea factorului optic de amplificare (zoom) al acesteia. Astfel, operatorul va avea în permanență terminalul brațului robotic (mână robotică, clește etc.) și obiectele manipulate în câmpul său vizual, prin intermediul unei căști video 3D.

în prezent, sistemele de teleprezență folosesc fie comanda de la distanță a orientării și factorului de mărire al camerei (acestea fiind comandate fie manual fie pe baza altor mișcări ale operatorului), fie metodele de recunoaștere a unor simboluri geometrice, ce se realizează pe baza imaginii de bază.

Sistemul de monitorizare video automată a unui braț robotic telecomandat este compus din: o cameră video 3D - 1, pentru captura video a imaginilor utile din spațiul de lucru al unui braț robotic. Camera 3D este prevăzută cu un sistem de mărire și focalizare comandat electronic, o cameră video în infraroșu (IR) - 2, pentru captura imaginii unor surse de radiație IR de referință, utilizate pentru poziționare. Camera IR este solidară cu cea video 3D și vizează aceeași direcție. Este prevăzută, de asemenea, cu sistem de mărire și focalizare comandat electronic.

un sistem electromecanic de orientare (SEO) după două axe (X și Y) - 4, pentru repoziționarea sistemului de camere în scopul urmăririi mișcărilor brațului robotic și a terminalului acestuia, o unitate de procesare video și comandă (UPVC) - 3, ce analizează informația de Ia camera IR, o prelucrează pentru extragerea informațiilor privind poziția surselor de radiație IR și distanța dintre acestea și apoi comandă SEO și sistemele de mărire și focalizare ale camerelor în scopul orientării și vizualizării optime a brațului robotic și a terminalului acestuia.

un sistem de comunicații - 5, ce transmite informația video 3D către operator și recepționează date de configurare a sistemului de monitorizare automată.

un braț robotic - 6, ce poate fi comandat de la distanță printr-un canal de comunicații neinclus. un terminal robotic - 7, utilizat pentru manipularea diferitelor obiecte un set de 3 surse de radiație IR (LED-uri IR) - 8, montate pe extremitatea distală a brațului robotic, înainte de terminalul acesteia. Acestea sunt active în permanență, putând fi „văzute” de camera IR.

Cele 3 surse de radiație IR (8) sunt plasate echidistant pe circumferința brațului robotic (6), Ia un unghi de 120° una de cealaltă. Distanța A, dintre proiecțiile extremităților circumferinței brațului pe planul frontal al camerelor, distanța B, dintre proiecțiile surselor LI și L2 pe același plan, precum și înălțimea b a surselor IR LI, L2 și L3 față de circumferința brațului robotic sunt corelate prin relația B=2 (A/2+b) sin(n/6). Din poziția în care sunt plasate camerele video se pot vedea în mod normal două surse IR și în mod excepțional una singură. Pentru a elimina posibilitatea de a vedea cu camera IR toate cele 3 surse, este necesar ca B<A, astfel încât cel puțin una să se afle în spatele brațului robotic. Pe de altă parte, pentru a maximiza probabilitatea de a vedea două surse cu camera IR, este necesar ca B să fie cât mai mare. Alegând valoarea maximă B=A, rezultă b=A (l/sin(jt/6)-1)/2=0,0773-A. Funcționarea sistemului presupune urmărirea brațului robotic atunci când acesta se deplasează în spațiul de lucru, pentru a putea transmite operatorului o imagine cât mai relevantă (de la camera 3D - 1). în acest scop, unitatea de procesare video și comandă (3) analizează și evaluează imaginea oferită de camera IR (2) în timp real, apoi comandă SEO (4) pentru reorientarea ansamblului de camere video și modifică coeficientul de mărire optică al camerelor, pentru vizualizarea optimă a brațului robotic și a obiectelor manipulate.

Descrierea figurilor este următoarea:

Fig.1. reprezintă schema bloc a sistemului de monitorizare video automată a unui braț robotic telecomandat.

Fig.2. prezintă ansamblul de camere video și sistemul de orientare a acestora; în stânga este prezentată o vedere din față (spre obiectivele camerelor), iar în dreapta este o vedere laterală.

Fig.3. prezintă amplasarea pe suportul brațului robotic a camerelor video (1 și 2) și a celorlalte componente ale sistemului de monitorizare video (3,4 și 5), respectiv a surselor de radiație IR (8) pe brațul robotic (6), înainte de terminal (7).

Fig.4. arată modul de amplasare a surselor de radiație ÎR (8) pe circumferința extremității brațului robotic (6); imaginea din stânga prezintă o secțiune transversală prin brațul robotic și cele 3 surse de radiație IR, împreună cu proiecțiile pe planul orizontal de dedesubt, plan paralel cu cele ale obiectivelor celor două camere; imaginea din dreapta prezintă o vedere laterală din dreapta a extremității brațului robotic (6) și a începutului terminalului (7), împreună cu cele două surse de radiație IR vizibile din această direcție (L2 și L3 - 8).

Fig.5. prezintă o imagine de la camera IR (9) cu două surse IR vizibile (LI și L2), distanța D dintre acestea și punctul C, aflat la jumătatea distanței dintre ele; spațiul central (10), delimitat cu linie întreruptă, reprezintă zona din imagine în care

a 2017 00960 21/11/2017 Z>

trebuie să se încadreze punctul central C pentru a avea o imagine completă și suficient de detaliată; M este punctul median al imaginii (9) și al spațiului central (10); pe cele două axe sunt reprezentate coordonatele tuturor punctelor și zonelor menționate.

Fig.6. prezintă o imagine de la camera IR (9) cu o singură sursă IR vizibilă (L); spațiul central (10) și punctul M au aceeași semnificație ca în figura 5; pe cele două axe sunt reprezentate coordonatele tuturor punctelor și zonelor din figură.

Fig.7. conține organigrama algoritmului de ajustare a factorului de mărire și a orientării camerelor.

Metoda de monitorizare video automată a unui braț robotic telecomandat este implementată în UPVC (3) și se bazează pe prelucrarea imaginii surselor de radiație IR (9), oferită de camera IR (2), pentru ajustarea factorilor de mărire optică și orientarea automată, în timp real a camerelor 3D (I) și IR (2), cu ajutorul SEO (4), în scopul menținerii automate în câmpul vizual 3D al operatorului aflat la distanță a terminalului brațului robotic și a obiectelor manipulate de acesta. Pentru a aplica reglajele automate, se definește un spațiu central (10) al imaginii IR (9), cu rol de perimetru în care se permite mișcarea imaginii surselor IR. Dimensiunea spațiului central (10) este calculată astfel încât laturile sale să reprezinte o fracție k din laturile imaginii IR (9), date de rezoluția acesteia (X χ Y):

Xi - x₀ = k X, yi - y₀ = k· Y; valoarea fracției k se stabilește de operator, în funcție de dimensiunea terminalului (7) și a obiectelor manipulate cu ajutorul acestuia (astfel încât acestea să fie vizibile integral în spațiul XOY), putând avea valori k e(0,0,75], Așa cum am arătat, sistemul este calculat astfel încât probabilitatea ca în imagine să fie identificabile două surse IR să fie maximă. De aceea, metoda se bazează în special pe acest caz general.

Deci, atunci când în imaginea IR (9) sunt vizibile două surse IR (L1 și L2), se determină distanța dintre ele (D), cu relația: D = [(x_Lț - Xl27 + (yu - γιΥΐ'Υ apoi se verifică dacă D se încadrează între k Y/2 și k Y, astfel încât elementele de interes din imaginea 3D să se vadă cât mai mari și totodată să fie vizibile integral. Atunci când se constată o părăsire a gamei, se comandă mărirea, respectiv micșorarea Z până se obține valoarea optimă, D_o = 3 k Y/2.

După verificarea distanței D și ajustarea factorului de mărire, se calculează media pozițiilor celor două surse identificate (punctul C, cu coordonatele x_c și yc), cu relațiile: x_c = (xli + Xl2)/2 și yc ~ (yu + Yl2)/2, apoi se verifică dacă acest punct (C) este situat în interiorul spațiului central (10). Verificarea încadrării punctului C în spațiul central se face prin compararea succesivă a coordonatelor lui C cu cele ale colțurilor spațiului central (10).

Dacă o comparație evidențiază ieșirea lui C din spațiul central, se comandă SEO pentru a corecta abaterea; în caz contrar se trece la următoarea comparație, sau se reia algoritmul, conform organigramei. La fiecare corecție se ajustează unghiul respectiv astfel încât noua coordonată să coincidă cu cea a punctului M (x_M sau y_M), fiind aplicate următoarele modificări: Δχ = x_M - Xc, Ay = y_M - yc. Corecțiile unghiulare aplicate prin SEO țin seama de factorul de mărire curent al camerelor (zoom), Z și se calculează cu relațiile: Δαι, ~ Δχαι/(Χ·Ζ) și Δα, ~ Δγ α7(Υ Z).

Astfel, de fiecare dată când C iese din spațiul central, UPVC va comanda sistemul de orientare (SEO) al camerelor video astfel încât C să se suprapună peste M.

Metoda de monitorizare video automată a unui braț robotic telecomandat prezintă o variantă ce se aplică în cazul în care în imaginea IR apare o singură sursă de radiație IR sau nu apare niciuna. Dacă imaginea IR nu conține două surse IR, se verifică dacă există una. în cazul în care, dintr-o eroare sau o interpunere temporară a unui obiect între camera IR și sursele de radiație IR, nu se poate identifica nicio sursă de radiație IR în imaginea IR (9), se preia o nouă imagine. Dacă există o singură sursă lR în imagine, se așteaptă un timp τ (preconfigurat de către operator), apoi se preia o nouă imagine IR și se reia verificarea. în situația, foarte puțin probabilă, în care această situație se repetă de 5 ori, se ajustează factorii de mărire ai camerelor Ia valoarea minimă, ce corespunde unui unghi de vedere maxim al camerelor, apoi se aplică pașii de verificare a încadrării sursei IR identificate (L) în spațiul central (10). Dacă imaginea sursei IR nu se află în spațiul central (10) al imaginii IR (9), se ajustează coordonatele camerelor astfel încât L să se suprapună peste M. Astfel, se va păstra continuitatea monitorizării video de calitate, chiar și în situațiile, puțin probabile, în care nu se văd două surse de radiație IR.

Avantajele sistemului și metodei

Principalul avantaj este acela că se permite menținerea automată a vizualizării optime a terminalului brațului robotic fără intervenția (directă sau indirectă) a operatorului. Astfel, operatorul va configura fracția k și timpul · în funcție de specificul aplicației, apoi va comanda mișcările brațului robotic, iar imaginea video va urmări fidel mișcările acestuia, centrându-se și mărindu-se automat la poziția și dimensiunea optimă.

Datorită reglajului automat, realizat local (pe sistemul de camere atașat brațului robotic), apare un alt avantaj important al utilizării sistemului. Acesta constă în eliminarea traficului de date de la operator la camera 3D, minimalizându-se astfel traficul global de date de la operator spre sistem.

Utilizarea camerei auxiliare IR și a surselor de radiație IR plasate adecvat pe circumferința terminației distale a brațului robotic, permite separarea spectrală a informației de poziționare de informația utilă. Astfel, imaginea ce trebuie prelucrată pentru poziționare este mult mai simplă și necesită un efort de calcul minim. Totodată, nu mai este necesară plasarea pe obiectul țintă a markerilor geometrici de poziționare, astfel că și imaginea 3D se simplifică.

Data: 21.11. 2017

I.C.I.A. YTYTuY Λ Director general, Dan Ioan Tufi^’

Claims (3)

1. Revendicări:

   1. Sistem pentru monitorizarea video automată a unui braț robotic telecomandat, caracterizat prin aceea că include o cameră video 3D și o cameră video în infraroșu (IR) ce sunt solidare una cu cealaltă, fiind orientate în aceeași direcție și au funcții de mărire comandate electronic, un sistem electromecanic de orientare (SEO) a celor două camere după două axe (X și Y), o unitate de procesare video și comandă și un set de 3 surse de radiație IR (LED-uri IR) montate pe extremitatea distală a brațului robotic, pe circumferința acestuia (ce are diametrul A), la un unghi de 120° una de cealaltă și la o înălțime b=0,0773 A față de suprafața brațului robotic.
2. 2. Metodă pentru monitorizarea video automată a unui braț robotic telecomandat, caracterizată prin aceea că urmărește cu camera IR sursele de radiație IR de pe brațul robotic, folosește unitatea de procesare video și comandă (23) pentru a calcula distanța din imaginea IR între două surse de radiație IR (D) și poziția lor mediană (C) și pentru a comanda sistemele de mărire și orientare ale camerelor astfel încât sursele de radiație IR să fie vizibile în spațiul central (76) al imaginii IR (34) și, în consecință, terminalul brațului robotic și obiectele manipulate de acesta să fie vizibile în spațiul central al camerei video 3D, la o rezoluție optimă.
3. 3. Metodă pentru monitorizarea video automată a unui braț robotic telecomandat, conform revendicării 2, caracterizată prin aceea că, în situația în care imaginea IR conține o singură sursă de radiație IR, folosește unitatea de procesare video și comandă (23) pentru a comanda sistemul de orientare al camerelor, astfel încât sursa de radiație IR să fie centrată în mijlocul spațiului central (76) al imaginii IR (34) și sistemele de mărire ale camerelor, astfel încât factorii de mărire să fie configurați la valoarea minimă și imaginiile IR și 3D să aibă cuprinderea maximă.