RO123593B1 - Sistem de prelucrare distribuită, orientat pe analiză fractală - Google Patents

Abstract

Invenţia se referă la un sistem de prelucrare distribuită a datelor, destinat a fi folosit în aplicaţii de analiză fractală, în imagistică, cercetare medicală, precum şi în domeniul securităţii reţelelor de calculatoare. Sistemul de prelucrare a datelor, conform invenţiei, constă dintr-o structură () de tip cluster, alcătuită dintr-un grup de calculatoare () interconectate printr-o reţea Ethernet () de mare viteză, realizând în acest fel un server virtual, având un spaţiu de memorie () mărit, obţinut prin însumarea memoriilor () calculatoarelor () componente, mai puţin câte o zonă de memorie rezervată fiecărui calculator () în parte, în acest fel procesoarele calculatoarelor () lucrează independent, dar accesează spaţiul de memorie () mărit printr-o altă reţea Ethernet ().

Description

Invenția se referă la un sistem de prelucrare distribuită a datelor, orientat pe analiză fractală, folosit în domenii precum procesarea automată a imaginilor digitale sau securitatea comunicațiilor de date.

Analiza fractală are nevoie de capacități de procesare sporite, atât în ceea ce privește memoria de lucru, cât și de timpi de procesare sau spații sporite de stocare. în special pentru sisteme mari, astfel de capacități de prelucrare nu pot fi oferite de un singur calculator. Sunt cunoscute procedee de aplicare a tehnicilor de analiză fractală folosind platforme uniprocesor, însă acestea au limitare în ceea ce privește resursele de memorie, de procesare și de stocare. Din aceste motive, propunem utilizarea unui sistem de calcul distribuit.

Dacă pentru consolidarea spațiului de stocare sau pentru lucrul cu mai multe procesoare, există deja soluții bine stabilite, cum ar fi: Interfața pentru transmitere de mesaje (Message Passing Interface - MPI); Mașină virtuală cu paralelizare (Parallel Virtual Machine PVM) pentru partajarea memoriei există doar soluții cu echipamente dedicate și foarte costisitoare. Invenția aduce o soluție ieftină la problema creării unui spațiu partajat de memorie, folosind doar componente accesibile.

Soluția tehnică din stadiul cunoscut este: acces de la distanță direct la memorie (Remote Direct Memory Access - RDMA) care reprezintă o tehnologie ce permite calculatoarelor să schimbe date din memoria principală fără să implice procesorul, memoria cache (bloc din memoria RAM folosit pentru stocarea temporară a datelor) sau sistemul de operare al niciunuia dintre calculatoare. în mod similar cu accesul local direct la memorie (Direct Memory Access - DMA), RDMA îmbunătățește rata de transfer și performanțele sistemului, deoarece eliberează o bună parte din resursele hardware. RDMA implementează un protocol de transport direct în interfața de rețea (Network Interface Cârd - NIC) și oferă suport pentru o facilitate numită zero-copy networking. Acesta este un mecanism care face posibilă citirea de date direct din memoria centrală a unui calculator și scrierea acelor date direct în memoria principală a celuilalt calculator. RDMA s-a dovedit util în aplicații care implică clustere de mare viteză și în rețelele din centrele de date. Dezavantajele soluției RDMA sunt legate de faptul că introduce un grad de încărcare pentru resursele calculatoarelor implicate.

Un exemplu de management al resurselor distribuite folosind servere virtuale este prezentat în cererea de brevet US 2005/0120160 A1 (Jerry Plouffe - 2005). Se prezintă o platformă virtuală computerizată a cărei arhitectură cuprinde unul sau mai multe noduri cuplate printr-o rețea, care poate fi de tip Ethernet. Aceste noduri pot fi sisteme de procesare de uz general, având unul sau mai multe procesoare fizice pentru execuția seturilor de instrucțiuni. Se poate defini o structură care să conțină setul de noduri și alte entități hardware care pot funcționa ca o unitate operațională. Structurile de acest tip pot fi asociate într-o platformă virtuală și entitățile din fiecare structură pot executa operații fizice asociate cu partiții virtuale. Partițiile virtuale sunt colecții de componente hard și soft (inclusiv servere) cuplate în clustere. Partea de soft asociată cu partițiile virtuale ale unui cluster definește o arhitectură de tip multiprocesor, care se comportă ca un server virtual distribuit, interconectează microprocesoare, memorii, dispozitive de intrare/ieșire dar și software și protocoale folosite să le unească. în particular, sistemul de operare al serverului virtual lucrează ca și cum ar fi rulat pe un sistem multiprocesor cu o memorie partajată. Există posibilitatea pentru partiția virtuală să alocheze sau relocheze resursele (procesoare, memorii, rețele, etc) unui sistem de calcul virtual, sau altor programe, printr-o interfață programabilă, sau să funcționeze sub controlul unui administrator.

Problema tehnică pe care o rezolvă invenția este micșorarea gradului de încărcare pentru resursele calculatoarelor implicate în prelucrarea datelor.

Soluția tehnică propusă folosește analiza fractală, aplicată în sisteme distribuite, organizate în clustere, cu agregarea resurselor de memorie.

RO 123593 Β1

Sistemul de prelucrare distribuită a datelor orientat pe analiză fractală folosit pentru 1 creșterea capabilității de prelucrare a datelor, cuprinde o structură de tip cluster ce este constituită la rândul său dintr-un grup de calculatoare care lucrează împreună prin intermediul 3 unei rețele Ethernet de mare viteză, urmată de realizarea la nivelul sistemului de operare instalat pe un server având o configurație hardware dată, a unei entități software care prezintă 5 spre folosință fiecărui nod din cluster un spațiu de memorie mărit creat prin agregarea unor memorii fizice ale fiecărui nod component, fiecare dintre procesoarele calculatoarelor ce 7 alcătuiesc clusterul lucrând independent, primind seturi de instrucțiuni de la serverul pe care le execută separat, accesând partajat spațiul de memorie mărit pus la dispoziția lor de către un 9 server virtual printr-o altă rețea Ethernet.

Sistemul conform invenției propune folosirea mecanismelor specifice unui mediu de 11 comunicație omniprezent, de tip Ethernet, precum și a capacităților de virtualizare prezente la nivel de sistem de operare, pentru crearea unui sistem cu memorie partajată, sistem ce poate 13 fi utilizat în cazul prelucrărilor bazate pe metode de analiză fractală. Sistemul de prelucrare distribuită orientat pe analiză fractală, conform invenției, cuprinde o structură de tip cluster ce 15 este constituit dintr-un server și un grup de calculatoare care lucrează împreună printr-o rețea Ethernet de mare viteză, urmată de realizarea la nivel de sistem de operare a unei entități, care 17 prezintă spre folosință fiecărui nod din cluster un spațiu de memorie mărit, creat prin agregarea memoriei fizice din nodurile componente. în acest model, fiecare dintre procesoarele existente 19 lucrează independent, primind seturi de instrucțiuni pe care le execută separat, dar accesează resursele de memorie partajată pusă la dispoziția lor de către un server virtual printr-o altă rețea 21 Ethernet.

Conform invenției, nodurile sunt de fapt echipamente de prelucrare date, în particular 23 calculatoare cuprinzând microprocesoare, memorii RAM și interfețe de rețea, sistemul de operare fiind găzduit și distribuit de către server la pornirea fiecăruia dintre noduri. 25

Prin aplicarea invenției, se obțin următoarele avantaje:

- creșterea vitezei de execuție a aplicațiilor pe un calculator (în particular, serverul (1))27 având o configurație hardware dată;

- creșterea memoriei RAM;29

- creșterea puterii de procesare.

Descrierea invenției se face în continuare cu referire la fig. 1 ...4, care reprezintă:31

- fig. 1, schema sistemului de prelucrare distribuită a datelor;

- fig. 2, utilizarea sistemului din invenție în domeniul prelucrării, clasificării și stocării de 33 imagini;

- fig. 3, utilizarea sistemului din invenție pentru căutarea în baze de date de imagini; 35

- fig. 4, organigrama funcționării entității software.

Se dă în continuare un exemplu de realizare a invenției în legătură cu fig. 1, care 37 reprezintă arhitectura sistemului de prelucrare distribuită orientat pe analiză fractală. Sistemul de prelucrare distribuită orientat pe analiză fractală cuprinde o structură de tip cluster ce include 39 un server 1 și un grup de calculatoare, care lucrează împreună printr-o rețea 2 de tip Ethernet de mare viteză. La nivel de sistem de operare, se realizează o entitate software, care prezintă 41 spre folosință fiecărui nod din cluster un spațiu de memorie mărit 4, creat prin agregarea memoriilor fizice 5 ale unor noduri componente 3. în acest model, fiecare dintre procesoarele 43 existente lucrează independent, primind seturi de instrucțiuni, pe care le execută separat, dar accesează resursele de memorie partajată pusă la dispoziția lor de către un server virtual, 45 printr-o altă rețea Ethernet 6.

RO 123593 Β1

Cele două componente software ale clusterului sunt: entitatea software și serverul virtual. Entitatea software alocă toată memoria fizică disponibilă pe sistem, își anunță disponibilitatea in cluster, primește confirmare de la serverul virtual pentru acceptarea în cluster, ulterior ascultând permanent și prelucrând toate cererile sosite pe interfața Ethernet de mare viteză. Aceste cereri pot fi de scriere la o anumită adresă sau de citire de la o anumită adresă din memoria alocată.

Soluția propusă constă în crearea unei mașini virtuale (server virtual) cu o memorie disponibilă egală cu suma memoriilor nodurilor participatnte, mai puțin o cantitate mică rezervată fiecărui nod în parte. în acest sens, pe fiecare dintre noduri rulează un server cu resurse limitate ce pune la dispoziția serverului virtual resursele de memorie ale fiecărui nod din cluster. Serverul virtual gestionează zonele de memorie primite de la fiecare nod efectuând gestiunea memoriei și pune această memorie la dispoziția nodurilor pentru a rula aplicațiile în mod independent. Serverul virtual se realizează prin alocarea, pe fiecare dintre nodurile fizice, a memoriei către entitatea software, ce o pune mai departe la dispoziția serverului virtual, pentru a fi accesată apoi ca un tot de către fiecare dintre nodurile din cluster, accesul la memorie fiind direct prin intermediul rețelei Ethernet de mare viteză. Serverul virtual este cel care se comportă ca un gestionar de memorie, alocând noi spații de memorie pe măsură ce acestea devin disponibile sub forma unor noi noduri care își anunță prezența în cluster, și primind de la aplicațiile de modelare cereri pentru a accesa (scriere sau citire) întregul spațiu de memorie disponibil. Tot serverul virtual se ocupă de maparea de adrese de memorie din cluster către adresele fizice puse la dispoziție de fiecare nod. De asemenea, serverul virtual se ocupă de defragmentarea și realocarea memoriei virtuale în cazul în care unul dintre noduri devine indisponibil.

Funcționarea entității software este prezentată în organigrama din fig. 4.

Entitatea software asigură alocarea întregii memorii disponibile și înregistrarea în cluster. Urmează o fază de decizie în care se solicită confirmarea înregistrării. Dacă înregistrarea nu este efectuată se trece la efectuarea acestei operații. Dacă înregistrarea este confirmată, se trece la o stare de așteptare în care se verifică dacă la interfața Ethernet apar cereri venite de la serverul virtual. Acesta asigură defragmentarea spațiului de memorie, relocarea seturilor de instrucțiuni atunci când un spațiu de memorie a devenit indisponibil, adică atunci când, la cereri repetate, entitatea software care reprezintă un nod nu dă răspuns și urmărește nodurile din cluster ce devin disponibile. în acest moment, serverul virtual realizează agregarea memoriei într-un spațiu comun, pe care îl pune la dispoziția nodurilor. Se execută apoi o cerere de scriere sau citire de la anumite adrese din spațiul comun, urmată de transmiterea cererilor, sub forma unor pachete Ethernet către nodurile participante.

Se prezintă în continuare în fig. 2 un exemplu de utilizare a invenției, ce constă în prelucrarea imaginilor digitale 1 a, clasificarea 4a și stocarea acestora în baze de date pe suporturi fizice 5a. Aceste operațiuni necesită o putere de calcul foarte ridicată și resurse de memorie mari. Lipsa acestora (sau insuficiența lor) conduce la timpi de prelucrare și așteptare foarte mari. Realizarea operațiunilor menționate mai sus, exclusiv prin metode clasice, presupune analizarea și clasificarea obiectelor (imaginilor) pe baza unor indicatori clasici (de exemplu: culoare, contrast, textură, luminozitate), determinarea acestora atrăgând după sine eforturile menționate.

Prin metoda de față, se introduce o etapă suplimentară, preliminară clasificării propriuzise. Metoda propusă se bazează pe analiza fractală, respectiv, calculul dimensiunii fractale 3a - pentru a elimina prelucrările și comparațiile ulterioare inutile. Spre deosebire ele metodele clasice, calculul dimensiunii fractale presupune o complexitate redusă a operațiilor matematice

RO 123593 Β1 efectuate. Metoda dă rezultate net superioare atunci când este folosită într-un mediu de calcul 1 distribuit 2a, acest lucru fiind confirmat de testarea comparativă într-un mediu uniprocesor și pe sistemul care face obiectul cererii de brevet. 3

Căutarea în baze de date de imagini se face conform unor criterii de asemănare și este prezentată în fig. 3. Calculul dimensiunii fractale 3a este o etapă anterioară și în cazul căutării 5 de imagini 6a. în acest caz, intrările sistemului propus sunt reprezentate de baza de date de imagini 5a și de imaginea pe care utilizatorul dorește să o caute 1a. Ieșirile sunt reprezentate 7 de imaginile digitale 7a, care sunt considerate de către sistem ca fiind asemănătoare cu imaginea căutată. Metoda propusă conduce la eliminarea rapidă și printr-un efort de calcul redus 9 a acelor imagini care, cu siguranță, nu s-ar încadra în criteriile de căutare impuse de utilizator.

Indicatorul, utilizat, și anume, dimensiunea fractală, se determină printr-o metodă de 11 calcul (numită Box-counting) binecunoscută în literatura de specialitate. Rolul acestui indicator este acela de a ridica precizia de clasificare a imaginilor digitale și de a optimiza procesul de 13 căutare și extragere a imaginilor din baze de date de imagini. Pentru realizarea acestor obiective, sistemul determină dimensiunea fractală 3a a imaginilor de intrare 1 a, realizează clasifica- 15 rea imaginilor în funcție de dimensiunea fractală a acestora 4a și le stochează într-o bază de date de imagini împreună cu dimensiunile lor fractale 5a. Pentru căutarea unei imagini în baza 17 de date fig.3, se procedează similar: se determină dimensiunea fractală 3a a imaginii de intrare 1a și se caută în baza de date 5a imagini 7a având o dimensiune fractală apropiată de cea a 19 imaginii de intrare.

Un alt exemplu de utilizare a invenției este studierea rezistenței la atacuri aleatoare 21 împotriva unei rețele liber-scalabiledetip Internei cu un numărfoarte mare de noduri. Studierea rezistenței la atacuri se face prin simularea devenirii indisponibile a unor noduri, verificând 23 totodată funcționarea rețelei ca un ansamblu; se studiază câte noduri și ce performanțe are rețeaua în funcție de numărul si tipul de noduri devenite indisponibile. 25 încercările de a rula aplicația pe un sistem uniprocesor sau chiar pe sisteme multi-procesor atunci când se generează o rețea cu un număr de noduri mai mare decât o anumită limită 27 au eșuat din cauza lipsei de memorie, soluția propusă fiind singura prin care s-a putut realiza obiectivul propus. în acest sens, modelele implementate sunt divizate într-un număr de sub- 29 modele folosind o procedură de federalizare. Divizarea modelelor în submodele se realizează prin alocarea de noduri către fiecare submodel. Procedura de federalizare se execută pe 31 serverul virtual și funcționează iterativ, prin alocarea succesivă de noduri conexe fiecărui submodel, urmărind ca acestea să aibă un număr egal de noduri. Dacă într-un submodel nu mai 33 există noduri conexe, acestea se redistribuie în alte submodele către nodurile la care pot fi conectate. Fiecare dintre subrețele urmează a fi procesată separat pe câte un nod din cluster, 35 procesorul fiecărui nod lucrând independent însă folosind spațiul de memorie partajată pentru stocarea modelului și pentru asigurarea comunicației între noduri. 37

Se generează n componente federative prin alegerea celor mai conectate n noduri, asignându-le apoi o federație fără membri, după care pornește o procedură de asociere de noi 39 noduri la federațiile existente prin explorarea nodurilor învecinate, procedură ce se repetă până ce, în final, fiecare nod este marcat ca făcând parte dintr-o federație. 41

Pe baza rezultatelor obținute pe clusterul descris anterior pe un model de rețea de tipcomunicații audio și video, folosind metoda propusă, s-au putut evidenția trăsături fractale în 43 traficul analizat. Mai departe, aceste trăsături sunt folosite pentru evidențierea nodurilor în care se poate face optimizarea traficului. 45

RO 123593 Β1

Sistemul propus a fost utilizat în cadrul a trei teme principale de cercetare pentru dezvoltare și validare de proceduri, după cum urmează:

- s-au realizat căutarea în baze largi de date, selectarea imaginilor pe bază de caracteristici texturale și dimensiune fractală și respectiv gruparea de imagini cu caracteristici similare;

- extensia tehnicilor fractale pentru studiul evoluției tumorilor. S-a realizat prelucrarea de imagini medicale (tomografii cu precădere) prin metode fractale, ceea ce a permis evaluarea stării curente și a evoluției unor tumori;

- evidențierea proprietăților fractale și de autosimilaritate prezentate de traficul informa9 țional în rețele de calculatoare. S-a implementat o structură de rețea liber scalabilă, studiindu-se rezistența acesteia la atacuri aleatoare.

Claims (3)

1. Sistem de prelucrare distribuită a datelor, orientat pe analiză fractală, folosit pentru 3 creșterea capabilității de prelucrare a datelor, caracterizat prin aceea că acesta cuprinde o structură de tip cluster, ce este constituită la rândul său dintr-un grup de calculatoare care 5 lucrează împreună prin intermediul unei rețele Ethernet de mare viteză (2), urmată de realizarea, la nivelul sistemului de operare instalat pe un server (1) având o configurație hardware 7 dată, a unei entități software care prezintă spre folosință fiecărui nod (3) din cluster un spațiu de memorie mărit (4), creat prin agregarea unor memorii fizice (5) ale fiecărui nod component 9 (3), fiecare dintre procesoarele calculatoarelor ce alcătuiesc clusterul lucrând independent, primind seturi de instrucțiuni de la serverul (1) pe care le execută separat, accesând partajat 11 spațiul de memorie mărit (4) pus la dispoziția lor de către un server virtual, printr-o altă rețea Ethernet (6). 13

2. Sistem conform revendicării 1, caracterizat prin aceea că se utilizează în procese de clasificare și căutare de imagini digitale în baze mari de date, prin adăugarea dimensiunii 15 fractale ca element suplimentar față de indicatorii clasici utilizați în metodele cunoscute de analiză a imaginilor. 17

3. Sistem conform revendicării 1, caracterizat prin aceea că se utilizează la evidențierea proprietăților fractale ale rețelelor liber scalabile, permițând determinarea rezistenței 19 acestora la atacuri aleatoare.