LT6525B

LT6525B - Skaitmeninių vaizdų skyros didinimo būdas taikant unikalų dalinai persidengiančių mažos skyros vaizdų apdorojimą

Info

Publication number: LT6525B
Application number: LT2016509A
Authority: LT
Inventors: Jonas GUZAITIS
Original assignee: Uab Pixpro
Priority date: 2016-06-29
Filing date: 2016-06-29
Publication date: 2018-05-10
Also published as: LT2016509A; WO2018002697A1; EP3479342A1

Abstract

Šio išradimo objektas - didelės skyros vaizdo suformavimo metodas atliekantis automatinį vaizdo skyros didinimą iš keleto dalinai persidengiančių mažos skyros vaizdų užfiksuotų esant skirtingoms fotokamerų pozicijoms bei kampams Padidintos skyros vaizdo formavimas apima pagrindinius 3 etapus: pirmajame etape identifikuojamas nuotraukose užfiksuoto paviršiaus 3D modelis: atkuriamos kamerų pozicijos bei posūkio kampai, taip pat apskaičiuojamas nuotraukose užfiksuoto objekto 3D paviršius; antrajame etape atliekama optinių iškraipymų korekcija visiems žemesnės skyros vaizdams, reikalingos korekcijos dydis nustatomas panaudojant pirmajame etape gautus geometrinio iškraipymo koeficientus; trečiame etape atliekamas padidintos skyros vaizdo taškų intensyvumų apskaičiavimas - tuo tikslu kiekvienam naujam padidintos skyros taškui surandamas 3D taškas, esantis ant užfiksuoto objekto 3D paviršiaus, projektuojant 3D tašką į visus žemesnės skyros taškus, surandamos 3D taško projekcijos, aplinkui 3D tašką pažymima keturkampė taško aplinkos sritis, kurios kampai taip pat suprojektuojami į visus žemesnės skyros vaizdus, iš 3D taško aplinkų projekcijose, esančių žemesnės skyros taškų, sudaroma lygčių sistema, kurią išsprendus, randamas ieškomas padidintos skyros taško intensyvumas.Šiame darbe aprašomi vienspalvių vaizdų raiškos didinimo principai, tačiau jis gali būti naudojamas ir spalvotiems vaizdams. Spalvotų vaizdų atveju kiekvieno padidintos skyros vaizdo taško spalva nustatoma pritaikant aprašomą metodą kiekvienai pirminiai spalvai (raudonai, žaliai ir mėlynai) atskirai.

Description

TECHNIKOS SRITIS

Išradimas yra iš elektroninių vaizdų (nuotraukų) apdorojimo srities, o konkrečiai - elektroninių vaizdų skyros (skiriamosios gebos) didinimas panaudojant keleto persidengiančių mažos skyros (eng. resolution) vaizdų duomenis.

TECHNIKOS LYGIS

Šis išradimas suteikia galimybę automatiškai sukurti padidintos skyros vaizdą iš keleto dalinai persidengiančių mažos skyros vaizdų užfiksuotų esant skirtingoms fotokamerų pozicijoms bei kampams. Proceso metu iš pradinių mažos skyros vaizdų rekonstruojamos fotokamerų pozicijos bei erdvinis paviršius, kuris naudojamas sąryšiui tarp mažos skyros vaizdų. Atlikus geometrines pradinių mažos skyros vaizdų korekcijas, didelės skyros vaizdų taškų intensyvumai apskaičiuojami pagal jų atvaizduojamų erdvinių paviršiaus taškų projekcijas mažos skyros vaizduose.

Toliau nagrinėjamas esamas technikos lygis, t.y.: informacija, kuri viešai prieinama šiuo metu.

Žinomas patentas US8582922B2 (publikuotas 2013 m. lapkričio 12d.), kuriame pateikiamas vaizdo skyros didinimo būdas naudojant du ar daugiau mažos skyros vaizdus. Skyros didinimo būdas pagrįstas didelės skyros vaizdo taškų reikšmių skaičiavimu iš mažos skyros vaizdo taškų naudojant svorinės interpoliacijos skaičiavimo principą. Šiame skaičiavimo būde nieko neminima apie vaizdus, kurie buvo užfiksuoti skirtingais kameros pasukimo į objektą kampais, skyros didinimui netaikomas trimatis paviršius, dėl ko tokiam būdui gali būti naudojami vaizdai, kuriuose objektas atvaizduotas iš vienos plokštumos arba plokštumų, kurios su minėta objekto plokštuma sudaro tik keleto laipsnio dalių kampus.

Taip pat žinoma patento paraiška US20040170340A1 (paskelbta 2004 m. rugsėjo 2d.), kurioje pateikiamas vaizdų skyros didinimo būdas, kur padidintos skyros vaizdas gaunamas mažiausiai iš dviejų mažesnės skyros vaizdų naudojant Bajeso metodą. Tačiau toks skyros didinimo būdas gali būti naudojamas tik tada, kai pradinių mažos skyros vaizdų orientacija ir pasukimas į objektą yra tarpusavyje labai artimi.

Dar žinomas US20030012457 dokumentas (publikuotas 2003 m. sausio 16 dieną). Jame formuojamas didesnės skyros plokščias vaizdas iš kelių mažos skyros plokščių vaizdų. Šio būdo pagrindinis principas yra tas, kad visa informacija surenkama į vieną vaizdą ir vėliau, pagal atitinkamą modelį, apkarpomos nereikalingos detalės.

Daugumoje atvejų, technikos lygyje aptinkami dokumentai dažniausiai susieti su vaizdų skyros didinimo metodikomis, kurios orientuotos į mažos skyros kelių vaizdų sudėjimą ir tolimesnį jų apdorojimą taikant įvairias metodikas. Taip pat dokumentuose dažniausiai nagrinėjami vaizdai, atkuriami dvimatėje plokštumoje, sutampančioje su vaizdo plokštuma. Kadangi vaizdų apdorojimo ir formavimo technologija kaip mokslo bei taikymo kryptis pradėjo sparčiau vystytis tik paskutinį dešimtmetį (ypač paskutiniais metais), todėl galima teigti, kad šiuo metu vaizdų apdorojimo technologijos išgyvena proveržį. Tai susiję su tuo, kad dabartinė kompiuterinė technika sugeba greitai apdoroti didelius informacijos kiekius be per daug didelio pirminių vaizdų supaprastinimo, t.y.: atsirado galimybė kompleksiškai dirbti su vaizdais taikant įvairias sudėtingas metodikas siekiant geresnio rezultato.

Didžioji dauguma vaizdo skyros didinimo metodų, esančių dabartiniame technikos lygyje, remiasi nedidelių kameros pozicijos pokyčių (poslinkio ir pasukimo) rekonstravimu. Pozicijų paieška vykdoma 2D erdvėje sutampančioje su vaizdo plokštuma. Suradus optimalias pozicijas padidinta skyra apskaičiuojama visam atkuriamo vaizdo plotui vienu metu. Tačiau, esant dideliems kameros pozicijos bei fiksavimo krypties pokyčiams, homografija paremti metodai neveikia, nes vaizdai nebegali persidengti dėl juose skirtingu kampu užfiksuotų objektų perspektyvinės transformacijos.

Šiame išradime aprašytas metodas vaizdų suvedimą atlieka fotogrametrijos proceso metu. Naudojant kertinius taškus (angį. Key-points) bei 3D modelio tarpusavio surišimo algoritmą (angį. Bundle Adjustment) surandami vaizdų tarpusavio ryšiai ir kamerų pozicijos 3D erdvėje. Dėl skirtingos nuotraukų fiksavimo pozicijos, užfiksuoti objektai kiekviename persidengiančiame vaizde matomi skirtingose vaizdo vietose, t.y.: nėra galimybės atlikti skyros padidinimą visam vaizdui iš karto, nes vaizdai negali persidengti net ir atlikus reikiamas transformacijas. Ši problema sprendžiama apskaičiuojant kiekvieną padidintos skyros vaizdo tašką atskirai. Šiame išradime taikomų žingsnių seka atkuria visus didesnės skyros taškus kiekvienam iš jų surandant atitinkamą trimatės erdvės tašką 3D paviršiuje, pažymint jame lokalią paviršiaus plokštumą bei suprojektuojant šią nedidelę kvadratinę sritį į visus mažos skyros vaizdus, kuriuose užfiksuota ši 3D paviršiaus vieta. Pagal gautas projekcijas, kiekviename atrinktame vaizde randami projekcijos taškų intensyvumai, kurie vėliau naudojami lygčių sistemos sudarymui. Išsprendus lygčių sistemą, gautas centrinis tiriamojo taško aplinkos intensyvumas išsaugomas padidintos skyros vaizde.

IŠRADIMO ESMĖ

3D vaizdų konversijos eigoje iš pradinių mažos skyros vaizdų atkuriamas užfiksuoto objekto 3D paviršius (žemės paviršius, pastatai, medžių laja ir t.t.), kuris panaudojamas nuotraukose užfiksuotų vaizdų projekcijų radimui. Didesnės skyros vaizdų rekonstrukcija apskaičiuojama panaudojant persidengiančias mažos skyros nuotraukų sritis. Atlikus visus apdorojimo žingsnius, gaunamos didesnės skyros nuotraukos. Šios nuotraukos atitinka pradinių nuotraukų fiksavimo poziciją ir kampą (t.y. jose matomi tie patys vaizdai), tačiau turi didesnę vaizdo skyrą todėl jose užfiksuotas vaizdas tampa detalesnis. Vaizdas bus detalesnis tose srityse, kuriose persidengė didesnis nuotraukų kiekis.

Formuojant didesnės skyros vaizdą, taikomi trys pagrindiniai etapai:

Pirmajame etape, taikant fotogrametrijos metodą, surandamas nuotraukose užfiksuoto paviršiaus 3D modelis: atkuriamos kamerų pozicijos bei posūkio kampai, taip pat apskaičiuojamas nuotraukose užfiksuoto objekto 3D paviršius (angį. mesh).

Antrajame etape atliekama objektyvo optinė korekcija (angį. radial undistortion) visiems mažos skyros vaizdams. Reikalingos korekcijos dydis nustatomas panaudojant fotogrametrijos metu gautus geometrinio iškraipymo koeficientus.

Trečiame etape atliekamas didesnės skyros vaizdo taškų intensyvumų apskaičiavimas. Tuo tikslu kiekvienam naujam didesnės skyros taškui surandamas 3D taškas, esantis ant užfiksuoto objekto 3D paviršiaus. Projektuojant 3D tašką j visus mažos skyros vaizdus, surandamos taško projekcijos. Aplinkui 3D tašką pažymima keturkampė taško aplinkos sritis, kurios kampai taip pat suprojektuojami į visus mažos skyros vaizdus. Tolimesniems skaičiavimams parenkami tik tie mažos skyros vaizdai, kuriuose ieškomas taškas gerai išskiriamas. Iš 3D taško aplinkų projekcijose esančių mažos skyros taškų sudaroma lygčių sistema, kurią išsprendus randamas ieškomas padidintos skyros taško intensyvumas.

TRUMPAS BRĖŽINIŲ APRAŠYMAS

Pav. 1. Ieškomo taško aplinkos (a) mažos skyros, (b) padidintos skyros, (c) padidintos ir mažos skyros aplinkų taškų persidengimas.

Pav. 2. Ieškomo taško aplinka skirtinguose mažos skyros vaizduose.

TINKAMIAUSI ĮGYVENDINIMO VARIANTAI

Šiame aprašyme terminas „skyra“ arba „skiriamoji geba“ (angį. resolution) reiškia elektroninėje įrangoje atkuriamo vaizdo parametrą, nusakantį vaizdą sudarančių taškų kiekį ilgio/ploto/erdvės vienete.

Šiame aprašyme terminas „vaizdo taškas“ arba „taškas“ reiškia kvadratinę/kubinę vaizdo sritį, kurią užima tas taškas.

Šiame aprašyme terminas „vaizdo taško intensyvumas“ arba „intensyvumas“ suprantamas kaip vaizdo taško šviesumas (vienspalviams vaizdams) arba kaip vaizdo taško spalvos pirminių spalvų (raudonos, žalios ir mėlynos) šviesumas (spalvotiems vaizdams).

Šiame aprašyme terminas „mažos skyros vaizdas“ arba „mažesnės skyros vaizdas“ reiškia objekto nuotrauką, kurioje gerai matomas užfiksuotas objektas, tačiau smulkios objekto detalės atvaizduojamos abstrakčiai.

Šiame aprašyme terminas „didelės skyros vaizdas“ arba „padidintos skyros vaizdas“ reiškia patobulintą to paties objekto nuotrauką, kurioje smulkios objekto detalės atvaizduojamos detaliau (pvz.: galima perskaityti užrašą, kurio nebuvo galima įskaityti pradiniuose mažos skyros vaizduose).

Šio išradimo atveju vaizdų atvaizdavimas ir jų apdorojimas gali būti vykdomas elektroniniuose su vaizdais galinčiuose dirbti įrenginiuose, tokiuose kaip kompiuteris, vaizdo kamera, vaizdo grotuvas, vaizdo atvaizdavimo įrenginys (pvz.: televizorius, monitorius) . Pateikiamam vaizdo apdorojimui reikalingi elektroniniai įrenginiai, galintys apdoroti skaitmeninę informaciją (įvairūs atminties moduliai, mažiausiai vienas procesorius, įvesties, išvesties įrenginiai ir kt.).

Didelės skyros vaizdai detaliau atvaizduoja užfiksuotą objektą, todėl gali būti panaudoti sudėtingesnių uždavinių sprendimui. Tačiau objektų fiksavimą didele skyra riboja įvairios priežastys: techninės (fotografavimo įrenginio optika neleidžia priartinti vaizdo iki reikiamo laipsnio), teisinės (palydovinių bei termovizorinių nuotraukų skyra ribojama įstatymais dėl strateginės jų reikšmės) ir t.t.. Sukurta daug įvairių vaizdo skyros didinimo metodų panaudojant mažesnės skyros vaizdus. Viena metodų dalis vaizdo skyrą didina naudodami vieną mažos skyros vaizdą, kiti metodai tai atlieka panaudodami du ir daugiau mažos skyros vaizdų. Pirmuoju atveju vaizdo skyra didinama įvairiomis interpoliavimo priemonėmis, o antruoju mažos skyros vaizdai sutapatinami pagal surastus kertinius taškus ir algoritminėmis priemonėmis bandoma nustatyti nedidelius kameros pozicijos pokyčius bei jų kompensavimo galimybes. Tokiuose metoduose dar papildomai gali būti naudojami kiti vaizdo apdorojimo būdai tokie, kaip triukšmo pašalinimas, ryškumo didinimas ir kt.

Anksčiau aptarti skyros didinimo metodai užfiksuotą vaizdą traktuoja kaip plokštumą, todėl reikalaujama, kad pradiniai mažos skyros vaizdai būtų užfiksuoti iš vieno taško (nekintančios kameros pozicijos). Šiame aprašyme pateiktas metodas vaizdo skyros didinimui naudoja pradinius mažos skyros vaizdus užfiksuotus iš skirtingų kameros pozicijų bei esant skirtingiems pasvirimo kampams fiksuojamo objekto atžvilgiu. Šiame išradime padidintos skyros vaizdų formavimą sudaro trys skyros didinimo etapai.

Pirmame skyros didinimo etape iš užfiksuotų fotografijų atkuriamas objekto 3D paviršius. 3D paviršius atkuriamas naudojant fotogrametrijos metodiką, nustatant kameros poziciją ir posūkio kampus fiksuojamo objekto atžvilgiu.

Antrame etape atliekama optinių iškraipymų korekcija panaudojant fotogrametrijos metu gautas geometrinių iškraipymų reikšmes.

Trečiame etape nustatomi padidintos skyros vaizdą sudarančių taškų intensyvumai.

Šis išradimas naujas tuo, kad naudojant minėtus tris vaizdų skyros didinimo etapus gaunami padidintos skyros vaizdai, kai pradiniai mažos skyros vaizdai buvo užfiksuoti esant skirtingoms kameros pozicijoms bei pasvirimo kampams. Aprašomas metodas veikia geriau jeigu spinduliai išvesti per kiekvieną paviršiaus tašką ir šiuos taškus matančių kamerų pozicijas sudaro didesnį negu 5 laipsnių kampą.

Toliau detaliau aprašomi vaizdo skyros didinimo etapai:

Skyros didinimas atliekamas iš N mažos skyros vaizdų, kurie sudaro mažos skyros vaizdų aibę Z = {K₀,F_]5K ,V_n}. Kiekvienas iš pradinių mažos skyros vaizdų V, pakeičiamas į padidintos skyros vaizdą Vj. Keičiant vaizdo skyrą, vaizdo geometriniai matmenys išlieka nepakitę, o vaizdą sudarančių taškų kiekis padidėja. Skyros didinimas atliekamas laisvai pasirinktu dydžiu, tačiau rekomenduojama ne didesniu, nei 1,5 karto, nes didinant daugiau nei 1,5 karto, skyros didinimo skaičiavimo metu gali būti gaunami nestabilūs rezultatai.

Pav. 1 pavaizduotas galimas skyros padidinimas minėtu 1,5 karto: a) dalyje pavaizduoto vaizdo kraštinę sudaro du mažos skyros taškai; b) dalyje pavaizduoto vaizdo kraštinę sudaro trys padidintos skyros taškai; c) dalyje pavaizduotas mažos skyros ir didesnės skyros vaizdų persidengimas.

Kiekvieno skyros didinimo etapo metu atskirai apdorojamas kiekvienas padidintos skyros vaizdo taškas, t.y.: visa funkcinių apdorojimų seka taikoma kiekvienam formuojamam padidintos skyros vaizdo Vj taškui.

Toliau detaliau aprašomos atskiros funkcinio apdorojimo sekos fazės (žingsniai):

1. Per mažesnės skyros vaizdo V, centrą C, išvedamas spindulys R,, kertantis norimą apskaičiuoti didesnės skyros vaizdo tašką Q'_xy. Spindulio sankirtoje su rekonstruotu trimačiu paviršiumi pažymimas taškas X.

2. Per tašką Xišvedama pagalbinė plokštuma Z. Plokštumos Z normalės kryptis yra priešinga spindulio R, krypčiai.

3. Aplink tašką Q_xy, esantį skaičiuojamos didelės skyros vaizde, sukuriama kvadratinė taško ^aplinka 5. Kvadratinę taško βζ,aplinką 5 sudaro didelės skyros vaizdo taškai e S. Vaizdo taškų kiekis, t.y. aplinkos dydis, pasirenkamas laisvai. Pav. 1, b) pavaizduota kvadratinė taško aplinka, kurios kraštinės ilgis - trys didelės skyros taškai.

4. Per taško Q_xy kaimyninius taškus wj_v e 5 išvedami spinduliai, kurių susikirtimuose su pagalbine plokštuma Z pažymimi trimačiai taškai T_uv.

5. Šiame etape vyksta dvimačio vaizdo sutapdinimas su trimačiu vaizdu. Pagalbinė plokštuma Z pakreipiama, pasukama taip, kad jos normalė sutaptų su trimačio paviršiaus normale N_x taške X. Taškai T_uv pasukami kartu su plokštuma Z

6. Kiekviename mažesnės skyros vaizde V_keL, panaudojant fotogrametrijos metu apskaičiuotas projekcines matricas, suprojektuojami trimačiai taškai T_uv ir gaunamos jų projekcijos W^kv. Dėl plokštumos Z pasvirimo trimačio paviršiaus atžvilgiu, taškų projekcijos W_u ^kv kiekviename vaizde bus atvaizduojamos netaisyklingais keturkampiais, kurie geriausiai atitinka trimačio paviršiaus srities projekciją kiekviename vaizde.

7. Iš buvusios vaizdų aibės L suformuojama nauja vaizdų aibė K. Vaizdas iš aibės L perkeliamas į naują vaizdų aibę K, jeigu tenkinamos dvi sąlygos:

a)Visos projekcijos W^kv patenka j vaizdą V_k t.y.: VW^kv :Q<u<-w_Vt,Q<v<h_Vt, čia w_V/į ir h yra vaizdo V_k plotis ir aukštis atitinkamai.

b)Taško X normalė N_x su vaizdo V_k spinduliu R_k sudaro mažesnį kampą

Γ · Ί negu 60’ t.y. arccos <y. Čia n - taško X normalė N_x užrašyta vektorine

Viiⁿllll^rliy forma, o r - vaizdo V_k spindulys -R_k užrašytas vektorine forma.

8. Visiems mažesnės skyros vaizdams V_k e K projekcijų taškuose W^kv apskaičiuojamos intensyvumų reikšmės G^kv. Intensyvumų nustatymui naudojama bikubinė interpoliacija.

9. Remiantis skyrelyje „Lygčių sistemos sudarymas“ pateiktu aprašymu bei gautomis mažos skyros vaizdų intensyvumų vertėmis G^km sudaroma normalinių lygčių sistema padidintos skyros vaizdo taškų intensyvumams G'_w apskaičiuoti.

10. Išsprendus lygčių sistemą iš vektoriaus x išrenkamas vidurinis elementas x_t :i = M/2, atitinkantis centrinio padidintos skyros taško intensyvumą G'_mir įrašomas į tašką Q'_xy padidintos skyros vaizde V).

11. Apdorojimo mechanizmas kartojamas ir kitiems likusiems vaizdo V, taškams.

Pav. 2 pavaizduota ieškomo taško aplinka skirtinguose mažos skyros vaizduose.

Toliau pateikiamas paaiškinimas dėl minėtos lygčių sistemos (sudarymo):

Kiekvienas vaizdo taškas suprantamas kaip kvadratinės paviršiaus srities, kurią užima šis taškas, vidutinis intensyvumas. Žemesnės skyros vaizdo taškai persidengia neidealiai, todėl į kiekvieno taško keturkampį patenka keletas didelės skyros vaizdo taškų (kai kurie iš jų patenka dalinai). Bendru atveju kiekvieno žemesnės skyros taško reikšmę galima apskaičiuoti pagal svorinio vidurkio formulę:

m a=l v=l (1)

Čia gy- mažos skyros vaizdo taško intensyvumas, m- taško aplinkos S kraštinės dydis (Pav. 1. pateiktas pavyzdys, kurio kraštinė lygi 3), g'_uv- padidintos skyros vaizdo taško intensyvumas, w'„- kiekvieno didelės skyros vaizdo taško svoris apskaičiuojamas kaip g'_uv persidengiančio ploto su g_y santykis.

Didelės skyros taško gį reikšmė apskaičiuojama iš šio taško aplinkos S projekcijos kiekviename mažos skyros vaizde. Pav. 1 pavaizduota taško aplinka mažos skyros vaizde (dalis a), didelės skyros vaizde (dalis b) bei persidengiančios didelės ir mažos skyros taškų sritys (dalis c).

Naudojantis formule (1), sudaroma tiesinių lygčių sistema (angį. normai eguation system), kuri užrašome matricine forma:

Ax = b

Čia x- visų ieškomo didelės skyros vaizdo taškų intensyvumai, b- pradinių mažos skyros vaizdo taškų intensyvumai, A- svorių matrica, atitinkanti kiekvieno didelės skyros vaizdo taško persidengiantį plotą su mažos skyros vaizdų taškais.

Atsižvelgiant į taško aplinką patenkančių didelės skyros taškų (nežinomųjų) kiekį, nustatomas reikiamas lygčių kiekis sistemoje. Lygčių kiekis turi būti toks pats arba didesnis už ieškomų taškų (nežinomųjų) kiekį. Pav. 1 pateiktame pavyzdyje didelės skyros taškų aplinką sudaro 9 nežinomi taškai, todėl lygčių sistemą turi sudaryti ne mažiau, kaip 9 lygtys. Mažos skyros taškų aplinką sudaro 4 taškai. Reikiamam lygčių kiekiui pasiekti, turime naudoti bent 3 mažos skyros vaizdų duomenis, tokiu būdu sudarydami 12 lygčių sistemą, iš kurių kiekviena turės po 9 nežinomuosius.

Remiantis Pav. 1 pateiktu pavyzdžiu ir formule (1) bei turimomis ieškomo taško mažos skyros vaizdų taškų intensyvumų vertėmis G*_v sudaroma normalinių lygčių sistema didelės skyros vaizdo taškų intensyvumams G'_w apskaičiuoti. Matrica

A užpildoma persidengiančių taškų plotų santykiais. Kiekviena lygtis atitinka vieno mažos skyros taško intensyvumo įvertį, sudarytą iš didelės skyros nežinomų taškų įverčių pagal formulę (1). Vektorius b užpildomas mažos skyros taškų intensyvumų reikšmėmis G^. Pateiktame pavyzdyje pirmos 4 lygtys aprašo pirmojo mažos skyros vaizdo aplinkos taškus, sekančios 4 - antrojo, o dar paskutinės 4 - trečiojo vaizdo:

A =

'4/9	2/9	0	2/9	1/9	0	0	0	0 '		'θ\'
0	2/9	4/9	0	1/9	2/9	0	0	0		Gh
0	0	0	2/9	1/9	0	4/9	2/9	0		G\
0	0	0	0	1/9	2/9	0	2/9	4/9		g\₂
4/9	2/9	0	2/9	1/9	0	0	0	0		Gh
0	2/9	4/9	0	1/9	2/9	0	0	0	, b =	Gi
0	0	0	2/9	1/9	0	4/9	2/9	0		G^
0	0	0	0	1/9	2/9	0	2/9	4/9		g²22
4/9	2/9	0	2/9	1/9	0	0	0	0		G^
0	2/9	4/9	0	1/9	2/9	0	0	0		tf₂
0	0	0	2/9	1/9	0	4/9	2/9	0		GL
_ 0	0	0	0	1/9	2/9	0	2/9	4/9		_1

Išsprendus lygčių sistemą, vektoriuje x intensyvumus G'_uv.

randame padidintos skyros taškų _ Γζ»' zV sif s-n z-»' z~»» z-»/ V — ^11^12^13^215^22^23^315^32^33 J

Matrica A bus vienoda visiems apskaičiuojamiems taškams (arba gali būti pratęsiama, jeigu skaičiavimams bus naudojama daugiau negu 3 vaizdai), o vektorius b užpildomas ieškomo taško aplinkos taškų reikšmėmis.

Toliau pateikiami skyros didinimo mechanizmo apribojimai.

Skyros didinimas atskirose suformuotos didelės skyros nuotraukos vietose bus skirtingas. Padidintos skyros vaizdo detalumas labai priklausys tiek nuo persidengiančių nuotraukų kiekio, tiek nuo bendro taškų tankio ieškomo taško aplinkoje t.y.: iš arčiau fotografuotose nuotraukose objekto paviršius turi didesnę skyrą negu nuotraukose, darytose iš didesnio atstumo, todėl, bandant padidinti iš arčiau darytų nuotraukų skyrą panaudojant iš didesnio atstumo darytas persidengiančias nuotraukas, rezultatas bus nestabilus. Jeigu persidengiančių nuotraukų taškų koordinatės labai koreliuos tarpusavyje - nuotraukos gali nepakankamai papildyti viena kitą, nes nebus naujos informacijos, kuri galėtų būti panaudota atkuriamos / formuojamos nuotraukos skyros didinimui. Tačiau, dėl tiriamo paviršiaus nelygumo bei kameros padėties pokyčio kitose tos pačios nuotraukos vietose, taškų koreliacija bus mažesnė, todėl padidintos skyros vaizdas bus detalesnis.

Nuotraukų srityse, kuriose užfiksuoti abstraktūs objektai (dangus, blizgantis paviršius, raibuliuojantis vanduo ir t.t.) arba nėra pakankamo kiekio persidengiančių nuotraukų, skyra didinama iš pradinių mažos skyros vaizdo taškų panaudojant bikubinės interpoliacijos metodą.

Nors šiame darbe aprašomi vienspalvių vaizdų raiškos didinimo principai, tačiau šis metodas gali būti naudojamas ir spalvotiems vaizdams. Spalvotų vaizdų atveju kiekvieno padidintos skyros vaizdo taško spalva nustatoma pritaikant aprašomą metodą kiekvienai pirminiai spalvai (raudonai, žaliai ir mėlynai) atskirai.

Siekiant iliustruoti ir aprašyti šį išradimą, aukščiau pateiktas tinkamiausių įgyvendinimo variantų aprašymas. Tai nėra išsamus arba ribojantis aprašymas, siekiantis nustatyti tikslią formą arba įgyvendinimo variantą. į aukščiau pateiktą aprašymą reikia žiūrėti daugiau kaip į iliustraciją, o ne kaip į apribojimą. Akivaizdu, kad tos srities specialistams gali būti akivaizdžios daugybė modifikacijų ir variacijų, įgyvendinimo variantas yra parinktas ir aprašytas tam, kad tos srities specialistai geriausiai išaiškintų šio išradimo principus ir jų geriausią praktinį pritaikymą, skirtą skirtingiems įgyvendinimo variantams su skirtingomis modifikacijomis, tinkančiomis konkrečiam panaudojimui arba įgyvendinimo pritaikymui. Numatyta, kad išradimo apimtis apibrėžiama prie jo pridėta apibrėžtimi ir jos ekvivalentais, kuriuose visi minėti terminai turi prasmę plačiausiose ribose, nebent nurodyta kitaip.

įgyvendinimo variantuose, aprašytuose tos srities specialistų, gali būti sukurti pakeitimai, nenukrypstantys nuo šio išradimo apimties, kaip tai nurodyta toliau pateiktoje apibrėžtyje.

Claims

IŠRADIMO APIBRĖŽTIS

1. Dalinai persidengiančių žemos skyros vaizdų, užfiksuotų iš skirtingų fotokameros pozicijų bei kampų, automatinis formavimo ir apdorojimo būdas siekiant suformuoti iš jų didelės skyros vaizdą, apimantis:

informacijos surinkimą iš mažos skyros vaizdų; apdorojimo mechanizmą; bei padidintos skyros vaizdo formavimą; besiskiriantis tuo, kad šis apdorojimo būdas apima šiuos tris funkcinius apdorojimo žingsnius:

pirmajame skyros didinimo etape iš mažos skyros nuotraukų, naudojant fotogrametrijos metodiką, surandamos kamerų pozicijos ir posūkio kampai erdvėje, bei atkuriamas užfiksuoto objekto 3D paviršius;

antrajame skyros didinimo etape atliekama optinių iškraipymų korekcija panaudojant fotogrametrijos metu gautus geometrinių iškraipymų duomenis;

trečiajame etape apskaičiuojamos padidintos skyros vaizdą sudarančių taškų intensyvumų reikšmės.
2. Skaitmeninių vaizdų automatinio formavimo ir apdorojimo būdas pagal 1 punktą, besiskiriantis tuo, kad minėti 3 apdorojimo etapai sudaro šiuos funkcinius žingsnius:

a) per mažos skyros vaizdo V, centrą C, išvedamas spindulys R,, kertantis norimą apskaičiuoti didelės skyros vaizdo tašką Q_xy, kur spindulio sankirtoje su rekonstruotu trimačiu paviršiumi pažymimas taškas X;

b) per tašką X išvedama pagalbinė plokštuma Z, kur plokštumos Z normalės kryptis yra priešinga spindulio R, krypčiai;

c) aplink tašką Q^lxy, esantį padidintos skyros vaizde, sukuriama kvadratinė taško βζ,aplinka S, kur kvadratinę taško ^aplinką S sudaro didelės skyros vaizdo taškai e S, kur vaizdo taškų kiekis, t.y.: aplinkos dydis, pasirenkamas laisvai;

d) per taško Q^lxy kaimyninius taškus W‘_v e S išvedami spinduliai, kurių susikirtimuose su pagalbine plokštuma Z pažymimi trimačiai taškai T_uv;

e) atliekama dvimačio vaizdo sutapdinimo procedūra su trimačiu vaizdu, kur pagalbinė plokštuma Z pakreipiama, pasukama taip, kad jos normalė N_z sutaptų su trimačio paviršiaus normale N_x taške X, o taškai T_uv pakreipiami, pasukami taip, kad išliktų tose pačiose plokštumos Z vietose;

f) kiekviename mažesnės skyros vaizde V_k e L, panaudojant fotogrametrijos rezultatus, suprojektuojami trimačiai taškai T_uv ir gaunamos jų projekcijos W^kv, kur dėl plokštumos Z pasvirimo trimačio paviršiaus atžvilgiu, taškų projekcijos W^kv kiekviename vaizde bus atvaizduojamos netaisyklingais keturkampiais, kurie geriausiai atitinka trimačio paviršiaus srities projekciją kiekviename vaizde;

g) iš buvusios vaizdų aibės L suformuojama nauja vaizdų aibė K, vaizdas iš aibės L perkeliamas į naują vaizdų aibę K, jeigu tenkinamos dvi sąlygos:

aa) visos projekcijos W^kv patenka j vaizdą V_k t.y.: VfF^k :0<M<w_rt,0<v<Ą,_t, čia w ir h_Vt yra vaizdo V_k plotis ir aukštis atitinkamai;

bb) taško X normalė N_x su vaizdo V_k spinduliu R_k sudaro mažesnį kampą negu 60’ arba arccos ( „ _r \ n-r < y, kur n - taško X normalė X_x užrašyta vektorine forma, o r - vaizdo V_k spindulys -R_k užrašytas vektorine forma;

h) visiems mažesnės skyros vaizdams V_k e K projekcijų taškuose W^kv apskaičiuojamos intensyvumų reikšmės G^kv, kur intensyvumų nustatymui naudojama bikūbinės interpoliacijos metodika;

i) pagal gautas žemesnės skyros vaizdų intensyvumų vertes G^kv sudaroma normalinių lygčių sistema padidintos skyros vaizdo intensyvumams G'_m apskaičiuoti;

j) išsprendus minėtą lygčių sistemą, iš vektoriaus x išrenkamas vidurinis elementas x, :i = M/2, atitinkantis centrinio padidintos skyros taško intensyvumą G'_uvir įrašomas j tašką Q'_xy padidintos skyros vaizde Z/.
3. Skaitmeninių vaizdų formavimo ir automatinio apdorojimo būdas pagal 2 punktą, besiskiriantis tuo, kad minėti funkciniai žingsniai a)-j) kartojami likusiems vaizdo V, taškams.